narou 3.1.9 → 3.1.10

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA1:
-  metadata.gz: 9da92655da0ae271cb9baf17ac878b0b58a15c84
-  data.tar.gz: 04b4bc4a9feabacc589d02b1ec3e500c8d084f6b
+  metadata.gz: 6e8758049a5df12f1acf6eb0235bedf7678379f3
+  data.tar.gz: 1418c946aae5fc53c40c6b5ce4d8ae51cf780457
 SHA512:
-  metadata.gz: 7ed156b7110edc879ebafb1b2d0c3fdf3437c2f8a16f6ccc3c10e57f9c39154a2409e4c6e325576b2cc9f4a0fccef2765fd022b7886461f149eb535206d540ab
-  data.tar.gz: d5464c1f69e942af6ad68e33902f1d78ee487b3a36128210ab114b971c8620c7e9d1f91a3931380bb6480b79ff409a17c7762b7181a911197cd074fede6354df
+  metadata.gz: 3aa7541b6f853403360dd46dc356615561496df90ad036110f09966b9983041791e15fb22dce9ead4f3e0f7d19948947438ab208057071b6542b247bd55c3b81
+  data.tar.gz: 3fb44128d5306ff09a9d07b595976b73b652c66c8273dcb962e324a57a4d94a50cab6f0da0fa4de65192b045cb9ba8700f84cb6b2dda7bb83fcbf1410de959e7

data/ChangeLog.md

@@ -2,6 +2,22 @@
 更新履歴 - ChangeLog
 ====================
 
+3.1.10: 2017/11/20
+------------------
+#### 仕様変更
+- httpでダウンロードしたとしても目次アドレスをhttpsに強制切り替えを行います
+  (SSL対応サイトのみ)
+
+#### 修正内容
+- アドレスがhttpとhttpsの違いだけで、同じ小説を別の小説として扱われてしまう
+- gem ライブラリのアップデートにより mail コマンドが動かなくなっていた
+- ハーメルンのアドレス変更に対応
+- 「DLボタン設置」ブックマークレットをhttpsアドレス下でも動くように修正
+  + ヘルプページからブックマークレットの再取得が必要です。古いものは動きません
+  + 最近のブラウザじゃないとたぶん動きません
+- Arcadiaでカテゴリがない古い小説をダウンロード出来ない場合がある
+
+
 3.1.9: 2017/10/19
 ------------------
 #### 修正内容

data/README.md

@@ -33,6 +33,22 @@ Narou.rb ― 「小説家になろう」「小説を読もう！」ダウンロ
 更新履歴 - ChangeLog
 --------------------
 
+3.1.10: 2017/11/20
+------------------
+#### 仕様変更
+- httpでダウンロードしたとしても目次アドレスをhttpsに強制切り替えを行います
+  (SSL対応サイトのみ)
+
+#### 修正内容
+- アドレスがhttpとhttpsの違いだけで、同じ小説を別の小説として扱われてしまう
+- gem ライブラリのアップデートにより mail コマンドが動かなくなっていた
+- ハーメルンのアドレス変更に対応
+- 「DLボタン設置」ブックマークレットをhttpsアドレス下でも動くように修正
+  + ヘルプページからブックマークレットの再取得が必要です。古いものは動きません
+  + 最近のブラウザじゃないとたぶん動きません
+- Arcadiaでカテゴリがない古い小説をダウンロード出来ない場合がある
+
+
 3.1.9: 2017/10/19
 ------------------
 #### 修正内容

data/lib/command/download.rb

@@ -53,7 +53,7 @@ module Command
       when :ncode
         true
       when :url
-        !!@site_settings.find { |s| s.multi_match(target, "url") }
+        !!@site_settings.find { |s| s.multi_match_once(target, "url") }
       else
         false
       end

data/lib/command/mail.rb

@@ -133,7 +133,7 @@ module Command
 
     def alter_database_add_column_last_mail_date
       database = Database.instance
-      database.each do |_, data|
+      database.each_value do |data|
         data["last_mail_date"] ||= Time.now
       end
       database.save_database

data/lib/command/tag.rb

@@ -94,7 +94,7 @@ module Command
     def self.get_tag_list(ids = nil)
       database = Database.instance
       tag_list = Hash.new(0)
-      database.each do |_, data|
+      database.each_value do |data|
         if ids.kind_of?(Array)
           next unless ids.include?(data["id"])
         end

data/lib/command/version.rb

@@ -15,7 +15,7 @@ module Command
 
     def self.create_version_string
       postfix = (Narou.commit_version ? "" : " (develop)")
-      "#{::Version}#{postfix}"
+      "#{Narou::VERSION}#{postfix}"
     end
   end
 end

data/lib/database.rb

@@ -6,42 +6,19 @@
 require "fileutils"
 require "singleton"
 require "yaml"
+require "forwardable"
 require_relative "narou"
 require_relative "inventory"
 
 class Database
   include Singleton
+  include Enumerable
+  extend Forwardable
 
   ARCHIVE_ROOT_DIR_PATH = "小説データ/"
   DATABASE_NAME = "database"
 
-  def [](key)
-    @database[key]
-  end
-
-  def []=(key, value)
-    @database[key] = value
-  end
-
-  def each(&block)
-    if block
-      @database.each(&block)
-    else
-      @database.each
-    end
-  end
-
-  def each_key(&block)
-    if block
-      @database.each_key(&block)
-    else
-      @database.each_key
-    end
-  end
-
-  def delete(key)
-    @database.delete(key)
-  end
+  def_delegators :@database, :[], :[]=, :each, :each_key, :each_value, :delete
 
   def initialize
     refresh
@@ -86,16 +63,19 @@ class Database
   end
 
   def get_data(type, value)
-    @database.each do |_, data|
+    @database.each_value do |data|
       return data if data[type] == value
     end
     nil
   end
 
-  def get_id(type, value)
-    data = get_data(type, value)
-    if data
-      return data["id"]
+  # SiteSetting を使って toc url を正規化してマッチングする。
+  # get_data("toc_url", url) だと、アドレスが仕様変更した場合に、
+  # 古いままのデータとマッチングしなくなるため
+  def get_data_by_toc_url(toc_url, site_setting)
+    @database.each_value do |data|
+      site_setting.multi_match_once(data["toc_url"], "url") or next
+      return data if site_setting["toc_url"] == toc_url
     end
     nil
   end

data/lib/downloader.rb

@@ -68,7 +68,7 @@ class Downloader
     toc_url = get_toc_url(target)
     setting = nil
     if toc_url
-      setting = @@settings.find { |s| s.multi_match(toc_url, "url") }
+      setting = @@settings.find { |s| s.multi_match_once(toc_url, "url") }
     end
     setting
   end
@@ -103,19 +103,7 @@ class Downloader
   # 指定されたIDとかから小説の保存ディレクトリを取得
   #
   def self.get_novel_data_dir_by_target(target)
-    target = Narou.alias_to_id(target)
-    type = get_target_type(target)
-    data = nil
-    case type
-    when :url, :ncode
-      toc_url = get_toc_url(target)
-      data = @@database.get_data("toc_url", toc_url)
-    when :other
-      data = @@database.get_data("title", target)
-    when :id
-      data = @@database[target.to_i]
-    end
-    return nil unless data
+    data = get_data_by_target(target) or return nil
     id = data["id"]
     file_title = data["file_title"] || data["title"]   # 互換性維持のための処理
     use_subdirectory = data["use_subdirectory"] || false
@@ -136,16 +124,34 @@ class Downloader
   # target のIDを取得
   #
   def self.get_id_by_target(target)
-    toc_url = get_toc_url(target) or return nil
-    @@database.get_id("toc_url", toc_url)
+    data = get_data_by_target(target)
+    data && data["id"]
   end
 
   #
   # target からデータベースのデータを取得
   #
   def self.get_data_by_target(target)
-    toc_url = get_toc_url(target) or return nil
-    @@database.get_data("toc_url", toc_url)
+    target = Narou.alias_to_id(target)
+    case get_target_type(target)
+    when :url
+      setting = @@settings.find { |s| s.multi_match_once(target, "url") }
+      if setting
+        toc_url = setting["toc_url"]
+        return @@database.get_data_by_toc_url(toc_url, setting)
+      end
+    when :ncode
+      @@database.each_value do |data|
+        return data if data["toc_url"] =~ %r!#{target}/$!
+      end
+    when :id
+      data = @@database[target.to_i]
+      return data if data
+    when :other
+      data = @@database.get_data("title", target)
+      return data if data
+    end
+    nil
   end
 
   #
@@ -164,10 +170,10 @@ class Downloader
     target = Narou.alias_to_id(target)
     case get_target_type(target)
     when :url
-      setting = @@settings.find { |s| s.multi_match(target, "url") }
+      setting = @@settings.find { |s| s.multi_match_once(target, "url") }
       return setting["toc_url"] if setting
     when :ncode
-      @@database.each do |_, data|
+      @@database.each_value do |data|
         if data["toc_url"] =~ %r!#{target}/$!
           return data["toc_url"]
         end
@@ -222,7 +228,7 @@ class Downloader
     load_paths = [
       File.join(Narou.get_script_dir, NOVEL_SITE_SETTING_DIR, "*.yaml"),
       File.join(Narou.get_root_dir, NOVEL_SITE_SETTING_DIR, "*.yaml")
-    ].join("\0")
+    ].uniq.join("\0")
     Dir.glob(load_paths) do |path|
       setting = SiteSetting.load_file(path)
       if setting["name"] == "小説家になろう"

data/lib/mailer.rb

@@ -48,6 +48,7 @@ class Mailer
   end
 
   def send(id, message, attached_file_path = nil)
+    gem "mail", "2.6.6"
     require "pony"
     @error_message = ""
     params = @options.dup

data/lib/novelconverter.rb

@@ -541,7 +541,7 @@ class NovelConverter
   # 目次情報からサイト設定を取得
   #
   def find_site_setting(toc_url)
-    @@site_settings.find { |s| s.multi_match(toc_url, "url") }
+    @@site_settings.find { |s| s.multi_match_once(toc_url, "url") }
   end
 
   #

data/lib/sitesetting.rb

@@ -50,6 +50,11 @@ class SiteSetting
     match_data
   end
 
+  def multi_match_once(source, *keys)
+    clear
+    multi_match(source, *keys)
+  end
+
   def update_match_values(match_data)
     match_data.names.each do |name|
       @match_values[name] = match_data[name] || ""
@@ -57,16 +62,25 @@ class SiteSetting
   end
 
   def is_container?(value)
-    value.is_a?(Hash) || value.is_a?(Array) || value.is_a?(Narou::API)
+    value.is_a?(Hash) || value.is_a?(Narou::API)
   end
 
   def replace_group_values(key, option_values = {})
-    dest = option_values[key] || @match_values[key] || @yaml_setting[key]
-    return dest if is_container?(dest)
-    return dest unless dest.respond_to?(:gsub!)
-    result = dest.dup
+    buf = option_values[key] || @match_values[key] || @yaml_setting[key]
+    return buf if is_container?(buf)
+    if buf.is_a?(Array)
+      buf.map do |dest|
+        do_replace(dest, option_values)
+      end
+    else
+      do_replace(buf, option_values)
+    end
+  end
+
+  def do_replace(dest, option_values)
+    return dest unless dest.respond_to?(:gsub)
     values = @yaml_setting.merge(@match_values).merge(option_values)
-    result.gsub!(/\\\\k<(.+?)>/) do |match|
+    dest.gsub(/\\\\k<(.+?)>/) do |match|
       value = values[$1]
       if value
         value.gsub(/\\\\k<(.+?)>/) do
@@ -76,6 +90,5 @@ class SiteSetting
         match
       end
     end
-    result
   end
 end

data/lib/version.rb

@@ -3,4 +3,6 @@
 # Copyright 2013 whiteleaf. All rights reserved.
 #
 
-Version = "3.1.9"
+module Narou
+  VERSION = "3.1.10"
+end

data/lib/web/appserver.rb

@@ -235,7 +235,7 @@ class Narou::AppServer < Sinatra::Base
   end
 
   def puts_hello_messages
-    puts "<white>Narou.rb version #{::Version}</white>".termcolor
+    puts "<white>Narou.rb version #{Narou::VERSION}</white>".termcolor
   end
 
   def start_device_ejectable_event
@@ -291,6 +291,7 @@ class Narou::AppServer < Sinatra::Base
   # ===================================================================
 
   before do
+    headers "Cache-Control" => "no-cache" if $development
     @bootstrap_theme = case params["theme"]
                        when nil
                          Narou.get_theme
@@ -597,7 +598,8 @@ class Narou::AppServer < Sinatra::Base
   end
 
   post "/api/download" do
-    targets = params["targets"] or pass
+    headers "Access-Control-Allow-Origin" => "*"
+    targets = params["targets"] or error("need a parameter: `targets'")
     targets = targets.kind_of?(Array) ? targets : targets.split
     pass if targets.size == 0
     Narou::Worker.push do
@@ -777,7 +779,7 @@ class Narou::AppServer < Sinatra::Base
     ids.map!(&:to_i)
     database = Database.instance
     tag_info = {}
-    database.each do |_, data|
+    database.each_value do |data|
       tags = data["tags"] || []
       tags.each do |tag|
         tag_info[tag] ||= {
@@ -874,7 +876,7 @@ class Narou::AppServer < Sinatra::Base
   end
 
   # ダウンロード登録すると同時にグレーのボタン画像を返す
-  get "/api/download4ie" do
+  get "/api/download4ssl" do
     Narou::Worker.push do
       CommandLine.run!(%W(download #{params["target"]}))
       @@push_server.send_all(:"table.reload")
@@ -882,14 +884,29 @@ class Narou::AppServer < Sinatra::Base
     redirect "/resources/images/dl_button1.gif"
   end
 
+  # ダウンロード済みかどうかで表示が変わる画像
+  get "/api/downloadable.gif" do
+    target = params["target"]
+    # 0: 未ダウンロード, 1: ダウンロード済み, 2: ダウンロード出来ない
+    number =
+      if target
+        Downloader.get_id_by_target(target) ? 1 : 0
+      else
+        2
+      end
+    redirect "/resources/images/dl_button#{number}.gif"
+  end
+
   get "/api/validate_url_regexp_list" do
     json Downloader.load_settings.map { |setting|
-      "(#{setting["url"].gsub(/\?<.+?>/, "?:").gsub("\\", "\\\\")})"
-    }
+      Array(setting["url"]).map do |url|
+        "(#{url.gsub(/\?<.+?>/, "?:").gsub("\\", "\\\\")})"
+      end
+    }.flatten
   end
 
   get "/api/version/current.json" do
-    json({ version: ::Version })
+    json({ version: Narou::VERSION })
   end
 
   get "/api/version/latest.json" do

data/lib/web/views/bookmarklet/insert_button.js.erb

@@ -1,72 +1,26 @@
 <%# vim: set ft=javascript : -%>
-(function() {
-  // オフライン表記を先に消しておく
-  var offline = document.getElementById("narourb-offline");
-  offline.parentNode.removeChild(offline);
-
-  // 対応小説投稿サイトに関する情報
-  var site_settings = {
+var insertButtonBookmarklet = (function() {
+  "DLボタン設置ブックマークレット v2.0";
+  var site_settings = [
     <%- Downloader.load_settings.each.with_index do |setting, i| -%>
-      <%- next if setting["top_url"] == "http://novel.syosetu.org" -%>
-      "<%= setting["domain"] %>": {
+      <% setting.clear %>
+      {
         <%- case setting["domain"] -%>
         <%- when "www.mai-net.net" -%>
           add_tail: "&n=0&count=1",
-        <%- when "ncode.syosetu.com", "novel18.syosetu.com", "novel.syosetu.org" -%>
+        <%- when "ncode.syosetu.com", "novel18.syosetu.com", "syosetu.org" -%>
           add_tail: "/",
         <%- when "www.akatsuki-novels.com" -%>
           add_tail: "",
         <%- end -%>
-        url: new RegExp('(<%= setting["url"].gsub(/\?<.+?>/, "?:").gsub("\\", "\\\\\\\\") %>)')
-      }
-      <%= i == Downloader.load_settings.length - 1 ? "" : "," %>
-    <%- end -%>
-  };
-
-  // 管理している小説のURL一覧
-  var manage_novel_urls = [
-    <%-# バイナリーサーチ用にソートしておく -%>
-    <%- Database.instance.get_object.values.sort_by { |v| v["toc_url"] }.each do |data| -%>
-      '<%= data["toc_url"] %>',
+        url: [<%= Array(setting["url"]).map do |url|
+          %!new RegExp("^(#{url.gsub(/\?<.+?>/, "?:").gsub("\\", "\\\\\\\\")})")!
+        end.join(",") -%>]
+      }<%= i == Downloader.load_settings.length - 1 ? "" : "," %>
     <%- end -%>
   ];
 
-  /*
-   * バイナリーサーチ
-   * 見つかったら見つかった位置のインデックス
-   * 見つからなかったら-1を返す
-   * array はソート済みである必要がある
-   */
-  var binarySearch = function(array, target) {
-    if (array.length === 0) return -1;
-    var left = 0, right = manage_novel_urls.length - 1;
-    while (left < right) {
-      var center = (left + right) / 2 | 0;
-      if (array[center] < target)
-        left = center + 1;
-      else if (array[center] > target)
-        right = center - 1;
-      else
-        return center;
-    }
-    if (array[left] === target) return left;
-    return -1;
-  };
-
-  /*
-   * 管理している小説のURLリストから検索
-   */
-  var searchRegisterURL = function(target) {
-    var result = binarySearch(manage_novel_urls, target);
-    if (result === -1)
-      return null;
-    return manage_novel_urls[result];
-  };
-
-  /*
-   * IE10未満のために自力でフォームエンコード
-   */
-  var encodeHTMLForm = function(data) {
+  function encodeHTMLForm(data) {
     var params = [];
     for (var name in data) {
       var value = data[name];
@@ -74,11 +28,11 @@
       params.push(param);
     }
     return params.join("&").replace(/%20/g, "+");
-  };
+  }
 
   var server_origin = '<%= "#{request.scheme}://#{env["SERVER_NAME"]}:#{env["SERVER_PORT"]}" %>';
 
-  var createButtonElement = function(href) {
+  function createButtonElement(href) {
     var span = document.createElement("span");
     var img = document.createElement("img");
     var space = span.cloneNode();
@@ -89,45 +43,38 @@
     space.textContent = " ";
 
     var dl_listener = function(e) {
-      var url = server_origin + "/api/download";
-      try {
-        var xhr = new XMLHttpRequest;
-        xhr.open("POST", url);
-        xhr.setRequestHeader("Content-Type", "application/x-www-form-urlencoded");
-        xhr.send(encodeHTMLForm({ targets: href }));
-        img.src = server_origin + "/resources/images/dl_button1.gif";
-      }
-      catch(e) {
-        // IE7モード(なろうのトップページをIEで見た場合)の時は xhr.open の時点で
-        // 例外が発生してWEBUIサーバまでデータが飛ばないので、画像のURLにパラメータ
-        // 仕込んでDLの通知を行う
-        img.src = server_origin + "/api/download4ie?target=" + encodeURIComponent(href);
-      }
-      // 登録したらもう押せないようにイベントを削除
+      img.src = server_origin + "/api/download4ssl?target=" + encodeURIComponent(href);
       img.onclick = null;
       img.style.cursor = "default";
       return false;
     };
 
-    if (searchRegisterURL(href)) {
-      // すでにダンロード済みなら最初からグレー画像
-      img.src = server_origin + "/resources/images/dl_button1.gif";
-      img.style.cursor = "default";
-    }
-    else {
-      img.src = server_origin + "/resources/images/dl_button0.gif";
-      img.onclick = dl_listener;
-    }
+    img.src = server_origin + "/api/downloadable.gif?target=" + encodeURIComponent(href);
+    img.onclick = dl_listener;
     return span;
   };
 
+  function matchLink(link, setting) {
+    var matched = false;
+    for (var x in setting.url) {
+      var url = setting.url[x];
+      if (link.href && link.href.toLowerCase().match(url)) {
+        var download_button = createButtonElement(RegExp.$1 + setting.add_tail);
+        link.parentNode.insertBefore(download_button, link);
+        matched = true;
+        break;
+      }
+    }
+    return matched;
+  }
+
   var links = document.getElementsByTagName("a");
-  for (var i = 0; i < links.length; i++) {
+
+  for (var i in links) {
     var link = links[i];
-    var setting = site_settings[link.hostname];
-    if (setting && link.href.toLowerCase().match(setting.url)) {
-      var download_button = createButtonElement(RegExp.$1 + setting.add_tail);
-      link.parentNode.insertBefore(download_button, link);
+    for (var y in site_settings) {
+      var setting = site_settings[y];
+      if (matchLink(link, setting)) break;
     }
   }
-})();
+});