narou 2.9.5 → 3.0.0

data/lib/novelinfo.rb

@@ -8,18 +8,20 @@ require "time"
 require_relative "html"
 
 class NovelInfo
-  REFRESH_INTERVAL = 10 * 60   # キャッシュを捨てて再取得するまでの時間(s)
+  REFRESH_INTERVAL = 10 # キャッシュを捨てて再取得するまでの時間(s)
+  DEFAULT_OF = "t-nt-ga-s-gf-nu-gl-w"
   @@novel_info_parameters = {}
 
-  def self.load(setting, toc_source = nil)
-    info = new(setting, toc_source)
+  def self.load(setting, toc_source: nil, of: DEFAULT_OF)
+    info = new(setting, toc_source, of)
     info.parse_novel_info
   end
 
-  def initialize(setting, toc_source = nil)
+  def initialize(setting, toc_source = nil, of = DEFAULT_OF)
     @setting = setting
     @ncode = @setting["ncode"]
     @toc_source = toc_source
+    @of = of
     @@novel_info_parameters[@setting["name"]] ||= {}
   end
 
@@ -35,8 +37,7 @@ class NovelInfo
       end
       need_reload = true
     end
-    of = "t-nt-ga-s-gf-nu-gl-w"
-    request_output_parameters = of.split("-")
+    request_output_parameters = @of.split("-")
     info_source = ""
 
     if @setting["novel_info_url"] == @setting["toc_url"] && @toc_source && !need_reload
@@ -47,7 +48,7 @@ class NovelInfo
       cookie = @setting["cookie"] || ""
       open_uri_options = make_open_uri_options("Cookie" => cookie, allow_redirections: :safe)
       open(info_url, open_uri_options) do |fp|
-        info_source = Helper.restor_entity(Helper.pretreatment_source(fp.read, @setting["encoding"]))
+        info_source = Helper.restore_entity(Helper.pretreatment_source(fp.read, @setting["encoding"]))
         raise Downloader::DownloaderNotFoundError if Downloader.detect_error_message(@setting, info_source)
       end
     end

data/lib/novelsetting.rb

@@ -389,6 +389,7 @@ $s 2045年までの残り時間(10分単位の4桁の36進数)
 $t 小説のタイトル
 $ns 小説が掲載されているサイト名
 $nt 小説種別（短編 or 連載）
+$ntag 小説のタグをカンマ区切りにしたもの
       EOS
     },
     {

data/lib/progressbar.rb

@@ -15,7 +15,7 @@ class ProgressBar
   end
 
   def output(num)
-    return if $debug
+    return if silence?
     if num > @max
       raise OverRangeError, "`#{num}` over `#{@max}(max)`"
     end
@@ -28,11 +28,15 @@ class ProgressBar
   end
 
   def clear
-    return if $debug
+    return if silence?
     STDOUT.print " " * 79 + "\r"
   end
 
   def calc_ratio(num)
     num / @max
   end
+
+  def silence?
+    $debug || ENV["NAROU_ENV"] == "test"
+  end
 end

data/lib/sitesetting.rb

@@ -4,6 +4,7 @@
 #
 
 require "yaml"
+require_relative "narou/api"
 
 class SiteSetting
   def self.load_file(path)
@@ -56,7 +57,7 @@ class SiteSetting
   end
 
   def is_container?(value)
-    value.kind_of?(Hash) || value.kind_of?(Array)
+    value.is_a?(Hash) || value.is_a?(Array) || value.is_a?(Narou::API)
   end
 
   def replace_group_values(key, option_values = {})

data/lib/version.rb

@@ -3,4 +3,4 @@
 # Copyright 2013 whiteleaf. All rights reserved.
 #
 
-Version = "2.9.5"
+Version = "3.0.0"

data/lib/web/appserver.rb

@@ -28,6 +28,15 @@ module Narou::ServerHelpers
     end.join(" ")
   end
 
+  #
+  # タグをHTMLで装飾する(除外タグ指定用)
+  #
+  def decorate_exclusion_tags(tags)
+    tags.sort.map do |tag|
+      %!<span class="tag label label-#{Command::Tag.get_color(tag)}" data-exclusion-tag="#{escape_html(tag)}">^tag:#{escape_html(tag)}</span>!
+    end.join(" ")
+  end
+
   #
   # Rubyバージョンを構築
   #
@@ -103,7 +112,7 @@ module Narou::ServerHelpers
   end
 
   def notepad_text_path
-    File.join(Narou.get_local_setting_dir, "notepad.txt")
+    File.join(Narou.local_setting_dir, "notepad.txt")
   end
 end
 
@@ -190,10 +199,16 @@ class Narou::AppServer < Sinatra::Base
   def self.my_ipaddress
     @@__ipaddress ||= -> {
       udp = UDPSocket.new
-      udp.connect("128.0.0.0", 7)
-      adrs = Socket.unpack_sockaddr_in(udp.getsockname)[1]
-      udp.close
-      adrs
+      begin
+        # 128.0.0.0 への送信に使用されるNICのアドレスを取得
+        udp.connect("128.0.0.0", 7)
+        Socket.unpack_sockaddr_in(udp.getsockname)[1]
+      rescue Errno::ENETUNREACH
+        # 128.0.0.0 へのルーティングがないとき
+        "127.0.0.1"
+      ensure
+        udp.close
+      end
     }.call
   end
 
@@ -201,6 +216,7 @@ class Narou::AppServer < Sinatra::Base
     super
     puts_hello_messages
     start_device_ejectable_event
+    fill_general_all_no_in_database
   end
 
   def puts_hello_messages
@@ -221,6 +237,23 @@ class Narou::AppServer < Sinatra::Base
     end
   end
 
+  def general_all_no_by_toc(id)
+    toc = Downloader.new(id).load_toc_file
+    return nil unless toc
+    toc["subtitles"].size
+  end
+
+  # 話数の設定されていない小説の話数を取得して埋める
+  def fill_general_all_no_in_database
+    modified = false
+    Database.instance.each do |id, data|
+      next if data["general_all_no"]
+      data["general_all_no"] = general_all_no_by_toc(id)
+      modified = true
+    end
+    Database.instance.save_database if modified
+  end
+
   # ===================================================================
   # ルーティング
   # ===================================================================
@@ -504,7 +537,10 @@ class Narou::AppServer < Sinatra::Base
           download: %!<a href="/novels/#{id}/download" class="btn btn-default btn-xs"><span class="glyphicon glyphicon-download-alt"></span></a>!,
           frozen: Narou.novel_frozen?(id),
           new_arrivals_date: data["new_arrivals_date"].tap { |m| break m.to_i if m },
-          general_lastup: data["general_lastup"].tap { |m| break m.to_i if m }
+          general_lastup: data["general_lastup"].tap { |m| break m.to_i if m },
+          # 掲載話数
+          general_all_no: data["general_all_no"],
+          last_check_date: data["last_check_date"].tap { |m| break m.to_i if m },
         }
       end
     json json_objects
@@ -551,6 +587,22 @@ class Narou::AppServer < Sinatra::Base
     end
   end
 
+  post "/api/update_by_tag" do
+    tags = params["tags"] || []
+    exclusion_tags = params["exclusion_tags"] || []
+    tag_params = tags.map do |tag|
+      "tag:#{tag}"
+    end
+    tag_params += exclusion_tags.map do |tag|
+      "^tag:#{tag}"
+    end
+    pass if tag_params.empty?
+    Narou::Worker.push do
+      CommandLine.run!(["update", tag_params])
+      @@push_server.send_all(:"table.reload")
+    end
+  end
+
   post "/api/send" do
     ids = select_valid_novel_ids(params["ids"]) || []
     Narou::Worker.push do
@@ -666,7 +718,7 @@ class Narou::AppServer < Sinatra::Base
     result
   end
 
-  post "/api/taginfo.json" do
+  get "/api/taginfo.json" do
     ids = select_valid_novel_ids(params["ids"]) or pass
     ids.map!(&:to_i)
     database = Database.instance
@@ -677,7 +729,8 @@ class Narou::AppServer < Sinatra::Base
         tag_info[tag] ||= {
           count: 0,
           tag: tag,
-          html: decorate_tags([tag])
+          html: decorate_tags([tag]),
+          exclusion_html: params["with_exclusion"] ? decorate_exclusion_tags([tag]) : ""
         }
         if ids.include?(data["id"])
           tag_info[tag][:count] += 1
@@ -717,9 +770,19 @@ class Narou::AppServer < Sinatra::Base
   end
 
   post "/api/update_general_lastup" do
+    option = params["option"]
+    option = nil if option == "all"
+    is_update_modified = params["is_update_modified"] == "true"
     Narou::Worker.push do
-      CommandLine.run!(["update", "--gl"])
+      CommandLine.run!(["update", "--gl", option].compact)
       @@push_server.send_all(:"table.reload")
+      @@push_server.send_all(:"tag.updateCanvas")
+      if is_update_modified
+        puts "<yellow>#{Narou::MODIFIED_TAG} タグの付いた小説を更新します</yellow>".termcolor
+        CommandLine.run!(["update", "tag:#{Narou::MODIFIED_TAG}"])
+        @@push_server.send_all(:"table.reload")
+        @@push_server.send_all(:"tag.updateCanvas")
+      end
     end
   end
 

data/lib/web/public/resources/narou.library.js

@@ -572,12 +572,39 @@ var Narou = (function() {
       }
     },
 
+    _restoreUpdateGeneralLastupChecked: function() {
+      return storage.get("update_general_lastup_checked") || {
+        narou: true, other: false, updateModified: false
+      };
+    },
+
+    _storeUpdateGeneralLastupChecked: function(checkedObject) {
+      storage.set("update_general_lastup_checked", checkedObject);
+      storage.save();
+    },
+
+    _updateGeneralLastupHtmlRenderer: _.template(
+      (function () {/*
+<p>凍結済みを除く各小説の最新話掲載日のみを確認して反映させます。<br>
+なろうAPIを使える小説はAPIを使用して一括で確認するので、高速に掲載日を調べることが出来ます。その他の小説はひとつずつ確認するので時間がかかります。</p>
+<ul><li>検索除外されている小説はAPIでは確認出来ません。</li>
+<li>最新話掲載日は通常のUpdateでも更新されています。</li>
+<li>更新が確認された小説には<code>modified</code>タグが自動で追加されます。Updateすることで削除されます。(ジャンルなどのNarou.rbが見ていない情報だけが変更されても更新されたとみなされます)</li>
+<li>“実際に小説のデータが修正されてからなろうAPIに反映されるまで平均5分程度(最大2時間)の誤差があります。”<span class="text-muted">（<a href="http://dev.syosetu.com/man/api/" target="_blank">公式サイト</a>から引用）</span></li></ul>
+<p class="text-right">
+<label><input type="checkbox" id="update-gl-narou" <% if (narou) { %>checked<% } %>> なろう小説をAPIで確認</label>
+&nbsp;&nbsp;&nbsp;<label><input type="checkbox" id="update-gl-other" <% if (other) { %>checked<% } %>> その他の小説を確認</label><br>
+<label><input type="checkbox" id="update-gl-and-update-modified" <% if (updateModified) { %>checked<% } %>> 確認後にmodifiedタグが付いた小説をUpdate</label>
+</p>
+      */}).toString().replace(/(\n)/g, '').split('*')[1]
+    ),
+
     updateGeneralLastup: function() {
+      var self = this;
+      var checkedObject = this._restoreUpdateGeneralLastupChecked();
       bootbox.dialog({
-        title: "最新話掲載日の更新",
-        message: "凍結済みを除く各小説の最新話掲載日のみを更新して反映させます。<br>" +
-                 "最新話掲載日は通常時のUpdateでも更新されるので、手動で更新する必要は基本的にはありません。<br>" +
-                 "掲載日だけを調べて、選択的にUpdateをかけるなど、用途を理解した上で小説サイトのサーバーに負荷をかけない範囲でご利用下さい。",
+        title: "最新話掲載日の確認",
+        message: this._updateGeneralLastupHtmlRenderer(checkedObject),
         backdrop: true,
         buttons: {
           cancel: {
@@ -585,21 +612,47 @@ var Narou = (function() {
             className: "btn-default",
           },
           main: {
-            label: "更新する",
+            label: "確認する",
             className: "btn-primary",
             callback: function() {
-              $.post("/api/update_general_lastup");
+              var glNarou = $("#update-gl-narou").is(":checked");
+              var glOther = $("#update-gl-other").is(":checked");
+              var isUpdateModified = $("#update-gl-and-update-modified").is(":checked");
+              self._storeUpdateGeneralLastupChecked({
+                narou: glNarou, other: glOther, updateModified: isUpdateModified
+              });
+              if (!glNarou && !glOther) return;
+              var option = glNarou && glOther && "all";
+              if (!option && glNarou) option = "narou";
+              if (!option && glOther) option = "other";
+              $.post("/api/update_general_lastup", { option: option, is_update_modified: isUpdateModified });
             }
           },
         }
       });
     },
 
+    updateGeneralLastupNarou: function() {
+      $.post("/api/update_general_lastup", { option: "narou", is_update_modified: false });
+    },
+
+    updateGeneralLastupOther: function() {
+      $.post("/api/update_general_lastup", { option: "other", is_update_modified: false });
+    },
+
+    updateGeneralLastupUpdateModified: function() {
+      $.post("/api/update_by_tag", { tags: ["modified"] });
+    },
+
     updateForce: function() {
       var ids = this._getSelectedIds(arguments);
       $.post("/api/update", { ids: ids, force: true });
     },
 
+    updateByTag: function() {
+      UpdateByTagBox.open();
+    },
+
     send: function() {
       var ids = this._getSelectedIds(arguments);
       $.post("/api/send", { "ids": ids });
@@ -1092,11 +1145,11 @@ var Narou = (function() {
         var str = sprintf(
             "%(current)s %(exclude_flag)stag:%(tag_name)s",
             {
-              current: this.myfilter.val(),
-              exclude_flag: exclude ? "-" : "",
+              current: _.trimEnd(this.myfilter.val()),
+              exclude_flag: exclude ? "^" : "",
               tag_name: tag_name
             });
-        this.myfilter.val(str.trim());
+        this.myfilter.val(_.trimStart(str) + " ");
       }
       else {
         this.removeAllTagsByFilter();
@@ -1119,7 +1172,7 @@ var Narou = (function() {
       var words = string.split(/\s+/);
       result.normal =
         _.filter(words, function(word) {
-          if (word.match(/^(-?)tag:(.+)$/i)) {
+          if (word.match(/^([-^]?)tag:(.+)$/i)) {
             var exclude_flag = !!RegExp.$1;
             var tag_name = RegExp.$2;
             if (exclude_flag)
@@ -1149,8 +1202,8 @@ var Narou = (function() {
     },
 
     _searchFn: function() {
-      var filter_string = this.myfilter.val().trim();
-      var words = this.splitFilter(filter_string);
+      var filter_string = this.myfilter.val();
+      var words = this.splitFilter(_.trim(filter_string));
       var normal_words = words.normal;
 
       this.clearTagCaches();
@@ -1279,7 +1332,7 @@ var Narou = (function() {
         }
       }
 
-      $.post("/api/taginfo.json", { ids: ids }, function(taginfo) {
+      $.get("/api/taginfo.json", { ids: ids }, function(taginfo) {
         _.each(taginfo, function(info) {
           var label = $('<label><input type="checkbox" data-tagname="' + info.tag.replace(/"/g, "&quot;") +
             '" data-default-checkstate=' + calcState(info.count) + '> ' + info.html + '&nbsp;&nbsp;</label>');
@@ -1385,6 +1438,70 @@ var Narou = (function() {
     },
   });
 
+  /*************************************************************************
+   * タグを指定して更新ダイアログ
+   *************************************************************************/
+  var UpdateByTagBox = {
+    open: function() {
+      this._createEditorField(function(field) {
+        bootbox.dialog({
+          title: "タグを指定してアップデート",
+          message: field,
+          buttons: {
+            cancel: {
+              label: "キャンセル",
+              className: "btn-default",
+            },
+            main: {
+              label: "更新する",
+              className: "btn-primary",
+              callback: function() {
+                var tags = [];
+                var exclusion_tags = [];
+                $("#update-by-tag-field input[type=checkbox]").each(function(i, v) {
+                  if ($(v).is(":checked")) {
+                    var tagname = $(v).data("tagname");
+                    var exclusion_tagname = $(v).data("exclusionTagname");
+                    if (tagname)
+                      tags.push(tagname);
+                    else if (exclusion_tagname)
+                      exclusion_tags.push(exclusion_tagname);
+                  }
+                });
+                $.post("/api/update_by_tag", {
+                  tags: tags,
+                  exclusion_tags: exclusion_tags
+                });
+              }
+            }
+          }
+        });
+      });
+    },
+
+    _createEditorField: function(callback) {
+      var field = $("<div id=update-by-tag-field class=form-group>");
+      $.get("/api/taginfo.json", { ids: [0], with_exclusion: true }, function(taginfo) {
+        var div = $("<div><p>更新したい小説のタグにチェックを入れて下さい。</p>");
+        _.each(taginfo, function(info) {
+          var label = $('<label><input type="checkbox" data-tagname="' + info.tag.replace(/"/g, "&quot;") + '"> ' +
+            info.html + '&nbsp;&nbsp;</label>');
+          div.append(label);
+        });
+        field.append(div);
+        field.append("<p><br></p>");
+        div = $("<div><p>除外タグを指定して更新したいものがあればチェックを入れて下さい。</p>");
+        _.each(taginfo, function(info) {
+          var exclusion_label = $('<label><input type="checkbox" data-exclusion-tagname="' + info.tag.replace(/"/g, "&quot;") + '"> ' +
+            info.exclusion_html + '&nbsp;&nbsp;</label>');
+          div.append(exclusion_label);
+        });
+        field.append(div);
+        callback(field);
+      });
+    },
+  };
+
   /*************************************************************************
    * ドラッグ＆ドロップ関係
    *************************************************************************/