narou 2.9.5 → 3.0.0

data/lib/command/list/novel_decorator.rb

@@ -0,0 +1,107 @@
+# -*- coding: utf-8 -*-
+#
+# Copyright 2013 whiteleaf. All rights reserved.
+#
+
+module Command
+  class List < CommandBase
+    class NovelDecorator
+      attr_accessor(*%i(id frozen novel_type novel options parent))
+
+      def initialize(novel, parent)
+        self.id = novel["id"]
+        self.frozen = Narou.novel_frozen?(id)
+        self.novel_type = novel["novel_type"].to_i
+        self.novel = novel
+        self.options = parent.options
+        self.parent = parent
+      end
+
+      def decorate_id
+        disp_id = ((frozen ? "*" : "") + id.to_s).rjust(4)
+        if frozen
+          disp_id.sub("*", "<bold><cyan>*</cyan></bold>")
+        else
+          disp_id
+        end
+      end
+
+      def decorate_date
+        date = novel[parent.view_date_type].strftime("%y/%m/%d")
+        new_arrivals_date = novel["new_arrivals_date"]
+        last_update = novel["last_update"]
+        if new_arrivals_date && new_arrivals_date >= last_update &&
+           new_arrivals_date + ANNOTATION_COLOR_TIME_LIMIT >= now
+          # 新着表示色
+          "<bold><magenta>#{date}</magenta></bold>"
+        elsif last_update + ANNOTATION_COLOR_TIME_LIMIT >= now
+          # 更新だけあった色
+          "<bold><green>#{date}</green></bold>"
+        else
+          date
+        end
+      end
+
+      def decorate_kind
+        options["kind"] ? NOVEL_TYPE_LABEL[novel_type] : nil
+      end
+
+      def decorate_author
+        options["author"] ? novel["author"].escape : nil
+      end
+
+      def decorate_site
+        options["site"] ? novel["sitename"].escape : nil
+      end
+
+      def decorate_title
+        if !options["kind"] && novel_type == 2
+          type = " <bold><black>(#{NOVEL_TYPE_LABEL[novel_type]})</black></bold>"
+        end
+        the_end = "<bold><black>(完結)</black></bold>" if tags.include?("end")
+        delete = "<bold><black>(削除)</black></bold>" if tags.include?("404")
+        [
+          novel["title"].escape,
+          type,
+          the_end,
+          delete
+        ].compact.join(" ")
+      end
+
+      def decorate_url
+        options["url"] ? novel["toc_url"].escape : nil
+      end
+
+      def decorate_tags
+        return nil unless options["tags"] || options["all-tags"]
+        tags.empty? ? nil : tags.map { |tag|
+          color = Tag.get_color(tag)
+          "<bold><#{color}>#{tag.escape}</#{color}></bold>"
+        }.join(",")
+      end
+
+      def decorate_line
+        [
+          decorate_id,
+          decorate_date,
+          decorate_kind,
+          decorate_author,
+          decorate_site,
+          decorate_title,
+          decorate_url,
+          decorate_tags
+        ].compact.join(" | ")
+      end
+
+      private
+
+      def tags
+        @__tags ||= novel["tags"] || []
+      end
+
+      def now
+        parent.now
+      end
+    end
+  end
+end

data/lib/command/send.rb

@@ -21,7 +21,8 @@ module Command
   ・<device>には現在 #{Device::DEVICES.keys.join(", ")} が指定出来ます
   ・narou setting device=<device>としておけば、<device>の入力を省略できます
     また、convertコマンドで変換時に(端末がPCに接続されていれば)自動でデータを送信するようになります
-  ・<target>を省略した場合、管理している小説全てのファイルのタイムスタンプを端末のものと比べて新しければ送信します
+  ・送信時はファイルのタイムスタンプを端末のものと比べて新しければ送信します
+  ・<target>を省略した場合、管理している小説全てが送信対象になります
   ・<target>にhotentryを指定した場合、最新のhotnetryを送信します
 
   Examples:
@@ -39,9 +40,12 @@ module Command
   Options:
       EOS
 
-      @opt.on("--without-freeze", "一括送信時に凍結された小説は対象外にする") {
+      @opt.on("-w", "--without-freeze", "送信時に凍結された小説は対象外にする") {
         @options["without-freeze"] = true
       }
+      @opt.on("-f", "--force", "タイムスタンプを比較せずに必ず送信する") {
+        @options["force"] = true
+      }
       @opt.on("-b", "--backup-bookmark", "端末の栞データを手動でバックアップする(KindlePW系用)") {
         @options["command-backup-bookmark"] = true
       }
@@ -81,7 +85,6 @@ module Command
       if argv.empty?
         send_all = true
         Database.instance.each do |id, data|
-          next if @options["without-freeze"] && Narou.novel_frozen?(id)
           argv << id
           titles[id] = data["title"]
         end
@@ -102,6 +105,13 @@ module Command
 
       tagname_to_ids(argv)
       argv.each do |target|
+        # WEB UI 使用時は、send.without-freeze を設定して使うことを想定していて、
+        # コマンドのようにオプションを付けたり外したりするのが容易ではないため、
+        # 個別送信時はオプションに関わらず凍結済みでも送信出来るようにする
+        if @options["without-freeze"] && Narou.novel_frozen?(target) &&
+           (!Narou.web? || (Narou.web? && send_all))
+          next
+        end
         if target == "hotentry"
           ebook_path = Update.get_newest_hotentry_file_path(device)
         else
@@ -115,18 +125,18 @@ module Command
           error "まだファイル(#{File.basename(ebook_path)})が無いようです" unless send_all
           next
         end
-        if send_all
-          if device.ebook_file_old?(ebook_path)
-            if target == "hotentry"
-              display_target = target
-            else
-              display_target = "ID:#{target}　#{TermColorLight.escape(titles[target])}"
-            end
-            puts "<bold><green>#{display_target}</green></bold>".termcolor
+
+        if !@options["force"] && !device.ebook_file_old?(ebook_path)
+          next
+        end
+        display_target =
+          if target == "hotentry"
+            target
           else
-            next
+            "ID:#{target}　#{TermColorLight.escape(titles[target])}"
           end
-        end
+        puts "<bold><green>#{display_target}</green></bold>".termcolor
+
         print "#{device.name}へ送信しています"
         exit_copy = false
         copy_to_path = nil

data/lib/command/setting.rb

@@ -452,7 +452,7 @@ module Command
           tab: :detail
         },
         "send.without-freeze" => {
-          type: :boolean, help: "一括送信時に凍結された小説は対象外にする",
+          type: :boolean, help: "送信時に凍結された小説は対象外にする",
           tab: :general
         },
         "send.backup-bookmark" => {
@@ -485,6 +485,10 @@ module Command
           select_summaries: Narou.get_theme_names,
           tab: :general
         },
+        "normalize-filename" => {
+          type: :boolean, help: "ファイル名の文字列をNFCで正規化する。※既存データとの互換性が無くなる可能性があるので、バックアップを取った上で機能を理解の上有効にして下さい",
+          tab: :detail,
+        },
       },
       global: {
         "aozoraepub3dir" => {

data/lib/command/update.rb

@@ -9,32 +9,13 @@ require_relative "../database"
 require_relative "../downloader"
 require_relative "../template"
 require_relative "../novelconverter"
+require_relative "update/interval"
+require_relative "update/general_lastup_updater"
 
 module Command
   class Update < CommandBase
     extend Memoist
 
-    class Interval
-      MIN = 2.5               # 作品間ウェイトの最低秒数(処理時間含む)
-      FORCE_WAIT_TIME = 2.0   # 強制待機時間
-
-      def initialize(interval)
-        @time = Time.now - MIN
-        interval = interval.to_f
-        @interval_time = interval >= MIN ? interval : MIN
-      end
-
-      def wait
-        wait_time = Time.now - @time
-        sleep(@interval_time - wait_time) if wait_time < @interval_time
-        @time = Time.now
-      end
-
-      def force_wait
-        sleep(FORCE_WAIT_TIME)
-      end
-    end
-
     LOG_DIR_NAME = "log"
     LOG_NUM_LIMIT = 30   # ログの保存する上限数
     LOG_FILENAME_FORMAT = "update_log_%s.txt"
@@ -66,6 +47,13 @@ module Command
     narou update n9669bk 異世界迷宮で奴隷ハーレムを
     narou update http://ncode.syosetu.com/n9669bk/
 
+    # foo タグが付いた小説と bar タグが付いた小説を更新(タグのOR指定)
+    narou u foo bar
+
+    # foo タグ及び bar タグが両方付いた小説のみ更新(タグのAND指定)
+    narou tag foo bar | narou u
+    narou l -t "foo bar" | narou   # こっちでも同じ(覚えやすい方を使う)
+
   Options:
       EOS
       @opt.on("-n", "--no-convert", "変換をせずアップデートのみ実行する") {
@@ -81,8 +69,18 @@ module Command
         view_log
         exit 0
       }
-      @opt.on("--gl", "データベースに最新話掲載日を反映させる") {
-        update_general_lastup
+      @opt.on("--gl [OPT]", <<-EOS) { |option|
+データベースに最新話掲載日を反映させる
+                            |    OPT   |          概要
+                            | 指定なし | 全ての小説を対象にする
+                            |   narou  | なろうAPIを使える小説のみ対象
+                            |   other  | なろうAPIが使えない小説のみ対象
+        EOS
+        if option && !["narou", "other"].include?(option)
+          error "--gl で指定可能なオプションではありません。詳細は narou u -h を参照"
+          exit Narou::EXIT_ERROR_CODE
+        end
+        update_general_lastup(option)
         exit 0
       }
       @opt.on("-f", "--force", "凍結済みも更新する") {
@@ -91,6 +89,9 @@ module Command
       @opt.on("-s", "--sort-by KEY", "アップデートする順番を変更する\n#{Narou.update_sort_key_summaries}") { |key|
         @options["sort-by"] = key
       }
+      @opt.on("-i", "--ignore-all", "<target>を省略した場合の全件更新処理を無効化する") {
+        @options["ignore-all"] = true
+      }
     end
 
     def get_data_value(target, key)
@@ -131,15 +132,15 @@ module Command
       Narou::UPDATE_SORT_KEYS.keys.include?(key)
     end
 
+    # rubocop:disable Metrics/BlockLength
     def execute(argv)
       super
       mistook_count = 0
       update_target_list = argv.dup
       @options["no-open"] = false
       if update_target_list.empty?
-        Database.instance.each_key do |id|
-          update_target_list << id
-        end
+        exit 0 if @options["ignore-all"]
+        update_target_list += Database.instance.get_object.keys
         @options["no-open"] = true
       end
       tagname_to_ids(update_target_list)
@@ -162,83 +163,90 @@ module Command
 
       interval = Interval.new(@options["interval"])
 
-      update_log = $stdout.capture(quiet: false) do
-        sort_by_key(sort_key, update_target_list).each_with_index do |target, i|
-          display_message = nil
-          data = Downloader.get_data_by_target(target)
-          if !data
-            display_message = "<bold><red>[ERROR]</red></bold> #{target} は管理小説の中に存在しません".termcolor
-          elsif Narou.novel_frozen?(target) && !@options["force"]
-            if argv.length > 0
+      begin
+        update_log = $stdout.capture(quiet: false) do
+          sort_by_key(sort_key, update_target_list).each_with_index do |target, i|
+            display_message = nil
+            data = Downloader.get_data_by_target(target)
+            if !data
+              display_message = "<bold><red>[ERROR]</red></bold> #{target} は管理小説の中に存在しません".termcolor
+            elsif Narou.novel_frozen?(target) && !@options["force"]
+              next if argv.empty?
               display_message = "ID:#{data["id"]}　#{data["title"]} は凍結中です"
-            else
+            end
+            Helper.print_horizontal_rule if i > 0
+            if display_message
+              puts display_message
+              mistook_count += 1
               next
             end
-          end
-          Helper.print_horizontal_rule if i > 0
-          if display_message
-            puts display_message
-            mistook_count += 1
-            next
-          end
-          interval.wait
-          downloader = Downloader.new(target)
+            interval.wait
+            downloader = Downloader.new(target)
+
+            if @options["hotentry"]
+              downloader.on(:newarrival) do |hash|
+                entry = hotentry[hash[:id]] ||= []
+                entry << hash[:subtitle_info]
+              end
+            end
 
-          if @options["hotentry"]
-            downloader.on(:newarrival) do |hash|
-              entry = hotentry[hash[:id]] ||= []
-              entry << hash[:subtitle_info]
+            delete_modified_tag = -> do
+              tags = data["tags"] || []
+              data["tags"] = tags - [Narou::MODIFIED_TAG] if tags.include?(Narou::MODIFIED_TAG)
+              data["last_check_date"] = Time.now
             end
-          end
 
-          result = downloader.start_download
-          case result.status
-          when :ok
-            if @options["no-convert"] ||
-                 (@options["convert-only-new-arrival"] && !result.new_arrivals)
-              interval.force_wait
+            result = downloader.start_download
+            case result.status
+            when :ok
+              delete_modified_tag.call
+              if @options["no-convert"] ||
+                   (@options["convert-only-new-arrival"] && !result.new_arrivals)
+                interval.force_wait
+                next
+              end
+            when :failed
+              puts "ID:#{data["id"]}　#{data["title"]} の更新は失敗しました"
+              mistook_count += 1
+              next
+            when :canceled
+              puts "ID:#{data["id"]}　#{data["title"]} の更新はキャンセルされました"
+              mistook_count += 1
               next
+            when :none
+              delete_modified_tag.call
+              puts "#{data["title"]} に更新はありません"
+              next unless data["_convert_failure"]
             end
-          when :failed
-            puts "ID:#{data["id"]}　#{data["title"]} の更新は失敗しました"
-            mistook_count += 1
-            next
-          when :canceled
-            puts "ID:#{data["id"]}　#{data["title"]} の更新はキャンセルされました"
-            mistook_count += 1
-            next
-          when :none
-            puts "#{data["title"]} に更新はありません"
-            next unless data["_convert_failure"]
-          end
 
-          if data["_convert_failure"]
-            puts "<yellow>前回変換できなかったので再変換します</yellow>".termcolor
-          end
-          convert_argv = [target]
-          convert_argv << "--no-open" if @options["no-open"]
-          convert_status = Convert.execute!(convert_argv)
-          if convert_status > 0
-            # 変換が失敗したか、中断された
-            data["_convert_failure"] = true
-            # 中断された場合には残りのアップデートも中止する
-            raise Interrupt if convert_status == Narou::EXIT_INTERRUPT
-          else
-            # 変換に成功した
-            data.delete("_convert_failure")
+            if data["_convert_failure"]
+              puts "<yellow>前回変換できなかったので再変換します</yellow>".termcolor
+            end
+            convert_argv = [target]
+            convert_argv << "--no-open" if @options["no-open"]
+            convert_status = Convert.execute!(convert_argv)
+            if convert_status > 0
+              # 変換が失敗したか、中断された
+              data["_convert_failure"] = true
+              # 中断された場合には残りのアップデートも中止する
+              raise Interrupt if convert_status == Narou::EXIT_INTERRUPT
+            else
+              # 変換に成功した
+              data.delete("_convert_failure")
+            end
           end
-        end
 
-        process_hotentry(hotentry)
+          process_hotentry(hotentry)
+        end
+      ensure
+        save_log(update_log)
+        Database.instance.save_database
       end
 
       exit mistook_count if mistook_count > 0
     rescue Interrupt
       puts "アップデートを中断しました"
       exit Narou::EXIT_INTERRUPT
-    ensure
-      save_log(update_log)
-      Database.instance.save_database
     end
 
     def get_log_paths
@@ -284,60 +292,18 @@ module Command
       end
     end
 
-    def update_general_lastup(through_frozen_novel: true)
-      completed = false
-      database = Database.instance
-      puts "最新話掲載日を更新しています..."
-      progressbar = ProgressBar.new(database.get_object.size - 1)
-      interval = Interval.new(@options["interval"])
-      database.each.with_index do |(id, data), i|
-        progressbar.output(i)
-        if through_frozen_novel
-          next if Narou.novel_frozen?(id)
-        end
-        setting =  Downloader.get_sitesetting_by_target(id)
-        interval.wait
-        begin
-          info = NovelInfo.load(setting)
-        rescue OpenURI::HTTPError, Errno::ECONNRESET => e
-          setting.clear
-          next
-        end
-        if info
-          dates = {
-            "general_firstup" => info["general_firstup"],
-            "novelupdated_at" => info["novelupdated_at"],
-            "general_lastup" => info["general_lastup"]
-          }
-        else
-          # 小説情報ページがない場合は目次から取得する
-          begin
-            dates = get_latest_dates(id)
-          rescue OpenURI::HTTPError, Errno::ECONNRESET => e
-            setting.clear
-            next
-          end
-        end
-        database[id].merge!(dates)
-        setting.clear
+    def update_general_lastup(option = nil)
+      puts "最新話掲載日を確認しています..."
+
+      updater = GeneralLastupUpdater.new(@options)
+      updater.update_narou_novels if !option || option == "narou"
+      if !option || option == "other"
+        sleep Narou::API::REQUEST_INTERVAL unless option
+        updater.update_other_novels
       end
-      database.save_database
-      completed = true
-    ensure
-      progressbar.clear if progressbar
-      puts "更新が完了しました" if completed
-    end
+      updater.save
 
-    # オンラインの目次からgeneral_lastupを取得する
-    # ただし、toc.yaml に最新話が存在し、かつsubdateが設定されていたらそれを使う
-    def get_latest_dates(target)
-      downloader = Downloader.new(target)
-      old_toc = downloader.load_toc_file
-      latest_toc = downloader.get_latest_table_of_contents(old_toc, through_error: true)
-      {
-        "novelupdated_at" => downloader.get_novelupdated_at,
-        "general_lastup" => downloader.get_general_lastup
-      }
+      puts "確認が完了しました"
     end
 
     #