narou 2.8.3.1 → 2.9.0

data/lib/command/version.rb

@@ -14,9 +14,8 @@ module Command
     end
 
     def self.create_version_string
-      cv_path = File.expand_path("commitversion", Narou.get_script_dir)
-      commitversion = File.exist?(cv_path) ? File.read(cv_path) : `git describe --always`.strip + "(develop)"
-      "#{::Version} build #{commitversion}"
+      postfix = (Narou.commit_version ? "" : " (develop)")
+      "#{::Version}#{postfix}"
     end
   end
 end

data/lib/command/web.rb

@@ -69,7 +69,35 @@ module Command
     end
 
     def execute(argv)
-      super
+      if argv.delete("--boot")
+        @rebooted = !!argv.delete("--reboot")
+        super
+        boot
+      else
+        argv << "--backtrace" if $display_backtrace
+        argv << "--no-color" if $disable_color
+        argv << "--boot"
+        argv_copy = argv.dup
+        begin
+          loop do
+            if $development
+              system(RbConfig.ruby, "-x", $0, "web", *argv)
+            else
+              system("narou", "web", *argv)
+            end
+            break unless $?.exitstatus == Narou::EXIT_REQUEST_REBOOT
+            argv = argv_copy.dup
+            argv.push("--no-browser", "--reboot")
+          end
+        rescue Interrupt => e
+          # 中断されてコンソールへの入力が可能になってから、WEBrick が終了するまで
+          # タイムラグがあって表示がごちゃまぜになるので、終わるのを少し待つ
+          sleep 3
+        end
+      end
+    end
+
+    def boot
       require_relative "../web/all"
       confirm_of_first
       params = Narou::AppServer.create_address(@options["port"])
@@ -83,18 +111,18 @@ module Command
       puts
 
       push_server.run
-      unless @options["no-browser"]
-        Thread.new do
-          sleep 0.2 until Narou::AppServer.running?
-          Helper.open_browser(address)
-        end
-      end
+      open_browser_when_server_boot(address)
+      send_rebooted_event_when_connection_recover(push_server)
+
       $stdout = Narou::StreamingLogger.new(push_server)
       ProgressBar.push_server = push_server
       Narou::AppServer.push_server = push_server
       Narou::Worker.instance.start
       Narou::AppServer.run!
       push_server.quit
+      if Narou::AppServer.request_reboot?
+        exit Narou::EXIT_REQUEST_REBOOT
+      end
     rescue Errno::EADDRINUSE => e
       Helper.open_browser(address) unless @options["no-browser"]
       STDOUT.puts <<-EOS
@@ -107,6 +135,29 @@ module Command
       EOS
       exit Narou::EXIT_ERROR_CODE
     end
+
+    def open_browser_when_server_boot(address)
+      return if @options["no-browser"]
+      Thread.new do
+        sleep 0.2 until Narou::AppServer.running?
+        Helper.open_browser(address)
+      end
+    end
+
+    def send_rebooted_event_when_connection_recover(push_server)
+      return unless @rebooted
+      Thread.new do |th|
+        timeout = Time.now + 20
+        # WebSocketのコネクションが回復するまで待つ
+        until push_server.connections.count != 0
+          sleep 0.2
+          th.kill if Time.now > timeout
+        end
+        puts "<yellow>再起動が完了しました。</yellow>".termcolor
+        push_server.send_all(:"server.rebooted")
+      end
+    end
+
   end
 end
 

data/lib/converterbase.rb

@@ -17,8 +17,7 @@ class ConverterBase
   ENGLISH_SENTENCES_CHARACTERS = /[\w.,!?'" &:;_-]+/
   ENGLISH_SENTENCES_MIN_LENGTH = 8   # この文字数以上アルファベットが続くと半角のまま
 
-  attr_reader :use_dakuten_font
-  attr_accessor :output_text_dir, :subtitles
+  attr_accessor :output_text_dir, :subtitles, :data_type
   attr_accessor :current_index   # 現在処理してる subtitles 内でのインデックス
 
   def before(io, text_type)
@@ -39,9 +38,9 @@ class ConverterBase
     @setting = setting
     @inspector = inspector
     @illustration = illustration
-    @use_dakuten_font = false
     @output_text_dir = nil
     @subtitles = nil
+    @data_type = "text"
     @current_index = 0
     reset_member_values
   end
@@ -452,23 +451,6 @@ class ConverterBase
     data.gsub!("※※", "※［＃米印、1-2-8］")
   end
 
-  #
-  # 濁点のついてない文字に濁点をつける表現を対応
-  #
-  # 濁点つきフォントに部分的に切り替える
-  #
-  def convert_dakuten_char_to_font(data)
-    data.gsub!(/(.)[゛ﾞ]/) do
-      m1 = $1
-      if m1 =~ /[ぁ-んァ-ヶι]/ && @setting.enable_dakuten_font
-        @use_dakuten_font = true
-        "［＃濁点］#{m1}［＃濁点終わり］"
-      else
-        tcy(m1 + "゛")
-      end
-    end
-  end
-
   #
   # 小説のルールに沿うように変換
   #
@@ -869,9 +851,11 @@ class ConverterBase
       data.gsub!(/(.+?)≪([^≪]+?)≫/) do |match|
         to_ruby(match, $1, $2, ["≪", "≫"])
       end
-      # （）なルビの対処
-      data.gsub!(/(.+?)（#{AUTO_RUBY_CHARACTERS}）/) do |match|
-        to_ruby(match, $1, $2, ["（", "）"])
+      if @data_type == "text"
+        # （）なルビの対処
+        data.gsub!(/(.+?)（#{AUTO_RUBY_CHARACTERS}）/) do |match|
+          to_ruby(match, $1, $2, ["（", "）"])
+        end
       end
     end
     data.replace(replace_tatesen(data))
@@ -1147,7 +1131,6 @@ class ConverterBase
     convert_special_characters(data)
     convert_fraction_and_date(data)
     modify_kana_ni_to_kanji_ni(data)
-    convert_dakuten_char_to_font(data)
   end
 
   def before_convert(io)

data/lib/database.rb

@@ -106,11 +106,12 @@ class Database
     id
   end
 
-  #
-  # last_update で更新順にソート
-  #
-  def sort_by_last_update
-    values = @database.values.sort_by { |v| v["last_update"] }.reverse
-    values
+  def sort_by(key, reverse: true)
+    values = @database.values.sort_by { |v| v[key] }
+    if reverse
+      values.reverse
+    else
+      values
+    end
   end
 end

data/lib/device.rb

@@ -85,7 +85,21 @@ class Device
   end
 
   def connecting?
-    !!get_documents_path
+    physical_support? && !!get_documents_path
+  end
+
+  def eject
+    if ejectable?
+      Device.eject(@device_module::VOLUME_NAME)
+    end
+  end
+
+  def self.support_eject?
+    respond_to?(:eject)
+  end
+
+  def ejectable?
+    Device.support_eject? && connecting?
   end
 
   def find_documents_directory(device_root_dir)

data/lib/device/ibunko.rb

@@ -12,8 +12,7 @@ module Device::Ibunko
   DISPLAY_NAME = "i文庫"
 
   RELATED_VARIABLES = {
-    "default.enable_half_indent_bracket" => false,
-    "default.enable_dakuten_font" => false
+    "default.enable_half_indent_bracket" => false
   }
 
   #

data/lib/device/library/mac.rb

@@ -14,5 +14,12 @@ module Device::Library
       end
       nil
     end
+
+    def eject(volume_name)
+      status, stdio, stderr = systemu("diskutil eject #{volume_name}")
+      unless status.success?
+        raise DontConneting, stderr.strip
+      end
+    end
   end
 end

data/lib/downloader.rb

@@ -695,6 +695,8 @@ class Downloader
     end
   end
 
+  class DownloaderForceRedirect < StandardError; end
+
   #
   # HTMLの中から小説が削除されたか非公開なことを示すメッセージを検出する
   #
@@ -707,22 +709,38 @@ class Downloader
   def get_toc_source
     toc_url = @setting["toc_url"]
     return nil unless toc_url
+    max_retry = 5
     toc_source = ""
     cookie = @setting["cookie"] || ""
     open_uri_options = make_open_uri_options("Cookie" => cookie, allow_redirections: :safe)
-    open(toc_url, open_uri_options) do |toc_fp|
-      if toc_fp.base_uri.to_s != toc_url
-        # リダイレクトされた場合。
-        # ノクターン・ムーンライトのNコードを ncode.syosetu.com に渡すと、novel18.syosetu.com に飛ばされる
-        # 目次の定義が微妙に ncode.syosetu.com と違うので、設定を取得し直す
-        s = Downloader.get_sitesetting_by_target(toc_fp.base_uri.to_s)
-        raise DownloaderNotFoundError unless s   # 非公開や削除等でトップページへリダイレクトされる場合がある
-        @setting.clear   # 今まで使っていたのは一旦クリア
-        @setting = s
-        toc_url = @setting["toc_url"]
+    begin
+      open(toc_url, open_uri_options) do |toc_fp|
+        if toc_fp.base_uri.to_s != toc_url
+          # リダイレクトされた場合。
+          # ノクターン・ムーンライトのNコードを ncode.syosetu.com に渡すと、年齢認証のクッションページに飛ばされる
+          # 転送先を取得し再度ページを取得し直す
+          uri = URI.parse(toc_fp.base_uri.to_s)
+          if uri.host == "nl.syosetu.com"
+            decode = Hash[URI.decode_www_form(uri.query)]
+            toc_url = decode["url"]   # 年齢認証確認ページからの転送先
+            raise DownloaderForceRedirect
+          end
+          s = Downloader.get_sitesetting_by_target(toc_fp.base_uri.to_s)
+          raise DownloaderNotFoundError unless s   # 非公開や削除等でトップページへリダイレクトされる場合がある
+          @setting.clear   # 今まで使っていたのは一旦クリア
+          @setting = s
+          toc_url = @setting["toc_url"]
+        end
+        toc_source = Helper.restor_entity(Helper.pretreatment_source(toc_fp.read, @setting["encoding"]))
+        raise DownloaderNotFoundError if Downloader.detect_error_message(@setting, toc_source)
+      end
+    rescue DownloaderForceRedirect
+      max_retry -= 1
+      if max_retry >= 0
+        retry
+      else
+        raise
       end
-      toc_source = Helper.restor_entity(Helper.pretreatment_source(toc_fp.read, @setting["encoding"]))
-      raise DownloaderNotFoundError if Downloader.detect_error_message(@setting, toc_source)
     end
     toc_source
   end
@@ -739,7 +757,7 @@ class Downloader
       # なろうAPIの出力がおかしいので直るまで使用中止
       info = Narou::API.new(@setting, "t-s-gf-gl-nu-w")
     else
-      info = NovelInfo.load(@setting)
+      info = NovelInfo.load(@setting, toc_source)
     end
     if info
       raise DownloaderNotFoundError unless info["title"]
@@ -782,7 +800,7 @@ class Downloader
         $stdout.silence do
           Command::Tag.execute!(%W(#{@id} --add 404 --color white --no-overwrite-color))
         end
-        Command::Freeze.execute!([@id])
+        Command::Freeze.execute!([@id, "--on"])
       end
     else
       @stream.error "何らかの理由により目次が取得できませんでした(#{e.message})"
@@ -920,7 +938,8 @@ class Downloader
       subtitles << {
         "index" => @setting["index"],
         "href" => @setting["href"],
-        "chapter" => @setting["chapter"],
+        "chapter" => @setting["chapter"].to_s,
+        "subchapter" => @setting["subchapter"].to_s,
         "subtitle" => @setting["subtitle"].gsub("\n", ""),
         "file_subtitle" => title_to_filename(@setting["subtitle"]),
         "subdate" => subdate,
@@ -957,15 +976,16 @@ class Downloader
     @stream.puts "<bold><green>#{"ID:#{@id}　#{get_title}".escape} のDL開始</green></bold>".termcolor
     save_least_one = false
     subtitles.each_with_index do |subtitle_info, i|
-      index, subtitle, file_subtitle, chapter = %w(index subtitle file_subtitle chapter).map { |k|
-        subtitle_info[k]
-      }
+      index, subtitle, file_subtitle, chapter, subchapter =
+        %w(index subtitle file_subtitle chapter subchapter).map { |k|
+          subtitle_info[k]
+        }
       info = subtitle_info.dup
       info["element"] = a_section_download(subtitle_info)
 
-      unless chapter.empty?
-        @stream.puts "#{chapter}"
-      end
+      @stream.puts "#{chapter}" unless chapter.to_s.empty?
+      @stream.puts "#{subchapter}" unless subchapter.to_s.empty?
+
       if get_novel_type == NOVEL_TYPE_SERIES
         if index.to_s.length <= DISPLAY_LIMIT_DIGITS
           # indexの数字がでかいと見た目がみっともないので特定の桁以内だけ表示する
@@ -1112,6 +1132,9 @@ class Downloader
         end
         sleep(WAITING_TIME_FOR_503)
         retry
+      elsif e.message =~ /^404/
+        @stream.error "#{url} がダウンロード出来ませんでした。時間をおいて再度試してみてください"
+        exit Narou::EXIT_ERROR_CODE
       else
         raise
       end

data/lib/extension.rb

@@ -0,0 +1,25 @@
+
+require "open-uri"
+
+# open-uri で http → https へのリダイレクトを有効にする
+require "open_uri_redirections"
+
+# open-uri に渡すオプションを生成（必要に応じて extensions/*.rb でオーバーライドする）
+def make_open_uri_options(add)
+  add
+end
+
+#
+# 安全なファイルの書き込み
+#
+# ファイルに直接上書きしないで、一旦別名で作成してからファイル名変更をすることで、
+# ファイル書き込み中のPCクラッシュ等でデータが飛ばない様にする
+#
+require "securerandom"
+
+def File.write(path, string, *options)
+  dirname = File.dirname(path)
+  temp_path = File.join(dirname, SecureRandom.hex(15))
+  super(temp_path, string, *options)
+  File.rename(temp_path, path)
+end

data/lib/helper.rb

@@ -108,11 +108,12 @@ module Helper
   end
 
   #
-  # ダウンロードしてきたデータを使いやすいように処理
+  # ダウンロードした文字列をエンコード及び不正な文字列除去、改行コード統一
   #
   def pretreatment_source(src, encoding = Encoding::UTF_8)
-    src.force_encoding(encoding).gsub("\r", "")
-       .encode("UTF-16BE", encoding, :invalid => :replace, :undef => :replace, :replace => "?").encode("UTF-8")
+    src.force_encoding(encoding)
+       .scrub("?")
+       .gsub("\r", "")
   end
 
   ENTITIES = { quot: '"', amp: "&", nbsp: " ", lt: "<", gt: ">", copy: "(c)", "#39" => "'" }

data/lib/html.rb

@@ -7,15 +7,20 @@ require "uri"
 require_relative "helper"
 
 class HTML
-  attr_accessor :string, :strip_decoration_tag
+  attr_reader :string
+  attr_accessor :strip_decoration_tag
 
   def initialize(string = "")
-    @string = string
+    self.string = string
     @illust_current_url = nil
     @illust_grep_pattern = /<img.+?src=\"(?<src>.+?)\".*?>/i
     @strip_decoration_tag = false
   end
 
+  def string=(str)
+    @string = str.to_s
+  end
+
   #
   # 挿絵を置換するための設定を変更する
   #
@@ -34,6 +39,7 @@ class HTML
   #
   def to_aozora
     @string = br_to_aozora
+    @string = p_to_aozora
     @string = ruby_to_aozora
     unless @strip_decoration_tag
       @string = b_to_aozora
@@ -41,6 +47,7 @@ class HTML
       @string = s_to_aozora
     end
     @string = img_to_aozora
+    @string = em_to_sesame
     @string = delete_tag
     @string = Helper.restor_entity(@string)
     @string
@@ -54,6 +61,11 @@ class HTML
     text.gsub(/[\r\n]+/, "").gsub(/<br.*?>/i, "\n")
   end
 
+  # p タグで段落を作ってる場合（brタグが無い場合）に改行されるように
+  def p_to_aozora(text = @string)
+    text.gsub(/\n?<\/p>/i, "\n")
+  end
+
   def ruby_to_aozora(text = @string)
     text.tr("《》", "≪≫")
         .gsub(/<ruby>(.+?)<\/ruby>/i) do
@@ -87,4 +99,8 @@ class HTML
       text
     end
   end
+
+  def em_to_sesame(text = @string)
+    text.gsub(%r!<em class="emphasisDots">(.+?)</em>!, "［＃傍点］\\1［＃傍点終わり］")
+  end
 end