narou 1.1.0.rc1 → 1.1.0.rc2

data/lib/converterbase.rb

@@ -41,6 +41,7 @@ class ConverterBase
     @english_sentences = []
     @url_list = []
     @illust_chuki_list = []
+    @in_author_comment_block = nil
   end
 
   def outputs(data = "", force = false)
@@ -59,7 +60,21 @@ class ConverterBase
   # すべての行の行末空白を削除
   #
   def rstrip_all_lines(data)
-    data.gsub(/^[ 　\t]+$/m, "")
+    data.gsub(/[ 　\t]+$/m, "")
+  end
+
+  #
+  # 数字の変換
+  #
+  def convert_numbers(data)
+    # 小数点を・に
+    data.gsub!(/([\d０-９#{KANJI_NUM}]+?)[\.．]([\d０-９#{KANJI_NUM}]+?)/, "\\1・\\2")
+    if @setting.enable_convert_num_to_kanji
+      num_to_kanji(data)
+    else
+      hankaku_num_to_zenkaku_num(data)
+    end
+    data
   end
 
   #
@@ -68,8 +83,6 @@ class ConverterBase
   # カンマ区切りの数字はアラビア数字のままにしておく
   #
   def num_to_kanji(data)
-    data.gsub!(/([\d０-９#{KANJI_NUM}]+?)[\.．]([\d０-９#{KANJI_NUM}]+?)/, "\\1・\\2")
-    return unless @setting.enable_convert_num_to_kanji
     data.gsub!(/[\d０-９,，]+/) do |match|
       if match =~ /[,，]/
         match
@@ -77,6 +90,7 @@ class ConverterBase
         zenkaku_num_to_kanji(match.tr("0-9", KANJI_NUM))
       end
     end
+    data
   end
 
   #
@@ -86,16 +100,26 @@ class ConverterBase
     str.tr("０-９", KANJI_NUM)
   end
 
-  KANJI_NUM_UNITS = %w(万 億 兆 京 垓).unshift("")
+  KANJI_NUM_UNITS = %w(万 億 兆 京).unshift("")
   KANJI_KURAI = %w(十 百 千).unshift("")
+  KANJI_NUM_UNITS_DIGIT = {
+    "十" => 1, "百" => 2, "千" => 3, "万" => 4, "億" => 8, "兆" => 12, "京" => 16
+  }
   #
   # 漢数字を単位を使った表現に変換
   #
+  # ８００万１０００ といったような表現は、内部一度で 8001000 に変換する。
+  # lower_digit_zero はこの最後の 000 に適用される
+  #
   def convert_kanji_num_with_unit(data, lower_digit_zero = 0)
-    data.gsub!(/([#{KANJI_NUM}]+)([十百千万億兆京垓]?)/) do |match|
-      next match unless $2.empty?
-      m1 = $1
-      if m1 =~ /^[一二三四五六七八九]+〇{#{lower_digit_zero},}$/
+    #data.gsub!(/([#{KANJI_NUM}]+)([十百千万億兆京]?)/) do |match|
+    data.gsub!(/([#{KANJI_NUM}十百千万億兆京]+)/) do |match|
+      total = 0
+      $1.scan(/([#{KANJI_NUM}]+)([十百千万億兆京]*)/) do |num, units|
+        total += (num.tr(KANJI_NUM, "0-9") + units.each_char.map { |c| "0" * KANJI_NUM_UNITS_DIGIT[c] }.join).to_i
+      end
+      m1 = total.to_s.tr("0-9", KANJI_NUM)
+      if m1 =~ /〇{#{lower_digit_zero},}$/
         digits = m1.reverse.scan(/.{1,4}/).map(&:reverse).reverse   # 下の桁から4桁ずつ区切った配列を作成
         keta = digits.count - 1
         digits.map.with_index { |nums, keta_i|
@@ -162,9 +186,7 @@ class ConverterBase
           rescue ArgumentError
             match
           else
-            buf = date.strftime(@setting.date_format)
-            num_to_kanji(buf)
-            buf
+            convert_numbers(date.strftime(@setting.date_format))
           end
         end
       else
@@ -174,7 +196,7 @@ class ConverterBase
   end
 
   #
-  # 特定の記号の直後は全角スペースを挿入する
+  # 特定の記号の直後は全角アキを挿入する
   #
   def insert_separate_space(data)
     data.gsub!(/([!?！？]+)([^!?！？])/) do
@@ -332,16 +354,14 @@ class ConverterBase
   #
   def rebuild_english_sentences(data)
     @english_sentences.each_with_index do |sentence, id|
-      buf = id.to_s
-      num_to_kanji(buf)
-      data.sub!("［＃英文＝#{buf}］", sentence)
+      data.sub!("［＃英文＝#{convert_numbers(id.to_s)}］", sentence)
     end
   end
 
   #
   # コメントブロックを検出する
   #
-  # コメントブロックの定義は - のみがが50回以上連続された行に囲まれている間
+  # コメントブロックの定義は - のみが50回以上連続された行に囲まれている間
   #
   def comments_block?(line)
     if line =~ /^-{50,}$/
@@ -364,17 +384,27 @@ class ConverterBase
   def zenkaku_num_to_hankaku_num(num)
     num.tr("０-９#{KANJI_NUM}", "0-90-9")
   end
+
+  #
+  # ３桁以上の半角数字を全角アラビア数字に
+  #
+  def hankaku_num_to_zenkaku_num(data)
+    data.gsub!(/\d{3,}/) do |num|
+      num.tr("0-9", "０-９")
+    end
+    data
+  end
   
   HALF_INDENT_TARGET = /^[ 　\t]*([「『(（【〈《≪])/
   FULL_INDENT_TARGET = /^[ 　\t]*(――)/
   #
-  # 半字下げ
+  # 行頭鍵カッコ(等)に二分アキを追加する
   #
-  # 「や（などの前にカスタム注記（［＃半字下げ］）を追加し、半文字分字下げする
+  # 「や（などの前にカスタム注記（［＃二分アキ］）を追加し、半文字分字下げする(二分アキ)。
   # kindle paperwhite で鍵括弧のインデントがおかしいことへの対応
   #
-  def hanji_sage(data)
-    data.gsub!(HALF_INDENT_TARGET, "［＃半字下げ］\\1") if @setting.enable_hanji_sage
+  def half_indent_bracket(data)
+    data.gsub!(HALF_INDENT_TARGET, "［＃二分アキ］\\1") if @setting.enable_half_indent_bracket
   end
 
   #
@@ -444,7 +474,7 @@ class ConverterBase
   #
   # 改ページある？
   #
-  def kai_page?(line)
+  def page_break?(line)
     line =~ /［＃改ページ］/
   end
 
@@ -452,8 +482,8 @@ class ConverterBase
   # 前書き・後書きの検出及び処理 ==============================
   #
 
-  AUTHOR_INTRODUCTION_SPLITTER = /^[\*＊]{44}$/
-  AUTHOR_POSTSCRIPT_SPLITTER = /^[\*＊]{48}$/
+  AUTHOR_INTRODUCTION_SPLITTER = /^　*[\*＊]{44}$/
+  AUTHOR_POSTSCRIPT_SPLITTER = /^　*[\*＊]{48}$/
   AUTHOR_COMMENT_CHUKI = {
     introduction: {
       open: "［＃ここから前書き］", close: "［＃ここで前書き終わり］"
@@ -465,17 +495,7 @@ class ConverterBase
 
   def process_author_comment(line)
     if @setting.enable_author_comments
-      unless @in_author_comment_block
-        if inclusion_author_comment_block?(line)
-          # outputs を使うと改ページより前に注記が入ってしまうため、
-          # delay_outputs を使って出力を line 出力の後に遅らせる
-          delay_outputs(AUTHOR_COMMENT_CHUKI[@in_author_comment_block][:open]) 
-          if @in_author_comment_block == :postscript
-            @request_skip_output_line = true
-            line.clear
-          end
-        end
-      else
+      if @in_author_comment_block
         if leave_author_comment_block?(line)
           outputs(AUTHOR_COMMENT_CHUKI[@in_author_comment_block][:close])
           if @in_author_comment_block == :introduction
@@ -489,6 +509,16 @@ class ConverterBase
             process_author_comment(line)
           end
         end
+      else
+        if inclusion_author_comment_block?(line)
+          # outputs を使うと改ページより前に注記が入ってしまうため、
+          # delay_outputs を使って出力を line 出力の後に遅らせる
+          delay_outputs(AUTHOR_COMMENT_CHUKI[@in_author_comment_block][:open]) 
+          if @in_author_comment_block == :postscript
+            @request_skip_output_line = true
+            line.clear
+          end
+        end
       end
     end
   end
@@ -498,7 +528,7 @@ class ConverterBase
     pos = @read_fp.pos
     result = false
     @read_fp.each do |line|
-      break if kai_page?(line)
+      break if page_break?(line)
       if line =~ AUTHOR_INTRODUCTION_SPLITTER
         result = true
         break
@@ -510,7 +540,7 @@ class ConverterBase
 
   def inclusion_author_comment_block?(line)
     result = false
-    if kai_page?(line)
+    if page_break?(line)
       if find_introduction?
         @in_author_comment_block = :introduction
         result = true
@@ -530,7 +560,7 @@ class ConverterBase
         result = true
       end
     when :postscript
-      if kai_page?(line)
+      if page_break?(line)
         result = true
       end
     end
@@ -686,7 +716,7 @@ class ConverterBase
   # 全角版 String#rstrip!
   #
   def zenkaku_rstrip(line)
-    line.gsub!(/[　\s]*$/, "")
+    line.gsub!(/[　\s]+\z/, "")
   end
 
   #
@@ -701,10 +731,8 @@ class ConverterBase
 
   def rebuild_url(data)
     @url_list.each_with_index do |url, id|
-      buf = id.to_s
-      num_to_kanji(buf)
-      data.sub!("［＃ＵＲＬ＝#{buf}］", "［＃リンク開始］#{url}［＃リンクアドレスここまで］#{url}［＃リンク終了］")
-      
+      data.sub!("［＃ＵＲＬ＝#{convert_numbers(id.to_s)}］",
+                "［＃リンク開始］#{url}［＃リンクアドレスここまで］#{url}［＃リンク終了］")
     end
   end
 
@@ -727,9 +755,7 @@ class ConverterBase
 
   def rebuild_illust(data)
     @illust_chuki_list.each_with_index do |chuki, id|
-      buf = id.to_s
-      num_to_kanji(buf)
-      data.sub!("［＃挿絵＝#{buf}］", chuki)
+      data.sub!("［＃挿絵＝#{convert_numbers(id.to_s)}］", chuki)
     end
   end
 
@@ -738,7 +764,7 @@ class ConverterBase
   #
   def enchant_midashi(data)
     def midashi(str)
-      midashi_title = str.gsub("［＃半字下げ］", "")
+      midashi_title = str.gsub("［＃半字下げ］", "").gsub(/^[　\s]+/, "").gsub(/[　\s]+$/, "")
       @inspector.subtitle = midashi_title
       "［＃３字下げ］［＃ここから中見出し］#{midashi_title}［＃ここで中見出し終わり］"
     end
@@ -801,7 +827,7 @@ class ConverterBase
     replace_narou_tag(data)
     convert_rome_numeric(data)
     alphabet_to_zenkaku(data, @setting.enable_alphabet_force_zenkaku)
-    num_to_kanji(data)
+    convert_numbers(data)
     exception_reconvert_kanji_to_num(data)
     if @setting.enable_kanji_num_with_units
       convert_kanji_num_with_unit(data, @setting.kanji_num_with_units_lower_digit_zero)
@@ -810,7 +836,7 @@ class ConverterBase
     convert_special_characters(data)
     convert_fraction_and_date(data)
     if text_type == "body" || text_type == "textfile"
-      hanji_sage(data)
+      half_indent_bracket(data)
       auto_indent(data)
     end
     convert_dakuten_char_to_font(data)
@@ -861,23 +887,21 @@ class ConverterBase
       progressbar.output(i) if text_type == "textfile"
       @request_skip_output_line = false
       zenkaku_rstrip(line)
-      if !comments_block?(line)
-        if @request_insert_blank_next_line
-          outputs unless blank_line?(line)
-          @request_insert_blank_next_line = false
-        end
-        process_author_comment(line) if text_type == "textfile"
-        insert_blank_line_to_border_symbol(line)
-        force_indent_special_chapter(line)
-
-        outputs(line)
-        unless @delay_outputs_buffer.empty?
-          @write_fp.write(@delay_outputs_buffer)
-          @before_line = @delay_outputs_buffer
-          @delay_outputs_buffer = ""
-        else
-          @before_line = line
-        end
+      if @request_insert_blank_next_line
+        outputs unless blank_line?(line)
+        @request_insert_blank_next_line = false
+      end
+      process_author_comment(line) if text_type == "textfile"
+      insert_blank_line_to_border_symbol(line)
+      force_indent_special_chapter(line)
+
+      outputs(line)
+      unless @delay_outputs_buffer.empty?
+        @write_fp.write(@delay_outputs_buffer)
+        @before_line = @delay_outputs_buffer
+        @delay_outputs_buffer = ""
+      else
+        @before_line = line
       end
     end
     author_comment_force_close if text_type == "textfile"

data/lib/downloader.rb

@@ -56,8 +56,8 @@ class Downloader
         return false
       end
     end
-    downloader = Downloader.new(setting)
-    result = downloader.start_download(force)
+    downloader = Downloader.new(setting, force)
+    result = downloader.start_download
     setting.clear
     result
   end
@@ -267,29 +267,53 @@ class Downloader
   #
   # コンストラクタ
   #
-  def initialize(site_setting)
+  def initialize(site_setting, force = false)
     @setting = site_setting
+    @force = force
+    @cache_dir = nil
     @id = @@database.get_id("toc_url", @setting["toc_url"]) || @@database.get_new_id
   end
 
+  #
+  # 18歳以上か確認する
+  #
+  def confirm_over18?
+    global_setting = GlobalSetting.get["global_setting"]
+    if global_setting.include?("over18")
+      return global_setting["over18"]
+    end
+    if Helper.confirm("年齢認証：あなたは18歳以上ですか")
+      global_setting["over18"] = true
+      GlobalSetting.get.save_settings
+      return true
+    else
+      return false
+    end
+  end
+
   #
   # ダウンロード処理本体
   #
-  # force が true なら全話強制ダウンロード
   # 返り値：ダウンロードしたものが１話でもあったかどうか(Boolean)
   #
-  def start_download(force = false)
+  def start_download
     latest_toc = get_latest_table_of_contents
     unless latest_toc
       warn "目次データが取得出来ませんでした"
       exit 1
     end
+    if @setting["confirm_over18"]
+      unless confirm_over18?
+        puts "18歳以上のみ閲覧出来る小説です。ダウンロードを中止しました"
+        return false
+      end
+    end
     old_toc = load_novel_data(TOC_FILE_NAME)
     unless old_toc
       init_novel_dir
       old_toc = {}
     end
-    if force
+    if @force
       update_subtitles = latest_toc["subtitles"]
     else
       update_subtitles = update_check(old_toc["subtitles"], latest_toc["subtitles"])
@@ -299,7 +323,7 @@ class Downloader
       begin
         sections_download_and_save(update_subtitles)
       rescue Interrupt
-        FileUtils.remove_entry_secure(@cache_dir) if @cache_dir
+        remove_cache_dir
         puts "ダウンロードを中断しました"
         exit 1
       end
@@ -322,6 +346,13 @@ class Downloader
     cache_dir
   end
 
+  #
+  # 差分用キャッシュ保存ディレクトリを削除
+  #
+  def remove_cache_dir
+    FileUtils.remove_entry_secure(@cache_dir) if @cache_dir
+  end
+
   #
   # データベース更新
   #
@@ -433,6 +464,7 @@ class Downloader
     puts "ID:#{@id}　#{@title} のDL開始"
     interval_sleep_time = LocalSetting.get["local_setting"]["download.interval"] || 0
     interval_sleep_time = 0 if interval_sleep_time < 0
+    save_least_one = false
     subtitles.each_with_index do |subtitle_info, i|
       if @setting["domain"] =~ /syosetu.com/ && (i % 10 == 0 && i >= 10)
         # MEMO:
@@ -444,14 +476,32 @@ class Downloader
         sleep(interval_sleep_time) if i > 0
       end
       index, subtitle, file_subtitle  = %w(index subtitle file_subtitle).map {|k| subtitle_info[k] }
-      puts "第#{index}部分　#{subtitle} (#{i+1}/#{max})"
+      print "第#{index}部分　#{subtitle} (#{i+1}/#{max})"
       section_element = a_section_download(subtitle_info)
       info = subtitle_info.dup
       info["element"] = section_element
       section_file_name = "#{index} #{file_subtitle}.yaml"
       section_file_path = File.join(SECTION_SAVE_DIR_NAME, section_file_name)
-      move_to_cache_dir(section_file_path)
-      save_novel_data(section_file_path, info)
+      if different_section?(section_file_path, info)
+        print " (更新あり)" if @force
+        move_to_cache_dir(section_file_path)
+        save_novel_data(section_file_path, info)
+        save_least_one = true
+      end
+      puts
+    end
+    remove_cache_dir unless save_least_one
+  end
+
+  #
+  # すでに保存されている内容とDLした内容が違うかどうか
+  #
+  def different_section?(relative_path, subtitle_info)
+    path = File.join(get_novel_data_dir, relative_path)
+    if File.exists?(path)
+      return YAML.load_file(path) != subtitle_info
+    else
+      return true
     end
   end