narou 1.5.11 → 1.6.0

data/lib/narou/api.rb

@@ -34,12 +34,17 @@ module Narou
       gzip_opt = RUBY_VERSION >= "2.0.0" ? "gzip=#{gzip}&" : ""
       url = "#{@api_url}?#{gzip_opt}ncode=#{@ncode}&of=#{of}"
       open(url) do |fp|
-        result = YAML.load(fp.read)
+        result = YAML.load(fp.read.force_encoding(Encoding::UTF_8))
         if result[0]["allcount"] == 1
           @api_result = result[1]
           if of.length > 0
             @api_result["novel_type"] = @api_result["noveltype"]
-            @api_result["writer"] = @api_result["writer"].to_s   # なろうAPIが返すデータが数値の場合があるため強制変換
+            # なろうAPIが返すデータが数値の場合があるため強制変換
+            @api_result["writer"] = @api_result["writer"].to_s
+            stat_end = @api_result["end"]
+            if stat_end
+              @api_result["end"] = stat_end == 0
+            end
           end
         else
           # なろうAPIからデータを取得出来なかった

data/lib/novelconverter.rb

@@ -13,7 +13,7 @@ require_relative "downloader"
 require_relative "template"
 require_relative "progressbar"
 require_relative "helper"
-require_relative "localsetting"
+require_relative "inventory"
 require_relative "html"
 
 class NovelConverter
@@ -29,10 +29,14 @@ class NovelConverter
   #
   # 指定の小説を整形・変換する
   #
-  def self.convert(target, output_filename = nil, display_inspector = false)
-    setting = NovelSetting.load(target)
+  def self.convert(target, options = {})
+    options = {
+      # default paraeters
+      output_filename: nil, display_inspector: false, ignore_force: false,
+    }.merge(options)
+    setting = NovelSetting.load(target, options[:ignore_force])
     if setting
-      novel_converter = new(setting, output_filename, display_inspector)
+      novel_converter = new(setting, options[:output_filename], options[:display_inspector])
       return {
         converted_txt_path: novel_converter.convert_main,
         use_dakuten_font: novel_converter.use_dakuten_font
@@ -44,19 +48,24 @@ class NovelConverter
   #
   # テキストファイルを整形・変換する
   #
-  def self.convert_file(filename, encoding = nil, output_filename = nil, display_inspector = false)
+  def self.convert_file(filename, options = {})
+    options = {
+      # default parameters
+      encoding: nil, output_filename: nil, display_inspector: false, ignore_force: false,
+    }.merge(options)
+    output_filename = options[:output_filename]
     if output_filename
       archive_path = File.dirname(output_filename) + "/"
     else
       archive_path = File.dirname(filename) + "/"
     end
-    setting = NovelSetting.new(archive_path)
+    setting = NovelSetting.new(archive_path, options[:ignore_force])
     setting.author = ""
     setting.title = File.basename(filename)
-    novel_converter = new(setting, output_filename, display_inspector)
-    text = open(filename, "r:BOM|UTF-8") { |fp| fp.read }
-    if encoding
-      text.force_encoding(encoding).encode!(Encoding::UTF_8)
+    novel_converter = new(setting, output_filename, options[:display_inspector])
+    text = open(filename, "r:BOM|UTF-8") { |fp| fp.read }.gsub("\r", "")
+    if options[:encoding]
+      text.force_encoding(options[:encoding]).encode!(Encoding::UTF_8)
     end
     {
       converted_txt_path: novel_converter.convert_main(text),
@@ -137,14 +146,27 @@ class NovelConverter
     end
     stash_aozora_fonts_directory unless use_dakuten_font
     print "AozoraEpub3でEPUBに変換しています"
-    res = Helper::AsyncCommand.exec(command) do
-      print "."
+    begin
+      res = Helper::AsyncCommand.exec(command) do
+        print "."
+      end
+    ensure
+      visible_aozora_fonts_directory unless use_dakuten_font
+      Dir.chdir(pwd)
     end
-    visible_aozora_fonts_directory unless use_dakuten_font
-    Dir.chdir(pwd)
 
     stdout_capture = res[0]
 
+    # Javaの実行環境に由来するであろうエラー
+    if stdout_capture =~ /Error occurred during initialization of VM/
+      puts
+      warn stdout_capture.strip
+      warn "-" * 70
+      error "Javaの実行エラーが発生しました。EPUBを作成出来ませんでした\n" \
+            "Hint: 複数のJava環境が混じっていると起きやすいエラーのようです"
+      return :error
+    end
+
     if verbose
       puts
       puts "==== AozoraEpub3 stdout capture " + "=" * 47
@@ -260,11 +282,14 @@ class NovelConverter
     end
     # タイトルに完結したかどうかを付加する
     flags = data["flags"] || {}
+    tags = data["tags"] || []
+    flags["end"] ||= tags.include?("end")
     if flags["end"]
       processed_title += " (完結)"
     end
     # タイトルがルビ化されてしまうのを抑制
-    toc["title"] = toc["title"].gsub("《", "※［＃始め二重山括弧］").gsub("》", "※［＃終わり二重山括弧］")
+    processed_title = processed_title.gsub("《", "※［＃始め二重山括弧］")
+                                     .gsub("》", "※［＃終わり二重山括弧］")
     tempalte_name = (device && device.ibunko? ? NOVEL_TEXT_TEMPLATE_NAME_FOR_IBUNKO : NOVEL_TEXT_TEMPLATE_NAME)
     Template.get(tempalte_name, binding)
   end
@@ -323,8 +348,8 @@ class NovelConverter
       @toc["story"] = conv.convert(@toc["story"], "story")
       html = HTML.new
       site_setting = find_site_setting
-      html.set_illust_setting(current_url: site_setting["illust_current_url"],
-                              grep_pattern: site_setting["illust_grep_pattern"])
+      html.set_illust_setting({current_url: site_setting["illust_current_url"],
+                               grep_pattern: site_setting["illust_grep_pattern"]})
       progressbar = ProgressBar.new(@toc["subtitles"].count)
       @toc["subtitles"].each_with_index do |subinfo, i|
         progressbar.output(i)
@@ -438,7 +463,9 @@ class NovelConverter
   #
   def update_latest_convert_novel
     id = Downloader.get_id_by_target(@novel_title)
-    LocalSetting.get["latest_convert"]["id"] = id
-    LocalSetting.get.save_settings
+    Inventory.load("latest_convert", :local).tap { |inv|
+      inv["id"] = id
+      inv.save
+    }
   end
 end

data/lib/novelinfo.rb

@@ -25,15 +25,25 @@ class NovelInfo
     info_url = @setting["novel_info_url"] or return nil
     result = @@novel_info_parameters[@setting["name"]][@ncode] ||= {}
     return result unless result.empty?
-    of = "nt-s-gf-nu-gl-w"
+    of = "t-nt-ga-s-gf-nu-gl-w"
     request_output_parameters = of.split("-")
     info_source = ""
     open(info_url) do |fp|
       info_source = Helper.pretreatment_source(fp.read, @setting["encoding"])
     end
     @setting.multi_match(info_source, *request_output_parameters)
-    result["novel_type"] = @setting["novel_type_string"][@setting["novel_type"]] || 1
-    result["story"] = @setting["story"]
+    result["title"] = @setting["title"]
+    novel_status = @setting["novel_type_string"][@setting["novel_type"]] || 1
+    result["end"] = novel_status == 3
+    result["novel_type"] = case novel_status
+                           when 1, 3   # 連載
+                             1
+                           when 2      # 短編
+                             ga = @setting["general_all_no"]
+                             # ハーメルンで短編なのに連載形式のがあるため
+                             ga && ga > "1" ? 1 : 2
+                           end
+    result["story"] = HTML.new(@setting["story"]).to_aozora
     result["writer"] = @setting["writer"]
     %w(general_firstup novelupdated_at general_lastup).each do |elm|
       result[elm] = date_string_to_time(@setting[elm])

data/lib/novelsetting.rb

@@ -12,10 +12,10 @@ class NovelSetting
 
   attr_accessor :id, :author, :title, :archive_path, :replace_pattern
 
-  def self.load(target)
+  def self.load(target, ignore_force)
     archive_path = Downloader.get_novel_data_dir_by_target(target)
     if archive_path
-      setting = new(archive_path)
+      setting = new(archive_path, ignore_force)
       data = Downloader.get_data_by_target(target)
       setting.id = data["id"]
       setting.author = data["author"]
@@ -26,8 +26,9 @@ class NovelSetting
     end
   end
 
-  def initialize(archive_path)
+  def initialize(archive_path, ignore_force)
     @archive_path = File.expand_path(archive_path)
+    @ignore_force = ignore_force
     load_settings
     set_attribute
     load_replace_pattern
@@ -47,11 +48,13 @@ class NovelSetting
     ini = Ini.load_file(ini_path) rescue Ini.load("")
     force_settings = {}
     # 設定値を強制的に上書きするデータの読込
-    LocalSetting.get["local_setting"].each { |name, value|
-      if name =~ /^force\.(.+)$/
-        force_settings[$1] = value
-      end
-    }
+    unless @ignore_force
+      Inventory.load("local_setting", :local).each { |name, value|
+        if name =~ /^force\.(.+)$/
+          force_settings[$1] = value
+        end
+      }
+    end
     DEFAULT_SETTINGS.each do |element|
       name, value = element[:name], element[:value]
       if force_settings.include?(name)
@@ -96,7 +99,7 @@ class NovelSetting
     if File.exists?(replace_txt_path)
       open(replace_txt_path, "r:BOM|UTF-8") do |fp|
         fp.each do |line|
-          line.sub!(/\n\z/, "")
+          line.sub!(/[\r\n]+\z/, "")
           next if line[0] == ";"    # コメント記号
           pattern = line.split("\t", 2)
           if pattern.length == 2 && pattern[0]
@@ -246,5 +249,10 @@ class NovelSetting
       value: false,
       help: "ルビの拗音(ぁ、ぃ等)を商業書籍のように大きくするかどうか"
     },
+    {
+      name: "enable_pack_blank_line",
+      value: true,
+      help: "縦書きで読みやすいように空行を減らすかどうか"
+    },
   ]
 end

data/lib/version.rb

@@ -3,7 +3,7 @@
 # Copyright 2013 whiteleaf. All rights reserved.
 #
 
-Version = "1.5.11"
+Version = "1.6.0"
 
 cv_path = File.expand_path(File.join(File.dirname(__FILE__), "../commitversion"))
 if File.exists?(cv_path)

data/narou.gemspec

@@ -2,26 +2,20 @@
 # -*- coding: utf-8 -*-
 lib = File.expand_path("../lib", __FILE__)
 $LOAD_PATH.unshift(lib) unless $LOAD_PATH.include?(lib)
-
 require "version"
-
 require "fileutils"
-
 module Narou
   def self.create_git_commit_version
     File.write("commitversion", `git describe --always`.strip)
     "commitversion"
   end
 end
-
 at_exit do
   if File.exists?("commitversion")
     FileUtils.rm("commitversion")
   end
 end
-
 Encoding.default_external = Encoding::UTF_8
-
 Gem::Specification.new do |gem|
   gem.name          = "narou"
   gem.version       = Version
@@ -35,10 +29,113 @@ Gem::Specification.new do |gem|
 変換を支援します。縦書用に特化されており、横書き用に特化されたWEB小説
 を違和感なく縦書で読むことが出来るようになります。
 }.split("\n").join
-
   install_message = <<-EOS
 #{"*" * 79}
 
+1.6.0 : 2014/08/28
+------------------
+#### 追加機能
+- **iBooks** での管理に対応しました
+	+ Mac OS X Mavericks以上が対象です
+	+ `narou s device=ibooks` で変更できます
+	+ 初回登録時はiBooksでEPUBファイルを開くので、ウィンドウが大量に開くことに
+	  ご注意ください。次回以降はiBooksの管理フォルダを直接更新してウィンドウが
+	  開くことはありません
+- **JRuby** での実行に対応しました（Windowsでは環境変数JAVA_OPTSに
+  -Dfile.encoding=UTF8を設定して下さい）
+- `diff` コマンドで外部ツールがなくても更新された部分の差分を表示できるように
+  なりました
+	+ `difftool` が設定されていない場合、独自の差分表示処理を行います。
+	  小説用なので一文字単位の修正がわかりやすいように調整してあります
+
+	  ![diff使用時のイメージ](https://raw.github.com/wiki/whiteleaf7/narou/images/diff_cap.png)
+- `tag` コマンドが追加されました
+	+ 小説に自由にタグを付けることができ、絞り込み等で使用出来ます
+		+ タグを追加: `narou tag -a akatsuki 0`
+		+ タグが付いた小説を表示: `narou tag akatsuki`
+		+ コマンドの対象小説をタグで指定: `narou update akatsuki`
+		+ その他詳細な説明は `narou tag -h` を参照して下さい
+- `list` コマンドが拡張されます
+	+ `--site` オプション(短縮: -s)が追加されました。掲載小説サイト名を合わせて
+	  表示します
+	+ `--author` オプション(短縮:-a)が追加されました。作者名を合わせて表示します
+	+ `--tag` オプション(短縮: -t)が追加されました。タグで小説を検索出来ます
+		* `narou l -t tagname` 、 `narou l -t "tag1 tag2"`
+		* `narou l -t` と引数を省略すると全ての小説をタグつきで表示
+	+ `--grep` オプション(短縮: -g)が追加されました。リストの中から指定された
+	  文字列で検索します。最終的に表示される内容から検索するため、作者名やサイト
+	  名等そのままでは表示されない要素から検索したい場合、それぞれを表示するオプ
+	  ションも合わせて指定して下さい
+		* 例1： リストから作者名に“紫炎”が含まれる小説を探したい場合
+			- `narou list --author --grep 紫炎` 或いは `narou l -ag 紫炎`
+		* 例2: 小説家になろう以外の小説を表示したい場合
+			- `narou list --site --grep "-小説家になろう"` 或いは
+			  `narou l -sg "-小説家になろう"` (-をつけることでNOT検索)
+		* 例3: ハーメルンの小説からSAOを含む小説を探す
+			- `narou l -sg "ハーメルン SAO"` (スペース区切りによるAND検索)
+	+ listコマンドの結果をパイプで他のコマンドに接続できるようになりました
+		* 例1: ハーメルに掲載されている小説にhamelnタグを付けたい
+			- `narou l -sg ハーメルン | narou t -a hameln`
+		* 例2: 短編を全て凍結したい
+			- `narou l -f ss | narou freeze --on`
+		* 注意点として、パイプでつないだ場合は remove コマンドは確認メッセージを
+		  出さずに削除します
+- `convert` コマンドに `--ignore-force` オプションが追加されました。
+  `narou s force.設定名=値` として強制上書きされる設定を一時的に無効にします
+- 空改行の削除処理を制御する `enable_pack_blank_line` オプションが追加されました
+	+ デフォルトでは有効です。無効にするには各小説の setting.ini に
+	  `enable_pack_blank_line=false` を追加するか、
+	  `narou s force.enable_pack_blank_line=false` を実行して下さい
+- `freeze` コマンドに強制凍結及び解除する `--on` 及び `--off` オプションが追加
+  されました
+
+#### 仕様変更
+- `update.strong` の挙動を、「当日分は必ずDLする」から「当日分は内容を見て更新
+  されているか確認する」に変更しました。またタイムスタンプを記録するようにし、
+  アップデート時のパフォーマンスを向上させました
+- デバイス設定時に最低限必要な関連項目を設定変更するようになりました
+- 空改行の間引き具合を若干弱くしました
+- `list` コマンドの `--type` オプションを `--kind` (短縮:-k)に変更しました
+- 差分オブジェクトの書式を `20YY.MM.DD@hh;mm;ss` から `20YY.MM.DD@hh.mm.ss` に
+  変更します
+	+ このバージョンから反映。以前のバージョンで作成された差分は旧書式のままです
+- 新着のみの更新の場合差分データを作成しないように変更しました
+- `backup` コマンドで作成するZIPファイルの内部ファイルパス文字エンコーディング
+  をOS毎に変更するようにしました
+	+ Windows = Windows-31J、その他OS = UTF-8
+- `flag` コマンドは非推奨になり、tagコマンドに統一されます。今後完結フラグを立
+  てる場合、 `narou tag -a end 0` として下さい。flagコマンドは1.7.0で廃止される
+	予定です
+	+ flagデータをtagデータに移行する場合は `narou flag --convert-tag` を実行
+	  して下さい
+- 完結の情報を自動で付与するようになりました。完結を検知したら end タグを追加
+  します
+	+ 現在は小説家になろう関連サイトとハーメルンのみ自動検知します
+- 選択肢を選ぶときエンターを押す必要がなくなりました
+- このバージョンからセマンティックバージョニングに移行します
+	+ Major.Minor.Teen という形式で、特別なアップデートでMajor、追加機能を含む
+	  アップデートでMinor、バグ修正のみのアップデートでTeenの番号を増やします
+
+#### Bug Fix
+- 小説が掲載サイトから削除されていない時(500や503)にも自動凍結していたのを修正
+- iBooksで閲覧時章タイトルページのレイアウトが崩れていたのを修正
+- iBooksで閲覧時Arcadiaの掲載アドレスがあるページでエラーがでていたのを修正 #47
+- ハーメルンで作者名が正常に取得できない場合があったのを修正 #48
+- ハーメルンで連載形式の短編が1話目しか取得できていなかったのを修正 #49
+- 自動字下げの判定処理が正常に動作していなかったのを修正
+- `diff` コマンドの差分表示時に更新日が挿入されない場合があったのを修正
+- `diff` コマンドで小説家になろう以外の小説の差分がHTMLタグ付きのまま表示されて
+  いたのを修正
+
+- 未対応のURLを入力した場合にエラーが出るようになっていたのを修正
+- 小説家になろうの短編のあらすじで改行が無視されていたのを修正
+- 小説家になろうの短編のあらすじで先頭に縦棒（｜）が入ってしまう問題に対応 #46
+- 小説家になろうの挿絵を認識出来ない場合があったのを修正
+- 前書き・後書き内にある挿絵を単ページ化出来なかったのを修正 #8
+- 漢数字変換で対応桁数以上を変換しようとしてクラッシュしていたのを修正
+- その他ヘルプ文の訂正や無駄な処理削減等多数の細かい調整
+
+
 narou コマンドのインストール or アップデートが完了しました。
 詳しい説明は `narou help' コマンドをご覧下さい。
 
@@ -46,28 +143,9 @@ narou コマンドのインストール or アップデートが完了しまし
   初めてこのアプリケーションを使う場合、小説管理用のフォルダを初期化する必要があります。
   任意のフォルダで `narou init' を実行して下さい。
 
-2014/07/24 : **1.5.11**
-* 追加機能もしくは仕様変更
-	- 改稿の更新漏れ対策として、 `update.strong` オプションが追加されました
-		+ `narou s update.strong=true` として設定して下さい
-		+ 改稿日の更新は必ずダウンロードされるようになります（当日はアップデートする度にDLします）。
-		  何度も改稿された小説では、更新のタイミングによっては改稿内容を取りこぼす可能性があるため、
-		  このオプションを有効にすることで必ず拾えるようにします
-		+ ファイルのタイムスタンプをチェックするので、更新動作が多少遅くなります
-	- 指定の話数ごとにウェイトを入れられる `download.wait-steps` オプションが追加されました
-		+ `narou s download.wait-steps=10` として設定して下さい
-		+ 小説家になろうの場合は11話以上を指定しても10話ごとにウェイトが入ります
-	- `backup` コマンドを追加しました
-		+ 使用例： `narou backup 0` 、 `narou ba 0`
-		+ 小説保存フォルダ直下の backup フォルダに、バックアップ以外の全てのファイルをZIPで固めて保存します
-	- ダイジェスト化検出時の処理項目に「バックアップの作成」と「保存フォルダを開く」を追加しました
-* Bug Fix
-	- まのわ(n3730bn)のプリセット変換スクリプトの挙動を調整
-	- 暁で一部あらすじが正常に取れていない小説があったので修正
-
 #{"*" * 79}
   EOS
-  gem.post_install_message = install_message.gsub("\t", " ")
+  gem.post_install_message = install_message.gsub("\t", "  ")
 
   gem.required_ruby_version = ">=1.9.3"
 
@@ -77,4 +155,5 @@ narou コマンドのインストール or アップデートが完了しまし
   gem.add_runtime_dependency 'termcolor', '~> 1.2', '>= 1.2.2'
   gem.add_runtime_dependency 'rubyzip', '~> 1.1', '>= 1.1.0'
   gem.add_runtime_dependency 'pony', '~> 1.8'
+  gem.add_runtime_dependency 'diff-lcs', '~> 1.2', '>= 1.2.5'
 end

data/narou.rb

@@ -16,11 +16,11 @@ if ARGV.delete("--time")
   end
 end
 
-require_relative "lib/globalsetting"
+require_relative "lib/inventory"
 display_backtrace = ARGV.delete("--backtrace")
 display_backtrace ||= $debug
 $disable_color = ARGV.delete("--no-color")
-$disable_color ||= GlobalSetting.get["global_setting"]["no-color"]
+$disable_color ||= Inventory.load("global_setting", :global)["no-color"]
 
 require_relative "lib/logger"
 require_relative "lib/version"

data/spec/convert_spec.rb

@@ -0,0 +1,102 @@
+# -*- coding: utf-8 -*-
+#
+# Copyright 2013 whiteleaf. All rights reserved.
+#
+# auto generated at 2014-08-28 00:35:38 +0900
+
+Encoding.default_external = Encoding::UTF_8
+
+require "termcolor"
+require_relative "../lib/commandline"
+require_relative "../lib/logger"
+
+AUTHOR = "whiteleaf"
+$debug = File.exists?(File.expand_path(File.join(File.dirname(__FILE__), "../debug")))
+
+describe "convert" do
+  before :all do
+    test_text_dir = File.join(File.dirname(__FILE__), "data/convert_test")
+    @pwd = Dir.pwd
+    Dir.chdir(test_text_dir)
+  end
+
+  after :all do
+    # 変換した際に出力される各ファイルを削除
+    unless $debug
+      glob_path = "*/\\[#{AUTHOR}\\]*.txt\0*/{見出しリスト,調査ログ}.txt"
+      glob_path.encode!("Windows-31J") if RbConfig::CONFIG["host_os"] =~ /mswin(?!ce)|mingw|bccwin/i
+      Dir.glob(glob_path) do |path|
+        File.delete(path)
+      end
+    end
+    Dir.chdir(@pwd)
+  end
+
+  def load_file(path)
+    # 行末の空白と改行の違いは無視する
+    File.read(path).gsub("\r", "").rstrip
+  end
+
+  def check_answer(path)
+    dir = File.dirname(path)
+    filename = File.basename(path)
+    $stdout.silence do
+      CommandLine.run(["convert", path, "--no-epub", "--no-open", "--ignore-force"])
+    end
+    output_file = File.join(dir, "[#{AUTHOR}] #{filename}")
+    correct_file = File.join(dir, "correct_#{filename}")
+    expect(load_file(output_file)).to eq load_file(correct_file)
+  end
+
+  it "auto_indent/test_auto_indent.txt" do
+    check_answer("auto_indent/test_auto_indent.txt")
+  end
+
+  it "auto_join_bracket/test_auto_join_bracket.txt" do
+    check_answer("auto_join_bracket/test_auto_join_bracket.txt")
+  end
+
+  it "auto_join_line/test_auto_join_line.txt" do
+    check_answer("auto_join_line/test_auto_join_line.txt")
+  end
+
+  it "convert_page_break/test_convert_page_break.txt" do
+    check_answer("convert_page_break/test_convert_page_break.txt")
+  end
+
+  it "force_indent_special_chapter/test_force_indent_special_chapter.txt" do
+    check_answer("force_indent_special_chapter/test_force_indent_special_chapter.txt")
+  end
+
+  it "horizontal_ellipsis/test_horizontal_ellipsis.txt" do
+    check_answer("horizontal_ellipsis/test_horizontal_ellipsis.txt")
+  end
+
+  it "kanji_num/test_kanji_num.txt" do
+    check_answer("kanji_num/test_kanji_num.txt")
+  end
+
+  it "nonokagi/test_nonokagi.txt" do
+    check_answer("nonokagi/test_nonokagi.txt")
+  end
+
+  it "replace/test_replace.txt" do
+    check_answer("replace/test_replace.txt")
+  end
+
+  it "ruby/test_ruby.txt" do
+    check_answer("ruby/test_ruby.txt")
+  end
+
+  it "ruby_youon/test_ruby_youon.txt" do
+    check_answer("ruby_youon/test_ruby_youon.txt")
+  end
+
+  it "sesame/test_sesame.txt" do
+    check_answer("sesame/test_sesame.txt")
+  end
+
+  it "to_odd_leader/test_to_odd_leader.txt" do
+    check_answer("to_odd_leader/test_to_odd_leader.txt")
+  end
+end