narou 1.5.11 → 1.6.0

data/Gemfile

@@ -1,4 +1,13 @@
 source 'https://rubygems.org'
 
+if RUBY_VERSION =~ /1.9/
+  Encoding.default_external = Encoding::UTF_8
+  Encoding.default_internal = Encoding::UTF_8
+end
+
 # Specify your gem's dependencies in narou.gemspec
 gemspec
+
+gem "rspec"
+gem "rspec-core"
+

data/README.md

@@ -23,83 +23,108 @@ Narou.rb ― 「小説家になろう」「小説を読もう！」ダウンロ
 
 更新履歴 - ChangeLog
 --------------------
-2014/07/24 : **1.5.11**
-* 追加機能もしくは仕様変更
-	- 改稿の更新漏れ対策として、 `update.strong` オプションが追加されました
-		+ `narou s update.strong=true` として設定して下さい
-		+ 改稿日の更新は必ずダウンロードされるようになります（当日はアップデートする度にDLします）。
-		  何度も改稿された小説では、更新のタイミングによっては改稿内容を取りこぼす可能性があるため、
-		  このオプションを有効にすることで必ず拾えるようにします
-		+ ファイルのタイムスタンプをチェックするので、更新動作が多少遅くなります
-	- 指定の話数ごとにウェイトを入れられる `download.wait-steps` オプションが追加されました
-		+ `narou s download.wait-steps=10` として設定して下さい
-		+ 小説家になろうの場合は11話以上を指定しても10話ごとにウェイトが入ります
-	- `backup` コマンドを追加しました
-		+ 使用例： `narou backup 0` 、 `narou ba 0`
-		+ 小説保存フォルダ直下の backup フォルダに、バックアップ以外の全てのファイルをZIPで固めて保存します
-	- ダイジェスト化検出時の処理項目に「バックアップの作成」と「保存フォルダを開く」を追加しました
-* Bug Fix
-	- まのわ(n3730bn)のプリセット変換スクリプトの挙動を調整
-	- 暁で一部あらすじが正常に取れていない小説があったので修正
 
-2014/07/18 : **1.5.10.1**
-* Bug Fix
-	- replace.txt による置換が正常に行えなかった問題を修正
-
-2014/07/14 : **1.5.10**
-* 追加機能もしくは仕様変更
-	- `download` コマンドに対話モードを追加しました
-		+ `narou d` と対象小説を指定せずに実行すると対話モードに移行します（-f 等のオプションは指定出来ます）
-		+ 連続してNコードもしくはURLを入力できるモードです。ArcadiaのURLは " " で囲む必要がありません
-		+ 想定される使い方：
-			* 複数のURLを書いたテキストをコピペして流しこむ
-			* テキストファイルからリダイレクトで入力する
-				- `narou d < list.txt`
-			* BATファイル等で `narou d` のみを実行し、新規DL時の入力を簡便にする
-	- 自動生成される converter.rb に簡単な説明を付け加えるようにしました
-	- `remove` コマンドの `--with-file` オプションに短縮版 `-w` を追加しました
-	- `narou init` 実行時に現在の AozoraEpub3 の場所を表示するようになりました
-	- `update` コマンドに新着小説のみを変換するオプション `--convert-only-new-arrival` (短縮 `-a` )が
-	  追加されました（naoh87さんによる実装）
-		+ もしこのオプションをデフォルトの挙動にしたければ、 `narou s default_args.update=-a` として下さい
-	- 変換用のプリセットデータを追加
-		+ デスマーチからはじまる異世界狂想曲(n9902bn)
-		+ この世界がゲームだと俺だけが知っている(n9078bd)
-		+ まのわ ～魔物倒す・能力奪う・私強くなる～(n3730bn)
-	- すでに同梱されているプリセットデータを一部更新
-		+ 異世界迷宮で奴隷ハーレムを(n4259s)
-		+ ログ・ホライズン(n8725k)
-* Bug Fix
-	- replace.txt で置換対象を削除するという表現（あいう<tab><改行>）が出来なかったのを修正
-	- `--time` オプションで表示される実行時間がより正確になるように調整しました
-
-2014/07/04 : **1.5.9**
-* Bug Fix
-	- 作者名が半角数字だけの場合にクラッシュする問題を修正
-
-2014/06/25 : **1.5.8**
-* 追加機能もしくは仕様変更
-	- 小説が削除されていた場合に自動で凍結するようになりました
-	- 小説が削除されている場合に `list` コマンドで（削除）と表示されるようになりました
-	- 更新に失敗した小説を表示するときにIDも合わせて表示するようにしました
-	- `flag` コマンドに強制設定用の `--on` 及び `--off` オプションを追加しました
-	- `flag` コマンドに `delete` フラグを追加しました（削除表示への対応）
-	- ルビの拗音（ぁ、ぃ、ゃ等）を商業書籍のように大きくする機能を追加しました
-		+ `narou s force.enable_ruby_youon_to_big=true` とするか、
-		  setting.ini に `enable_ruby_youon_to_big=true` を追加して下さい（標準ではオフ）
-	- 今バージョン以降ダウンロードした小説は、小説タイトルが変わっても converter.rb に関するエラーが
-	  発生しないように調整しました。ただし、すでにダウンロード済み小説には適用されないため、エラーが出た場合は
-	  converter.rb の削除で対応をお願いします
-
-2014/06/15 : **1.5.7.1**
-* 追加機能もしくは仕様変更
-	- 10話ごとの制限が復活していたので、1.5.7で外したウェイトを復活させました
-
-2014/06/14 : **1.5.7**
-* 追加機能もしくは仕様変更
-	- 小説家になろうにおいて、10話ごとにかけていたウェイトを削除
-* Bug Fix
-	- &#39; (') のエンティティ変換を追加
+### 1.6.0 : 2014/08/28
+
+#### 追加機能
+- **iBooks** での管理に対応しました
+	+ Mac OS X Mavericks以上が対象です
+	+ `narou s device=ibooks` で変更できます
+	+ 初回登録時はiBooksでEPUBファイルを開くので、ウィンドウが大量に開くことに
+	  ご注意ください。次回以降はiBooksの管理フォルダを直接更新してウィンドウが
+	  開くことはありません
+- **JRuby** での実行に対応しました（Windowsでは環境変数JAVA_OPTSに
+  -Dfile.encoding=UTF8を設定して下さい）
+- `diff` コマンドで外部ツールがなくても更新された部分の差分を表示できるように
+  なりました
+	+ `difftool` が設定されていない場合、独自の差分表示処理を行います。
+	  小説用なので一文字単位の修正がわかりやすいように調整してあります
+
+	  ![diff使用時のイメージ](https://raw.github.com/wiki/whiteleaf7/narou/images/diff_cap.png)
+- `tag` コマンドが追加されました
+	+ 小説に自由にタグを付けることができ、絞り込み等で使用出来ます
+		+ タグを追加: `narou tag -a akatsuki 0`
+		+ タグが付いた小説を表示: `narou tag akatsuki`
+		+ コマンドの対象小説をタグで指定: `narou update akatsuki`
+		+ その他詳細な説明は `narou tag -h` を参照して下さい
+- `list` コマンドが拡張されます
+	+ `--site` オプション(短縮: -s)が追加されました。掲載小説サイト名を合わせて
+	  表示します
+	+ `--author` オプション(短縮:-a)が追加されました。作者名を合わせて表示します
+	+ `--tag` オプション(短縮: -t)が追加されました。タグで小説を検索出来ます
+		* `narou l -t tagname` 、 `narou l -t "tag1 tag2"`
+		* `narou l -t` と引数を省略すると全ての小説をタグつきで表示
+	+ `--grep` オプション(短縮: -g)が追加されました。リストの中から指定された
+	  文字列で検索します。最終的に表示される内容から検索するため、作者名やサイト
+	  名等そのままでは表示されない要素から検索したい場合、それぞれを表示するオプ
+	  ションも合わせて指定して下さい
+		* 例1： リストから作者名に“紫炎”が含まれる小説を探したい場合
+			- `narou list --author --grep 紫炎` 或いは `narou l -ag 紫炎`
+		* 例2: 小説家になろう以外の小説を表示したい場合
+			- `narou list --site --grep "-小説家になろう"` 或いは
+			  `narou l -sg "-小説家になろう"` (-をつけることでNOT検索)
+		* 例3: ハーメルンの小説からSAOを含む小説を探す
+			- `narou l -sg "ハーメルン SAO"` (スペース区切りによるAND検索)
+	+ listコマンドの結果をパイプで他のコマンドに接続できるようになりました
+		* 例1: ハーメルに掲載されている小説にhamelnタグを付けたい
+			- `narou l -sg ハーメルン | narou t -a hameln`
+		* 例2: 短編を全て凍結したい
+			- `narou l -f ss | narou freeze --on`
+		* 注意点として、パイプでつないだ場合は remove コマンドは確認メッセージを
+		  出さずに削除します
+- `convert` コマンドに `--ignore-force` オプションが追加されました。
+  `narou s force.設定名=値` として強制上書きされる設定を一時的に無効にします
+- 空改行の削除処理を制御する `enable_pack_blank_line` オプションが追加されました
+	+ デフォルトでは有効です。無効にするには各小説の setting.ini に
+	  `enable_pack_blank_line=false` を追加するか、
+	  `narou s force.enable_pack_blank_line=false` を実行して下さい
+- `freeze` コマンドに強制凍結及び解除する `--on` 及び `--off` オプションが追加
+  されました
+
+#### 仕様変更
+- `update.strong` の挙動を、「当日分は必ずDLする」から「当日分は内容を見て更新
+  されているか確認する」に変更しました。またタイムスタンプを記録するようにし、
+  アップデート時のパフォーマンスを向上させました
+- デバイス設定時に最低限必要な関連項目を設定変更するようになりました
+- 空改行の間引き具合を若干弱くしました
+- `list` コマンドの `--type` オプションを `--kind` (短縮:-k)に変更しました
+- 差分オブジェクトの書式を `20YY.MM.DD@hh;mm;ss` から `20YY.MM.DD@hh.mm.ss` に
+  変更します
+	+ このバージョンから反映。以前のバージョンで作成された差分は旧書式のままです
+- 新着のみの更新の場合差分データを作成しないように変更しました
+- `backup` コマンドで作成するZIPファイルの内部ファイルパス文字エンコーディング
+  をOS毎に変更するようにしました
+	+ Windows = Windows-31J、その他OS = UTF-8
+- `flag` コマンドは非推奨になり、tagコマンドに統一されます。今後完結フラグを立
+  てる場合、 `narou tag -a end 0` として下さい。flagコマンドは1.7.0で廃止される
+	予定です
+	+ flagデータをtagデータに移行する場合は `narou flag --convert-tag` を実行
+	  して下さい
+- 完結の情報を自動で付与するようになりました。完結を検知したら end タグを追加
+  します
+	+ 現在は小説家になろう関連サイトとハーメルンのみ自動検知します
+- 選択肢を選ぶときエンターを押す必要がなくなりました
+- このバージョンからセマンティックバージョニングに移行します
+	+ Major.Minor.Teen という形式で、特別なアップデートでMajor、追加機能を含む
+	  アップデートでMinor、バグ修正のみのアップデートでTeenの番号を増やします
+
+#### Bug Fix
+- 小説が掲載サイトから削除されていない時(500や503)にも自動凍結していたのを修正
+- iBooksで閲覧時章タイトルページのレイアウトが崩れていたのを修正
+- iBooksで閲覧時Arcadiaの掲載アドレスがあるページでエラーがでていたのを修正 #47
+- ハーメルンで作者名が正常に取得できない場合があったのを修正 #48
+- ハーメルンで連載形式の短編が1話目しか取得できていなかったのを修正 #49
+- 自動字下げの判定処理が正常に動作していなかったのを修正
+- `diff` コマンドの差分表示時に更新日が挿入されない場合があったのを修正
+- `diff` コマンドで小説家になろう以外の小説の差分がHTMLタグ付きのまま表示されて
+  いたのを修正
+- 未対応のURLを入力した場合にエラーが出るようになっていたのを修正
+- 小説家になろうの短編のあらすじで改行が無視されていたのを修正
+- 小説家になろうの短編のあらすじで先頭に縦棒（｜）が入ってしまう問題に対応 #46
+- 小説家になろうの挿絵を認識出来ない場合があったのを修正
+- 前書き・後書き内にある挿絵を単ページ化出来なかったのを修正 #8
+- 漢数字変換で対応桁数以上を変換しようとしてクラッシュしていたのを修正
+- その他ヘルプ文の訂正や無駄な処理削減等多数の細かい調整
 
 ----
 

data/lib/color.rb

@@ -1,8 +1,11 @@
 # -*- coding: utf-8 -*-
 #
 =begin
+original source is
 https://github.com/termtter/termtter/blob/master/lib/termtter/system_extensions/windows.rb
 
+customed by whiteleaf
+
 (The MIT License)
 
 Copyright (c) 2008-2012 The Termtter Development Team
@@ -36,43 +39,80 @@ require "termcolor"
 
 alias :warn :original_warn
 
-if RUBY_PLATFORM =~ /mswin(?!ce)|mingw|bccwin/i   # without cygwin
+if RbConfig::CONFIG["host_os"] =~ /mswin(?!ce)|mingw|bccwin/i
   require_relative "extensions/windows"
 
   $hStdOut = WinAPI.GetStdHandle(0xFFFFFFF5)
   lpBuffer = ' ' * 22
   WinAPI.GetConsoleScreenBufferInfo($hStdOut, lpBuffer)
   $oldColor = lpBuffer.unpack('SSSSSssssSS')[4]
+  $default_foreground = $oldColor & 0x0f
+  $default_background = $oldColor & 0xf0
 
   $colorMap = {
-    0 => 0x07|0x00|0x00|0x00, # black/white
-    37 => 0x08|0x00|0x00|0x00, # white/intensity
-    31 => 0x04|0x08|0x00|0x00, # red/red
-    32 => 0x02|0x08|0x00|0x00, # green/green
-    33 => 0x06|0x08|0x00|0x00, # yellow/yellow
-    34 => 0x01|0x08|0x00|0x00, # blue/blue
-    35 => 0x05|0x08|0x00|0x00, # magenta/purple
-    36 => 0x03|0x08|0x00|0x00, # cyan/aqua
-    39 => 0x07,                # default
-    40 => 0x00|0x00|0xf0|0x00, # background:white
-    41 => 0x07|0x00|0x40|0x00, # background:red
-    42 => 0x07|0x00|0x20|0x00, # background:green
-    43 => 0x07|0x00|0x60|0x00, # background:yellow
-    44 => 0x07|0x00|0x10|0x00, # background:blue
-    45 => 0x07|0x00|0x50|0x80, # background:magenta
-    46 => 0x07|0x00|0x30|0x80, # background:cyan
-    47 => 0x07|0x00|0x70|0x80, # background:gray
-    49 => 0x70,                # default
+     0 => 0x07|0x00|0x00|0x00, # black/white
+     1 => 0x08               , # foreground_intensity
+     4 => 0x8000             , # underline
+     7 => 0x4000             , # reverse
+    30 => 0x00|0x00|0x00|0x00, # black
+    31 => 0x04|0x00|0x00|0x00, # red/red
+    32 => 0x02|0x00|0x00|0x00, # green/green
+    33 => 0x06|0x00|0x00|0x00, # yellow/yellow
+    34 => 0x01|0x00|0x00|0x00, # blue/blue
+    35 => 0x05|0x00|0x00|0x00, # magenta/purple
+    36 => 0x03|0x00|0x00|0x00, # cyan/aqua
+    37 => 0x07|0x00|0x00|0x00, # white/gray
+    39 => $default_foreground, # default
+    40 => 0x00|0x00|0x00|0x00, # background:black
+    41 => 0x00|0x00|0x40|0x00, # background:red
+    42 => 0x00|0x00|0x20|0x00, # background:green
+    43 => 0x00|0x00|0x60|0x00, # background:yellow
+    44 => 0x00|0x00|0x10|0x00, # background:blue
+    45 => 0x00|0x00|0x50|0x00, # background:magenta
+    46 => 0x00|0x00|0x30|0x00, # background:cyan
+    47 => 0x00|0x00|0x70|0x00, # background:white
+    49 => $default_background, # default
     90 => 0x07|0x00|0x00|0x00, # erase/white
   }
 
   def write_color(str, console = STDOUT)
+    @decoration ||= 0
+    @foreground ||= $default_foreground
+    @background ||= $default_background
+    @reverse ||= false
     str.gsub("\xef\xbd\x9e", "\xe3\x80\x9c").split(/(\e\[\d*[a-zA-Z])/).each do |token|
       case token
       when /\e\[(\d+)m/
-        color = $1.to_i > 90 ? ($1.to_i % 60) : $1.to_i
+        code = $1.to_i
+        code = code > 90 ? (code % 60) : code
+        case code
+        when 0
+          @decoration = 0
+          @foreground = $default_foreground
+          @background = $default_background
+          @reverse = false
+        when 1
+          @decoration |= $colorMap[1]
+        when 4
+          @decoration |= $colorMap[4]
+        when 7
+          @reverse = true
+        when 30..39
+          @foreground = $colorMap[code].to_i
+        when 40..49
+          @background = $colorMap[code].to_i
+        end
+        foreground = @foreground
+        background = @background
+        if @reverse
+          foreground <<= 4
+          background >>= 4
+          # reverse では intensity 情報も文字と背景で入れ替わるでの、
+          # 下位4bitと上位4bitをスワップ
+          @decoration = @decoration & 0xff00 | @decoration >> 4 & 0xf | (@decoration & 0xf) << 4
+        end
         loop do
-          error_code = WinAPI.SetConsoleTextAttribute $hStdOut, $colorMap[color].to_i
+          error_code = WinAPI.SetConsoleTextAttribute $hStdOut, @decoration | foreground | background
           if error_code == 0
             if WinAPI.GetLastError == 6
               $hStdOut = WinAPI.GetStdHandle(0xFFFFFFF5)
@@ -81,7 +121,7 @@ if RUBY_PLATFORM =~ /mswin(?!ce)|mingw|bccwin/i   # without cygwin
           end
           break
         end
-      when /\e\[\d*[a-zA-Z]/
+      when /\e\[\d*[a-zA-Z]/, ""
         # do nothing
       else
         console.write token

data/lib/command.rb

@@ -17,26 +17,28 @@ module Command
     COMMAND_LIST
   end
 
+  # この順番がヘルプに表示される順番
   COMMAND_LIST = {
-    "download" => Download.new,
-    "update" => Update.new,
-    "list" => List.new,
-    "convert" => Convert.new,
-    "diff" => Diff.new,
-    "setting" => Setting.new,
-    "alias" => Alias.new,
-    "inspect"=> Inspect.new,
-    "send" => Send.new,
-    "folder" => Folder.new,
-    "browser" => Browser.new,
-    "remove" => Remove.new,
-    "freeze" => Freeze.new,
-    "flag" => Flag.new,
-    "mail" => Mail.new,
-    "backup" => Backup.new,
-    "help" => Help.new,
-    "version" => Version.new,
-    "init" => Init.new
+    "download" => Download,
+    "update" => Update,
+    "list" => List,
+    "convert" => Convert,
+    "diff" => Diff,
+    "setting" => Setting,
+    "alias" => Alias,
+    "inspect"=> Inspect,
+    "send" => Send,
+    "folder" => Folder,
+    "browser" => Browser,
+    "remove" => Remove,
+    "freeze" => Freeze,
+    "tag" => Tag,
+    "flag" => Flag,
+    "mail" => Mail,
+    "backup" => Backup,
+    "help" => Help,
+    "version" => Version,
+    "init" => Init
   }
 
   # ショートカット定義

data/lib/command/alias.rb

@@ -3,10 +3,14 @@
 # Copyright 2013 whiteleaf. All rights reserved.
 #
 
-require_relative "../localsetting"
+require_relative "../inventory"
 
 module Command
   class Alias < CommandBase
+    def self.oneline_help
+      "小説のIDに紐付けた別名を作成します"
+    end
+
     def initialize
       super("[<alias_name>=<target> ...] [options]")
       @opt.separator <<-EOS
@@ -15,7 +19,7 @@ module Command
   ・<alias_name>にはアルファベット及び数字、アンダースコアが使用出来ます。
   ・<target>は他のコマンドで指定出来るものがそのまま使えますが、すでにダウンロード済みである必要があります。
 
-  Example:
+  Examples:
     narou alias --list
     narou alias musyoku=n9669bk
     narou alias harem=1
@@ -31,7 +35,7 @@ module Command
     end
 
     def output_aliases_list
-      aliases = LocalSetting.get["alias"]
+      aliases = Inventory.load("alias", :local)
       database = Database.instance
       aliases.each do |name, id|
         title = database[id]["title"] rescue "(すでに削除されています)"
@@ -45,7 +49,7 @@ module Command
         puts @opt.help
         return
       end
-      aliases = LocalSetting.get["alias"]
+      aliases = Inventory.load("alias", :local)
       argv.each_with_index do |arg, i|
         Helper.print_horizontal_rule if i > 0
         alias_name, target = arg.split("=", 2)
@@ -72,11 +76,7 @@ module Command
         aliases[alias_name] = id
         puts "#{alias_name} を #{title} の別名に設定しました"
       end
-      LocalSetting.get.save_settings
-    end
-
-    def oneline_help
-      "小説のIDに紐付けた別名を作成します"
+      aliases.save
     end
   end
 end

data/lib/command/backup.rb

@@ -10,7 +10,7 @@ module Command
   class Backup < CommandBase
     BACKUP_DIR_NAME = "backup"
 
-    def oneline_help
+    def self.oneline_help
       "小説のバックアップを作成します"
     end
 
@@ -22,7 +22,7 @@ module Command
   ・バックアップファイルはZIP圧縮され、小説保存フォルダ直下の#{BACKUP_DIR_NAME}フォルダに保存されます。
   ・バックアップ対象は、バックアップファイル以外の小説保存フォルダにあるファイル全てが対象です。
 
-  Example:
+  Examples:
     narou backup 0
     narou backup n9669bk
     narou backup 0 1 musyoku
@@ -42,10 +42,16 @@ module Command
         File.file?(path) && path.split("/", 2)[0] != BACKUP_DIR_NAME
       }
       FileUtils.mkdir(BACKUP_DIR_NAME) unless File.exists?(BACKUP_DIR_NAME)
-      Zip.unicode_names = true
+      Zip.unicode_names = true unless Helper.os_windows?
       Zip::File.open(File.join(BACKUP_DIR_NAME, zipfilename), Zip::File::CREATE) do |zip|
         paths.each do |path|
-          zip.add(path, path)
+          if Helper.os_windows?
+            zipped_filename = path.encode(Encoding::Windows_31J,
+                                          invalid: :replace, undef: :replace, replace: "_")
+          else
+            zipped_filename = path
+          end
+          zip.add(zipped_filename, path)
         end
       end
       Dir.chdir(pwd)
@@ -58,6 +64,7 @@ module Command
         puts @opt.help
         return
       end
+      tagname_to_ids(argv)
       require "zip"
       argv.each_with_index do |target, i|
         Helper.print_horizontal_rule if i > 0