narou 3.7.0 → 3.8.1

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: 9e7602ba2d969aaf94fd33d0a1ba7f706149861cb90b6d7924cc2c8f66081416
-  data.tar.gz: 5d0dc68095c855a69a3af7837949a2902bd2509cf6febae7d8c9589ea1fef301
+  metadata.gz: b7b849e28b1d5b73d8a6b49cef02d0d8b3455183be6048f216e42fddc94d9276
+  data.tar.gz: a82088f960739322c405f13b3f11ea48f27baf097cdb71f993506e368ca2cde0
 SHA512:
-  metadata.gz: f9f48b127ae554760619b1cfdbd61041b3284ee675a9c6a00fb91adfe54968d8c0f5f776eee036bdf8fadb59308169a2732ac0413c3da3223e18c0fbe0bc83fa
-  data.tar.gz: c368440c723fec9af88932da94755d787720bddf393413467ddbcb86c39b41cdb629e980b79f76db6acc8b7715cd55b41a4e20f998a975caf75259434dd8d46a
+  metadata.gz: 0f4336dc9843cadbef26401b0032f5fdbbd849d9d006822af47ad924c71c9fd4471f9589b08587310ab24c2bda73f60c955d2cd5804725fe54534d9d98ea3b33
+  data.tar.gz: 1beb301cf4bdf93fcdade10b79a558b304de8c42f04e37881a0d00f6a8b78e2ce414a0ac78e3c508c85dc933753335a357cd02d4de56e8ad1381e98a389c031b

data/.circleci/config.yml

@@ -3,7 +3,7 @@ jobs:
   build:
     working_directory: ~/circleci-narou
     docker:
-      - image: circleci/ruby:2.5
+      - image: circleci/ruby:3.0
         environment:
           BUNDLE_JOBS: 1
           BUNDLE_RETRY: 3

data/ChangeLog.md

@@ -1,11 +1,41 @@
 更新履歴 - ChangeLog
 ====================
 
+3.8.1: 2021/12/27
+-----------------
+#### 修正内容
+- ハーメルンのまえがき・あとがきが取得できなくなっていたのを修正
+
+
+3.8.0: 2021/06/27
+-----------------
+#### 修正内容
+- タイトル名もしくは作者名に特定の記号を使うことで任意のコードを実行できて
+  しまう問題を修正 [CVE-2021-35514]
+  - この問題を発見した RyotaK に感謝します
+
+
+3.7.2: 2021/06/05
+-----------------
+#### 追加機能
+- folder コマンドに --no-open (-n) オプションを追加しました
+
+#### 修正内容
+- gem update を行うとクラッシュする場合があったのを修正
+  - psych 4.0 からの非互換に対応
+- その他軽微な修正
+
+3.7.1: 2021/04/01
+-----------------
+#### 修正内容
+- その他の小説の最新話掲載日を確認しようとするとクラッシュする不具合を修正
+
+
 3.7.0: 2021/01/23
 -----------------
 #### 修正内容
 - Apple Silicon 搭載 Mac でも動く様にライブラリをアップデート
-- device を kobo に設定し、_ebook-filename-length-limit でファイル名が制限され
+- device を kobo に設定し、ebook-filename-length-limit でファイル名が制限され
   た場合に send コマンドが正常に実行できない不具合を修正
 
 3.6.0: 2021/01/02

data/Gemfile.lock

@@ -1,16 +1,17 @@
 PATH
   remote: .
   specs:
-    narou (3.7.0)
+    narou (3.8.0)
       activesupport (>= 6.1, < 8.0)
       diff-lcs (~> 1.2, >= 1.2.5)
       erubis (~> 2.7)
-      ffi (>= 1.4.2)
+      ffi (~> 1.4, >= 1.4.2)
       haml (>= 5.1.2, < 6)
       mail (~> 2.6.0, >= 2.6.6)
       memoist (~> 0.11.0)
       open_uri_redirections (~> 0.2, >= 0.2.1)
       pony (~> 1, >= 1.11)
+      psych (~> 4.0)
       rubyzip (~> 2.0, >= 2.0.0)
       sassc (~> 2.4)
       sinatra (~> 2.0, >= 2.0.8.1)
@@ -24,7 +25,7 @@ PATH
 GEM
   remote: https://rubygems.org/
   specs:
-    activesupport (6.1.1)
+    activesupport (6.1.4)
       concurrent-ruby (~> 1.0, >= 1.0.2)
       i18n (>= 1.6, < 2)
       minitest (>= 5.1)
@@ -33,25 +34,26 @@ GEM
     awesome_print (1.8.0)
     byebug (11.1.3)
     coderay (1.1.3)
-    concurrent-ruby (1.1.8)
+    concurrent-ruby (1.1.9)
     diff-lcs (1.4.4)
     docile (1.3.5)
     erubis (2.7.0)
-    ffi (1.14.2)
-    ffi (1.14.2-java)
-    haml (5.2.1)
+    ffi (1.15.3)
+    ffi (1.15.3-java)
+    haml (5.2.2)
       temple (>= 0.8.0)
       tilt
-    i18n (1.8.7)
+    i18n (1.8.10)
       concurrent-ruby (~> 1.0)
+    jar-dependencies (0.4.1)
     mail (2.6.6)
       mime-types (>= 1.16, < 4)
     memoist (0.11.0)
     method_source (1.0.0)
     mime-types (3.3.1)
       mime-types-data (~> 3.2015)
-    mime-types-data (3.2020.1104)
-    minitest (5.14.3)
+    mime-types-data (3.2021.0704)
+    minitest (5.14.4)
     multi_json (1.15.0)
     mustermann (1.1.1)
       ruby2_keywords (~> 0.0.1)
@@ -68,6 +70,9 @@ GEM
     pry-byebug (3.9.0)
       byebug (~> 11.0)
       pry (~> 0.13.0)
+    psych (4.0.1)
+    psych (4.0.1-java)
+      jar-dependencies (>= 0.1.7)
     rack (2.2.3)
     rack-protection (2.1.0)
       rack
@@ -88,8 +93,8 @@ GEM
     rspec-support (3.10.1)
     rspec_junit_formatter (0.4.1)
       rspec-core (>= 2, < 4, != 2.12.0)
-    ruby2_keywords (0.0.4)
-    rubyzip (2.3.0)
+    ruby2_keywords (0.0.5)
+    rubyzip (2.3.2)
     sassc (2.4.0)
       ffi (~> 1.9)
     simplecov (0.21.2)
@@ -138,4 +143,4 @@ DEPENDENCIES
   timecop (~> 0.9)
 
 BUNDLED WITH
-   2.2.3
+   2.2.15

data/README.md

@@ -34,18 +34,10 @@ Narou.rb - 小説家になろうのダウンローダ＆縦書き整形＆管理
 更新履歴 - ChangeLog
 --------------------
 
-3.7.0: 2021/01/23
+3.8.1: 2021/12/27
 -----------------
 #### 修正内容
-- Apple Silicon 搭載 Mac でも動く様にライブラリをアップデート
-- device を kobo に設定し、_ebook-filename-length-limit でファイル名が制限され
-  た場合に send コマンドが正常に実行できない不具合を修正
-
-
-3.6.0: 2021/01/02
------------------
-#### 修正内容
-- Ruby 3.0 に対応
+- ハーメルンのまえがき・あとがきが取得できなくなっていたのを修正
 
 ----
 

data/commitversion

@@ -1 +1 @@
-8add0ee
+1b07ae1

data/lib/command/browser.rb

@@ -45,7 +45,7 @@ module Command
         if @options["vote"]
           # TODO: 最新話の場所をAPIで取得する
           data_dir = Downloader.get_novel_data_dir_by_target(data["id"])
-          latest_index = YAML.load_file(File.join(data_dir, Downloader::TOC_FILE_NAME))["subtitles"].last["index"]
+          latest_index = YAML.unsafe_load_file(File.join(data_dir, Downloader::TOC_FILE_NAME))["subtitles"].last["index"]
           open_url = "#{toc_url + latest_index}/#my_novelpoint"
         else
           open_url = toc_url

data/lib/command/diff.rb

@@ -212,8 +212,8 @@ module Command
       cache_sections = []
       cache_section_list.each do |path|
         match_latest_path = File.join(novel_dir, File.basename(path))
-        latest_novel_sections << YAML.load_file(match_latest_path) if File.exist?(match_latest_path)
-        cache_sections << YAML.load_file(path)
+        latest_novel_sections << YAML.unsafe_load_file(match_latest_path) if File.exist?(match_latest_path)
+        cache_sections << YAML.unsafe_load_file(path)
       end
 
       novel_info = Database.instance[id]

data/lib/command/folder.rb

@@ -23,7 +23,12 @@ module Command
     narou folder musyoku
     narou folder 0
     narou f 0
+
+  Options:
       EOS
+      @opt.on("-n", "--no-open", "フォルダを開かずにパスだけ表示する") {
+        @options["no-open"] = true
+      }
     end
 
     def execute(argv)
@@ -33,7 +38,7 @@ module Command
       argv.each do |target|
         dir = Downloader.get_novel_data_dir_by_target(target)
         if dir
-          Helper.open_directory(dir)
+          Helper.open_directory(dir) unless @options["no-open"]
           puts dir
         else
           error "#{target} は存在しません"

data/lib/command/update/general_lastup_updater.rb

@@ -4,6 +4,7 @@
 # Copyright 2013 whiteleaf. All rights reserved.
 #
 
+require "net/http"
 require_relative "../../narou/api"
 
 module Command
@@ -63,7 +64,7 @@ module Command
           interval.wait
           begin
             downloader = Downloader.new(id)
-            next unless downloader.get_latest_table_of_contents(through_error: true)
+            next unless downloader.get_latest_table_of_contents(downloader.load_toc_file, through_error: true)
             dates = {
               "novelupdated_at" => downloader.get_novelupdated_at,
               "general_lastup" => downloader.get_general_lastup,

data/lib/device.rb

@@ -91,13 +91,12 @@ class Device
   end
 
   def eject
-    if ejectable?
-      begin
-        Device.eject(@device_module::VOLUME_NAME)
-      rescue CantEject => e
-        error e.message
-      end
-    end
+    return unless ejectable?
+
+    Device.eject(@device_module::VOLUME_NAME)
+    yield if block_given?
+  rescue CantEject => e
+    error e.message
   end
 
   def self.support_eject?

data/lib/downloader.rb

@@ -157,7 +157,7 @@ class Downloader
   # toc 読込
   #
   def self.get_toc_data(archive_path)
-    YAML.load_file(File.join(archive_path, TOC_FILE_NAME))
+    YAML.unsafe_load_file(File.join(archive_path, TOC_FILE_NAME))
   end
 
   def self.get_toc_by_target(target)
@@ -778,6 +778,7 @@ class Downloader
       @setting["story"] = story_html.to_aozora
     end
     @setting["info"] = info
+    replace_external_properties_of_setting
 
     @setting["title"] = get_title
     if series_novel?
@@ -801,6 +802,7 @@ class Downloader
     raise if through_error   # エラー処理はしなくていいからそのまま例外を受け取りたい時用
     if e.message.include?("404")
       @stream.error "小説が削除されているか非公開な可能性があります"
+      sleep_for_download
       if database.novel_exists?(@id)
         Command::Tag.execute!(%W(#{@id} --add 404 --color white --no-overwrite-color), io: Narou::NullIO.new)
         Command::Freeze.execute!(@id, "--on")
@@ -1042,7 +1044,7 @@ class Downloader
   def different_section?(old_relative_path, new_subtitle_info)
     path = get_novel_data_dir.join(old_relative_path)
     return true unless path.exist?
-    YAML.load_file(path)["element"] != new_subtitle_info["element"]
+    YAML.unsafe_load_file(path)["element"] != new_subtitle_info["element"]
   end
 
   #
@@ -1267,7 +1269,7 @@ class Downloader
   #
   # 小説データの格納ディレクトリから読み込む
   def load_novel_data(filename)
-    YAML.load_file(get_novel_data_dir.join(filename))
+    YAML.unsafe_load_file(get_novel_data_dir.join(filename))
   rescue Errno::ENOENT
     nil
   end
@@ -1302,4 +1304,9 @@ class Downloader
       Template.write(filename, novel_dir_path, binding, binary_version)
     end
   end
+
+  def replace_external_properties_of_setting
+    @setting["title"] = @setting["title"].delete("\r\n")
+    @setting["author"] = @setting["author"].delete("\r\n")
+  end
 end

data/lib/helper.rb

@@ -375,7 +375,7 @@ module Helper
   #
   def erb_copy(src, dst, _binding)
     data = File.read(src, mode: "r:BOM|UTF-8")
-    result = ERB.new(data, nil, "-").result(_binding)
+    result = ERB.new(data, trim_mode: "-").result(_binding)
     File.write(dst, result)
   end
 

data/lib/inventory.rb

@@ -44,13 +44,13 @@ module Inventory
     return unless File.exist?(@inventory_file_path)
     self.merge!(Helper::CacheLoader.memo(@inventory_file_path) { |yaml|
       begin
-        YAML.load(yaml)
+        YAML.unsafe_load(yaml)
       rescue Psych::SyntaxError
         unless restore(@inventory_file_path)
           error "#{@inventory_file_path} が壊れてるっぽい"
           raise
         end
-        YAML.load_file(@inventory_file_path)
+        YAML.unsafe_load_file(@inventory_file_path)
       end
     })
   end

data/lib/loadconverter.rb

@@ -10,7 +10,7 @@ BlankConverter = Class.new(ConverterBase) {}
 
 $latest_converter = nil
 
-def converter(title, &block)
+def converter(_title = nil, &block)
   $latest_converter = Class.new(ConverterBase, &block)
 end
 
@@ -58,7 +58,7 @@ end
 #     buffer
 #   end
 # end
-def load_converter(title, archive_path)
+def load_converter(archive_path)
   converter_path = File.join(archive_path, "converter.rb")
   if File.exist?(converter_path)
     $latest_converter = nil
@@ -71,9 +71,8 @@ def load_converter(title, archive_path)
   if conv
     return conv
   else
-    title_for_converter = (title =~ /.txt\z/ ? title : File.basename(archive_path))
     error "converter.rbは見つかりましたが、`converter'で登録されていないようです。" +
-          "変換処理は converter \"#{title_for_converter.gsub('"', '\\"')}\" として登録する必要があります"
+          "変換処理は converter do ... end として登録する必要があります"
     return BlankConverter
   end
 end

data/lib/mailer.rb

@@ -23,7 +23,7 @@ class Mailer
     this.clear
     setting_file_path = File.join(Narou.root_dir, SETTING_FILE)
     if File.exist?(setting_file_path)
-      options = YAML.load_file(setting_file_path)
+      options = YAML.unsafe_load_file(setting_file_path)
       unless options.delete(:complete)
         raise SettingUncompleteError, "設定ファイルの書き換えが終了していないようです。\n" +
                                       "設定ファイルは #{setting_file_path} にあります"

data/lib/novelconverter.rb

@@ -436,7 +436,7 @@ class NovelConverter
   def load_novel_section(subtitle_info, section_save_dir)
     file_subtitle = subtitle_info["file_subtitle"] || subtitle_info["subtitle"]   # 互換性維持のため
     path = section_save_dir.join("#{subtitle_info["index"]} #{file_subtitle}.yaml")
-    YAML.load_file(path)
+    YAML.unsafe_load_file(path)
   rescue Errno::ENOENT => e
     stream_io.puts
     stream_io.error(<<~MSG.termcolor)
@@ -568,7 +568,7 @@ class NovelConverter
   # 各小説用の converter.rb 変換オブジェクトを生成
   #
   def create_converter
-    load_converter(@novel_title, @setting.archive_path).new(@setting, @inspector, @illustration)
+    load_converter(@setting.archive_path).new(@setting, @inspector, @illustration)
   end
 
   #

data/lib/sitesetting.rb

@@ -72,7 +72,7 @@ class SiteSetting
 
   def initialize(path)
     @match_values = {}
-    @yaml = YAML.load_file(path)
+    @yaml = YAML.unsafe_load_file(path)
     @path = path
   end
 

data/lib/template.rb

@@ -50,7 +50,7 @@ class Template
       path = dir.join(TEMPLATE_DIR, src_filename + ".erb")
       next unless path.exist?
       src = Helper::CacheLoader.load(path)
-      result = ERB.new(src, nil, "-").result(_binding)
+      result = ERB.new(src, trim_mode: "-").result(_binding)
       return result
     end
     raise LoadError, "テンプレートファイルが見つかりません。(#{src_filename}.erb)"

data/lib/version.rb

@@ -5,5 +5,5 @@
 #
 
 module Narou
-  VERSION = "3.7.0"
+  VERSION = "3.8.1"
 end

data/lib/web/appserver.rb

@@ -422,7 +422,7 @@ class Narou::AppServer < Sinatra::Base
     postscripts_count = 0
     toc["subtitles"].each do |sub|
       begin
-        element = YAML.load_file(downloader.section_file_path(sub))["element"]
+        element = YAML.unsafe_load_file(downloader.section_file_path(sub))["element"]
         data_type = element["data_type"] || "text"
         introduction = element["introduction"] || ""
         postscript = element["postscript"] || ""
@@ -893,8 +893,9 @@ class Narou::AppServer < Sinatra::Base
   post "/api/eject" do
     do_eject = proc do
       device = Narou.get_device
-      device.eject if device
-      puts "<bold><green>端末を取り外しました</green></bold>".termcolor
+      device&.eject do
+        puts "<bold><green>端末を取り外しました</green></bold>".termcolor
+      end
     end
     if params["enqueue"] == "true"
       Narou::WebWorker.push do

data/narou.gemspec

@@ -32,12 +32,10 @@ Gem::Specification.new do |gem|
   install_message = <<-EOS
 #{"*" * 60}
 
-3.7.0: 2021/01/23
+3.8.1: 2021/12/27
 -----------------
 #### 修正内容
-- Apple Silicon 搭載 Mac でも動く様にライブラリをアップデート
-- device を kobo に設定し、_ebook-filename-length-limit でファイル名が制限され
-  た場合に send コマンドが正常に実行できない不具合を修正
+- ハーメルンのまえがき・あとがきが取得できなくなっていたのを修正
 
 #{"*" * 60}
   EOS
@@ -66,6 +64,7 @@ Gem::Specification.new do |gem|
   gem.add_runtime_dependency 'activesupport', '>= 6.1', '< 8.0'
   gem.add_runtime_dependency 'unicode-display_width', '~> 1.4'
   gem.add_runtime_dependency 'webrick', '~> 1.7'
+  gem.add_runtime_dependency 'psych', '~> 4.0'
 
   gem.add_development_dependency 'rspec', '~> 3.10'
   gem.add_development_dependency 'rspec-retry', '~> 0.6'

data/template/converter.rb.erb

@@ -1,15 +1,8 @@
 # -*- coding: utf-8 -*-
 <% Template.target_binary_version(1.0) -%>
 
-#
-# 対象小説情報
-# タイトル: <%= @setting["title"] %>
-# 作者: <%= @setting["author"] %>
-# URL: <%= @setting["toc_url"] %>
-#
 # 詳細については http://bit.ly/1vTEH04 を参照して下さい
-#
-converter "<%= file_title.gsub('"', '\"') %>" do
+converter do
   # 各種変換処理がされる「前」の生データに対しての変換処理を記述
   def before(io, text_type)
     super

data/webnovel/syosetu.org.yaml

@@ -30,9 +30,9 @@ error_message: 投稿者が削除、もしくは間違ったアドレスを指
 body_pattern: |-
   <span style="font-size:120%">.+?</span><BR><BR>
   (?<body>.+?)
-  (?:<div id=atogaki><BR><HR><BR>(?<postscript>.+?)</div>)?
+  (?:<div id="atogaki"><br><hr><br>(?<postscript>.+?)</div>)?
 
-introduction_pattern: <div id=maegaki>(?<introduction>.+)<BR><HR><BR></div>
+introduction_pattern: <div id="maegaki">(?<introduction>.+)<br><hr><br></div><
 postscript_pattern: null
 
 illust_current_url: null

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: narou
 version: !ruby/object:Gem::Version
-  version: 3.7.0
+  version: 3.8.1
 platform: ruby
 authors:
 - whiteleaf7
 autorequire:
 bindir: bin
 cert_chain: []
-date: 2021-01-22 00:00:00.000000000 Z
+date: 2021-12-27 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: termcolorlight
@@ -340,6 +340,20 @@ dependencies:
     - - "~>"
       - !ruby/object:Gem::Version
         version: '1.7'
+- !ruby/object:Gem::Dependency
+  name: psych
+  requirement: !ruby/object:Gem::Requirement
+    requirements:
+    - - "~>"
+      - !ruby/object:Gem::Version
+        version: '4.0'
+  type: :runtime
+  prerelease: false
+  version_requirements: !ruby/object:Gem::Requirement
+    requirements:
+    - - "~>"
+      - !ruby/object:Gem::Version
+        version: '4.0'
 - !ruby/object:Gem::Dependency
   name: rspec
   requirement: !ruby/object:Gem::Requirement
@@ -695,12 +709,10 @@ metadata: {}
 post_install_message: |
   ************************************************************
 
-  3.7.0: 2021/01/23
+  3.8.1: 2021/12/27
   -----------------
   #### 修正内容
-  - Apple Silicon 搭載 Mac でも動く様にライブラリをアップデート
-  - device を kobo に設定し、_ebook-filename-length-limit でファイル名が制限され
-    た場合に send コマンドが正常に実行できない不具合を修正
+  - ハーメルンのまえがき・あとがきが取得できなくなっていたのを修正
 
   ************************************************************
 rdoc_options: []
@@ -717,7 +729,7 @@ required_rubygems_version: !ruby/object:Gem::Requirement
     - !ruby/object:Gem::Version
       version: '0'
 requirements: []
-rubygems_version: 3.2.3
+rubygems_version: 3.2.15
 signing_key:
 specification_version: 4
 summary: Narou.rb ― 小説家になろうダウンローダ＆縦書用整形スクリプト