web_loader 1.0.0 → 1.2.0

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: e1fe1994ad1ca0d18274d7f0498b0ae77843add60e1df9f5a5819ac72dc01441
-  data.tar.gz: 3ee07c0916b00959d4aa3a7dc335606f4dee1ede3145b9590033727a20cf087f
+  metadata.gz: 57806142eb3fb353786c2e1f8d36bddbf4fbdd75a5752466e426e9fb92b33ebe
+  data.tar.gz: 7b3e79220bd13d8dfad067a305e58df2894677ffc9f3b1b8ab248070840fd0cc
 SHA512:
-  metadata.gz: c05ee95ceab00acb361428458c71129b2800b49a6208ec919213ea5f95c44ed15e8df7335e5a9239db5a70e2d2748f3ca5759f8ff947a6633c479630dde59f19
-  data.tar.gz: ff8cf4fb8a9ace8d6831279ef2fd28eae61935e31f7653da669d5b1961212e49e63fbcda1693de92803625f019edd4fc99e1f1f606f8f3fc2d32820fe3fe9ebc
+  metadata.gz: 7269eb19bf3b1a36e88b66f0af750192681fe72ee8308ddb9fae3faab533543ee3a2dcc678fc18b9647919705b8ae869f0f24d38fcdf51ce4f3dce139caeda05
+  data.tar.gz: 6578e2aff6cbc4dbd6639ad026f87d435dccf62cfdfe8d88014494225ff2ba58f99a23e5e8c7013102feb7119a47644acd9b39c22c0088e31f3a3acaedd252c1

data/.idea/misc.xml

@@ -1,4 +1,3 @@
-<?xml version="1.0" encoding="UTF-8"?>
 <project version="4">
   <component name="ProjectRootManager" version="2" project-jdk-name="rbenv: 3.1.4" project-jdk-type="RUBY_SDK">
     <output url="file://$PROJECT_DIR$/out" />

data/Gemfile.lock

@@ -1,13 +1,13 @@
 PATH
   remote: .
   specs:
-    web_loader (1.0.0)
+    web_loader (1.2.0)
 
 GEM
   remote: https://rubygems.org/
   specs:
-    minitest (5.19.0)
-    rake (13.0.6)
+    minitest (5.20.0)
+    rake (13.1.0)
 
 PLATFORMS
   x86_64-darwin-22
@@ -18,4 +18,4 @@ DEPENDENCIES
   web_loader!
 
 BUNDLED WITH
-   2.4.19
+   2.4.20

data/lib/web_loader/command.rb

@@ -9,6 +9,9 @@ module WebLoader
 
     USER_AGENT = "WebLoader"
     CACHE_DIR = './cache'
+    DEFAULT_RETRY = 3
+    DEFAULT_REDIRECT = 10
+    DEFAULT_SLEEP = 10
 
     def self.save_image(url, file)
       # キャッシュせず単に保存する
@@ -31,9 +34,15 @@ module WebLoader
     attr_reader :load_cache_page
     attr_accessor :use_cache, :cache_dir, :binary, :user_agent, :verbose
 
-    def load(url, limit = 10)
-      raise ArgumentError, 'HTTP redirect too deep' if limit == 0
+    def load_retry(url, retry_count = DEFAULT_RETRY)
+      load(url, DEFAULT_REDIRECT, retry_count)
+    end
+
+    def load(url, redirect_count = DEFAULT_REDIRECT, retry_count = 0)
+      raise ArgumentError, 'HTTP redirect too deep' if redirect_count == 0
       log("Load: #{url}", @verbose)
+
+      ##### キャッシュの読み込み
       @load_cache_page = false
       content = try_load_cache(url)
       if content
@@ -41,6 +50,8 @@ module WebLoader
         @load_cache_page = true
         return content
       end
+
+      ##### サーバーからロード
       log("Load server: #{url}", @verbose)
       uri = URI.parse(url)
       http = Net::HTTP.new(uri.host, uri.port)
@@ -48,7 +59,20 @@ module WebLoader
         http.use_ssl = true
         http.verify_mode = OpenSSL::SSL::VERIFY_NONE
       end
-      response, = http.get(uri.request_uri, 'User-Agent' => @user_agent) # request_uri=path + '?' + query
+      response = nil
+      begin
+        response = http.get(uri.request_uri, 'User-Agent' => @user_agent) # request_uri=path + '?' + query
+      rescue Net::ReadTimeout
+        # タイムアウトした場合リトライ可能ならばsleepした後に再度ロード実行
+        log("Read timeout: #{url}", @verbose)
+        if retry_count > 0
+          sleep DEFAULT_SLEEP
+          return load(url, redirect_count , retry_count - 1)
+        end
+      end
+
+      ##### レスポンスの処理
+      result = nil
       case response
       when Net::HTTPSuccess
         # responseがNet::HTTPSuccessのサブクラスの場合成功とみなし読み込んだ内容を返す
@@ -64,14 +88,29 @@ module WebLoader
           log("Write cache: #{url}", @verbose)
           Cache.write(@cache_dir, url, response.code, body)
         end
-        return body
+        result = body
       when Net::HTTPRedirection
-        load(to_redirect_url(uri, response['location']), limit - 1)
+        result = load(to_redirect_url(uri, response['location']), redirect_count - 1)
       else
-        log("error #{url}", true)
+        # 上記以外のレスポンスの場合、リトライ可能ならばsleepした後に再度ロード実行
+        if retry_count > 0
+          sleep_for = 10
+          if response.is_a?(Net::HTTPTooManyRequests)
+            # HTTPTooManyRequestsならばretry-afterで指定された値を取得。
+            sleep_for = response.header['retry-after'].to_i + 10
+            log("Rate limit: #{uri} #{response.header.to_hash} (429 Too Many Requests). Sleeping #{sleep_for} seconds and retry (##{retry_count}).", @verbose)
+          else
+            log("Unknown response: #{uri} #{response.inspect}. Sleeping #{sleep_for} seconds and retry (##{retry_count}).", @verbose)
+          end
+          sleep sleep_for
+          result = load(url, redirect_count , retry_count - 1)
+        end
+
         # それ以外は対応した例外を発生
+        log("error #{url}", true)
         response.value
       end
+      result
     end
 
     private

data/lib/web_loader/utils.rb

@@ -1,34 +1,41 @@
 module WebLoader
   module Utils
     UTF_8 = 'UTF-8'
-    def toutf8(str, response_encoding)
+
+    def toutf8_charset(str, charset)
+      # charsetが指定されていない場合はnil
+      return nil if charset.to_s.length == 0
+
+      result = nil
+      begin
+        # 文字列のcharsetを変更する
+        str.force_encoding(charset) # 例外が発生する場合あり。例えば"Shift_JIS"ではなく"Shift-JIS"が渡された場合。
+        # force_encodingが失敗した場合はnil
+        return nil unless str.valid_encoding?
+        result = nil
+        if charset =~ /#{UTF_8}/i
+          result = str
+        else
+          # エンコーディングがUTF8じゃない場合変換する
+          result = str.encode(UTF_8, invalid: :replace, undef: :replace)
+        end
+      rescue => ex
+        puts ex.message
+      end
+      result
+    end
+
+    def toutf8(str, charset)
       # 2022/04/04(月)
       # GITHUBのアポストロフィ(&#x2019 U+2019)が文字化け問題に対処するために新設。
       # 原因は直接Kconv.toutf8にresponse.bodyをわたしていたことなので(Kconvのguessが失敗していたと思われる)、
       # response.type_paramsを見てそれにforce_encodingすることで対処する。渡されているcharsetとWebページの文字コードが一致していればこれで問題はないはず。
-      org_str = str.dup
-      result = str
+      result = nil
       begin
-        if response_encoding.to_s.length > 0 # nilでないかつ長さが0以上
-          # responseで指定された文字コードであるとみなす
-          str.force_encoding(response_encoding)
-          if str.valid_encoding?
-            # 指定された文字コードとみなせた場合
-            if response_encoding != UTF_8
-              # エンコーディングがUTF8じゃない場合返還する
-              result = str.encode(UTF_8, invalid: :replace, undef: :replace)
-            else
-              # UTF8の場合そのまま
-              result = str
-            end
-          else
-            # 指定された文字コードとみなせない場合元の文字列を返す
-            result = org_str
-          end
-        else
-          # responseで文字コードが指定されていない場合Kconvを使用
-          result = Kconv.toutf8(str)
-        end
+        # 指定されたcharsetで変換する
+        result = toutf8_charset(str.dup, charset)
+        # charsetによる変換が失敗した場合Kconvを使用
+        result = Kconv.toutf8(str) if result.nil?
       rescue => ex
         puts ex.message
       end

data/lib/web_loader/version.rb

@@ -1,5 +1,5 @@
 # frozen_string_literal: true
 
 module WebLoader
-  VERSION = "1.0.0"
+  VERSION = "1.2.0"
 end

data/web_loader.iml

@@ -7,7 +7,47 @@
     </content>
     <orderEntry type="inheritedJdk" />
     <orderEntry type="sourceFolder" forTests="false" />
-    <orderEntry type="library" scope="PROVIDED" name="rake (v13.0.6, rbenv: 3.1.4) [gem]" level="application" />
+    <orderEntry type="module-library">
+      <library name="minitest (v5.20.0) [path][gem]" type="rubylib">
+        <properties>
+          <option name="version" value="4" />
+        </properties>
+        <CLASSES>
+          <root url="file://$MODULE_DIR$/vendor/bundle/ruby/3.1.0/gems/minitest-5.20.0/lib" />
+          <root url="file://$MODULE_DIR$/vendor/bundle/ruby/3.1.0/gems/minitest-5.20.0/test" />
+        </CLASSES>
+        <JAVADOC />
+        <SOURCES>
+          <root url="file://$MODULE_DIR$/vendor/bundle/ruby/3.1.0/gems/minitest-5.20.0/lib" />
+          <root url="file://$MODULE_DIR$/vendor/bundle/ruby/3.1.0/gems/minitest-5.20.0/test" />
+        </SOURCES>
+        <excluded>
+          <root url="file://$MODULE_DIR$/vendor/bundle/ruby/3.1.0/gems/minitest-5.20.0/test" />
+        </excluded>
+      </library>
+    </orderEntry>
+    <orderEntry type="module-library">
+      <library name="rake (v13.1.0) [path][gem]" type="rubylib">
+        <properties>
+          <option name="version" value="4" />
+        </properties>
+        <CLASSES>
+          <root url="file://$MODULE_DIR$/vendor/bundle/ruby/3.1.0/gems/rake-13.1.0/doc" />
+          <root url="file://$MODULE_DIR$/vendor/bundle/ruby/3.1.0/gems/rake-13.1.0/exe" />
+          <root url="file://$MODULE_DIR$/vendor/bundle/ruby/3.1.0/gems/rake-13.1.0/lib" />
+        </CLASSES>
+        <JAVADOC />
+        <SOURCES>
+          <root url="file://$MODULE_DIR$/vendor/bundle/ruby/3.1.0/gems/rake-13.1.0/doc" />
+          <root url="file://$MODULE_DIR$/vendor/bundle/ruby/3.1.0/gems/rake-13.1.0/exe" />
+          <root url="file://$MODULE_DIR$/vendor/bundle/ruby/3.1.0/gems/rake-13.1.0/lib" />
+        </SOURCES>
+        <excluded>
+          <root url="file://$MODULE_DIR$/vendor/bundle/ruby/3.1.0/gems/rake-13.1.0/doc" />
+          <root url="file://$MODULE_DIR$/vendor/bundle/ruby/3.1.0/gems/rake-13.1.0/exe" />
+        </excluded>
+      </library>
+    </orderEntry>
   </component>
   <component name="RakeTasksCache">
     <option name="myRootTask">

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: web_loader
 version: !ruby/object:Gem::Version
-  version: 1.0.0
+  version: 1.2.0
 platform: ruby
 authors:
 - src
 autorequire:
 bindir: exe
 cert_chain: []
-date: 2023-09-04 00:00:00.000000000 Z
+date: 2023-11-23 00:00:00.000000000 Z
 dependencies: []
 description: Web loader.
 email: