web_loader 1.0.0 → 1.1.0

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: e1fe1994ad1ca0d18274d7f0498b0ae77843add60e1df9f5a5819ac72dc01441
-  data.tar.gz: 3ee07c0916b00959d4aa3a7dc335606f4dee1ede3145b9590033727a20cf087f
+  metadata.gz: 1055ef0181a8f0e5857172c56783111bff1d102686f006c001e5b4b2627e65cb
+  data.tar.gz: da2499a388951ecc7d0c525442b847da0be5e32ab2b478dd8ae2338e6e0772de
 SHA512:
-  metadata.gz: c05ee95ceab00acb361428458c71129b2800b49a6208ec919213ea5f95c44ed15e8df7335e5a9239db5a70e2d2748f3ca5759f8ff947a6633c479630dde59f19
-  data.tar.gz: ff8cf4fb8a9ace8d6831279ef2fd28eae61935e31f7653da669d5b1961212e49e63fbcda1693de92803625f019edd4fc99e1f1f606f8f3fc2d32820fe3fe9ebc
+  metadata.gz: 2e7e1b93c5af2ad6280843558fc89aba4014313c2fbb2999d0148749e20966bf05dcadc1e48bd8e46791feca2c7d78c6c3b99977778da667b36bd32964046ae6
+  data.tar.gz: 319950bb1a184a361e215805aa49b7dfa661f28bf3d98b28d6baa3124627dd2a4c217762409c75bb375f8e12494c117863b4358319fab02c4682349a79eeeaaf

data/.idea/misc.xml

@@ -1,4 +1,3 @@
-<?xml version="1.0" encoding="UTF-8"?>
 <project version="4">
   <component name="ProjectRootManager" version="2" project-jdk-name="rbenv: 3.1.4" project-jdk-type="RUBY_SDK">
     <output url="file://$PROJECT_DIR$/out" />

data/Gemfile.lock

@@ -1,7 +1,7 @@
 PATH
   remote: .
   specs:
-    web_loader (1.0.0)
+    web_loader (1.1.0)
 
 GEM
   remote: https://rubygems.org/

data/lib/web_loader/command.rb

@@ -9,6 +9,9 @@ module WebLoader
 
     USER_AGENT = "WebLoader"
     CACHE_DIR = './cache'
+    DEFAULT_RETRY = 3
+    DEFAULT_REDIRECT = 10
+    DEFAULT_SLEEP = 10
 
     def self.save_image(url, file)
       # キャッシュせず単に保存する
@@ -31,9 +34,15 @@ module WebLoader
     attr_reader :load_cache_page
     attr_accessor :use_cache, :cache_dir, :binary, :user_agent, :verbose
 
-    def load(url, limit = 10)
-      raise ArgumentError, 'HTTP redirect too deep' if limit == 0
+    def load_retry(url, retry_count = DEFAULT_RETRY)
+      load(url, DEFAULT_REDIRECT, retry_count)
+    end
+
+    def load(url, redirect_count = DEFAULT_REDIRECT, retry_count = 0)
+      raise ArgumentError, 'HTTP redirect too deep' if redirect_count == 0
       log("Load: #{url}", @verbose)
+
+      ##### キャッシュの読み込み
       @load_cache_page = false
       content = try_load_cache(url)
       if content
@@ -41,6 +50,8 @@ module WebLoader
         @load_cache_page = true
         return content
       end
+
+      ##### サーバーからロード
       log("Load server: #{url}", @verbose)
       uri = URI.parse(url)
       http = Net::HTTP.new(uri.host, uri.port)
@@ -48,7 +59,20 @@ module WebLoader
         http.use_ssl = true
         http.verify_mode = OpenSSL::SSL::VERIFY_NONE
       end
-      response, = http.get(uri.request_uri, 'User-Agent' => @user_agent) # request_uri=path + '?' + query
+      response = nil
+      begin
+        response = http.get(uri.request_uri, 'User-Agent' => @user_agent) # request_uri=path + '?' + query
+      rescue Net::ReadTimeout
+        # タイムアウトした場合リトライ可能ならばsleepした後に再度ロード実行
+        log("Read timeout: #{url}", @verbose)
+        if retry_count > 0
+          sleep DEFAULT_SLEEP
+          return load(url, redirect_count , retry_count - 1)
+        end
+      end
+
+      ##### レスポンスの処理
+      result = nil
       case response
       when Net::HTTPSuccess
         # responseがNet::HTTPSuccessのサブクラスの場合成功とみなし読み込んだ内容を返す
@@ -64,14 +88,29 @@ module WebLoader
           log("Write cache: #{url}", @verbose)
           Cache.write(@cache_dir, url, response.code, body)
         end
-        return body
+        result = body
       when Net::HTTPRedirection
-        load(to_redirect_url(uri, response['location']), limit - 1)
+        result = load(to_redirect_url(uri, response['location']), redirect_count - 1)
       else
-        log("error #{url}", true)
+        # 上記以外のレスポンスの場合、リトライ可能ならばsleepした後に再度ロード実行
+        if retry_count > 0
+          sleep_for = 10
+          if response.is_a?(Net::HTTPTooManyRequests)
+            # HTTPTooManyRequestsならばretry-afterで指定された値を取得。
+            sleep_for = response.header['retry-after'].to_i + 10
+            log("Rate limit: #{uri} #{response.header.to_hash} (429 Too Many Requests). Sleeping #{sleep_for} seconds and retry (##{retry_count}).", @verbose)
+          else
+            log("Unknown response: #{uri} #{response.inspect}. Sleeping #{sleep_for} seconds and retry (##{retry_count}).", @verbose)
+          end
+          sleep sleep_for
+          result = load(url, redirect_count , retry_count - 1)
+        end
+
         # それ以外は対応した例外を発生
+        log("error #{url}", true)
         response.value
       end
+      result
     end
 
     private

data/lib/web_loader/utils.rb

@@ -1,34 +1,36 @@
 module WebLoader
   module Utils
     UTF_8 = 'UTF-8'
-    def toutf8(str, response_encoding)
+
+    def toutf8_charset(str, charset)
+      # charsetが指定されていない場合はnil
+      return nil if charset.to_s.length == 0
+      # 文字列のcharsetを変更する
+      str.force_encoding(charset)
+      # force_encodingが失敗した場合はnil
+      return nil unless str.valid_encoding?
+
+      result = nil
+      if charset =~ /#{UTF_8}/i
+        result = str
+      else
+        # エンコーディングがUTF8じゃない場合変換する
+        result = str.encode(UTF_8, invalid: :replace, undef: :replace)
+      end
+      result
+    end
+
+    def toutf8(str, charset)
       # 2022/04/04(月)
       # GITHUBのアポストロフィ(&#x2019 U+2019)が文字化け問題に対処するために新設。
       # 原因は直接Kconv.toutf8にresponse.bodyをわたしていたことなので(Kconvのguessが失敗していたと思われる)、
       # response.type_paramsを見てそれにforce_encodingすることで対処する。渡されているcharsetとWebページの文字コードが一致していればこれで問題はないはず。
-      org_str = str.dup
-      result = str
+      result = nil
       begin
-        if response_encoding.to_s.length > 0 # nilでないかつ長さが0以上
-          # responseで指定された文字コードであるとみなす
-          str.force_encoding(response_encoding)
-          if str.valid_encoding?
-            # 指定された文字コードとみなせた場合
-            if response_encoding != UTF_8
-              # エンコーディングがUTF8じゃない場合返還する
-              result = str.encode(UTF_8, invalid: :replace, undef: :replace)
-            else
-              # UTF8の場合そのまま
-              result = str
-            end
-          else
-            # 指定された文字コードとみなせない場合元の文字列を返す
-            result = org_str
-          end
-        else
-          # responseで文字コードが指定されていない場合Kconvを使用
-          result = Kconv.toutf8(str)
-        end
+        # 指定されたcharsetで変換する
+        result = toutf8_charset(str.dup, charset)
+        # charsetによる変換が失敗した場合Kconvを使用
+        result = Kconv.toutf8(str) if result.nil?
       rescue => ex
         puts ex.message
       end

data/lib/web_loader/version.rb

@@ -1,5 +1,5 @@
 # frozen_string_literal: true
 
 module WebLoader
-  VERSION = "1.0.0"
+  VERSION = "1.1.0"
 end

data/web_loader.iml

@@ -7,7 +7,48 @@
     </content>
     <orderEntry type="inheritedJdk" />
     <orderEntry type="sourceFolder" forTests="false" />
-    <orderEntry type="library" scope="PROVIDED" name="rake (v13.0.6, rbenv: 3.1.4) [gem]" level="application" />
+    <orderEntry type="module-library">
+      <library name="minitest (v5.19.0) [path][gem]" type="rubylib">
+        <properties>
+          <option name="version" value="4" />
+        </properties>
+        <CLASSES>
+          <root url="file://$MODULE_DIR$/vendor/bundle/ruby/3.1.0/gems/minitest-5.19.0/lib" />
+          <root url="file://$MODULE_DIR$/vendor/bundle/ruby/3.1.0/gems/minitest-5.19.0/test" />
+        </CLASSES>
+        <JAVADOC />
+        <SOURCES>
+          <root url="file://$MODULE_DIR$/vendor/bundle/ruby/3.1.0/gems/minitest-5.19.0/lib" />
+          <root url="file://$MODULE_DIR$/vendor/bundle/ruby/3.1.0/gems/minitest-5.19.0/test" />
+        </SOURCES>
+        <excluded>
+          <root url="file://$MODULE_DIR$/vendor/bundle/ruby/3.1.0/gems/minitest-5.19.0/test" />
+        </excluded>
+      </library>
+    </orderEntry>
+    <orderEntry type="module-library">
+      <library name="rake (v13.0.6) [path][gem]" type="rubylib">
+        <properties>
+          <option name="version" value="4" />
+        </properties>
+        <CLASSES>
+          <root url="file://$MODULE_DIR$/vendor/bundle/ruby/3.1.0/gems/rake-13.0.6/doc" />
+          <root url="file://$MODULE_DIR$/vendor/bundle/ruby/3.1.0/gems/rake-13.0.6/exe" />
+          <root url="file://$MODULE_DIR$/vendor/bundle/ruby/3.1.0/gems/rake-13.0.6/lib" />
+        </CLASSES>
+        <JAVADOC />
+        <SOURCES>
+          <root url="file://$MODULE_DIR$/vendor/bundle/ruby/3.1.0/gems/rake-13.0.6/doc" />
+          <root url="file://$MODULE_DIR$/vendor/bundle/ruby/3.1.0/gems/rake-13.0.6/exe" />
+          <root url="file://$MODULE_DIR$/vendor/bundle/ruby/3.1.0/gems/rake-13.0.6/lib" />
+        </SOURCES>
+        <excluded>
+          <root url="file://$MODULE_DIR$/vendor/bundle/ruby/3.1.0/gems/rake-13.0.6/doc" />
+          <root url="file://$MODULE_DIR$/vendor/bundle/ruby/3.1.0/gems/rake-13.0.6/exe" />
+        </excluded>
+      </library>
+    </orderEntry>
+    <orderEntry type="library" scope="PROVIDED" name="bundler (v2.4.19, rbenv: 3.1.4) [gem]" level="application" />
   </component>
   <component name="RakeTasksCache">
     <option name="myRootTask">

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: web_loader
 version: !ruby/object:Gem::Version
-  version: 1.0.0
+  version: 1.1.0
 platform: ruby
 authors:
 - src
 autorequire:
 bindir: exe
 cert_chain: []
-date: 2023-09-04 00:00:00.000000000 Z
+date: 2023-10-07 00:00:00.000000000 Z
 dependencies: []
 description: Web loader.
 email: