web_loader 0.9.2 → 1.1.0

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: bedf3023b91edc76a9176df7d866e5598679dfda140a6c118595819b5007ded0
-  data.tar.gz: 2850c8535b50e8848cfef5d4e6bc764287ddc85e5a1cd22323703d061091c81a
+  metadata.gz: 1055ef0181a8f0e5857172c56783111bff1d102686f006c001e5b4b2627e65cb
+  data.tar.gz: da2499a388951ecc7d0c525442b847da0be5e32ab2b478dd8ae2338e6e0772de
 SHA512:
-  metadata.gz: 36acc87915c495d51c6fae31605afb45c8c7f0fb7faa6be94d81fef48226222936238ea615ea2fed7a8cb89b0f909ab42768838cdf6ff11d568ff8245637f78b
-  data.tar.gz: cf572416db59dc13ae4f253bd54aa6a51add2be5c3cb3ad401bdccd9e8f04f07df22ba14f34566d345828e0fe7f64a61ee43294b75532b06dffff0842edcde37
+  metadata.gz: 2e7e1b93c5af2ad6280843558fc89aba4014313c2fbb2999d0148749e20966bf05dcadc1e48bd8e46791feca2c7d78c6c3b99977778da667b36bd32964046ae6
+  data.tar.gz: 319950bb1a184a361e215805aa49b7dfa661f28bf3d98b28d6baa3124627dd2a4c217762409c75bb375f8e12494c117863b4358319fab02c4682349a79eeeaaf

data/.idea/misc.xml

@@ -1,4 +1,3 @@
-<?xml version="1.0" encoding="UTF-8"?>
 <project version="4">
   <component name="ProjectRootManager" version="2" project-jdk-name="rbenv: 3.1.4" project-jdk-type="RUBY_SDK">
     <output url="file://$PROJECT_DIR$/out" />

data/Gemfile.lock

@@ -1,7 +1,7 @@
 PATH
   remote: .
   specs:
-    web_loader (0.9.2)
+    web_loader (1.1.0)
 
 GEM
   remote: https://rubygems.org/
@@ -18,4 +18,4 @@ DEPENDENCIES
   web_loader!
 
 BUNDLED WITH
-   2.4.9
+   2.4.19

data/lib/web_loader/command.rb

@@ -9,6 +9,9 @@ module WebLoader
 
     USER_AGENT = "WebLoader"
     CACHE_DIR = './cache'
+    DEFAULT_RETRY = 3
+    DEFAULT_REDIRECT = 10
+    DEFAULT_SLEEP = 10
 
     def self.save_image(url, file)
       # キャッシュせず単に保存する
@@ -25,28 +28,51 @@ module WebLoader
       @cache_dir = File.expand_path(CACHE_DIR)
       @user_agent = "#{USER_AGENT}/#{VERSION}"
       @binary = false
+      @verbose = false
     end
 
     attr_reader :load_cache_page
-    attr_accessor :use_cache, :cache_dir, :binary, :user_agent
+    attr_accessor :use_cache, :cache_dir, :binary, :user_agent, :verbose
 
-    def load(url, limit = 10)
-      raise ArgumentError, 'HTTP redirect too deep' if limit == 0
+    def load_retry(url, retry_count = DEFAULT_RETRY)
+      load(url, DEFAULT_REDIRECT, retry_count)
+    end
+
+    def load(url, redirect_count = DEFAULT_REDIRECT, retry_count = 0)
+      raise ArgumentError, 'HTTP redirect too deep' if redirect_count == 0
+      log("Load: #{url}", @verbose)
 
+      ##### キャッシュの読み込み
       @load_cache_page = false
       content = try_load_cache(url)
       if content
+        log("Load cache: #{url}", @verbose)
         @load_cache_page = true
         return content
       end
 
+      ##### サーバーからロード
+      log("Load server: #{url}", @verbose)
       uri = URI.parse(url)
       http = Net::HTTP.new(uri.host, uri.port)
       if uri.scheme == 'https'
         http.use_ssl = true
         http.verify_mode = OpenSSL::SSL::VERIFY_NONE
       end
-      response, = http.get(uri.request_uri, 'User-Agent' => @user_agent) # request_uri=path + '?' + query
+      response = nil
+      begin
+        response = http.get(uri.request_uri, 'User-Agent' => @user_agent) # request_uri=path + '?' + query
+      rescue Net::ReadTimeout
+        # タイムアウトした場合リトライ可能ならばsleepした後に再度ロード実行
+        log("Read timeout: #{url}", @verbose)
+        if retry_count > 0
+          sleep DEFAULT_SLEEP
+          return load(url, redirect_count , retry_count - 1)
+        end
+      end
+
+      ##### レスポンスの処理
+      result = nil
       case response
       when Net::HTTPSuccess
         # responseがNet::HTTPSuccessのサブクラスの場合成功とみなし読み込んだ内容を返す
@@ -58,15 +84,33 @@ module WebLoader
           encoding = response.type_params['charset']
           body = toutf8(body, encoding)
         end
-        Cache.write(@cache_dir, url, response.code, body) if @use_cache
-        return body
+        if @use_cache
+          log("Write cache: #{url}", @verbose)
+          Cache.write(@cache_dir, url, response.code, body)
+        end
+        result = body
       when Net::HTTPRedirection
-        load(to_redirect_url(uri, response['location']), limit - 1)
+        result = load(to_redirect_url(uri, response['location']), redirect_count - 1)
       else
-        puts "error #{url}"
+        # 上記以外のレスポンスの場合、リトライ可能ならばsleepした後に再度ロード実行
+        if retry_count > 0
+          sleep_for = 10
+          if response.is_a?(Net::HTTPTooManyRequests)
+            # HTTPTooManyRequestsならばretry-afterで指定された値を取得。
+            sleep_for = response.header['retry-after'].to_i + 10
+            log("Rate limit: #{uri} #{response.header.to_hash} (429 Too Many Requests). Sleeping #{sleep_for} seconds and retry (##{retry_count}).", @verbose)
+          else
+            log("Unknown response: #{uri} #{response.inspect}. Sleeping #{sleep_for} seconds and retry (##{retry_count}).", @verbose)
+          end
+          sleep sleep_for
+          result = load(url, redirect_count , retry_count - 1)
+        end
+
         # それ以外は対応した例外を発生
+        log("error #{url}", true)
         response.value
       end
+      result
     end
 
     private
@@ -76,5 +120,8 @@ module WebLoader
       Cache.load_content(@cache_dir, url)
     end
 
+    def log(msg, put_log)
+      puts msg if put_log
+    end
   end
 end

data/lib/web_loader/utils.rb

@@ -1,34 +1,36 @@
 module WebLoader
   module Utils
     UTF_8 = 'UTF-8'
-    def toutf8(str, response_encoding)
+
+    def toutf8_charset(str, charset)
+      # charsetが指定されていない場合はnil
+      return nil if charset.to_s.length == 0
+      # 文字列のcharsetを変更する
+      str.force_encoding(charset)
+      # force_encodingが失敗した場合はnil
+      return nil unless str.valid_encoding?
+
+      result = nil
+      if charset =~ /#{UTF_8}/i
+        result = str
+      else
+        # エンコーディングがUTF8じゃない場合変換する
+        result = str.encode(UTF_8, invalid: :replace, undef: :replace)
+      end
+      result
+    end
+
+    def toutf8(str, charset)
       # 2022/04/04(月)
       # GITHUBのアポストロフィ(&#x2019 U+2019)が文字化け問題に対処するために新設。
       # 原因は直接Kconv.toutf8にresponse.bodyをわたしていたことなので(Kconvのguessが失敗していたと思われる)、
       # response.type_paramsを見てそれにforce_encodingすることで対処する。渡されているcharsetとWebページの文字コードが一致していればこれで問題はないはず。
-      org_str = str.dup
-      result = str
+      result = nil
       begin
-        if response_encoding.to_s.length > 0 # nilでないかつ長さが0以上
-          # responseで指定された文字コードであるとみなす
-          str.force_encoding(response_encoding)
-          if str.valid_encoding?
-            # 指定された文字コードとみなせた場合
-            if response_encoding != UTF_8
-              # エンコーディングがUTF8じゃない場合返還する
-              result = str.encode(UTF_8, invalid: :replace, undef: :replace)
-            else
-              # UTF8の場合そのまま
-              result = str
-            end
-          else
-            # 指定された文字コードとみなせない場合元の文字列を返す
-            result = org_str
-          end
-        else
-          # responseで文字コードが指定されていない場合Kconvを使用
-          result = Kconv.toutf8(str)
-        end
+        # 指定されたcharsetで変換する
+        result = toutf8_charset(str.dup, charset)
+        # charsetによる変換が失敗した場合Kconvを使用
+        result = Kconv.toutf8(str) if result.nil?
       rescue => ex
         puts ex.message
       end

data/lib/web_loader/version.rb

@@ -1,5 +1,5 @@
 # frozen_string_literal: true
 
 module WebLoader
-  VERSION = "0.9.2"
+  VERSION = "1.1.0"
 end

data/test.sh

@@ -0,0 +1,4 @@
+#!/bin/sh
+
+bundle exec rake test
+

data/web_loader.iml

@@ -7,7 +7,48 @@
     </content>
     <orderEntry type="inheritedJdk" />
     <orderEntry type="sourceFolder" forTests="false" />
-    <orderEntry type="library" scope="PROVIDED" name="rake (v13.0.6, rbenv: 3.1.4) [gem]" level="application" />
+    <orderEntry type="module-library">
+      <library name="minitest (v5.19.0) [path][gem]" type="rubylib">
+        <properties>
+          <option name="version" value="4" />
+        </properties>
+        <CLASSES>
+          <root url="file://$MODULE_DIR$/vendor/bundle/ruby/3.1.0/gems/minitest-5.19.0/lib" />
+          <root url="file://$MODULE_DIR$/vendor/bundle/ruby/3.1.0/gems/minitest-5.19.0/test" />
+        </CLASSES>
+        <JAVADOC />
+        <SOURCES>
+          <root url="file://$MODULE_DIR$/vendor/bundle/ruby/3.1.0/gems/minitest-5.19.0/lib" />
+          <root url="file://$MODULE_DIR$/vendor/bundle/ruby/3.1.0/gems/minitest-5.19.0/test" />
+        </SOURCES>
+        <excluded>
+          <root url="file://$MODULE_DIR$/vendor/bundle/ruby/3.1.0/gems/minitest-5.19.0/test" />
+        </excluded>
+      </library>
+    </orderEntry>
+    <orderEntry type="module-library">
+      <library name="rake (v13.0.6) [path][gem]" type="rubylib">
+        <properties>
+          <option name="version" value="4" />
+        </properties>
+        <CLASSES>
+          <root url="file://$MODULE_DIR$/vendor/bundle/ruby/3.1.0/gems/rake-13.0.6/doc" />
+          <root url="file://$MODULE_DIR$/vendor/bundle/ruby/3.1.0/gems/rake-13.0.6/exe" />
+          <root url="file://$MODULE_DIR$/vendor/bundle/ruby/3.1.0/gems/rake-13.0.6/lib" />
+        </CLASSES>
+        <JAVADOC />
+        <SOURCES>
+          <root url="file://$MODULE_DIR$/vendor/bundle/ruby/3.1.0/gems/rake-13.0.6/doc" />
+          <root url="file://$MODULE_DIR$/vendor/bundle/ruby/3.1.0/gems/rake-13.0.6/exe" />
+          <root url="file://$MODULE_DIR$/vendor/bundle/ruby/3.1.0/gems/rake-13.0.6/lib" />
+        </SOURCES>
+        <excluded>
+          <root url="file://$MODULE_DIR$/vendor/bundle/ruby/3.1.0/gems/rake-13.0.6/doc" />
+          <root url="file://$MODULE_DIR$/vendor/bundle/ruby/3.1.0/gems/rake-13.0.6/exe" />
+        </excluded>
+      </library>
+    </orderEntry>
+    <orderEntry type="library" scope="PROVIDED" name="bundler (v2.4.19, rbenv: 3.1.4) [gem]" level="application" />
   </component>
   <component name="RakeTasksCache">
     <option name="myRootTask">

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: web_loader
 version: !ruby/object:Gem::Version
-  version: 0.9.2
+  version: 1.1.0
 platform: ruby
 authors:
 - src
 autorequire:
 bindir: exe
 cert_chain: []
-date: 2023-08-01 00:00:00.000000000 Z
+date: 2023-10-07 00:00:00.000000000 Z
 dependencies: []
 description: Web loader.
 email:
@@ -36,6 +36,7 @@ files:
 - lib/web_loader/utils.rb
 - lib/web_loader/version.rb
 - sig/web_loader.rbs
+- test.sh
 - web_loader.iml
 homepage: https://srcw.net
 licenses:
@@ -59,7 +60,7 @@ required_rubygems_version: !ruby/object:Gem::Requirement
     - !ruby/object:Gem::Version
       version: '0'
 requirements: []
-rubygems_version: 3.2.33
+rubygems_version: 3.3.26
 signing_key:
 specification_version: 4
 summary: Web loader.