http_crawler 0.3.1.31 → 0.3.2.0

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: 9b132210027bb986c3b36ca50855a159cf3279afb497532a0357b01dc14770ea
-  data.tar.gz: 7ed408eb7fe85c1cdb2647ff74cc6f97ebd101da1f7c66562aaf6236a1245289
+  metadata.gz: 539321e3e69747e02ae880742809d04f5f7ef87bcf878f05092ab23145ecde28
+  data.tar.gz: d6587f26299e869d5b604487f4cc5302fb1bc044fd29ba3d723045f40824c5bd
 SHA512:
-  metadata.gz: bfcb96c28ee2dc95ce5f9559aa7dafb17687819522f17f042f8d31025302ccac3a23d427912b159b74e861ca0fb7ca17ad14dec089c218acaf6d78415627b64b
-  data.tar.gz: b6a2bd5b3e0336a571c172be9de653f64035912a8d53a19e445b89b4c6f7ffe579290c4f951b94d56dc2de6fe8750489c7d292c3ad867e8f0f4a2b78a3c28ca2
+  metadata.gz: f0356c38ec7e6c0e6e901a77ceacce783219b784c748447807c6e6b6a5488379453e515722e6f991983acef80009d009f1d51f6000f771c9edd96d28d620dd9d
+  data.tar.gz: 5f0d045e1b4dba21941897cc57e6727fdcb942208abe7158fc0324512cd3a2ba90c1b160c0879c8d072cc80cf114a39f1e295f852145cb721be211cbc6984ac7

data/lib/http_crawler/client.rb

@@ -113,14 +113,28 @@ module HttpCrawler
     attr_accessor :redirect
 
     attr_accessor :header
-    # 头文件相关方法
-    def header(parameter = {})
-      parameter = parameter.symbolize_keys
+    # 创建时间: 2019/9/16 17:11
+    # 更新时间: 2019/9/16
+    # 作者: Jagger
+    # 方法名称: header
+    # 方法说明: 返回头文件
+    # 调用方式: #header
+    #
+    # @return
+    def header
       @header ||= init_header
     end
 
-    def init_header(parameter = {})
-      parameter = parameter.symbolize_keys
+    # 创建时间: 2019/9/16 17:08
+    # 更新时间: 2019/9/16
+    # 作者: Jagger
+    # 方法名称: init_header
+    # 方法说明: 初始化头文件
+    # 调用方式: #init_header
+    #
+    # @return
+    #
+    def init_header
       @header = {
           "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8",
           "Accept-Encoding": "gzip, br",
@@ -131,58 +145,164 @@ module HttpCrawler
       }
     end
 
+    # 创建时间: 2019/9/16 17:08
+    # 更新时间: 2019/9/16
+    # 作者: Jagger
+    # 方法名称: update_header
+    # 方法说明: 更新头文件，局部更新
+    # 调用方式: #update_header
+    #
+    # @return 
+    #
     def update_header(parameter = {})
-      parameter = parameter.symbolize_keys
-      @header = init_header
+      @header = @header.merge(parameter.symbolize_keys)
     end
 
+    # 创建时间: 2019/9/16 17:10
+    # 更新时间: 2019/9/16
+    # 作者: Jagger
+    # 方法名称: replace_header
+    # 方法说明: 替换头文件
+    # 调用方式: #replace_header
+    #
+    # @option parameter [Hash]	Hash模式传参
+    # @param parameter [Hash] 
+    #         {
+    #             "": ,  # 参数说明
+    #         }
+    #
+    # @return 
+    #
+    def replace_header(parameter = {})
+      @header = parameter.symbolize_keys
+    end
+
+
     attr_accessor :cookies
-    # cookies相关方法
-    def cookies(parameter = {})
-      parameter = parameter.symbolize_keys
-      @cookies ||= HTTP::CookieJar.new
+    # 创建时间: 2019/9/16 17:12
+    # 更新时间: 2019/9/16
+    # 作者: Jagger
+    # 方法名称: cookies
+    # 方法说明: 返回头文件
+    # 调用方式: #cookies
+    #
+    # @return
+    #
+    def cookies
+      @cookies ||= init_cookies
     end
 
-    def init_cookies(parameter = {})
-      parameter = parameter.symbolize_keys
+    # 创建时间: 2019/9/16 17:13
+    # 更新时间: 2019/9/16
+    # 作者: Jagger
+    # 方法名称: init_cookies
+    # 方法说明: 初始化头文件
+    # 调用方式: #init_cookies
+    #
+    # @return
+    #
+    def init_cookies
       @cookies = {}
     end
 
+    # 创建时间: 2019/9/16 17:13
+    # 更新时间: 2019/9/16
+    # 作者: Jagger
+    # 方法名称: update_cookies
+    # 方法说明: 更新cookies，局部替换
+    # 调用方式: #update_cookies
+    #
+    # @option parameter [Hash]	Hash模式传参
+    # @param parameter [Hash]
+    #         {
+    #             "": ,  # 参数说明
+    #         }
+    #
+    # @return
+    #
     def update_cookies(parameter = {})
-      parameter = parameter.symbolize_keys
+      case parameter
+      when String
+        hash = {}
+        parameter.scan(/([^=]*)=([^;]*);? ?/) do |m|
+          hash[:"#{m[0]}"] = m[1]
+        end
+        @cookies = @cookies.merge(hash.symbolize_keys)
+      when Hash
+        @cookies = @cookies.merge(parameter.symbolize_keys)
+      else
+        raise "cookies传入格式错误"
+      end
+      @cookies
+    end
 
+    # 创建时间: 2019/9/16 17:20
+    # 更新时间: 2019/9/16
+    # 作者: Jagger
+    # 方法名称: inheritance_cookies
+    # 方法说明: 继承上一个请求的set-cookies
+    # 调用方式: #inheritance_cookies
+    #
+    # @return 
+    #
+    def inheritance_cookies
       @response.cookies.each do |cookie|
-        @cookies.add(cookie)
+        @cookies[:"#{cookie.name}"] = cookie.value
       end unless @response.blank?
-
-      nil
+      @cookies
     end
 
-    # 字符串转换成cookies
-    # "abc=123; cd=412" => { "abc": "123", "cd": "412"}
-    def str_to_cookies(str)
-      str.scan(/([^=]*)=([^;]*);? ?/) do |m|
-        self.cookies[:"#{m[0]}"] = m[1]
-      end
-    end
-
-    # 代理设置
+    # 创建时间: 2019/9/16 17:19
+    # 更新时间: 2019/9/16
+    # 作者: Jagger
+    # 方法名称: auto_proxy=
+    # 方法说明: 自动更新代理设置
+    # 调用方式: #auto_proxy=
+    #
+    # @return
+    #
     def auto_proxy=(value)
       Rails.logger.debug "自动更新代理"
       @auto_proxy = value
       update_proxy if (value == true && @proxy.blank?)
     end
 
-    # 代理使用的api方法名
+    # 创建时间: 2019/9/16 17:23
+    # 更新时间: 2019/9/16
+    # 作者: Jagger
+    # 方法名称: proxy_api
+    # 方法说明: 代理使用的api方法名
+    # 调用方式: #proxy_api
+    #
+    # @return
+    #
     def proxy_api
       @proxy_api ||= "my"
     end
 
-    # 调用代理 api使用的参数
+    # 创建时间: 2019/9/16 17:24
+    # 更新时间: 2019/9/16
+    # 作者: Jagger
+    # 方法名称: proxy_params
+    # 方法说明: 调用代理 api使用的参数
+    # 调用方式: #proxy_params
+    #
+    # @return
     def proxy_params
       @proxy_params ||= {key: "default"}
     end
 
+    # 创建时间: 2019/9/16 17:24
+    # 更新时间: 2019/9/16
+    # 作者: Jagger
+    # 方法名称: update_proxy
+    # 方法说明: 更新代理，如果未传入代理则自动获取代理
+    # 调用方式: #update_proxy
+    #
+    # @option proxy [Hash]	Hash模式传参
+    # @param proxy [Hash]
+    #
+    # @return
     def update_proxy(proxy = {})
       proxy = proxy.symbolize_keys
       if (proxy.blank?)
@@ -194,7 +314,14 @@ module HttpCrawler
     end
 
 
-    # 如果自动更新代理 则更新代理返回 true，否则返回false
+    # 创建时间: 2019/9/16 17:25
+    # 更新时间: 2019/9/16
+    # 作者: Jagger
+    # 方法名称: update_proxy?
+    # 方法说明: 是否自动更新代理，如果自动更新代理 则更新代理返回 true，否则返回false
+    # 调用方式: #update_proxy?
+    #
+    # @return
     def update_proxy?
       if @auto_proxy
         self.update_proxy
@@ -207,6 +334,15 @@ module HttpCrawler
 
     # 获取proxy
     # 通过调用 api 获取代理或者通过自定义设置代理
+    # 创建时间: 2019/9/16 17:26
+    # 更新时间: 2019/9/16
+    # 作者: Jagger
+    # 方法名称: get_proxy
+    # 方法说明: 获取proxy、通过调用 api 获取代理或者通过自定义设置代理
+    # 调用方式: #get_proxy
+    #
+    # @return
+    #
     def get_proxy
       proxy_ip = nil
       begin
@@ -252,16 +388,17 @@ module HttpCrawler
       nil
     end
 
-    # 创建时间: 2019/9/11 17:11
-    # 更新时间: 2019/9/11
+    # 初始化http请求前置条件
+    # 创建时间: 2019/9/16 17:27
+    # 更新时间: 2019/9/16
     # 作者: Jagger
-    # 方法名称: init_http
-    # 方法说明: 初始化http请求前置条件
-    # 调用方式: #init_http
+    # 方法名称: http
+    # 方法说明: 创建Http的对象，用于发送请求
+    # 调用方式: #http
     #
     # @return HTTP
-    #
-    def init_http
+    def http
+
       h = HTTP
       # 自动重定向。最大重定向次数 max_hops: 5
       h = h.follow(max_hops: 5) if self.redirect == true
@@ -287,13 +424,20 @@ module HttpCrawler
       h
     end
 
-    # 初始化http请求前置条件
-    def http
-      init_http
-    end
-
 
-    # 发送 get 请求
+    # 创建时间: 2019/9/16 17:27
+    # 更新时间: 2019/9/16
+    # 作者: Jagger
+    # 方法名称: get
+    # 方法说明: 发送get请求
+    # 调用方式: #get
+    #
+    # @param path [String]  uri路由地址
+    # @param params [Hash]  get参数
+    # @param limit [Integer]  错误递归次数
+    #
+    # @return
+    #
     def get(path, params = {}, limit = 3)
       raise "Client uri为空" unless self.uri
       request do
@@ -306,13 +450,32 @@ module HttpCrawler
       end
     end
 
-    # 直接发送uri的get请求
+    # 创建时间: 2019/9/16 17:29
+    # 更新时间: 2019/9/16
+    # 作者: Jagger
+    # 方法名称: get_uri
+    # 方法说明: 直接发送uri的get请求
+    # 调用方式: #get_uri
+    #
+    # @return
     def get_uri
       raise "Client uri为空" unless self.uri
       request {http.get(self.uri.to_s, :ssl_context => @ctx)}
     end
 
     # 发送 post 请求
+    # 创建时间: 2019/9/16 17:29
+    # 更新时间: 2019/9/16
+    # 作者: Jagger
+    # 方法名称: post
+    # 方法说明: 发送 post 请求
+    # 调用方式: #post
+    #
+    # @param path [String]  uri路由地址
+    # @param params [Hash]  get参数
+    # @param format []  请求参数的模式：:params、:form、:body、:json、:form。
+    #
+    # @return
     def post(path, params = {}, format = :form)
       raise "Client uri为空" unless self.uri
       request {http.post((self.uri + path).to_s, format => params, :ssl_context => @ctx)}
@@ -323,6 +486,16 @@ module HttpCrawler
     protected :response=
 
     # 出现如果验证码,切换代理
+    # 创建时间: 2019/9/16 17:31
+    # 更新时间: 2019/9/16
+    # 作者: Jagger
+    # 方法名称: validation_to_proxy?
+    # 方法说明: 验证是否出现验证码，出现如果验证码,切换代理
+    # 调用方式: #validation_to_proxy?
+    #
+    # @param r 默认为本身的 @response
+    #
+    # @return
     def validation_to_proxy?(r = response)
       # 判断是否出现验证码
       if r.validation_page?
@@ -338,7 +511,15 @@ module HttpCrawler
     protected
 
 
-    # 发送请求
+    # 创建时间: 2019/9/16 18:01
+    # 更新时间: 2019/9/16
+    # 作者: Jagger
+    # 方法名称: request
+    # 方法说明: 发送请求，所有请求都会走该方法
+    # 调用方式: #request
+    #
+    # @return
+    #
     def request(&block)
       raise "必须定义块" unless block_given?
       n = max_error_num

data/lib/http_crawler/version.rb

@@ -1,3 +1,3 @@
 module HttpCrawler
-  VERSION = "0.3.1.31"
+  VERSION = "0.3.2.0"
 end

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: http_crawler
 version: !ruby/object:Gem::Version
-  version: 0.3.1.31
+  version: 0.3.2.0
 platform: ruby
 authors:
 - jagger
 autorequire: 
 bindir: exe
 cert_chain: []
-date: 2019-09-12 00:00:00.000000000 Z
+date: 2019-09-16 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: rspec