nicoscraper 0.2.9 → 0.2.10

data/README.md

@@ -9,8 +9,8 @@ NicoScraper
 **Author:**  Masami Yonehara  
 **Copyright:**  2011  
 **License:**  MIT License  
-**Latest Version:**  0.2.7  
-**Release Date:**  Sep 25th 2011  
+**Latest Version:**  0.2.10  
+**Release Date:**  Sep 30th 2011  
  
 
 何をするライブラリ？
@@ -130,7 +130,7 @@ NicoScraper
     searchByTag = Nicos::Searcher::ByTag.new()
     searchByTag.execute(
       'VOCALOID', 
-      'post_new'
+      :post_new
     ) { |result, status|
       terminate = false
 
@@ -194,34 +194,31 @@ NicoScraper
 　それを防ぐための措置の一つが、`"continue"`を明示的に返さないとスクレイピングが継続しない仕様ですが、もう一つ、アクセス中のウェイトを任意に設定できるようにしています。具体的には、連続リクエストの上限回数、連続リクエスト後のウェイト、1リクエスト毎のウェイト、連続アクセス拒絶時やサーバ混雑時の再試行までのウェイトなどです。ウェイトの設定は、以下のように`Nicos::Connector::Config::waitConfig`に与えられています。以下はデフォルトの設定です。
 
     Nicos::Connector::Config::waitConfig = {
+      :seqAccLimit => 10,  # 連続してリクエストする回数
+      :afterSeq    => 10,  # 連続リクエスト後のウェイト（以下全て単位は秒）
+      :each        => 1,   # 連続リクエスト時の、1リクエスト毎のウェイト
 
-      # module::Searcher用の設定
-      'seqAccLimit' => 10,  # 連続してリクエストする回数
-      'afterSeq'    => 10,  # 連続リクエスト後のウェイト（以下全て単位は秒）
-      'each'        => 5,   # 連続リクエスト時の、1リクエスト毎のウェイト
+      :increment   => 1,   # 例外発生時の、次回以降の1リクエスト毎のウェイトの増加量
 
-      # 全メソッド共通の設定
-      'deniedSeqReq'=> {    # 連続アクセス拒絶時
-        'retryLimit'  => 3,   # 再試行回数の上限
-        'wait'        => 120  # 再試行までのウェイト
+      :deniedSeqReq=> {    # 連続アクセス拒絶時
+        :retryLimit  => 3,   # 再試行回数の上限
+        :wait        => 120  # 再試行までのウェイト
       },
       
-      'serverIsBusy'=> {    # サーバ混雑時
-        'retryLimit'  => 3,
-        'wait'        => 120
+      :serverIsBusy=> {    # サーバ混雑時
+        :retryLimit  => 3,
+        :wait        => 120
       },
       
-      'serviceUnavailable' => { # 503時
-        'retryLimit'  => 3,
-        'wait'        => 120
+      :serviceUnavailable => { # 503時
+        :retryLimit  => 3,
+        :wait        => 120
       },
       
-      'timedOut' => {       # タイムアウト時
-        'retryLimit'  => 3,
-        'wait'        => 10
-      },
-
-      'increment'   => 1    # 異常ステータス時の、次回以降の1リクエスト毎のウェイトの増加量
+      :timedOut => {       # タイムアウト時
+        :retryLimit  => 3,
+        :wait        => 10
+      }
     }
 
 ###連続リクエストとは？
@@ -271,10 +268,10 @@ NicoScraper
 　なお、setWaitメソッドは指定したキーの部分のみを上書きするため、設定毎に上記の書式のハッシュオブジェクトを用意する必要はありません。
 
     wait = {
-      'seqAccLimit' => 100,
+      :seqAccLimit => 100,
      
-      'deniedSeqReq'=> {   
-        'wait'        => 1200  
+      :deniedSeqReq => {   
+        :wait        => 1200  
       }
     }
 
@@ -323,9 +320,32 @@ Mylistクラスのインスタンス
 GitHubを経由して下さってもいいのですが、まだ慣れていないので対応が遅れるかもしれません。
 
 
+###今後の予定
+
+**v 0.3**
+
++ HTMLから取得・解析するメソッドの追加。
+
++ キーワード検索の実装。
+
+**v 0.4-**
+
++ シリーズ性判定の強化。説明文中にある「次 sm***」等の表記を解析し、マイリストに頼らずにシリーズ性を判定するようにする。
+
++ コミュニティ動画、限定公開動画・マイリストへの対応。
+
+
 ###更新履歴
 
-**v 0.2.8 - 0.2.9**
+**v 0.2.10**
+
++ 例外発生時に終了してしまうバグを修正。
+
++ リクエスト成否等のステータスの詳細化。
+
++ パラメータの文字列による指定からシンボルによる指定への変更。
+
+**v 0.2.8 0.2.9**
 
 + MylistAtomパーサが再生数等を認識しない問題を修正。
 
@@ -355,17 +375,3 @@ GitHubを経由して下さってもいいのですが、まだ慣れていな
 
 + Searcherループの継続判定を、ブロック内で`"continue"`を返す事を要求する方式に変更。
 
-
-###今後の予定
-
-**v 0.3**
-
-+ HTMLから取得・解析するメソッドの追加。
-
-+ キーワード検索の実装。
-
-**v 0.4-**
-
-+ シリーズ性判定の強化。説明文中にある「次 sm***」等の表記を解析し、マイリストに頼らずにシリーズ性を判定するようにする。
-
-+ コミュニティ動画、限定公開動画・マイリストへの対応。

data/VERSION

@@ -1 +1 @@
-0.2.9
+0.2.10

data/lib/classes/connector.rb

@@ -6,16 +6,87 @@ require 'net/http'
 
 module Nicos
   module Connector
+
+    #
+    #
+    # 
+    #==ブロック内の第2引数について
+    #
+    # 第2引数には、それまでの検索の成否、例外の発生回数などを記録した
+    # ハッシュが渡されます。これは以下のような構造になっています。
+    #
+    # {
+    #   # 各種例外等が発生した動画・マイリストのIDを配列で保管。
+    #   "allDisabled" => [],
+    #   "notPublic" => [],
+    #   "limInCommunity" => [],
+    #   "notFound" => [],
+    #   "deleted" => [],
+    # 
+    #   # 再試行で対処できる例外等が発生した件数。
+    #   "deniedSeqReq" => 0,
+    #   "serverIsBusy" => 0,
+    #   "serviceUnavailable" => 0,
+    #   "timedOut" => 0,
+    # 
+    #   # 成功回数
+    #   "succeededNum" => 0
+    # }
+    #
+    #  これらのパラメータが複数の結果を保持する前提になっているのは、Searcherモジュール
+    # に対応させる為です。将来的には、Movie/Mylistクラス
+    # には専用のハッシュを設ける設計にするつもりです。
+    #
+    # **allDisabled**  
+    # 　マイリストの場合のみ機能。そのマイリスト内の動画が全て非公開、
+    # あるいは削除済み等で存在しないが、マイリストは残っている場合。
+    #
+    # **notPublic**  
+    # 　動画、マイリストが非公開である場合。
+    #
+    # **limInCommunity**  
+    # 　動画、マイリストがコミュニティ限定公開である場合。
+    #
+    # **notFound**  
+    # 　動画、マイリストが存在しない場合。マイリストは削除済みの場合もnotFoundとなる。
+    #
+    # **deleted**  
+    # 　その動画が削除済みである場合。マイリストについては、上のnotFoundと
+    # 区別されない。 
+    #
+    # **deniedSeqReq**  
+    # 　連続アクセスとして明示的に拒否された場合。 
+    #
+    # **serverIsBusy**  
+    # 　「大変ご迷惑をおかけいたしますが、しばらく時間をあけてから
+    # 再度検索いただくようご協力をお願いいたします。」と表示される場合。
+    #
+    # **serviceUnavailable**  
+    # 　503が返ってきた時。
+    #
+    # **timedOut**  
+    # 　タイムアウト
+    #
+    # **succeededNum**  
     class Connector < Config
+      include Nicos::Connector::SetWait
+
       def initialize
         # デフォルトのウェイト設定
         @seqTime = 0
         @result = {
-          "notPublic" => [],
-          "limInCommunity" => [],
-          "notFound" => [],
-          "deleted" => [],
-          "succeededNum" => 0
+          :allDisabled => [],
+          :notPublic => [],
+          :limInCommunity => [],
+          :notFound => [],
+          :deleted => [],
+
+          :deniedSeqReq => 0,
+          :serverIsBusy => 0,
+          :serviceUnavailable => 0,
+          :timedOut => 0,
+
+          :succeededNum => 0
         }
         @waitConfig = @@waitConfig
       end
@@ -23,102 +94,148 @@ module Nicos
       attr_accessor :result
 
       private
+
+      # 再試行しない例外の共通処理
+      def accessDisabled(exception)
+        @result[exception].push(@nowAccess)
+        { :order => :skip, :status => exception }  
+      end
+       
+      def allDisabled
+        # MylistAtomについて、全ての動画が非公開あるいはその他の理由でRSSフィードに掲載されない時。
+        puts "All movies are disabled."
+        accessDisabled(:allDisabled) 
+      end
       
       def notPublic
-        # マイリスト非公開のときに403になる。後で専用の処理を入れるべき。
+        # マイリスト非公開のときに403になる。
+        # http://www.nicovideo.jp/mylist/25479830
         puts "This movie/mylist is not public."
-        @result["notPublic"].push(@nowAccess)
-        return { "order" => "skip" }  
+        accessDisabled(:notPublic) 
       end
 
       def limInCommunity
         puts "This movie/mylist is limited in comunity members."
         # ex. item_id -> 1294702905
-        @result["limInCommunity"].push(@nowAccess)
-        return { "order" => "skip" }   
+        accessDisabled(:limInCommunity) 
       end
 
       def notFound
         puts "This movie/mylist is not found."
-        @result["notFound"].push(@nowAccess)
-        return { "order" => "skip" }  
+        accessDisabled(:notFound) 
       end
 
-      def deleted
+      def deleted # マイリストは削除と404の区別がない？
         puts "This movie/mylist is deleted."
-        @result["deleted"].push(@nowAccess)
-        return { "order" => "skip" }  
+        accessDisabled(:deleted) 
+      end
+
+      # 以下、再試行の可能性のある例外
+
+      # 共通処理
+      def exception(exception, retryCount)
+        if retryCount <= @waitConfig[exception][:retryLimit]
+          { :order => :skip }   
+        else
+          sleep @waitConfig[exception][:wait]
+          @result[exception] += 1
+          { :order => :retry }   
+        end        
       end
 
-      def deniedSeqReq
+      def deniedSeqReq(retryCount)
         puts "Denied sequential requests."
-        sleep @waitConfig["deniedSeqReq"]
-        @result = "deniedSeqReq"
-        return { "order" => "retry" }  
+        exception(:deniedSeqReq, retryCount)
       end
 
-      def serverIsBusy
+      def serverIsBusy(retryCount)
         puts "The server is busy."
-        sleep @waitConfig["serverIsBusy"]
-        @result = "serverIsBusy"
-        return { "order" => "retry" } 
+        exception(:serverIsBusy, retryCount)
       end
 
-      def serviceUnavailable
+      def serviceUnavailable(retryCount)
         puts "Service unavailable."
-        sleep @waitConfig["serviceUnavailable"]
-        @result = "serviceUnavailable"
-        return { "order" => "retry" } 
+        exception(:serviceUnavailable, retryCount)
       end
 
-      def timedOut
+      def timedOut(retryCount)
         puts "Request timed out."
-        sleep @waitConfig["timedOut"]
-        @result = "timedOut"
-        return { "order" => "retry" } 
+        exception(:timedOut, retryCount)
       end
 
-      def reachedLast
+
+      def reachedLast 
+        # TagAtom専用。MylistAtomは、allDisabledと結果が被ってしまう。
         puts "Reached the last page."
-        @result = "reachedLast"
-        return { "order" => "terminate" } 
+        { :order => :terminate } 
       end
 
       def succeeded(resBody)
-        @result["succeededNum"] += 1
-        sleep @waitConfig["each"]
+        @result[:succeededNum] += 1
+        sleep @waitConfig[:each]
         @seqTime += 1
         
-        if @seqTime >= @waitConfig["seqAccLimit"]
-          sleep @waitConfig["afterSeq"]
+        if @seqTime >= @waitConfig[:seqAccLimit]
+          sleep @waitConfig[:afterSeq]
           @seqTime = 0
         end
-        return { "order" => "afterTheSuccess", "body" => resBody } 
+        
+        { 
+          :status => :success,
+          :order => :afterTheSuccess, 
+          :body => resBody
+        } 
       end
 
       def wait(status)
         puts "Wait for " + waitTime + " second."
         sleep @waitConfig[status.to_s]
       end
-        
+
       public
+
+      # リクエスト結果を格納する変数を、MylistやMovie等の
+      # 単一リクエストメソッド用に構造を変換する。
+      def getStatus
+        status = {
+          :status => nil,
+          :retry  => {}
+        }
+
+        @result.each_key do |key|
+          if @result[key].instance_of?(Array) && @result[key].length >= 1
+            status[:status] = key
+          elsif key === :succeededNum && @result[key] >= 1
+            status[:status] = :success
+          elsif @result[key].instance_of?(Fixnum)
+            status[:retry][key] = @result[key]
+          end
+        end
+
+        status
+      end        
     end
 
     class Xml < Connector
       def get (host, entity)  
         response = nil
+        retryCount = 0
+        res = {}
               
         begin
-          puts "Request to " + host + entity 
+          @nowAccess = host + entity
+          puts "Request to " + @nowAccess
           Net::HTTP.start(host, 80) { |http|
             response = http.get(entity, HEADER)
           }
-          @nowAccess = host + entity
+          retryCount += 1
 
         rescue => e
           puts e
         rescue Timeout::Error => e  
-          timeOut      
+          debugger
+          timeOut 
+          res[:order] = :retry     
 
         else
           res = case response
@@ -128,21 +245,22 @@ module Nicos
           # when Net::HTTPRedirection
           #  fetch(response['location'], limit - 1)
           when Net::HTTPForbidden
-            forbidden            
+            forbidden         
           when Net::HTTPNotFound
             notFound
           when Net::HTTPServiceUnavailable 
+          debugger
             serviceUnavailable
           else
             unknownError
           end    
-        end until res["order"] != "retry"
+        end until res[:order] != :retry
 
         res
       end
     end
 
-    class MylistAtom < Xml
+    class TagAtom < Xml
       private
 
       def forbidden
@@ -164,7 +282,19 @@ module Nicos
       end
     end
 
-    class TagAtom < MylistAtom 
+    class MylistAtom < TagAtom 
+      def reviewRes(resBody)
+        resBody = resBody.force_encoding("UTF-8")
+        if # アクセス集中時
+          /大変ご迷惑をおかけいたしますが、しばらく時間をあけてから再度検索いただくようご協力をお願いいたします。/ =~         
+          resBody then
+          serverIsBusy
+        elsif /\<entry\>/ =~ resBody && /\<\/entry\>/ =~ resBody
+          succeeded(resBody)          
+        else
+          allDisabled
+        end      
+      end
     end
 
     class GetThumbInfo < Xml