nicoscraper 0.2.4 → 0.2.5

data/Gemfile

@@ -2,7 +2,8 @@ source "http://rubygems.org"
 # Add dependencies required to use your gem here.
 # Example:
 #   gem "activesupport", ">= 2.3.5"
-gem "damerau-levenshtein", ">= 0"
+gem "damerau-levenshtein", ">= 0.5.3"
+gem "libxml-ruby", ">= 2.2.2"
 
 # Add dependencies to develop your gem here.
 # Include everything needed to run rake, tests, features, etc.

data/Gemfile.lock

@@ -7,6 +7,7 @@ GEM
       bundler (~> 1.0)
       git (>= 1.2.5)
       rake
+    libxml-ruby (2.2.2)
     rake (0.8.7)
     rcov (0.9.10)
     shoulda (2.11.3)
@@ -16,8 +17,9 @@ PLATFORMS
 
 DEPENDENCIES
   bundler (~> 1.0.0)
-  damerau-levenshtein
+  damerau-levenshtein (>= 0.5.3)
   jeweler (~> 1.6.4)
+  libxml-ruby (>= 2.2.2)
   rake (= 0.8.7)
   rcov
   shoulda

data/README.md

@@ -1,13 +1,13 @@
 NicoScraper
 ====================
 
-**My site:**  [http://hdemon.net](http://hdemon.net)  
-**GitHub:**  [http://github.com/hdemon/nicoscraper](http://github.com/hdemon/nicoscraper)   
+**My site:**  [http://hdemon.net](http://hdemon.net/)  
+**GitHub:**  [http://github.com/hdemon/nicoscraper/](http://github.com/hdemon/nicoscraper)   
 **Author:**  Masami Yonehara  
 **Copyright:**  2011  
 **License:**  MIT License  
-**Latest Version:**  0.2.2  
-**Release Date:**  Sep 23rd 2011  
+**Latest Version:**  0.2.5  
+**Release Date:**  Sep 24th 2011  
  
 
 何をするライブラリ？
@@ -17,7 +17,7 @@ NicoScraper
 
 インストール
 ------
-　Ruby 1.9.2以外には、特に必要とするものはありません。
+　Ruby 1.9.2において動作を確認しています。インストールには、
 
     $ gem install nicoscraper
 
@@ -25,7 +25,10 @@ NicoScraper
 
     require 'nicoscraper' 
 
-　で使い始めて下さい。
+　で使い始めて下さい。内部的にlibxml-rubyを使っており、インストール時に最新版に更新される可能性があります。
+
+　なお、実行前に[注意点、および免責事項](#___________)をお読み下さい。
+
 
 基本的な使い方
 ------
@@ -34,7 +37,7 @@ NicoScraper
 
 ###動画情報の取得
 
-　例えば"sm1097445"という動画IDから、タイトルや動画の長さ、現在の閲覧数等の詳細な情報を知りたいときは、
+　例えば`sm1097445`という動画IDから、タイトルや動画の長さ、現在の閲覧数等の詳細な情報を知りたいときは、
 
     require 'nicoscraper'
 
@@ -43,7 +46,7 @@ NicoScraper
 
     p movie
 
-　Movieクラスのインスタンス（以下「動画インスタンス」）を動画IDを与えて生成した後、getInfoメソッドを利用します。その結果、
+　Movieクラスのインスタンス（以下「動画インスタンス」）を動画IDを与えて生成した後、`getInfo`メソッドを利用します。その結果、
 
     <Nicos::Movie:0x00000002537aa8
       @video_id="sm1097445", 
@@ -126,13 +129,13 @@ NicoScraper
       }  
     }
 
-　この例では、'ゆっくり実況プレイpart1リンク'というタグの付く動画を、post_new=投稿日時が新しい順からさかのぼって取得し、取得した動画の日付が前日の0時0分を超えるまでそれを続けます。 
+　この例では、`ゆっくり実況プレイpart1リンク`というタグの付く動画を、`post_new`=投稿日時が新しい順からさかのぼって取得し、取得した動画の日付が前日の0時0分を超えるまでそれを続けます。 
 
-　ブロック内の第1引数には取得結果に基づく動画インスタンスが与えられるのですが、これは32個分の配列です。なぜ32個のセットなのかと言うと、ご存知のようにニコニコ動画の検索画面はページで区切られており、Searcherモジュールの各メソッドはページ毎に情報を取得し、ページ単位でブロックをコールするからです。Htmlから取得するにしろAtomフィードから取得するにしろ、1ページに32個の動画情報が含まれています。そして、第2引数には現在のページ数が与えられます。
+　ブロック内の第1引数には取得結果に基づく動画インスタンスが与えられるのですが、これは32個分の配列です。なぜ32個のセットなのかと言うと、ご存知のようにニコニコ動画の検索画面はページで区切られており、Searcherモジュールの各メソッドはページ毎に情報を取得し、ページ単位でブロックをコールするからです。HTMLから取得するにしろAtomフィードから取得するにしろ、1ページに32個の動画情報が含まれています。そして、第2引数には現在のページ数が与えられます。
 
-　そして、ブロック内で"continue"を返すことによりスクレイプが継続します。つまり、"continue"を返し続けるロジックを組み込まないと、1ページ目を読んだ時点で処理が終了します。これは意図せざる過剰アクセスを防ぐための措置です。
+　そして、**ブロック内で`continue`の文字列を返すことによりスクレイプが継続します。**つまり、`continue`文字列を返し続けるロジックを組み込まないと、1ページ目を読んだ時点で処理が終了します。これは意図せざる過剰アクセスを防ぐための措置です。
 
-　上の例では、取得した動画の日付を調べ、3日前の0時0分より前の動画に到達すればそこでループを終える設計です。ループを終えるために取得情報を使うかどうかは任意なので、例えば10分間の制限で取得出来るだけ取得するということも可能でしょう。
+　上の例では、取得した動画の日付を調べ、3日前の0時0分より前の動画に到達すればそこでループを終える設計です。ループを継続するために取得情報を使うかどうかは任意なので、例えば10分間の制限で取得出来るだけ取得するということも可能でしょう。
 
 ###取得した情報に対する操作
 
@@ -140,36 +143,143 @@ NicoScraper
 
 **動画の説明文からタイトルを取得する。**
 {Nicos::Movie#extrMylist Nicos::Movie::extrMylist}
-　動画の説明文中に、'mylist/...'という表記で投稿者がマイリストを提示している事があります。extrMylistはこれを全て取得し、配列として返します。
+
+　動画の説明文中に、`mylist/...`という表記で投稿者がマイリストを提示している事があります。`extrMylist`はこれを全て取得し、配列として返します。
 
 
 **指定したマイリストに、自分自身が入っているかを調べる。**
 {Nicos::Movie#isBelongsTo Nicos::Movie::isBelongsTo}
 
 
+
 **そのマイリスト内に含まれる全ての動画の、タイトルの類似性を調べる。**
 {Nicos::Mylist#getSimilarity Nicos::Mylist::getSimilarity}
+
 　マイリストのシリーズ性を判定するために、マイリスト内の全ての動画の組み合わせで、タイトルの「編集距離」に基づく類似度を計算します。
 
 
 **その動画が属する、シリーズとみなせるマイリストのIDを返します。**
 {Nicos::Movie#isSeriesOf Nicos::Movie::isSeriesOf}
-　isBelongsToとgetSimiralityの組み合わせにより、ある動画の説明文中にマイリストの記載がある場合、そのマイリストがタイトルの類似性によるシリーズとみなせるならば、そのIDを返します。
 
+　`isBelongsTo`と`getSimilarity`の組み合わせにより、ある動画の説明文中にマイリストの記載がある場合、そのマイリストがタイトルの類似性によるシリーズとみなせるならば、そのIDを返します。
+
+
+ウェイト設定について
+------
+
+###ウェイトの役割
+
+　Searcherメソッドは継続的なアクセスを行い、またそれ以外のメソッドも実際の運用目的上ある程度の連続使用が前提になると思います。このライブラリは並列的なリクエストを行いませんが、それでも過剰なアクセスに伴うサーバからの拒絶や、あるいはそれ以上に、アカウントの停止もしくは法的責任を追求されるなどの事があり得ないという保証はできません。
+
+　それを防ぐための措置の一つが、`continue`を明示的に返さないとスクレイピングが継続しない仕様ですが、もう一つ、アクセス中のウェイトを任意に設定できるようにしています。具体的には、連続リクエストの上限回数、連続リクエスト後のウェイト、1リクエスト毎のウェイト、連続アクセス拒絶時やサーバ混雑時の再試行までのウェイトなどです。ウェイトの設定は、以下のように`Nicos::Connector::Config::waitConfig`に与えられています。以下はデフォルトの設定です。
+
+    Nicos::Connector::Config::waitConfig = {
+
+      # module::Searcher用の設定
+      'seqAccLimit' => 10,  # 連続してリクエストする回数
+      'afterSeq'    => 10,  # 連続リクエスト後のウェイト（以下全て単位は秒）
+      'each'        => 5,   # 連続リクエスト時の、1リクエスト毎のウェイト
+
+      # 全メソッド共通の設定
+      'deniedSeqReq'=> {    # 連続アクセス拒絶時
+        'retryLimit'  => 3,   # 再試行回数の上限
+        'wait'        => 120  # 再試行までのウェイト
+      },
+      
+      'serverIsBusy'=> {    # サーバ混雑時
+        'retryLimit'  => 3,
+        'wait'        => 120
+      },
+      
+      'serviceUnavailable' => { # 503時
+        'retryLimit'  => 3,
+        'wait'        => 120
+      },
+      
+      'timedOut' => {       # タイムアウト時
+        'retryLimit'  => 3,
+        'wait'        => 10
+      },
+
+      'increment'   => 1    # 異常ステータス時の、次回以降の1リクエスト毎のウェイトの増加量
+    }
+
+###連続リクエストとは？
+　
+　Searcherメソッドはある一定回数のHTTPリクエストを1つの単位とし、その単位のリクエストが終わるごとに休憩を入れます。この1単位を連続リクエストと言います。上の例では、10のリクエストを1単位とし(`seqAccLimit`)、その連続リクエストが終わった後に10秒の休憩を入れる(`afterSeq`)設定になっています。
+
+　なお、連続リクエスト毎に限らず、1リクエスト毎のウェイトも併せて設定できます。上の例では、1リクエスト毎に1秒のウェイトを入れる設定です(`each`)。
+
+###レスポンスの種類に対する反応について
+
+　ニコニコ動画のサーバのレスポンスには、正常にデータを返す以外にいくつかの反応があります。この反応に応じて再試行するか、それともそのリクエストをパスするかが決定されます。以下はレスポンスの内容と、それに対応するウェイト設定用ハッシュのキーです。
+
+**1. 404、削除済み**
+
+　これらの場合、何も情報を取得せずに終えます。
+
+**2. 連続アクセスの拒絶** :`deniedSeqReq`
+
+　"短時間での連続アクセスはご遠慮ください"　と表示される場合です。設定に従って再試行します。
+
+**3. サーバ混雑時** :`serverIsBusy`
+
+　"大変ご迷惑をおかけいたしますが、しばらく時間をあけてから再度検索いただくようご協力をお願いいたします。" と表示される場合です。再試行します。
+          
+**4. 非公開・権限なし**
+
+　動画がマイリストが非公開設定されている場合、あるいはコミュニティ未加入者には非公開になっている動画があります。後者についてはログイン処理を事前に行うことで技術的には取得可能ですが、v 0.2では未実装です。これらの動画の場合、取得をパスします。なお、この場合は403が返っています。
+
+**5. 503** :`serviceUnavailable`
+
+　メンテナンス時に限らず、稼働時にも稀に発生します。処理全体を中断することはなく、再試行を行います。
+
+**6. タイムアウト** :`timedOut`
+
+　再試行します。
+
+　2、3、5に該当した場合には、`increment`を指定することで、次回以降の1リクエスト毎のウェイトを増加させることができます。
+
+###設定方法
+
+　ウェイトは、全メソッドが共有する設定と、各インスタンスのみに有効な設定の2つを定義できます。
+
+　また、全メソッドの共有設定には初期設定があり、それが上に挙げたハッシュです。これを変更するには、Nicos::Connector::Config::setWait`メソッドを利用します。これにより、その後に生成した各インスタンスにおいて、変更した設定が共有されます。
+
+　もう1つの方法は、動画・マイリスト・Searcherモジュール下クラスの特異メソッドとしての`setWait'メソッドを使う方法です。この方法では、そのインスタンスにおいてのみ変更が有効になります。
+
+　なお、setWaitメソッドは指定したキーの部分のみを上書きするため、設定毎に上記の書式のハッシュオブジェクトを用意する必要はありません。
+
+    wait = {
+      'seqAccLimit' => 100,
+     
+      'deniedSeqReq'=> {   
+        'wait'        => 1200  
+      }
+    }
+
+    Nicos::Connector::Config::setWait(wait)
+
+　例えばこのようにすることで、次回以降の`seqAccLimit`と`deniedSeqReq -> wait`のみが前回の設定に上書きされます。
 
 注意点、および免責事項
 ------
 
-　それぞれのメソッドは大半がニコニコ動画へのアクセスを伴い、特にSearcherモジュールは継続的かつ無制限なアクセスを可能にするため、使用には十分注意して下さい。その点を考慮し、Searcherモジュールのデフォルトのウェイトはかなり大きめに設定してあります。
+　繰り返しになりますが、それぞれのメソッドは大半がニコニコ動画へのアクセスを伴い、特にSearcherモジュールは継続的かつ無制限なアクセスを可能にするため、使用方法によっては開発者である私が通常の使用において想定していない負荷を、ニコニコ動画に対して与える可能性があります。
 
-　使用する際には、ご自分の責任においてウェイトを変更して下さい。**本ライブラリの使用によって発生した損害および法的な責任については、ライブラリのバグに起因するものを含め、一切の責任を負いかねます。**
+　その結果、アカウントの停止や法的な責任を追求される可能性も無いとは言えません。その点を考慮し、上で述べた幾つかの制限を行なっています。特にウェイトは大きめに設定してあります。
 
-　なお、Htmlからスクレイプするメソッドよりも、Atomフィードを使うメソッドの方がニコニコ動画側の負荷が（たぶん）軽く、アクセス制限などは起こりにくくなっています。大半の情報はAtomフィードで取得できるため、そうでない情報を取得したい場合に限り、Htmlを利用するメソッドを使うべきでしょう。
+　このウェイトは、ご自分の責任において変更して下さい。**本ライブラリの使用によって発生した損害および法的な責任については、開発者が現在認識していない、あるいはそのバージョンの公開時には認識していなかったバグに起因するものを含め、一切の責任を負いかねます。**またこのような事情から、予告なく公開を停止する可能性があります。
 
+　なお、HTMLからスクレイプするメソッドよりも、Atomフィードを使うメソッドの方がニコニコ動画側の負荷が（たぶん）軽く、アクセス制限などは経験上起こりにくくなっています。HTMLメソッドを利用した場合、混雑時には結構な頻度で連続アクセスが拒絶されます。**大半の情報はAtomフィードで取得できるため、そうでない情報を取得したい場合に限り、HTMLを利用するメソッドを使うべきでしょう。**
 
-用語・用法
+
+
+その他
 ------
 
+###文中の用語・用法
+
 **動画インスタンス**
 Movieクラスのインスタンス
 
@@ -180,11 +290,27 @@ Mylistクラスのインスタンス
 ニコニコ動画の各動画に与えられる、sm|nmで始まる一意のID。
 
 **アイテムID | item_id**
-動画に与えられるもう一つの一意なIDであり、投稿日時と同じか非常に近いUNIX時間になっている。例えば、"【初音ミク】みくみくにしてあげる♪【してやんよ】"の動画IDはsm1097445であり、アイテムIDは1190218917である。このアイテムIDを日時に直すと、日本時間における2007年9月20日 1:21:57となるが、動画に投稿日時として表示されるのは、2007年9月20日 1:22:02である。
+動画に与えられるもう一つの一意なIDであり、投稿日時と同じか非常に近いUNIX時間になっている。例えば、"【初音ミク】みくみくにしてあげる♪【してやんよ】"の動画IDは`sm1097445`であり、アイテムIDは`1190218917`である。このアイテムIDを日時に直すと、日本時間における2007年9月20日 1:21:57となるが、動画に投稿日時として表示されるのは、2007年9月20日 1:22:02である。
 
 
-今後の予定
-------
+###更新履歴
+
+**v0.2.5**
+
++ ヘッダの追加
+
++ コードと設定の分離
+
+**v0.2.4**
+
++ ドキュメント作成
+
++ Searcherループのバグ修正。 
+
++ Searcherループの継続判定を、ブロック内で`"continue"`を返す事を要求する方式に変更。
+
+
+###今後の予定
 
 **v0.3**
 
@@ -199,13 +325,11 @@ Mylistクラスのインスタンス
 + コミュニティ動画、限定公開動画・マイリストへの対応。
 
 
-更新履歴
-------
+###要望、バグ報告について
+以下のどちらかにお願いします。
 
-**v0.2.4**
++ zeitdiebe@gmail.com
 
-+ ドキュメント作成
-
-+ Searcherループのバグ修正。 
++ http://twitter.com/h_demon
 
-+ Searcherループの継続判定を、ブロック内で"continue"を返す事を要求する方式に変更。
+GitHubを経由して下さってもいいのですが、まだ慣れていないので対応が送れるかもしれません。

data/VERSION

@@ -1 +1 @@
-0.2.4
+0.2.5

data/lib/classes/connector.rb

@@ -0,0 +1,330 @@
+# -*- encoding: utf-8 -*-
+$:.unshift File.dirname(__FILE__) 
+
+require 'rubygems'
+require 'ruby-debug'
+require 'net/http'
+
+module Nicos
+  module Connector
+    class Connector < Config
+      def initialize
+        # デフォルトのウェイト設定
+        @seqTime = 0
+        @result = {}
+        @waitConfig = @@waitConfig
+      end
+      attr_accessor :waitConfig
+
+      private
+      
+      def notPublic
+        # マイリスト非公開のときに403になる。後で専用の処理を入れるべき。
+        puts "This movie/mylist is not public."
+        @result = "notPublic"
+        return { "order" => "terminate" }  
+      end
+
+      def limInCommunity
+        puts "This movie/mylist is limited in comunity members."
+        # ex. item_id -> 1294702905
+        @result = "limInCommunity"
+        return { "order" => "terminate" }   
+      end
+
+      def notFound
+        puts "This movie/mylist is not found."
+        @result = "notFound"
+        return { "order" => "terminate" }  
+      end
+
+      def deleted
+        puts "This movie/mylist is deleted."
+        @result = "deleted"
+        return { "order" => "terminate" }  
+      end
+
+      def deniedSeqReq
+        puts "Denied sequential requests."
+        sleep @waitConfig["deniedSeqReq"]
+        @result = "deniedSeqReq"
+        return { "order" => "retry" }  
+      end
+
+      def serverIsBusy
+        puts "The server is busy."
+        sleep @waitConfig["serverIsBusy"]
+        @result = "serverIsBusy"
+        return { "order" => "retry" } 
+      end
+
+      def serviceUnavailable
+        puts "Service unavailable."
+        sleep @waitConfig["serviceUnavailable"]
+        @result = "serviceUnavailable"
+        return { "order" => "retry" } 
+      end
+
+      def timedOut
+        puts "Request timed out."
+        sleep @waitConfig["timedOut"]
+        @result = "timedOut"
+        return { "order" => "retry" } 
+      end
+
+      def success(resBody)
+        sleep @waitConfig["each"]
+        @seqTime += 1
+        
+        if @seqTime >= @waitConfig["seqAccLimit"]
+          sleep @waitConfig["afterSeq"]
+          @seqTime = 0
+        end
+        return { "order" => "success", "body" => resBody } 
+      end
+
+      def wait(status)
+        puts "Wait for " + waitTime + " second."
+        sleep @waitConfig[status.to_s]
+      end
+        
+      public
+    end
+
+    class Xml < Connector
+      def get (host, entity)  
+        response = nil
+              
+        begin
+          puts "Request to " + host + entity 
+          Net::HTTP.start(host, 80) { |http|
+            response = http.get(entity, HEADER)
+          }
+
+        rescue => e
+          puts e
+        rescue Timeout::Error => e  
+          timeOut      
+
+        else
+          res = case response
+          when Net::HTTPSuccess
+            reviewRes( response.body.force_encoding("UTF-8") )
+          #    return response.body.force_encoding("UTF-8") 
+          # when Net::HTTPRedirection
+          #  fetch(response['location'], limit - 1)
+          when Net::HTTPForbidden
+            forbidden            
+          when Net::HTTPNotFound
+            notFound
+          when Net::HTTPServiceUnavailable 
+            serviceUnavailable
+          else
+            unknownError
+          end    
+        end until res["order"] == "success" ||
+                  res["order"] == "terminate"
+
+        res
+      end
+    end
+
+    class MylistAtom < Xml
+      private
+
+      def forbidden
+        # マイリストが非公開の場合、html/Atomのどちらへのリクエストであっても、403が返ってくる。
+        notPublic
+      end
+
+      def reviewRes(resBody)
+        if # アクセス集中時
+          /大変ご迷惑をおかけいたしますが、しばらく時間をあけてから再度検索いただくようご協力をお願いいたします。/ =~
+            resBody.force_encoding("UTF-8")
+        then
+          serverIsBusy
+        else
+          success(resBody)
+        end      
+      end
+    end
+
+    class TagAtom < Xml
+      private
+
+      def forbidden
+        # マイリストが非公開の場合、html/Atomのどちらへのリクエストであっても、403が返ってくる。
+        notPublic
+      end
+
+      def reviewRes(resBody)
+        if # アクセス集中時
+          /大変ご迷惑をおかけいたしますが、しばらく時間をあけてから再度検索いただくようご協力をお願いいたします。/ =~
+            resBody.force_encoding("UTF-8")
+        then
+          serverIsBusy
+        else
+          success(resBody)
+        end      
+      end
+    end
+
+    class GetThumbInfo < Xml
+      private
+
+      def reviewRes(resBody)
+        r = resBody.force_encoding("UTF-8")
+
+        if # getThumbInfoは、該当する動画がない・削除済み・コミュニティ限定でも200が返ってくる。
+          /<nicovideo_thumb_response\sstatus=\"fail\">/ =~ r
+          if /<code>NOT_FOUND<\/code>/ =~ r
+            notFound
+          elsif /<code>DELETED<\/code>/ =~ r
+            deleted
+          elsif /<code>COMMUNITY<\/code>/ =~ r
+            limInCommunity
+          else
+            serverIsBusy
+          end
+        else
+          success(resBody)
+        end      
+      end
+    end
+
+=begin
+    class HtmlConnector < Connector
+      def initialize(mode)
+        @mode = mode
+        # デフォルトのウェイト設定
+        @@waitConfig = {
+          'consec_count'  => 10,  # 連続してリクエストする回数
+          'consec_wait'   => 10,  # 連続リクエスト後のウェイト
+          'each'          => 10,  # 連続リクエスト時の、1リクエスト毎のウェイト
+     
+          '200-abnormal'  => 300, # アクセス拒絶時（「短時間での連続アクセスは・・・」）の場合の再試行までの時間
+          'unavailable'   => 10,
+          '403'           => 300, # "403"時の再試行までのウェイト
+          '404'           => 300, # "403"時の再試行までのウェイト
+          'increment'     => 1,   # アクセス拒絶時の、次回以降の1リクエスト毎のウェイトの増加量
+
+          'timeout'       => 10,  # タイムアウト時の、再試行までのウェイト
+          '500'           => 10,  # "500"時の再試行までのウェイト
+          '503'           => 10,  # "503"時の再試行までのウェイト
+     
+          'retryLimit'    => 3    # 再試行回数の限度
+        }
+        
+        # 1つの検索結果画面に表示される動画の数。現時点では32個がデフォルトの模様。
+        @NumOfSearched = 32
+
+        @mech = Mechanize.new
+        # メモリ節約のため、Mechanizeの履歴機能を切る。
+        @mech.max_history = 1
+
+        @consec_count = 0
+      end
+      
+      public 
+
+      def errorStatus(ex)
+        # 再試行回数が
+        @retryTime += 1
+        if @retryTime >= @wait['allowance_time']
+          return false
+        end
+
+        case ex.response_code
+        when '403' then
+          sleep @wait['403']
+          warn "403"
+        when '500' then
+          sleep @wait['500']
+          warn "500"
+        when '503' then
+          sleep @wait['503']
+          warn "503"
+        else
+          warn "Server error: #{ex.code}"
+          return false
+        end
+     
+        @connection = false
+        @failed += 1
+      end
+
+      def htmlReq (url, request, procedure)
+        @failed = 0
+
+        # 再試行ループ
+        begin
+          eachWait 
+          @connection = nil
+          request.call(url)
+        
+        # タイムアウト時処理
+        rescue TimeoutError
+          timeOut
+          retry
+           
+        # Mechanizeでアクセスし、200以外のステータスが返ってきた時
+        # 実際に該当するコードが返ってきたことがないので、正常に動くか不明   
+        rescue Mechanize::ResponseCodeError => ex
+          if errorStatus(ex) then retry
+          else break end
+           
+        # HTTP Status:200時の処理
+        else
+          procedure.call
+          
+          # 失敗カウントが指定回数を超えたらループを終わる。
+          if @failed >= @wait['allowance_time'] then
+            puts 'Exceeded the limit of retry time.'
+            @connection = false
+            break
+          end
+        end until @connection
+
+        # 連続アクセスカウント+1
+        @consec_count += 1
+        # 成功 = true / 失敗 = false
+        return @connection
+      end
+
+      def htmlGet (host, entity)
+        htmlReq(
+          host + entity,
+          lambda { |url|
+            t = Thread.new do
+              @mech.get(url)
+              puts "Requesting for " + url
+            end
+            t.join
+          },
+          # HTTP Status:200時の処理 
+          lambda {
+            # 連続アクセス拒絶メッセージが返ってきた時       
+            if /短時間での連続アクセスはご遠慮ください/ =~ @mech.page.search('/html').text then
+              puts 'Access rejected.'
+              @connection = false
+              @failed += 1
+         
+              # ウェイトを置いた後、今後のページ毎のウェイトを増やす。
+              puts 'Waiting for ' + @wait['rejected'] + 's.'
+              sleep @wait['rejected']
+              @wait['each'] += @wait['increment']
+              puts 'Increased each @wait by ' + @wait['increment'] + 'sec.'
+            else
+              @connection = true
+            end
+          }
+        )
+        
+        return @mech.page
+      end
+      
+      attr_reader :mech
+    end
+=end
+  end
+end