nicoscraper 0.2.7 → 0.2.8

data/Gemfile

@@ -1,9 +1,8 @@
 source "http://rubygems.org"
-# Add dependencies required to use your gem here.
-# Example:
-#   gem "activesupport", ">= 2.3.5"
+
 gem "damerau-levenshtein", ">= 0.5.3"
 gem "libxml-ruby", ">= 2.2.2"
+gem "mechanize", ">=2.0.0"
 
 # Add dependencies to develop your gem here.
 # Include everything needed to run rake, tests, features, etc.

data/Gemfile.lock

@@ -8,9 +8,19 @@ GEM
       git (>= 1.2.5)
       rake
     libxml-ruby (2.2.2)
+    mechanize (2.0.1)
+      net-http-digest_auth (>= 1.1.1, ~> 1.1)
+      net-http-persistent (~> 1.8)
+      nokogiri (~> 1.4)
+      webrobots (>= 0.0.9, ~> 0.0)
+    net-http-digest_auth (1.1.1)
+    net-http-persistent (1.9)
+    nokogiri (1.5.0)
     rake (0.8.7)
     rcov (0.9.10)
     shoulda (2.11.3)
+    webrobots (0.0.11)
+      nokogiri (>= 1.4.4)
 
 PLATFORMS
   ruby
@@ -20,6 +30,7 @@ DEPENDENCIES
   damerau-levenshtein (>= 0.5.3)
   jeweler (~> 1.6.4)
   libxml-ruby (>= 2.2.2)
+  mechanize (>= 2.0.0)
   rake (= 0.8.7)
   rcov
   shoulda

data/README.md

@@ -9,7 +9,7 @@ NicoScraper
 **Author:**  Masami Yonehara  
 **Copyright:**  2011  
 **License:**  MIT License  
-**Latest Version:**  0.2.7
+**Latest Version:**  0.2.7  
 **Release Date:**  Sep 25th 2011  
  
 
@@ -18,17 +18,24 @@ NicoScraper
 
 　ニコニコ動画の動画ページ、検索ページ、あるいはそのAtomフィードから情報を取得し、その情報に対して各種操作を行えます。タグやマイリスト検索結果からの抽出、および抽出結果に対する反復処理を行うメソッドも備え、ランキングサイト等の制作を支援します。
 
-インストール
+導入
 ------
-　Ruby 1.9.2において動作を確認しています。インストールには、
+
+1. インストール
+
+　動作にはRuby 1.9.2 が必要です。インストールには、
 
     $ gem install nicoscraper
 
-　として下さい。もしlibxml2が足りない、extconfにオプションを指定しろ等のエラーが出た場合には、libxmlが入っていないかパスが通っていません。
+　として下さい。依存関係としてMechanizeとlibxml-rubyがインストールされます。
+
+　もし`libxml2`や`libxslt`が足りない等のエラーが出た場合には、それらを導入して下さい。yumならば、
+
+    yum install -y libxml2 libxml2-devel libxslt libxslt-devel
 
-    yum install -y libxml2 libxml2-devel
+　とすれば、だいたい解決すると思います。
 
-　などとして、libxmlを入れ直してから再度gemを実行して下さい。成功すれば、
+2. 使用法　
 
     require 'nicoscraper' 
 
@@ -49,9 +56,9 @@ NicoScraper
     movie = Nicos::Movie::new("sm1097445")
     movie.getInfo
 
-    p movie
+　上の例のように、Movieクラスのインスタンス（以下「動画インスタンス」）を動画IDを与えて生成した後、`getInfo`メソッドを利用します。その結果、
 
-　Movieクラスのインスタンス（以下「動画インスタンス」）を動画IDを与えて生成した後、`getInfo`メソッドを利用します。その結果、
+    p movie
 
     <Nicos::Movie:0x00000002537aa8
       @video_id="sm1097445", 
@@ -85,11 +92,10 @@ NicoScraper
 
     mylist = Nicos::Mylist::new("15196568")
     mylist.getInfo
+このように実行すると、
 
     p mylist
 
-このように実行すると、
-
     <Nicos::Mylist:0x00000002884670
       @mylist_id=15196568,
       @movies=[
@@ -97,12 +103,12 @@ NicoScraper
           @video_id="sm8481759", 
           @available=true, 
           @title="【Oblivion】おっさんの大冒険１（ゆっくり実況）",
-          ...
+          ... ,
         #<Nicos::Movie:0x0000000251a6b0 
           @video_id="sm8506034",
           @available=true,
           @title="【Oblivion】おっさんの大冒険２（ゆっくり実況）",
-          ...
+          ... ,
       ],
       @available=true,
       @title="【Oblivion】おっさんの大冒険", 
@@ -119,16 +125,16 @@ NicoScraper
 
     t = Time.now
     tda = Date::new(t.year, t.month, t.day) - 3
-    threeDaysAgo = Time.local(ytd.year, ytd.month, ytd.day, 0, 0, 0).to_i
+    threeDaysAgo = Time.local(tda.year, tda.month, tda.day, 0, 0, 0).to_i
 
     searchByTag = Nicos::Searcher::ByTag.new()
     searchByTag.execute(
       'VOCALOID', 
       'post_new'
-    ) { |result, page|
+    ) { |result, status|
       terminate = false
 
-      result.each { |movie|
+      result.each { |movie| # first_retrieve == 投稿日
         terminate = ( movie.first_retrieve <= threeDaysAgo )
         
         puts movie.title +
@@ -139,13 +145,13 @@ NicoScraper
       if terminate
         puts "loop terminated."
       else
-        "continue" 
+        "continue" # "continue"を返すと検索を継続
       end
     }
 
 　この例では、`VOCALOID`というタグの付く動画を、`post_new`=投稿日時が新しい順からさかのぼって取得し、取得した動画の日付が3日前の0時0分を超えるまでそれを続けます。 
 
-　ブロック内の第1引数には取得結果に基づく動画インスタンスが与えられるのですが、これは32個分の配列です。なぜ32個のセットなのかと言うと、ご存知のようにニコニコ動画の検索画面はページで区切られており、Searcherモジュールの各メソッドはページ毎に情報を取得し、ページ単位でブロックをコールするからです。HTMLから取得するにしろAtomフィードから取得するにしろ、1ページに32個の動画情報が含まれています。そして、第2引数には現在のページ数が与えられます。
+　ブロック内の第1引数には取得結果に基づく動画インスタンスが与えられるのですが、これは32個分の配列です。なぜ32個のセットなのかと言うと、ご存知のようにニコニコ動画の検索画面はページで区切られており、Searcherモジュールの各メソッドはページ毎に情報を取得し、ページ単位でブロックをコールするからです。HTMLから取得するにしろAtomフィードから取得するにしろ、1ページに32個の動画情報が含まれています。第2引数にはそれまでのアクセス成否情報等が渡されます。
 
 　そして、**ブロック内で`"continue"`の文字列を返すことによりスクレイプが継続します。**つまり、`"continue"`文字列を返し続けるロジックを組み込まないと、1ページ目を読んだ時点で処理が終了します。これは意図せざる過剰アクセスを防ぐための措置です。
 
@@ -307,8 +313,24 @@ Mylistクラスのインスタンス
 動画に与えられるもう一つの一意なIDであり、投稿日時と同じか非常に近いUNIX時間になっている。例えば、"【初音ミク】みくみくにしてあげる♪【してやんよ】"の動画IDは`sm1097445`であり、アイテムIDは`1190218917`である。このアイテムIDを日時に直すと、日本時間における2007年9月20日 1:21:57となるが、動画に投稿日時として表示されるのは、2007年9月20日 1:22:02である。
 
 
+###要望、バグ報告について
+以下のどちらかにお願いします。
+
++ zeitdiebe@gmail.com
+
++ http://twitter.com/h_demon
+
+GitHubを経由して下さってもいいのですが、まだ慣れていないので対応が遅れるかもしれません。
+
+
 ###更新履歴
 
+**v 0.2.8**
+
++ MylistAtomパーサが再生数等を認識しない問題を修正。
+
++ Searcherメソッドのブロック内の第2仮引数を、それまでのアクセス成否情報を含むハッシュオブジェクトに変更。
+
 **v 0.2.7**
 
 + ドキュメントのSearcherモジュールの例の誤り、その他細かい点を訂正。
@@ -347,13 +369,3 @@ Mylistクラスのインスタンス
 + シリーズ性判定の強化。説明文中にある「次 sm***」等の表記を解析し、マイリストに頼らずにシリーズ性を判定するようにする。
 
 + コミュニティ動画、限定公開動画・マイリストへの対応。
-
-
-###要望、バグ報告について
-以下のどちらかにお願いします。
-
-+ zeitdiebe@gmail.com
-
-+ http://twitter.com/h_demon
-
-GitHubを経由して下さってもいいのですが、まだ慣れていないので対応が遅れるかもしれません。

data/VERSION

@@ -1 +1 @@
-0.2.7
+0.2.8

data/lib/classes/connector.rb

@@ -2,7 +2,6 @@
 $:.unshift File.dirname(__FILE__) 
 
 require 'rubygems'
-require 'ruby-debug'
 require 'net/http'
 
 module Nicos
@@ -11,37 +10,44 @@ module Nicos
       def initialize
         # デフォルトのウェイト設定
         @seqTime = 0
-        @result = {}
+        @result = {
+          "notPublic" => [],
+          "limInCommunity" => [],
+          "notFound" => [],
+          "deleted" => [],
+          "succeededNum" => 0
+        }
         @waitConfig = @@waitConfig
       end
       attr_accessor :waitConfig
+      attr_accessor :result
 
       private
       
       def notPublic
         # マイリスト非公開のときに403になる。後で専用の処理を入れるべき。
         puts "This movie/mylist is not public."
-        @result = "notPublic"
-        return { "order" => "terminate" }  
+        @result["notPublic"].push(@nowAccess)
+        return { "order" => "skip" }  
       end
 
       def limInCommunity
         puts "This movie/mylist is limited in comunity members."
         # ex. item_id -> 1294702905
-        @result = "limInCommunity"
-        return { "order" => "terminate" }   
+        @result["limInCommunity"].push(@nowAccess)
+        return { "order" => "skip" }   
       end
 
       def notFound
         puts "This movie/mylist is not found."
-        @result = "notFound"
-        return { "order" => "terminate" }  
+        @result["notFound"].push(@nowAccess)
+        return { "order" => "skip" }  
       end
 
       def deleted
         puts "This movie/mylist is deleted."
-        @result = "deleted"
-        return { "order" => "terminate" }  
+        @result["deleted"].push(@nowAccess)
+        return { "order" => "skip" }  
       end
 
       def deniedSeqReq
@@ -72,7 +78,14 @@ module Nicos
         return { "order" => "retry" } 
       end
 
-      def success(resBody)
+      def reachedLast
+        puts "Reached the last page."
+        @result = "reachedLast"
+        return { "order" => "terminate" } 
+      end
+
+      def succeeded(resBody)
+        @result["succeededNum"] += 1
         sleep @waitConfig["each"]
         @seqTime += 1
         
@@ -80,7 +93,7 @@ module Nicos
           sleep @waitConfig["afterSeq"]
           @seqTime = 0
         end
-        return { "order" => "success", "body" => resBody } 
+        return { "order" => "afterTheSuccess", "body" => resBody } 
       end
 
       def wait(status)
@@ -100,6 +113,7 @@ module Nicos
           Net::HTTP.start(host, 80) { |http|
             response = http.get(entity, HEADER)
           }
+          @nowAccess = host + entity
 
         rescue => e
           puts e
@@ -122,8 +136,7 @@ module Nicos
           else
             unknownError
           end    
-        end until res["order"] == "success" ||
-                  res["order"] == "terminate"
+        end until res["order"] != "retry"
 
         res
       end
@@ -138,35 +151,20 @@ module Nicos
       end
 
       def reviewRes(resBody)
+        resBody = resBody.force_encoding("UTF-8")
         if # アクセス集中時
-          /大変ご迷惑をおかけいたしますが、しばらく時間をあけてから再度検索いただくようご協力をお願いいたします。/ =~
-            resBody.force_encoding("UTF-8")
-        then
+          /大変ご迷惑をおかけいたしますが、しばらく時間をあけてから再度検索いただくようご協力をお願いいたします。/ =~         
+          resBody then
           serverIsBusy
+        elsif /\<entry\>/ =~ resBody && /\<\/entry\>/ =~ resBody
+          succeeded(resBody)          
         else
-          success(resBody)
+          reachedLast
         end      
       end
     end
 
-    class TagAtom < Xml
-      private
-
-      def forbidden
-        # マイリストが非公開の場合、html/Atomのどちらへのリクエストであっても、403が返ってくる。
-        notPublic
-      end
-
-      def reviewRes(resBody)
-        if # アクセス集中時
-          /大変ご迷惑をおかけいたしますが、しばらく時間をあけてから再度検索いただくようご協力をお願いいたします。/ =~
-            resBody.force_encoding("UTF-8")
-        then
-          serverIsBusy
-        else
-          success(resBody)
-        end      
-      end
+    class TagAtom < MylistAtom 
     end
 
     class GetThumbInfo < Xml
@@ -187,7 +185,7 @@ module Nicos
             serverIsBusy
           end
         else
-          success(resBody)
+          succeeded(resBody)
         end      
       end
     end

data/lib/classes/movie.rb

@@ -2,7 +2,6 @@
 $:.unshift File.dirname(__FILE__) 
 
 require 'rubygems'
-require 'ruby-debug'
 require 'damerau-levenshtein'
 require 'kconv'
 
@@ -126,7 +125,7 @@ module Nicos
       result = con.get(host, entity)
 
       if
-        result["order"] == "success"
+        result["order"] == "afterTheSuccess"
       then
         parsed = Nicos::Parser::getThumbInfo(result["body"])
         set(parsed)

data/lib/classes/mylist.rb

@@ -153,10 +153,8 @@ module Nicos
       puts @mylist_id
       entity = '/mylist/' + @mylist_id.to_s + '?rss=atom&numbers=1'
       result = con.get(host, entity)
-
-      if
-        result["order"] == "success"
-      then
+      
+      if result["order"] == "afterTheSuccess"
         parsed = Nicos::Parser::mylistAtom(result["body"])
         
         parsed["entry"].each { |e|

data/lib/classes/parser.rb

@@ -204,16 +204,16 @@ module Nicos
             /(<p\sclass\=\"nico-info-length\"\>)([^\<]{1,})/ =~ html
             length = $2
 
-            /(<p\sclass\=\"nico-info-date\"\>)([^\<]{1,})/ =~ html
-            first_retrieve = $2
+            /(<strong\sclass\=\"nico-info-date\"\>)([^\<]{1,})/ =~ html
+            first_retrieve = Nicos::Converter.japToUnix($2)
 
-            /(<p\sclass\=\"nico-numbers-view\"\>)([^\<]{1,})/ =~ html
+            /(<strong\sclass\=\"nico-numbers-view\"\>)([^\<]{1,})/ =~ html
             view = $2
 
-            /(<p\sclass\=\"nico-numbers-res\"\>)([^\<]{1,})/ =~ html
+            /(<strong\sclass\=\"nico-numbers-res\"\>)([^\<]{1,})/ =~ html
             res = $2
 
-            /(<p\sclass\=\"nico-numbers-mylist\"\>)([^\<]{1,})/ =~ html
+            /(<strong\sclass\=\"nico-numbers-mylist\"\>)([^\<]{1,})/ =~ html
             mylist = $2
             
             parsed["entry"][n]["memo"] = memo 
@@ -227,7 +227,7 @@ module Nicos
           end  
         end
       end
-
+      
       doc.close 
       parsed
     end

data/lib/classes/searcher.rb

@@ -2,7 +2,6 @@
 $:.unshift File.dirname(__FILE__)
 
 require 'rubygems'
-require 'ruby-debug'
 require 'time'
 require 'mechanize'
 require 'kconv'
@@ -15,7 +14,7 @@ module Nicos
     class ByTagSuper < Nicos::Connector::Config
       private
 
-      def get(tag, sort, page, method)
+      def get(tag, sort, method)
         paramAry = []
 
         case sort
@@ -45,9 +44,9 @@ module Nicos
             sortStr = 'sort=l&order=a'
         end
 
-        paramAry.push("page=#{page}") if page != 1
+        paramAry.push("page=#{@page}") if @page != 1
         paramAry.push(sortStr)
-        if method == "atom" then paramAry.push("rss=atom&numbers=1") end
+        paramAry.push("rss=atom&numbers=1") if method == "atom"
         param = tag + "?" + paramAry.join('&')
 
         host = 'www.nicovideo.jp'
@@ -57,20 +56,18 @@ module Nicos
       end
 
       def loop(tag, sort, method, &block)
-        termFlag    = false
-        page        = 1
+        @page = 1
         movieObjAry = []
-        order = "continue"
+        order       = ""
 
         begin
            response = get(
             tag,
             sort,
-            page,
             method
           )
 
-          if response["order"] == "success"
+          if response["order"] == "afterTheSuccess"
             result = parse(response["body"])
             result.each { |each|
               movie = Nicos::Movie.new(each["video_id"])
@@ -78,10 +75,14 @@ module Nicos
               movie.set(each)
               movieObjAry.push(movie)
             }
+          elsif response["order"] == "terminate"
+            puts "Request loop terminated."
+            break
           end
 
-          order = block.call(movieObjAry, page)
-          page += 1
+          status = {"page" => @page, "results" => @connector.result}
+          order = block.call(movieObjAry, status)
+          @page += 1
         end until order != "continue"
       end
 

data/nicoscraper.gemspec

@@ -5,11 +5,11 @@
 
 Gem::Specification.new do |s|
   s.name = %q{nicoscraper}
-  s.version = "0.2.7"
+  s.version = "0.2.8"
 
   s.required_rubygems_version = Gem::Requirement.new(">= 0") if s.respond_to? :required_rubygems_version=
   s.authors = [%q{Masami Yonehara}]
-  s.date = %q{2011-09-28}
+  s.date = %q{2011-09-29}
   s.description = %q{It scrape movies and mylists of Niconico douga.
   }
   s.email = %q{zeitdiebe@gmail.com}
@@ -38,6 +38,7 @@ Gem::Specification.new do |s|
     "lib/nicoscraper.rb",
     "nicoscraper.gemspec",
     "test/movie_spec.rb",
+    "test/mylist_spec.rb",
     "test/searcher_spec.rb"
   ]
   s.homepage = %q{http://github.com/hdemon/nicoscraper}
@@ -52,6 +53,7 @@ Gem::Specification.new do |s|
     if Gem::Version.new(Gem::VERSION) >= Gem::Version.new('1.2.0') then
       s.add_runtime_dependency(%q<damerau-levenshtein>, [">= 0.5.3"])
       s.add_runtime_dependency(%q<libxml-ruby>, [">= 2.2.2"])
+      s.add_runtime_dependency(%q<mechanize>, [">= 2.0.0"])
       s.add_development_dependency(%q<rake>, ["= 0.8.7"])
       s.add_development_dependency(%q<shoulda>, [">= 0"])
       s.add_development_dependency(%q<bundler>, ["~> 1.0.0"])
@@ -60,6 +62,7 @@ Gem::Specification.new do |s|
     else
       s.add_dependency(%q<damerau-levenshtein>, [">= 0.5.3"])
       s.add_dependency(%q<libxml-ruby>, [">= 2.2.2"])
+      s.add_dependency(%q<mechanize>, [">= 2.0.0"])
       s.add_dependency(%q<rake>, ["= 0.8.7"])
       s.add_dependency(%q<shoulda>, [">= 0"])
       s.add_dependency(%q<bundler>, ["~> 1.0.0"])
@@ -69,6 +72,7 @@ Gem::Specification.new do |s|
   else
     s.add_dependency(%q<damerau-levenshtein>, [">= 0.5.3"])
     s.add_dependency(%q<libxml-ruby>, [">= 2.2.2"])
+    s.add_dependency(%q<mechanize>, [">= 2.0.0"])
     s.add_dependency(%q<rake>, ["= 0.8.7"])
     s.add_dependency(%q<shoulda>, [">= 0"])
     s.add_dependency(%q<bundler>, ["~> 1.0.0"])

data/test/mylist_spec.rb

@@ -0,0 +1,35 @@
+# -*- encoding: utf-8 -*-
+#$:.unshift File.dirname(__FILE__) + "/../lib"
+
+require '../lib/nicoscraper.rb'
+
+describe Nicos::Movie, "After executiton of 'getInfo' method" do  
+  before(:all) do
+    @mylist = Nicos::Mylist.new(15196568)
+    @mylist.getInfo
+    p @mylist
+  end
+
+  it "should have following values" do
+    @mylist.available.should be_true
+  
+    @mylist.mylist_id.should === 15196568
+    @mylist.movies   .should be_instance_of(Array)
+
+    movieObj = @mylist.movies[0]
+    movieObj.available    .should be_true
+  
+    movieObj.video_id     .should_not be_nil
+    movieObj.title        .should_not be_nil
+    movieObj.first_retrieve  .should_not be_nil
+    #movieObj.memo         .should_not be_nil
+    movieObj.description  .should_not be_nil
+    movieObj.thumbnail_url.should_not be_nil
+    movieObj.length       .should_not be_nil
+
+    movieObj.view_counter .should_not be_nil
+    movieObj.comment_num  .should_not be_nil
+    movieObj.mylist_counter.should_not be_nil 
+  end    
+
+end

data/test/searcher_spec.rb

@@ -3,80 +3,6 @@
 
 require '../lib/nicoscraper.rb'
 
-describe "When execute 'Nicos::Searcher::ByTag.execute' method " +
-          "and return a string except \"continue\" in this block" do  
-  before(:all) do
-    searcher = Nicos::Searcher::ByTag.new()
-    @count = 0
-
-    searcher.execute("ゆっくり実況プレイpart1リンク", "post_old") { |result|
-      @count += 1
-      "not continue"
-    }
-  end
-
-  it "should end only one access." do
-    @count.should == 1  
-  end
-end
-
-describe "When execute 'Nicos::Searcher::ByTag.execute' method " +
-          "and return a string except \"continue\" in this block" do  
-  before(:all) do
-    searcher = Nicos::Searcher::ByTag.new()
-    @count = 0
-
-    searcher.execute("ゆっくり実況プレイpart1リンク", "post_old") { |result|
-      @count += 1
-      nil
-    }
-  end
-
-  it "should end only one access." do
-    @count.should == 1  
-  end
-end
-
-describe "When execute 'Nicos::Searcher::ByTag.execute' method " +
-          "passing following argument" do  
-  before(:all) do
-    searcher = Nicos::Searcher::ByTag.new()
-    count = 0
-
-    searcher.execute("ゆっくり実況プレイpart1リンク", "post_old") { |result|
-      @result = result
-
-      count += 1
-      puts count
-      "continue" unless count >= 3
-    }
-    puts "end"
-  end
-
-  it "should have Array of movie objects." do
-    @result   .should be_kind_of(Array)
-    @result[0].should be_instance_of(Nicos::Movie)
-  end
-
-  it "should contains movie objects that have following structure." do
-    @result[0].available    .should be_true
-  
-    @result[0].video_id     .should_not be_nil
-    @result[0].title        .should_not be_nil
-    @result[0].create_time  .should_not be_nil
-    @result[0].update_time  .should_not be_nil
-    #@result[0].memo         .should_not be_nil
-    @result[0].description  .should_not be_nil
-    @result[0].thumbnail_url.should_not be_nil
-    @result[0].create_time  .should_not be_nil
-    @result[0].update_time  .should_not be_nil
-    @result[0].length       .should_not be_nil
-
-    @result[0].view_counter .should_not be_nil
-    @result[0].comment_num  .should_not be_nil
-    @result[0].mylist_counter.should_not be_nil 
-  end    
-end
 
 describe "When execute 'Nicos::Connector::setWait" do
   before(:all) do
@@ -204,4 +130,156 @@ describe "When execute 'Nicos::Connector::setWait" do
     @c2.waitConfig["timedOut"]["wait"]
                     .should == 10
   end
-end
+end
+
+describe "When execute 'Nicos::Searcher::ByTag.execute' method " +
+          "and return a string except \"continue\" in this block" do  
+  before(:all) do
+    wait = {
+      'seqAccLimit' => 0,  # 連続してリクエストする回数
+      'afterSeq'    => 0,  # 連続リクエスト後のウェイト（以下全て単位は秒）
+      'each'        => 0,   # 連続リクエスト時の、1リクエスト毎のウェイト
+
+      'increment'   => 0,   # アクセス拒絶時の、次回以降の1リクエスト毎のウェイトの増加量
+
+      'deniedSeqReq'=> {    # 連続アクセス拒絶時
+        'retryLimit'  => 3,   # 再試行回数の上限
+        'wait'        => 120  # 再試行までのウェイト
+      },
+      
+      'serverIsBusy'=> {    # サーバ混雑時
+        'retryLimit'  => 3,
+        'wait'        => 120
+      },
+      
+      'serviceUnavailable' => { # 503時
+        'retryLimit'  => 3,
+        'wait'        => 120
+      },
+      
+      'timedOut' => {       # タイムアウト時
+        'retryLimit'  => 3,
+        'wait'        => 10
+      }
+    }
+    Nicos::Connector::Config::setWait(wait)
+
+    searcher = Nicos::Searcher::ByTag.new()
+    @count = 0
+
+    searcher.execute("ゆっくり実況プレイpart1リンク", "post_old") { |result|
+      @count += 1
+      "not continue"
+    }
+  end
+
+  it "should end only one access." do
+    @count.should == 1  
+  end
+end
+
+describe "When execute 'Nicos::Searcher::ByTag.execute' method " +
+          "and return a string except \"continue\" in this block" do  
+  before(:all) do
+    searcher = Nicos::Searcher::ByTag.new()
+    @count = 0
+
+    searcher.execute("ゆっくり実況プレイpart1リンク", "post_old") { |result|
+      @count += 1
+      nil
+    }
+  end
+
+  it "should end only one access." do
+    @count.should == 1  
+  end
+end
+
+describe "When execute 'Nicos::Searcher::ByTag.execute' method " +
+          "passing following argument" do  
+  before(:all) do
+    searcher = Nicos::Searcher::ByTag.new()
+    count = 0
+
+    searcher.execute("ゆっくり実況プレイpart1リンク", "post_old") { |result, status|
+      @result = result
+      @status = status
+p @status
+      count += 1
+      "continue" unless count >= 3
+    }
+    puts "end"
+  end
+
+  it "should have Array of movie objects." do
+    @result   .should be_kind_of(Array)
+    @result[0].should be_instance_of(Nicos::Movie)
+  end
+
+  it "should contains movie objects that have following structure." do
+    @result[0].available    .should be_true
+  
+    @result[0].video_id     .should_not be_nil
+    @result[0].title        .should_not be_nil
+    @result[0].create_time  .should_not be_nil
+    @result[0].update_time  .should_not be_nil
+    #@result[0].memo         .should_not be_nil
+    @result[0].description  .should_not be_nil
+    @result[0].thumbnail_url.should_not be_nil
+    @result[0].create_time  .should_not be_nil
+    @result[0].update_time  .should_not be_nil
+    @result[0].length       .should_not be_nil
+
+    @result[0].view_counter .should_not be_nil
+    @result[0].comment_num  .should_not be_nil
+    @result[0].mylist_counter.should_not be_nil 
+  end   
+
+  it "should contains movie objects that have following structure." do
+    @status["results"]["notPublic"]    .should be_instance_of(Array)
+    @status["results"]["limInCommunity"].should be_instance_of(Array)
+    @status["results"]["notFound"]     .should be_instance_of(Array)
+    @status["results"]["deleted"]      .should be_instance_of(Array)
+    @status["results"]["succeededNum"] .should >= 0
+  end    
+end
+
+describe "When execute 'Nicos::Searcher::ByTag.execute' method " +
+          "and searcher reaches the last page." do  
+  before(:all) do
+    searcher = Nicos::Searcher::ByTag.new()
+    count = 0
+
+    searcher.execute("アヤックス", "post_old") { |result, status|
+      @result = result
+
+      count += 1
+      puts count
+      "continue"
+    }
+  end
+
+  it "should have Array of movie objects." do
+    @result   .should be_kind_of(Array)
+    @result[0].should be_instance_of(Nicos::Movie)
+  end
+
+  it "should contains movie objects that have following structure." do
+    @result[0].available    .should be_true
+  
+    @result[0].video_id     .should_not be_nil
+    @result[0].title        .should_not be_nil
+    @result[0].create_time  .should_not be_nil
+    @result[0].update_time  .should_not be_nil
+    #@result[0].memo         .should_not be_nil
+    @result[0].description  .should_not be_nil
+    @result[0].thumbnail_url.should_not be_nil
+    @result[0].create_time  .should_not be_nil
+    @result[0].update_time  .should_not be_nil
+    @result[0].length       .should_not be_nil
+
+    @result[0].view_counter .should_not be_nil
+    @result[0].comment_num  .should_not be_nil
+    @result[0].mylist_counter.should_not be_nil 
+  end    
+end

metadata

@@ -2,7 +2,7 @@
 name: nicoscraper
 version: !ruby/object:Gem::Version 
   prerelease: 
-  version: 0.2.7
+  version: 0.2.8
 platform: ruby
 authors: 
 - Masami Yonehara
@@ -10,7 +10,7 @@ autorequire:
 bindir: bin
 cert_chain: []
 
-date: 2011-09-28 00:00:00 Z
+date: 2011-09-29 00:00:00 Z
 dependencies: 
 - !ruby/object:Gem::Dependency 
   name: damerau-levenshtein
@@ -35,8 +35,19 @@ dependencies:
   prerelease: false
   version_requirements: *id002
 - !ruby/object:Gem::Dependency 
-  name: rake
+  name: mechanize
   requirement: &id003 !ruby/object:Gem::Requirement 
+    none: false
+    requirements: 
+    - - ">="
+      - !ruby/object:Gem::Version 
+        version: 2.0.0
+  type: :runtime
+  prerelease: false
+  version_requirements: *id003
+- !ruby/object:Gem::Dependency 
+  name: rake
+  requirement: &id004 !ruby/object:Gem::Requirement 
     none: false
     requirements: 
     - - "="
@@ -44,10 +55,10 @@ dependencies:
         version: 0.8.7
   type: :development
   prerelease: false
-  version_requirements: *id003
+  version_requirements: *id004
 - !ruby/object:Gem::Dependency 
   name: shoulda
-  requirement: &id004 !ruby/object:Gem::Requirement 
+  requirement: &id005 !ruby/object:Gem::Requirement 
     none: false
     requirements: 
     - - ">="
@@ -55,10 +66,10 @@ dependencies:
         version: "0"
   type: :development
   prerelease: false
-  version_requirements: *id004
+  version_requirements: *id005
 - !ruby/object:Gem::Dependency 
   name: bundler
-  requirement: &id005 !ruby/object:Gem::Requirement 
+  requirement: &id006 !ruby/object:Gem::Requirement 
     none: false
     requirements: 
     - - ~>
@@ -66,10 +77,10 @@ dependencies:
         version: 1.0.0
   type: :development
   prerelease: false
-  version_requirements: *id005
+  version_requirements: *id006
 - !ruby/object:Gem::Dependency 
   name: jeweler
-  requirement: &id006 !ruby/object:Gem::Requirement 
+  requirement: &id007 !ruby/object:Gem::Requirement 
     none: false
     requirements: 
     - - ~>
@@ -77,10 +88,10 @@ dependencies:
         version: 1.6.4
   type: :development
   prerelease: false
-  version_requirements: *id006
+  version_requirements: *id007
 - !ruby/object:Gem::Dependency 
   name: rcov
-  requirement: &id007 !ruby/object:Gem::Requirement 
+  requirement: &id008 !ruby/object:Gem::Requirement 
     none: false
     requirements: 
     - - ">="
@@ -88,7 +99,7 @@ dependencies:
         version: "0"
   type: :development
   prerelease: false
-  version_requirements: *id007
+  version_requirements: *id008
 description: "It scrape movies and mylists of Niconico douga.\n  "
 email: zeitdiebe@gmail.com
 executables: []
@@ -119,6 +130,7 @@ files:
 - lib/nicoscraper.rb
 - nicoscraper.gemspec
 - test/movie_spec.rb
+- test/mylist_spec.rb
 - test/searcher_spec.rb
 homepage: http://github.com/hdemon/nicoscraper
 licenses: 
@@ -133,7 +145,7 @@ required_ruby_version: !ruby/object:Gem::Requirement
   requirements: 
   - - ">="
     - !ruby/object:Gem::Version 
-      hash: 945076813135277661
+      hash: -2925432120660025319
       segments: 
       - 0
       version: "0"