nicoscraper 0.2.14 → 0.2.15

data/README.md

@@ -9,11 +9,11 @@ NicoScraper
 **Author:**  Masami Yonehara  
 **Copyright:**  2011  
 **License:**  MIT License  
-**Latest Version:**  0.2.14  
+**Latest Version:**  0.2.15  
 **Release Date:**  Oct 18th 2011  
  
 
-何をするライブラリ？
+何をするライブラリなの？
 ------
 
 　ニコニコ動画の動画ページ、検索ページ、あるいはそのAtomフィードから情報を取得し、その情報に対して各種操作を行えます。タグやマイリスト検索結果からの抽出、および抽出結果に対する反復処理を行うメソッドも備え、ランキングサイト等の制作を支援します。
@@ -59,29 +59,47 @@ NicoScraper
 　上の例のように、Movieクラスのインスタンス（以下「動画インスタンス」）を動画IDを与えて生成した後、`getInfo`メソッドを利用します。その結果、
 
     p movie
-
-    <Nicos::Movie:0x00000002537aa8
+    <Nicos::Movie:0x00000003590a80 
       @video_id="sm1097445", 
-      @available=true, 
+      @available=true,
       @title="【初音ミク】みくみくにしてあげる♪【してやんよ】", 
-      @description="おまえら、みっくみくにしてやんよ。歌詞は...", 
-      @thumbnail_url="http://tn-skr2.smile...", 
+      @description="おまえら、みっくみくにしてやんよ。歌詞はhttp://ikamo.hp.infoseek.co.jp/mikumiku.txt（9/20 1:55修正）。上げている他のもの→mylist/1450136",
+      @thumbnail_url="http://tn-skr2.smilevideo.jp/smile?i=1097445",
       @first_retrieve=1190218922, 
-      @length=99, 
-      @movie_type="flv", 
-      @size_high=3906547, 
+      @length=99, @movie_type="flv", 
+      @size_high=3906547,
       @size_low=1688098, 
-      @view_counter=9073614, 
-      @comment_num=2553366, 
-      @mylist_counter=183470, 
-      @last_res_body="★███████████☆...", 
-      @watch_url="http://www.nicovideo.jp/...", 
+      @view_counter=9151941, 
+      @comment_num=2568537, 
+      @mylist_counter=184674, 
+      @last_res_body="...",
+      @watch_url="http://www.nicovideo.jp/watch/sm1097445",
       @thumb_type="video", 
       @embeddable=1, 
       @no_live_play=0, 
-      @tags_jp=["音楽", "初音ミク", ...], 
-      @tags_tw=["彈幕強大", "把你MikuMiku掉♪", ...], 
-      @user_id=70391 >
+      @tags_jp=[
+        {"value"=>"音楽", :locked=>true, :category=>true},
+        {"value"=>"初音ミク", :locked=>true}, 
+        {"value"=>"みくみくにしてあげる♪", :locked=>true},
+        {"value"=>"ミクオリジナル曲"}, 
+        {"value"=>"ika"},
+        {"value"=>"VOCALOID殿堂入り"}, 
+        {"value"=>"元気が出るミクうた"}, 
+        {"value"=>"VOCALOID"}, 
+        {"value"=>"初音ミク名曲リンク"}, 
+        {"value"=>"夜みっく"}],
+      @tags_tw=[
+        {"value"=>"彈幕強大"}, 
+        {"value"=>"把你MikuMiku掉♪"}, 
+        {"value"=>"週刊vocaloid排行榜第1名獲得曲"}, 
+        {"value"=>"翻譯歌曲"}, 
+        {"value"=>"台灣VOCALOID評論人氣曲"}, 
+        {"value"=>"最強彈幕傳說"}, 
+        {"value"=>"3次第一的傳說"}, 
+        {"value"=>"已翻譯歌曲"}],
+      @user_id=70391
+    >
+
 　このように、動画インスタンスにインスタンス変数として各種情報が付加されます。
 
 ###マイリスト情報の取得
@@ -115,7 +133,7 @@ NicoScraper
       ],
       ... >
 
-　というように、動画インスタンスを勝手につくりだして配列として保持します。もちろん、これらの動画インスタンスには独立した操作を加えられます。
+　というように、動画インスタンスを勝手につくりだして配列として保持します。もちろん、これらの動画インスタンスには独立した操作を加えられます。ただし、取得ソースが異なるため、MovieクラスのgetInfoメソッドおよびgetHtmlInfoメソッドと、全く同じ内容が取得できるわけではありません。
 
 ###検索結果の取得
 
@@ -143,15 +161,15 @@ NicoScraper
              Time.at(movie.first_retrieve).to_s 
       }   
       
-      # "continue"をブロック内で返すと検索を継続
-      "continue" unless terminate
+      # :continueをブロック内で返すと検索を継続
+      :continue unless terminate
     }
 
 　この例では、`VOCALOID`というタグの付く動画を、`:post_new`=投稿日時が新しい順からさかのぼって取得し、取得した動画の日付が3日前の0時0分を超えるまでそれを続けます。 
 
 　ブロック内の第1引数には取得結果に基づく動画インスタンスが与えられるのですが、これは32個分の配列です。なぜ32個のセットなのかと言うと、ご存知のようにニコニコ動画の検索画面はページで区切られており、Searcherモジュールの各メソッドはページ毎に情報を取得し、ページ単位でブロックをコールするからです。HTMLから取得するにしろAtomフィードから取得するにしろ、1ページに32個の動画情報が含まれています。第2引数にはそれまでのアクセス成否情報等が渡されます。
 
-　そして、**ブロック内で`"continue"`の文字列を返すことによりスクレイプが継続します。**つまり、`"continue"`文字列を返し続けるロジックを組み込まないと、1ページ目を読んだ時点で処理が終了します。これは意図せざる過剰アクセスを防ぐための措置です。
+　そして、**ブロック内でシンボル`:continue`を返すことによりスクレイプが継続します。**つまり、`"continue"`文字列を返し続けるロジックを組み込まないと、1ページ目を読んだ時点で処理が終了します。これは意図せざる過剰アクセスを防ぐための措置です。
 
 　上の例では、取得した動画の日付を調べ、3日前の0時0分より前の動画に到達すればそこでループを終える設計です。ループを継続するために取得情報を使うかどうかは任意なので、例えば10分間の制限で取得出来るだけ取得するということも可能でしょう。
 
@@ -230,34 +248,57 @@ NicoScraper
 　ニコニコ動画のサーバのレスポンスには、正常にデータを返す以外にいくつかの反応があります。この反応に応じて再試行するか、それともそのリクエストをパスするかが決定されます。以下はレスポンスの内容と、それに対応するウェイト設定用ハッシュのキー、およびメソッドが返すステータスです。ステータスについては各メソッドの説明を参照して下さい。
 
 **削除済み** `:deleted`
+
 **404** `:notFound`
 
 　再試行をせず、次の処理に移行します。
+
+<br>
+
           
 **非公開** `:notPublic`
+
 **コミュニティ限定** `:limInCommunity`
 
 　動画がマイリストが非公開設定されている場合、あるいはコミュニティ未加入者には非公開になっている動画があります。後者については（前者も自分のものであれば）ログイン処理を事前に行うことで技術的には取得可能ですが、v0.2では未実装です。これらの動画の場合、処理は404に準じます。なお、この場合は内部的には403が返ってきています。
 
+<br>
+
 **連続アクセスの拒絶** `:deniedSeqReq`
 
 　"短時間での連続アクセスはご遠慮ください"　と表示される場合です。設定に従って**再試行します。**
 
+<br>
+
+
+
 **サーバ混雑時** `:serverIsBusy`
 
 　"大変ご迷惑をおかけいたしますが、しばらく時間をあけてから再度検索いただくようご協力をお願いいたします。" と表示される場合です。**再試行します。**
 
+<br>
+
+
+
 **503** `:serviceUnavailable`
 
 　メンテナンス時に限らず、稼働時にも稀に発生します。処理全体を中断することはなく、**再試行します。**
 
+<br>
+
+
+
 **タイムアウト** `:timedOut`
+
 　**再試行します。**
 
 　再試行するメソッドの場合、ウェイトの`increment`の秒数、次回以降の1リクエスト毎のウェイトを増加させます。
 
 　上記のどれにも該当しない場合、つまり取得とパースに成功した場合には`:succeed`を返します。なお、マイリストは有効に存在し取得もできるが、動画は存在しないという場合も`:succeed`であり、@movies配列が空になるだけです。
 
+<br>
+
+
 ###設定方法
 
 　ウェイトは、全メソッドが共有する設定と、各インスタンスのみに有効な設定の2つを定義できます。
@@ -327,7 +368,9 @@ GitHubを経由して下さってもいいのですが、まだ慣れていな
 
 + HTMLから取得・解析するメソッドの追加。
 
-+ キーワード検索の実装。
++ キーワード検索メソッドの実装。
+
++ コメント取得メソッドの実装。
 
 **v 0.4-**
 
@@ -338,6 +381,15 @@ GitHubを経由して下さってもいいのですが、まだ慣れていな
 
 ###更新履歴
 
+**v 0.2.15 **
+
++ getMoreInfoメソッドを、getHtmlInfoメソッドへ改名。
+
++ タグ情報が適切に取得できないバグを解消。
+
++ タグ情報の構造を変更。個々のタグ情報を、ロックされているか、カテゴリタグであるかの識別プロパティを持ちうるハッシュにし、それを配列として保持する方式へ。
+
+
 **v 0.2.13 0.2.14**
 
 + タイトル類似性判定ロジックを、編集距離う使う手法からn-gram法(n=3)に変更。

data/VERSION

@@ -1 +1 @@
-0.2.14
+0.2.15

data/lib/classes/movie.rb

@@ -23,14 +23,14 @@ module Nicos
     
     # 指定されたマイリストに自分が入っていれば、真を返す。 
     #
-    # 内部的にMylist::getMoreInfoを利用しているため、もし指定したマイリストの他の情報を使いたければ、
+    # 内部的にMylist::getHtmlInfoを利用しているため、もし指定したマイリストの他の情報を使いたければ、
     # ブロック中に処理を記述することで、getInfoの取得結果を共用することができる。
     # @param [Fixnum] mylistId マイリストID
     # @return [Boolean] 
     def isBelongsTo (mylistId, &block)
       isBelongs = false
       thisMl = Nicos::Mylist.new(mylistId)
-      thisMl.getMoreInfo
+      thisMl.getHtmlInfo
 
       thisMl.movies.each do |movie|
         isBelongs = true if movie.video_id == @video_id
@@ -456,7 +456,7 @@ module Nicos
 
     # 日本語タグ
     #
-    # @return [Array<String>]
+    # @return [Array<Hash>]
     # <b>取得可能なメソッド</b>  
     # {Nicos::Movie#getInfo Movie::getInfo}  
     # {Nicos::Movie#getInfo Movie::getHtmlInfo}  
@@ -464,7 +464,7 @@ module Nicos
 
     # 台湾タグ
     #
-    # @return [Array<String>]
+    # @return [Array<Hash>]
     # <b>取得可能なメソッド</b>  
     # {Nicos::Movie#getInfo Movie::getInfo}  
     attr_accessor :tags_tw

data/lib/classes/mylist.rb

@@ -115,36 +115,34 @@ module Nicos
     #
     # @return [Fixnum] Trigram法による、
     def getInfo
-      parsed = nil
       @available = false
 
       res = connect( 
         Nicos::Connector::MylistAtom.new(), 
         :atom )
-      parse = parse(res[:result]) do |result|
+      parsed = parse(res[:result]) do |result|
         Nicos::Parser::Xml::mylistAtom(result[:body])
       end
 
       { 
-        :parsed  => parse, 
+        :parsed  => parsed, 
         :status  => res[:status][:status],
         :retry   => res[:status][:retry]
       }      
     end  
 
-    def getMoreInfo
-      parsed = nil
+    def getHtmlInfo
       @available = false
 
       res = connect( 
         Nicos::Connector::MylistHtml.new(),
         :html )
-      parse = parse(res[:result]) do |result|
+      parsed = parse(res[:result]) do |result|
         Nicos::Parser::Html::mylist(result[:body])
       end
 
       { 
-        :parsed  => parse, 
+        :parsed  => parsed, 
         :status  => res[:status][:status],
         :retry   => res[:status][:retry]
       }      

data/lib/classes/parser.rb

@@ -55,43 +55,56 @@ module Nicos
 
           tags = []
           lockedTags = []
-              category = nil
-              lock = nil
+          category = nil
+          locked = false
+          prev = nil
+          now = nil
 
           while doc.read
             unless doc.node_type == XML::Reader::TYPE_END_ENTITY
-              break if doc.name === "tags"
-
-              if category == nil
-                doc.move_to_attribute("category")
-                if doc.name === "category"
-                  doc.read
-                  category = doc.value 
-                  doc.read
-                end
+              # 終了を判別。もっと環境に依存しない上手いやり方があるはず。
+              break if doc.name == "tags"
+
+              if prev == :end
+                category = false
+                locked = false
               end
 
+              doc.move_to_attribute("category")
+              category = true if doc.name == "category"
+
               doc.move_to_attribute("lock")
-              if doc.name === "lock"
-                lock = true
-                doc.read
-                doc.read
-              else lock = false
+              locked = true if doc.name == "lock"
+
+              # ノードの開始、値、終了を判別する。
+              # 例えば<tag>と<tag lock="1"/>が、どちらも'2'と解釈され、開始と終了が区別しづらい。
+              #http://dotgnu.org/pnetlib-doc/System/Xml/XmlNodeType.html
+              nt = doc.node_type 
+              now = if (nt == 2 || nt == 1) && prev != :val then :start
+              elsif (nt == 2 || nt == 15) && prev == :val then :end
+              elsif nt == 3 then :val
               end
 
-              doc.read_inner_xml
-              if doc.value != nil  
-                if lock then lockedTags.push(doc.value) 
-                else tags.push(doc.value) end
-              end   
+              val = doc.read_outer_xml
+
+              #puts
+              #puts now              
+              #puts val
+              #puts "cat:#{category} locked:#{locked}"
+
+              if now == :val
+                obj = { "value" => val }
+                obj.merge!({ :locked => true }) if locked == true
+                obj.merge!({ :category => true }) if category == true
+
+                tags.push(obj)
+              end
+
+              prev = now
             end
           end
 
-          {
-            :category => category,
-            :tags     => tags,
-            :lockedTags => lockedTags
-          }
+          tags
         end 
 
         hash[symbol] = value
@@ -335,7 +348,7 @@ module Nicos
 
         /(description:\s\")([^"]{1,})/ =~ s
         description = $2
-        
+
         /(id:\s)([0-9]{1,})/ =~ s
         mylist_id   = $2     
            
@@ -385,4 +398,4 @@ module Nicos
       module_function :mylist
     end
   end
-end
+end

data/lib/classes/searcher.rb

@@ -82,7 +82,7 @@ module Nicos
           status = { :page => @page, :results => @connector.result}
           order = block.call(movieObjAry, status)
           @page += 1
-        end until order != "continue"
+        end until order != "continue" || order != :continue
       end
 
       public
@@ -171,13 +171,19 @@ module Nicos
       #==基本的な使い方
       #  require 'nicoscraper'
       #  
+      #  count = 0
+      #
       #  searcher = Nicos::Searcher::ByTag.new()
       #  searcher.execute('VOCALOID', :view_many) {
       #    |result, status|
-      #  
+      #    
+      #    count += 1
+      #
       #    result.each { |movieObj|
       #      puts movieObj.title 
       #    }  
+      #
+      #    :continue unless count >= 3
       #  }
       #
       #  result ----
@@ -193,12 +199,18 @@ module Nicos
       #  ...
       #
       #　　Nicos::Searcher::ByTagのインスタンスを作り、executeメソッドに引数を与えて実行します。
-      # 結果がブロックの第1仮引数に渡されます。
-      # 渡される結果はMovieクラスのインスタンスを含む配列です。
+      # 結果がブロックの第1仮引数に渡されます。渡される結果はMovieクラスのインスタンスを含む配列ですが、
+      # MovieクラスのgetInfo、getHtmlInfoメソッドと全く同じではありません。これは、検索ページ/RSSから
+      # 動画情報を取得しており、先の2メソッドとは異なる取得元だからです。
       #
       #==スクレイプの継続について
       #
-      # 　ニコニコ動画の検索結果は、指定した数を一度に取得できる訳ではありません。
+      #　　スクレイプは、ブロック内で明示的に ':continue' あるいは '"continue"' を返さない限り、1リクエストで
+      # 終了します。これは、意図せざる過剰アクセスを防ぐための措置です。上の例では、3回アクセスすると終了します。
+      # 帰ってきた動画インスタンスの情報を利用することで、一定の投稿日までさかのぼって取得するなどの処理も可能です
+      # （トップの例を参照）。
+      #
+      # 　また、ニコニコ動画の検索結果は、指定した数を一度に取得できる訳ではありません。
       # なぜなら、現状では検索結果はHTML1ページ、もしくは1つのRSS/Atomフィードに32個を限度に渡される方式であり、
       # ByTagクラスがその結果を利用する以上、32個=1単位という制約のもとに置かれるからです。
       # 従って、例えば最新の投稿100個の情報が欲しいとしても、1回のリクエストでは手に入らず、

data/nicoscraper.gemspec

@@ -5,11 +5,11 @@
 
 Gem::Specification.new do |s|
   s.name = %q{nicoscraper}
-  s.version = "0.2.14"
+  s.version = "0.2.15"
 
   s.required_rubygems_version = Gem::Requirement.new(">= 0") if s.respond_to? :required_rubygems_version=
   s.authors = [%q{Masami Yonehara}]
-  s.date = %q{2011-10-17}
+  s.date = %q{2011-11-09}
   s.description = %q{It scrape movies and mylists of Niconico douga.
   }
   s.email = %q{zeitdiebe@gmail.com}
@@ -38,8 +38,8 @@ Gem::Specification.new do |s|
     "lib/config/wait.rb",
     "lib/nicoscraper.rb",
     "nicoscraper.gemspec",
-    "test/movie_spec.rb",
-    "test/mylist_getmoreinfo_spec.rb",
+    "test/movie_getinfo_spec.rb",
+    "test/mylist_gethtmlinfo_spec.rb",
     "test/mylist_spec.rb",
     "test/searcher_spec.rb"
   ]

data/test/{movie_spec.rb → movie_getinfo_spec.rb}

@@ -9,6 +9,7 @@ describe Nicos::Movie, "After executiton of 'getInfo' method." +
   before(:all) do
     @movie = Nicos::Movie.new("sm1097445")
     @result = @movie.getInfo
+    p @movie
   end
 
   it "should have the following structure and values." do
@@ -33,16 +34,17 @@ describe Nicos::Movie, "After executiton of 'getInfo' method." +
     @movie.thumb_type   .should == "video"
     @movie.embeddable   .should == 1
     @movie.no_live_play .should == 0
-    @movie.tags_jp      .should_not be_nil
+    @movie.tags_jp      .should have_at_least(1).items
+    @movie.tags_jp      .should have_at_most(12).items
     @movie.tags_tw      .should_not be_nil
     @movie.user_id      .should == 70391
   end    
 
   it "should return true when execute 'isBelongsTo' method." +
       "with passing arguments (1450136)" do
-    result = @movie.isBelongsTo(1450136)
-    result .should_not be_nil
-    result .should be_true
+    @result = @movie.isBelongsTo(1450136)
+    @result .should_not be_nil
+    @result .should be_true
   end
 
   it "should return the following values." do

data/test/{mylist_getmoreinfo_spec.rb → mylist_gethtmlinfo_spec.rb}

@@ -4,11 +4,11 @@
 require '../lib/nicoscraper.rb'
 
 
-describe Nicos::Mylist, "After executiton of 'getMoreInfo' method" +
+describe Nicos::Mylist, "After executiton of 'getHtmlInfo' method" +
     "And for example, with passing argument (15196568)" do  
   before(:all) do
     @mylist = Nicos::Mylist.new(15196568)
-    @mylist.getMoreInfo
+    @mylist.getHtmlInfo
   end
 
   it "should have the following values" do
@@ -65,7 +65,7 @@ describe Nicos::Mylist, "After executiton of 'getInfo' method" +
   end
 
   it "should " do
-    r = @mylist.getMoreInfo
+    r = @mylist.getHtmlInfo
     r[:status]  .should === :notFound
     r[:result]  .should be_nil
 
@@ -81,7 +81,7 @@ describe Nicos::Mylist, "After executiton of 'getInfo' method" +
   end
 
   it "should " do
-    r = @mylist.getMoreInfo
+    r = @mylist.getHtmlInfo
     r[:status]  .should === :notPublic
     r[:result]  .should be_nil
 
@@ -97,7 +97,7 @@ describe Nicos::Mylist, "After executiton of 'getInfo' method" +
   end
 
   it "should " do
-    r = @mylist.getMoreInfo
+    r = @mylist.getHtmlInfo
     # r["status]  .should === :deleted
     r[:status]  .should === :notFound
     r[:result]  .should be_nil
@@ -110,7 +110,7 @@ end
 describe Nicos::Mylist, "After executiton of 'getInfo' method" do  
   before(:all) do
     @mylist = Nicos::Mylist.new(15196568)
-    @mylist.getMoreInfo
+    @mylist.getHtmlInfo
   end
 
   it "should return over 0.9 when execute 'getSimilarity' method." +

metadata

@@ -2,7 +2,7 @@
 name: nicoscraper
 version: !ruby/object:Gem::Version 
   prerelease: 
-  version: 0.2.14
+  version: 0.2.15
 platform: ruby
 authors: 
 - Masami Yonehara
@@ -10,7 +10,7 @@ autorequire:
 bindir: bin
 cert_chain: []
 
-date: 2011-10-17 00:00:00 Z
+date: 2011-11-09 00:00:00 Z
 dependencies: 
 - !ruby/object:Gem::Dependency 
   name: libxml-ruby
@@ -108,8 +108,8 @@ files:
 - lib/config/wait.rb
 - lib/nicoscraper.rb
 - nicoscraper.gemspec
-- test/movie_spec.rb
-- test/mylist_getmoreinfo_spec.rb
+- test/movie_getinfo_spec.rb
+- test/mylist_gethtmlinfo_spec.rb
 - test/mylist_spec.rb
 - test/searcher_spec.rb
 homepage: http://github.com/hdemon/nicoscraper
@@ -125,7 +125,7 @@ required_ruby_version: !ruby/object:Gem::Requirement
   requirements: 
   - - ">="
     - !ruby/object:Gem::Version 
-      hash: 2054183697901243262
+      hash: 1016263776231104904
       segments: 
       - 0
       version: "0"