nicoscraper 0.2.6 → 0.2.7

data/README.md

@@ -1,4 +1,4 @@
-以下は[rubydoc](http://rubydoc.info/gems/nicoscraper/0.2.5/frames)からの転載です。詳細はこちらを御覧下さい。
+以下は[rubydoc](http://rubydoc.info/gems/nicoscraper/0.2.6/frames)からの転載です。詳細はそちらを御覧下さい。
 
 
 NicoScraper
@@ -9,8 +9,8 @@ NicoScraper
 **Author:**  Masami Yonehara  
 **Copyright:**  2011  
 **License:**  MIT License  
-**Latest Version:**  0.2.5  
-**Release Date:**  Sep 24th 2011  
+**Latest Version:**  0.2.7
+**Release Date:**  Sep 25th 2011  
  
 
 何をするライブラリ？
@@ -24,13 +24,15 @@ NicoScraper
 
     $ gem install nicoscraper
 
-　とした後、
+　として下さい。もしlibxml2が足りない、extconfにオプションを指定しろ等のエラーが出た場合には、libxmlが入っていないかパスが通っていません。
 
-    require 'nicoscraper' 
+    yum install -y libxml2 libxml2-devel
+
+　などとして、libxmlを入れ直してから再度gemを実行して下さい。成功すれば、
 
-　で使い始めて下さい。内部的にlibxml-rubyを使っており、インストール時に最新版に更新される可能性があります。
+    require 'nicoscraper' 
 
-　なお、実行前に[注意点、および免責事項](#___________)をお読み下さい。
+　で使うことができます。なお、実行前に[注意点、および免責事項](#___________)をお読み下さい。
 
 
 基本的な使い方
@@ -81,8 +83,8 @@ NicoScraper
 
     require 'nicoscraper'
 
-    mylist = Nicos::Mylist::new("")
-    mylist.getInfoLt
+    mylist = Nicos::Mylist::new("15196568")
+    mylist.getInfo
 
     p mylist
 
@@ -113,30 +115,39 @@ NicoScraper
 　タグやマイリスト検索結果からの情報取得には、Searcherモジュールを使います。情報のソート方法の指定、取得する範囲の制限が可能です。
 
     require 'nicoscraper'
+    require 'date'
 
     t = Time.now
-    ytd = Date::new(t.year, t.month, t.day) - 1
-    yesterday = Time.local(ytd.year, ytd.month, ytd.day, 0, 0, 0).to_i
-
-    searcher = Nicos::Searcher::ByTag.new()
-
-    searcher.execute('ゆっくり実況プレイpart1リンク', 'post_new', nil) {
-      |result, page|
-
-      result.each { |movieObj|
-        puts movieObj.title +
-          " is posted at " +
-           Time.at(movieObj.first_retrieve).to_s
-
-        "continue" if movieObj.first_retrieve >= yesterday 
-      }  
+    tda = Date::new(t.year, t.month, t.day) - 3
+    threeDaysAgo = Time.local(ytd.year, ytd.month, ytd.day, 0, 0, 0).to_i
+
+    searchByTag = Nicos::Searcher::ByTag.new()
+    searchByTag.execute(
+      'VOCALOID', 
+      'post_new'
+    ) { |result, page|
+      terminate = false
+
+      result.each { |movie|
+        terminate = ( movie.first_retrieve <= threeDaysAgo )
+        
+        puts movie.title +
+            " is posted at " +
+             Time.at(movie.first_retrieve).to_s 
+      }   
+      
+      if terminate
+        puts "loop terminated."
+      else
+        "continue" 
+      end
     }
 
-　この例では、`ゆっくり実況プレイpart1リンク`というタグの付く動画を、`post_new`=投稿日時が新しい順からさかのぼって取得し、取得した動画の日付が前日の0時0分を超えるまでそれを続けます。 
+　この例では、`VOCALOID`というタグの付く動画を、`post_new`=投稿日時が新しい順からさかのぼって取得し、取得した動画の日付が3日前の0時0分を超えるまでそれを続けます。 
 
 　ブロック内の第1引数には取得結果に基づく動画インスタンスが与えられるのですが、これは32個分の配列です。なぜ32個のセットなのかと言うと、ご存知のようにニコニコ動画の検索画面はページで区切られており、Searcherモジュールの各メソッドはページ毎に情報を取得し、ページ単位でブロックをコールするからです。HTMLから取得するにしろAtomフィードから取得するにしろ、1ページに32個の動画情報が含まれています。そして、第2引数には現在のページ数が与えられます。
 
-　そして、**ブロック内で`continue`の文字列を返すことによりスクレイプが継続します。**つまり、`continue`文字列を返し続けるロジックを組み込まないと、1ページ目を読んだ時点で処理が終了します。これは意図せざる過剰アクセスを防ぐための措置です。
+　そして、**ブロック内で`"continue"`の文字列を返すことによりスクレイプが継続します。**つまり、`"continue"`文字列を返し続けるロジックを組み込まないと、1ページ目を読んだ時点で処理が終了します。これは意図せざる過剰アクセスを防ぐための措置です。
 
 　上の例では、取得した動画の日付を調べ、3日前の0時0分より前の動画に到達すればそこでループを終える設計です。ループを継続するために取得情報を使うかどうかは任意なので、例えば10分間の制限で取得出来るだけ取得するということも可能でしょう。
 
@@ -174,7 +185,7 @@ NicoScraper
 
 　Searcherメソッドは継続的なアクセスを行い、またそれ以外のメソッドも実際の運用目的上ある程度の連続使用が前提になると思います。このライブラリは並列的なリクエストを行いませんが、それでも過剰なアクセスに伴うサーバからの拒絶や、あるいはそれ以上に、アカウントの停止もしくは法的責任を追求されるなどの事があり得ないという保証はできません。
 
-　それを防ぐための措置の一つが、`continue`を明示的に返さないとスクレイピングが継続しない仕様ですが、もう一つ、アクセス中のウェイトを任意に設定できるようにしています。具体的には、連続リクエストの上限回数、連続リクエスト後のウェイト、1リクエスト毎のウェイト、連続アクセス拒絶時やサーバ混雑時の再試行までのウェイトなどです。ウェイトの設定は、以下のように`Nicos::Connector::Config::waitConfig`に与えられています。以下はデフォルトの設定です。
+　それを防ぐための措置の一つが、`"continue"`を明示的に返さないとスクレイピングが継続しない仕様ですが、もう一つ、アクセス中のウェイトを任意に設定できるようにしています。具体的には、連続リクエストの上限回数、連続リクエスト後のウェイト、1リクエスト毎のウェイト、連続アクセス拒絶時やサーバ混雑時の再試行までのウェイトなどです。ウェイトの設定は、以下のように`Nicos::Connector::Config::waitConfig`に与えられています。以下はデフォルトの設定です。
 
     Nicos::Connector::Config::waitConfig = {
 
@@ -208,7 +219,7 @@ NicoScraper
     }
 
 ###連続リクエストとは？
-　
+
 　Searcherメソッドはある一定回数のHTTPリクエストを1つの単位とし、その単位のリクエストが終わるごとに休憩を入れます。この1単位を連続リクエストと言います。上の例では、10のリクエストを1単位とし(`seqAccLimit`)、その連続リクエストが終わった後に10秒の休憩を入れる(`afterSeq`)設定になっています。
 
 　なお、連続リクエスト毎に限らず、1リクエスト毎のウェイトも併せて設定できます。上の例では、1リクエスト毎に1秒のウェイトを入れる設定です(`each`)。
@@ -298,6 +309,12 @@ Mylistクラスのインスタンス
 
 ###更新履歴
 
+**v 0.2.7**
+
++ ドキュメントのSearcherモジュールの例の誤り、その他細かい点を訂正。
+
++ MylistのAtomフィードから、投稿日の取得が漏れていた点を修正。
+
 **v 0.2.6** 
 
 + ドキュメントが正しく生成されていなかったので訂正。
@@ -306,11 +323,11 @@ Mylistクラスのインスタンス
 
 + ヘッダの追加
 
-+ コードと設定の分離
++ コードと設定の分離。
 
 **v 0.2.4**
 
-+ ドキュメント作成
++ ドキュメントの作成。
 
 + Searcherループのバグ修正。 
 
@@ -323,7 +340,7 @@ Mylistクラスのインスタンス
 
 + HTMLから取得・解析するメソッドの追加。
 
-+ キーワード検索の実装
++ キーワード検索の実装。
 
 **v 0.4-**
 
@@ -339,4 +356,4 @@ Mylistクラスのインスタンス
 
 + http://twitter.com/h_demon
 
-GitHubを経由して下さってもいいのですが、まだ慣れていないので対応が送れるかもしれません。
+GitHubを経由して下さってもいいのですが、まだ慣れていないので対応が遅れるかもしれません。

data/VERSION

@@ -1 +1 @@
-0.2.6
+0.2.7

data/lib/classes/parser.rb

@@ -111,7 +111,11 @@ module Nicos
               lengthStr = doc.value.split(/\:/)
               length   = lengthStr[0].to_i * 60 + lengthStr[1].to_i
               parsed[n]["length"] =  length
-            when "nico-numbers-view", "nico-numbers-res",
+            when "nico-info-date"
+              label = doc.name
+              doc.read
+              parsed[n]["first_retrieve"] =  Nicos::Converter.japToUnix(doc.value)
+           when "nico-numbers-view", "nico-numbers-res",
                   "nico-numbers-mylist"
               label = doc.value
               doc.read

data/lib/classes/searcher.rb

@@ -11,6 +11,7 @@ require 'parser.rb'
 
 module Nicos
   module Searcher
+    # @private
     class ByTagSuper < Nicos::Connector::Config
       private
 
@@ -163,10 +164,47 @@ module Nicos
 
       public
 
-      # 実行
+      # タグ検索を実行し、ブロックに結果を渡します。
       #
       # @param [String] tag 検索したいタグ文字列
       # @param [String] sortMethod ソート方法
+      #==基本的な使い方
+      # require 'nicoscraper'
+      # 
+      # searcher = Nicos::Searcher::ByTag.new()
+      # searcher.execute('VOCALOID', 'view_many') {
+      #  |result, page|
+      # 
+      #  result.each { |movieObj|
+      #    puts movieObj.title 
+      #  }  
+      # }
+      #
+      # result ----
+      #
+      # 【初音ミク】みくみくにしてあげる♪【してやんよ】
+      # 初音ミク　が　オリジナル曲を歌ってくれたよ「メルト」
+      # 初音ミク　が　オリジナル曲を歌ってくれたよ「ワールドイズマイン」
+      # 初音ミクオリジナル曲　「初音ミクの消失（LONG VERSION）」
+      # 【巡音ルカ】ダブルラリアット【オリジナル】
+      # 「卑怯戦隊うろたんだー」をKAITO,MEIKO,初音ミクにry【オリジナル】修正版
+      # 【オリジナル曲PV】マトリョシカ【初音ミク・GUMI】
+      # 初音ミクがオリジナルを歌ってくれたよ「ブラック★ロックシューター」
+      # ...
+      #
+      #　Nicos::Searcher::ByTagのインスタンスを作り、executeメソッドに引数を与えて実行します。
+      # 結果がブロックの第1仮引数に渡されます。
+      # 渡される結果はMovieクラスのインスタンスを含む配列です。
+      #
+      #==スクレイプの継続について
+      #
+      # ニコニコ動画の検索結果は、指定した数を一度に取得できる訳ではありません。
+      # なぜなら、現状では検索結果はHTML1ページ、もしくは1つのRSS/Atomフィードに32個を限度に渡される方式であり、
+      # ByTagクラスがその結果を利用する以上、32個=1単位という制約のもとに置かれるからです。
+      # 従って、例えば最新の投稿100個の情報が欲しいとしても、1回のリクエストでは手に入らず 
+      # かならず数回に分けてリクエストすることになります。
+      #
+      #　加えて、リクエストを継続するかどうかの判定も1ページ/1フィード毎に行います。
       #==sortMethod: ソート方法
       # *comment_new*  
       # コメントが新しい順

data/nicoscraper.gemspec

@@ -5,11 +5,11 @@
 
 Gem::Specification.new do |s|
   s.name = %q{nicoscraper}
-  s.version = "0.2.6"
+  s.version = "0.2.7"
 
   s.required_rubygems_version = Gem::Requirement.new(">= 0") if s.respond_to? :required_rubygems_version=
   s.authors = [%q{Masami Yonehara}]
-  s.date = %q{2011-09-25}
+  s.date = %q{2011-09-28}
   s.description = %q{It scrape movies and mylists of Niconico douga.
   }
   s.email = %q{zeitdiebe@gmail.com}

data/test/searcher_spec.rb

@@ -1,7 +1,7 @@
 # -*- encoding: utf-8 -*-
-$:.unshift File.dirname(__FILE__) + "/../lib"
+# $:.unshift File.dirname(__FILE__) + "/../lib"
 
-require 'nicoscraper'
+require '../lib/nicoscraper.rb'
 
 describe "When execute 'Nicos::Searcher::ByTag.execute' method " +
           "and return a string except \"continue\" in this block" do  

metadata

@@ -2,7 +2,7 @@
 name: nicoscraper
 version: !ruby/object:Gem::Version 
   prerelease: 
-  version: 0.2.6
+  version: 0.2.7
 platform: ruby
 authors: 
 - Masami Yonehara
@@ -10,7 +10,7 @@ autorequire:
 bindir: bin
 cert_chain: []
 
-date: 2011-09-25 00:00:00 Z
+date: 2011-09-28 00:00:00 Z
 dependencies: 
 - !ruby/object:Gem::Dependency 
   name: damerau-levenshtein
@@ -133,7 +133,7 @@ required_ruby_version: !ruby/object:Gem::Requirement
   requirements: 
   - - ">="
     - !ruby/object:Gem::Version 
-      hash: -219128366920593554
+      hash: 945076813135277661
       segments: 
       - 0
       version: "0"