nicoscraper 0.2.12 → 0.2.13

data/Gemfile

@@ -1,8 +1,6 @@
 source "http://rubygems.org"
 
-gem "damerau-levenshtein", ">= 0.5.3"
 gem "libxml-ruby", ">= 2.2.2"
-gem "mechanize", ">=2.0.0"
 
 # Add dependencies to develop your gem here.
 # Include everything needed to run rake, tests, features, etc.

data/Gemfile.lock

@@ -1,36 +1,23 @@
 GEM
   remote: http://rubygems.org/
   specs:
-    damerau-levenshtein (0.5.3)
     git (1.2.5)
     jeweler (1.6.4)
       bundler (~> 1.0)
       git (>= 1.2.5)
       rake
     libxml-ruby (2.2.2)
-    mechanize (2.0.1)
-      net-http-digest_auth (>= 1.1.1, ~> 1.1)
-      net-http-persistent (~> 1.8)
-      nokogiri (~> 1.4)
-      webrobots (>= 0.0.9, ~> 0.0)
-    net-http-digest_auth (1.1.1)
-    net-http-persistent (1.9)
-    nokogiri (1.5.0)
     rake (0.8.7)
     rcov (0.9.10)
     shoulda (2.11.3)
-    webrobots (0.0.11)
-      nokogiri (>= 1.4.4)
 
 PLATFORMS
   ruby
 
 DEPENDENCIES
   bundler (~> 1.0.0)
-  damerau-levenshtein (>= 0.5.3)
   jeweler (~> 1.6.4)
   libxml-ruby (>= 2.2.2)
-  mechanize (>= 2.0.0)
   rake (= 0.8.7)
   rcov
   shoulda

data/README.md

@@ -1,4 +1,4 @@
-以下は[rubydoc](http://rubydoc.info/gems/nicoscraper/0.2.6/frames)からの転載です。詳細はそちらを御覧下さい。
+以下は[rubydoc](http://rubydoc.info/gems/nicoscraper/)からの転載です。詳細はそちらを御覧下さい。
 
 
 NicoScraper
@@ -9,8 +9,8 @@ NicoScraper
 **Author:**  Masami Yonehara  
 **Copyright:**  2011  
 **License:**  MIT License  
-**Latest Version:**  0.2.12 
-**Release Date:**  Oct 12th 2011  
+**Latest Version:**  0.2.13  
+**Release Date:**  Oct 17th 2011  
  
 
 何をするライブラリ？
@@ -62,7 +62,7 @@ NicoScraper
 
     <Nicos::Movie:0x00000002537aa8
       @video_id="sm1097445", 
-      @available=false, 
+      @available=true, 
       @title="【初音ミク】みくみくにしてあげる♪【してやんよ】", 
       @description="おまえら、みっくみくにしてやんよ。歌詞は...", 
       @thumbnail_url="http://tn-skr2.smile...", 
@@ -98,6 +98,9 @@ NicoScraper
 
     <Nicos::Mylist:0x00000002884670
       @mylist_id=15196568,
+      @available=true,
+      @title="【Oblivion】おっさんの大冒険", 
+      ...
       @movies=[
         #<Nicos::Movie:0x0000000255a968
           @video_id="sm8481759", 
@@ -110,8 +113,6 @@ NicoScraper
           @title="【Oblivion】おっさんの大冒険２（ゆっくり実況）",
           ... ,
       ],
-      @available=true,
-      @title="【Oblivion】おっさんの大冒険", 
       ... >
 
 　というように、動画インスタンスを勝手につくりだして配列として保持します。もちろん、これらの動画インスタンスには独立した操作を加えられます。
@@ -129,9 +130,9 @@ NicoScraper
 
     searchByTag = Nicos::Searcher::ByTag.new()
     searchByTag.execute(
-      'VOCALOID', 
-      :post_new
-    ) { |result, status|
+      'VOCALOID',  # 検索したいタグ文字列
+      :post_new    # ソート方法
+    ) { |result, status| # 動画インスタンスの配列 / その時点でのアクセス結果
       terminate = false
 
       result.each { |movie| # first_retrieve == 投稿日
@@ -146,7 +147,7 @@ NicoScraper
       "continue" unless terminate
     }
 
-　この例では、`VOCALOID`というタグの付く動画を、`post_new`=投稿日時が新しい順からさかのぼって取得し、取得した動画の日付が3日前の0時0分を超えるまでそれを続けます。 
+　この例では、`VOCALOID`というタグの付く動画を、`:post_new`=投稿日時が新しい順からさかのぼって取得し、取得した動画の日付が3日前の0時0分を超えるまでそれを続けます。 
 
 　ブロック内の第1引数には取得結果に基づく動画インスタンスが与えられるのですが、これは32個分の配列です。なぜ32個のセットなのかと言うと、ご存知のようにニコニコ動画の検索画面はページで区切られており、Searcherモジュールの各メソッドはページ毎に情報を取得し、ページ単位でブロックをコールするからです。HTMLから取得するにしろAtomフィードから取得するにしろ、1ページに32個の動画情報が含まれています。第2引数にはそれまでのアクセス成否情報等が渡されます。
 
@@ -176,7 +177,7 @@ NicoScraper
 
 
 **その動画が属する、シリーズとみなせるマイリストのIDを返します。**
-{Nicos::Movie#isSeriesOf Nicos::Movie::isSeriesOf}
+{Nicos::Movie#SearchSeriesMl Nicos::Movie::SearchSeriesMl}
 
 　`isBelongsTo`と`getSimilarity`の組み合わせにより、ある動画の説明文中にマイリストの記載がある場合、そのマイリストがタイトルの類似性によるシリーズとみなせるならば、そのIDを返します。
 
@@ -226,33 +227,36 @@ NicoScraper
 
 ###レスポンスの種類に対する反応について
 
-　ニコニコ動画のサーバのレスポンスには、正常にデータを返す以外にいくつかの反応があります。この反応に応じて再試行するか、それともそのリクエストをパスするかが決定されます。以下はレスポンスの内容と、それに対応するウェイト設定用ハッシュのキーです。
+　ニコニコ動画のサーバのレスポンスには、正常にデータを返す以外にいくつかの反応があります。この反応に応じて再試行するか、それともそのリクエストをパスするかが決定されます。以下はレスポンスの内容と、それに対応するウェイト設定用ハッシュのキー、およびメソッドが返すステータスです。ステータスについては各メソッドの説明を参照して下さい。
 
-**1. 404、削除済み**
+**削除済み** `:deleted`
+**404** `:notFound`
 
-　これらの場合、何も情報を取得せずに終えます。
+　再試行をせず、次の処理に移行します。
+          
+**非公開** `:notPublic`
+**コミュニティ限定** `:limInCommunity`
 
-**2. 連続アクセスの拒絶** :`deniedSeqReq`
+　動画がマイリストが非公開設定されている場合、あるいはコミュニティ未加入者には非公開になっている動画があります。後者については（前者も自分のものであれば）ログイン処理を事前に行うことで技術的には取得可能ですが、v0.2では未実装です。これらの動画の場合、処理は404に準じます。なお、この場合は内部的には403が返ってきています。
 
-　"短時間での連続アクセスはご遠慮ください"　と表示される場合です。設定に従って再試行します。
+**連続アクセスの拒絶** `:deniedSeqReq`
 
-**3. サーバ混雑時** :`serverIsBusy`
+　"短時間での連続アクセスはご遠慮ください"　と表示される場合です。設定に従って**再試行します。**
 
-　"大変ご迷惑をおかけいたしますが、しばらく時間をあけてから再度検索いただくようご協力をお願いいたします。" と表示される場合です。再試行します。
-          
-**4. 非公開・権限なし**
+**サーバ混雑時** `:serverIsBusy`
 
-　動画がマイリストが非公開設定されている場合、あるいはコミュニティ未加入者には非公開になっている動画があります。後者についてはログイン処理を事前に行うことで技術的には取得可能ですが、v 0.2では未実装です。これらの動画の場合、取得をパスします。なお、この場合は403が返っています。
+　"大変ご迷惑をおかけいたしますが、しばらく時間をあけてから再度検索いただくようご協力をお願いいたします。" と表示される場合です。**再試行します。**
 
-**5. 503** :`serviceUnavailable`
+**503** `:serviceUnavailable`
 
-　メンテナンス時に限らず、稼働時にも稀に発生します。処理全体を中断することはなく、再試行を行います。
+　メンテナンス時に限らず、稼働時にも稀に発生します。処理全体を中断することはなく、**再試行します。**
 
-**6. タイムアウト** :`timedOut`
+**タイムアウト** `:timedOut`
+　**再試行します。**
 
-　再試行します。
+　再試行するメソッドの場合、ウェイトの`increment`の秒数、次回以降の1リクエスト毎のウェイトを増加させます。
 
-　2、3、5に該当した場合には、`increment`を指定することで、次回以降の1リクエスト毎のウェイトを増加させることができます。
+　上記のどれにも該当しない場合、つまり取得とパースに成功した場合には`:succeed`を返します。なお、マイリストは有効に存在し取得もできるが、動画は存在しないという場合も`:succeed`であり、@movies配列が空になるだけです。
 
 ###設定方法
 
@@ -310,7 +314,7 @@ Mylistクラスのインスタンス
 ###要望、バグ報告について
 以下のどちらかにお願いします。
 
-+ zeitdiebe@gmail.com
++ hdemon7@gmail.com
 
 + http://twitter.com/h_demon
 
@@ -334,6 +338,12 @@ GitHubを経由して下さってもいいのですが、まだ慣れていな
 
 ###更新履歴
 
+**v 0.2.13 **
+
++ タイトル類似性判定ロジックを、編集距離う使う手法からn-gram法(n=3)に変更。
+
++ htmlを用いたより詳細な情報を取得するMylist::getMoreInfoメソッドを試験的に実装。
+
 **v 0.2.11 0.2.12**
 
 + Seacherの各メソッドで、取得結果が配列に累積されてしまうバグを修正。

data/VERSION

@@ -1 +1 @@
-0.2.12
+0.2.13

data/lib/classes/connector.rb

@@ -19,6 +19,7 @@ module Nicos
           :limInCommunity => [],
           :notFound => [],
           :deleted => [],
+          :noMovie => [],
 
           :deniedSeqReq => 0,
           :serverIsBusy => 0,
@@ -64,6 +65,11 @@ module Nicos
         accessDisabled(:notFound) 
       end
 
+      def noMovie
+        puts "This movie/mylist contains no movie."
+        accessDisabled(:noMovie) 
+      end
+
       def deleted # マイリストは削除と404の区別がない？
         puts "This movie/mylist is deleted."
         accessDisabled(:deleted) 
@@ -72,8 +78,8 @@ module Nicos
       # 以下、再試行の可能性のある例外
 
       # 共通処理
-      def exception(exception, retryCount)
-        if retryCount <= @waitConfig[exception][:retryLimit]
+      def exception(exception)
+        if @retryCount <= @waitConfig[exception][:retryLimit]
           { :order => :skip }   
         else
           sleep @waitConfig[exception][:wait]
@@ -82,27 +88,26 @@ module Nicos
         end        
       end
 
-      def deniedSeqReq(retryCount)
+      def deniedSeqReq
         puts "Denied sequential requests."
-        exception(:deniedSeqReq, retryCount)
+        exception(:deniedSeqReq)
       end
 
-      def serverIsBusy(retryCount)
+      def serverIsBusy
         puts "The server is busy."
-        exception(:serverIsBusy, retryCount)
+        exception(:serverIsBusy)
       end
 
-      def serviceUnavailable(retryCount)
+      def serviceUnavailable
         puts "Service unavailable."
-        exception(:serviceUnavailable, retryCount)
+        exception(:serviceUnavailable)
       end
 
-      def timedOut(retryCount)
+      def timedOut
         puts "Request timed out."
-        exception(:timedOut, retryCount)
+        exception(:timedOut)
       end
 
-
       def reachedLast 
         # TagAtom専用。MylistAtomは、allDisabledと結果が被ってしまう。
         puts "Reached the last page."
@@ -156,40 +161,34 @@ module Nicos
     end
 
     class Xml < Connector
-      def get (host, entity)  
+      def get (host, entity, param)  
         response = nil
-        retryCount = 0
+        @retryCount = 0
         res = {}
               
         begin
-          @nowAccess = host + entity
+          @nowAccess = host + entity + param
           puts "Request to " + @nowAccess
           Net::HTTP.start(host, 80) { |http|
-            response = http.get(entity, HEADER)
+            response = http.get(entity + param, HEADER)
           }
-          retryCount += 1
+          @retryCount += 1
 
         rescue => e
           puts e
-        rescue Timeout::Error => e  
-          timeOut 
-          res[:order] = :retry     
-
+        rescue Timeout::Error => e
+          timedOut
+          res[:order] = :retry
         else
           res = case response
-          when Net::HTTPSuccess
+          when Net::HTTPSuccess then
             reviewRes( response.body.force_encoding("UTF-8") )
-          #    return response.body.force_encoding("UTF-8") 
           # when Net::HTTPRedirection
           #  fetch(response['location'], limit - 1)
-          when Net::HTTPForbidden
-            forbidden         
-          when Net::HTTPNotFound
-            notFound
-          when Net::HTTPServiceUnavailable 
-            serviceUnavailable
-          else
-            unknownError
+          when Net::HTTPForbidden           then forbidden         
+          when Net::HTTPNotFound            then notFound
+          when Net::HTTPServiceUnavailable  then serviceUnavailable
+          else unknownError
           end    
         end until res[:order] != :retry
 
@@ -257,139 +256,22 @@ module Nicos
       end
     end
 
-=begin
-    class HtmlConnector < Connector
-      def initialize(mode)
-        @mode = mode
-        # デフォルトのウェイト設定
-        @@waitConfig = {
-          'consec_count'  => 10,  # 連続してリクエストする回数
-          'consec_wait'   => 10,  # 連続リクエスト後のウェイト
-          'each'          => 10,  # 連続リクエスト時の、1リクエスト毎のウェイト
-     
-          '200-abnormal'  => 300, # アクセス拒絶時（「短時間での連続アクセスは・・・」）の場合の再試行までの時間
-          'unavailable'   => 10,
-          '403'           => 300, # "403"時の再試行までのウェイト
-          '404'           => 300, # "403"時の再試行までのウェイト
-          'increment'     => 1,   # アクセス拒絶時の、次回以降の1リクエスト毎のウェイトの増加量
-
-          'timeout'       => 10,  # タイムアウト時の、再試行までのウェイト
-          '500'           => 10,  # "500"時の再試行までのウェイト
-          '503'           => 10,  # "503"時の再試行までのウェイト
-     
-          'retryLimit'    => 3    # 再試行回数の限度
-        }
-        
-        # 1つの検索結果画面に表示される動画の数。現時点では32個がデフォルトの模様。
-        @NumOfSearched = 32
-
-        @mech = Mechanize.new
-        # メモリ節約のため、Mechanizeの履歴機能を切る。
-        @mech.max_history = 1
-
-        @consec_count = 0
-      end
-      
-      public 
-
-      def errorStatus(ex)
-        # 再試行回数が
-        @retryTime += 1
-        if @retryTime >= @wait['allowance_time']
-          return false
-        end
-
-        case ex.response_code
-        when '403' then
-          sleep @wait['403']
-          warn "403"
-        when '500' then
-          sleep @wait['500']
-          warn "500"
-        when '503' then
-          sleep @wait['503']
-          warn "503"
-        else
-          warn "Server error: #{ex.code}"
-          return false
-        end
-     
-        @connection = false
-        @failed += 1
+    class MylistHtml < Xml 
+      def forbidden
+        # マイリストが非公開の場合、html/Atomのどちらへのリクエストであっても、403が返ってくる。
+        notPublic
       end
-
-      def htmlReq (url, request, procedure)
-        @failed = 0
-
-        # 再試行ループ
-        begin
-          eachWait 
-          @connection = nil
-          request.call(url)
-        
-        # タイムアウト時処理
-        rescue TimeoutError
-          timeOut
-          retry
-           
-        # Mechanizeでアクセスし、200以外のステータスが返ってきた時
-        # 実際に該当するコードが返ってきたことがないので、正常に動くか不明   
-        rescue Mechanize::ResponseCodeError => ex
-          if errorStatus(ex) then retry
-          else break end
-           
-        # HTTP Status:200時の処理
+            
+      def reviewRes(resBody)
+        r = resBody.force_encoding("UTF-8")
+        if # アクセス集中時
+          /大変ご迷惑をおかけいたしますが、しばらく時間をあけてから再度検索いただくようご協力をお願いいたします。/ =~ r then
+          serverIsBusy
         else
-          procedure.call
-          
-          # 失敗カウントが指定回数を超えたらループを終わる。
-          if @failed >= @wait['allowance_time'] then
-            puts 'Exceeded the limit of retry time.'
-            @connection = false
-            break
-          end
-        end until @connection
-
-        # 連続アクセスカウント+1
-        @consec_count += 1
-        # 成功 = true / 失敗 = false
-        return @connection
-      end
-
-      def htmlGet (host, entity)
-        htmlReq(
-          host + entity,
-          lambda { |url|
-            t = Thread.new do
-              @mech.get(url)
-              puts "Requesting for " + url
-            end
-            t.join
-          },
-          # HTTP Status:200時の処理 
-          lambda {
-            # 連続アクセス拒絶メッセージが返ってきた時       
-            if /短時間での連続アクセスはご遠慮ください/ =~ @mech.page.search('/html').text then
-              puts 'Access rejected.'
-              @connection = false
-              @failed += 1
-         
-              # ウェイトを置いた後、今後のページ毎のウェイトを増やす。
-              puts 'Waiting for ' + @wait['rejected'] + 's.'
-              sleep @wait['rejected']
-              @wait['each'] += @wait['increment']
-              puts 'Increased each @wait by ' + @wait['increment'] + 'sec.'
-            else
-              @connection = true
-            end
-          }
-        )
-        
-        return @mech.page
+          succeeded(resBody)       
+        end      
       end
-      
-      attr_reader :mech
     end
-=end
-  end
+
+  end # end of connector
 end

data/lib/classes/movie.rb

@@ -24,18 +24,18 @@ module Nicos
     
     # 指定されたマイリストに自分が入っていれば、真を返す。 
     #
-    # 内部的にMylist::getInfoを利用しているため、もし指定したマイリストの他の情報を使いたければ、
+    # 内部的にMylist::getMoreInfoを利用しているため、もし指定したマイリストの他の情報を使いたければ、
     # ブロック中に処理を記述することで、getInfoの取得結果を共用することができる。
     # @param [Fixnum] mylistId マイリストID
     # @return [Boolean] 
     def isBelongsTo (mylistId, &block)
       isBelongs = false
       thisMl = Nicos::Mylist.new(mylistId)
-      thisMl.getInfo
-      
-      thisMl.movies.each { |movie|
+      thisMl.getMoreInfo
+
+      thisMl.movies.each do |movie|
         isBelongs = true if movie.video_id == @video_id
-      }   
+      end if thisMl.movies != nil   
     
       if isBelongs
         puts "\sThis movie is found in mylist/" + 
@@ -53,42 +53,42 @@ module Nicos
     #
     # isBelongsは指定されたマイリストとの関係を調べるが、isSeriesOfは動画説明文中のマイリストIDのみを用いる。
     # @return [Fixnum] マイリストID
-    def isSeriesOf
+    def searchSeriesMl(threshold)
       if !@available then
         puts "This movie object is not available."
-        return "failed"
-      end
-      
-      puts
-      puts "Start to discern the seriality of..."
-      puts "\svideo_id:\s\s" + @video_id
-      puts "\stitle:\s\s\s\s\s" + @title    
-      # extrMylist呼び出し
-      mylistIdAry = extrMylist
-      sMylistIdAry = []
-      mlObjAry = []
-      mylistId = nil
-      mylist = nil
-      similarity = 0.0
-      
-      mylistIdAry.each { |_mylistId|
-        belongsTo = isBelongsTo(_mylistId) { |mylistObj|        
-          similarity = mylistObj.getSimilarity 
-          puts "\sSimilarity:\t" + similarity.to_s
+        "failed"
+      else      
+        puts
+        puts "Start to discern the seriality of..."
+        puts "\svideo_id:\s\s#{@video_id}"
+        puts "\stitle:\s\s\s\s\s#{@title}"   
+
+        mylistIdAry = extrMylist
+        resultAry = []
+        mlobj = nil
+        similarity = 0.0
+        belongsTo = nil
+
+        mylistIdAry.each { |_mylistId|
+          belongsTo = isBelongsTo(_mylistId) { |mylistObj|        
+            similarity = mylistObj.getSimilarity 
+            puts "\sSimilarity:\t#{similarity}"
+            mlobj = mylistObj
+          }
+        
+          if belongsTo
+            puts "\s#{_mylistId.to_s}\tis perecieved as series mylist."
+            resultAry.push({
+              :mylistObj  => mlobj,
+              :similarity => similarity
+            })
+          end  
         }
-        puts belongsTo
-        if belongsTo && similarity > 0.7
-          puts "\s" + _mylistId.to_s + "\tis perecieved as series mylist."
-          sMylistIdAry.push(_mylistId)
-        end  
-      }
-      
-      sMylistIdAry.each { |mylistId|
-        mlObjAry.push( Nicos::Mylist.new(mylistId) )
-      }
+
+        puts "\sDiscern logic terminated."
       
-      puts "\sDiscern logic terminated."
-      mlObjAry   
+        resultAry   
+      end
     end
 
     # 動画説明文中からマイリストIDを示す文字列を抽出し、配列として返す。
@@ -104,7 +104,7 @@ module Nicos
         extracted.each { |e|
           id = e.scan(/[0-9]{1,8}/)[0]
           mylistIdAry.push(id)
-          puts "\sID:\t" + id + " is extracted."
+          puts "\sID:\t#{id} is extracted."
         }
       else
         puts "\sMylistId is not found."
@@ -123,24 +123,24 @@ module Nicos
 
       con = Nicos::Connector::GetThumbInfo.new()
       host = 'ext.nicovideo.jp'
-      entity = '/api/getthumbinfo/' + @video_id
+      entity = "/api/getthumbinfo/#{@video_id}"
 
-      result = con.get(host, entity)
+      result = con.get(host, entity, '')
       status = con.getStatus
 
       if result[:order] == :afterTheSuccess
-        parsed = Nicos::Parser::getThumbInfo(result[:body])
+        parsed = Nicos::Parser::Xml::getThumbInfo(result[:body])
         set(parsed)
         @available = true
       end
 
-      { 
-        :parsed  => parsed, 
+      {
+        :parsed  => parsed,
         :status  => status[:status],
         :retry   => status[:retry]
       }
     end
-    
+
     # インスタンスに対し、任意の情報を入れる。
     #
     # @param [HashObj] paramObj getThumbInfo等から手に入れたハッシュ
@@ -165,7 +165,8 @@ module Nicos
         when "description",:description   then @description = param.to_s   
         when "length",    :length         then @length = param.to_i   
         when "first_retrieve", :first_retrieve then @first_retrieve = param       
-        
+        when "group_type",:group_type     then @group_type
+
         # MylistAPI 現在未実装    
         when "item_data"
           paramObj['item_data'].each_key do |key|