nicoscraper 0.2.3 → 0.2.4

data/lib/mylist.rb

@@ -5,10 +5,12 @@ require 'rubygems'
 require 'ruby-debug'
 require 'kconv'
 
+require 'namespace.rb'
 require 'parser.rb'
 require 'movie.rb'
 require 'connector.rb'
 
+
 class Nicos::Mylist
   def initialize (mylist_id)
     @mylist_id  = mylist_id    
@@ -18,6 +20,8 @@ class Nicos::Mylist
   
   # 自分に含まれている動画のタイトルをすべての組み合わせにおいて比較し、
   # 類似度の平均を返す。
+  #
+  # @return [Fixnum] 編集距離に基づく類似度。上限は1、下限はなし。
   def getSimilarity
     l = @movies.length - 1
     dlc = DamerauLevenshtein
@@ -55,7 +59,8 @@ class Nicos::Mylist
     return similarity
   end
 
-  def getInfo
+  # 自分に含まれている動画のタイトルをすべての組み合わせにおいて比較し、
+  def getInfoHtml
     con = Nicos::Connector::Html.new('mech')
     reqUrl = 'http://www.nicovideo.jp' +
       '/mylist/' + @mylist_id.to_s
@@ -139,8 +144,11 @@ class Nicos::Mylist
       @movies.push(movie)
     }    
   end
-  
-  def getInfoLt
+
+  # マイリストのAtomフィードから、マイリストとそれに含まれる動画の情報を取得する。
+  #
+  # @return [Fixnum] 編集距離に基づく類似度。上限は1、下限はなし。
+  def getInfo
     con = Nicos::Connector::MylistAtom.new()
     host = 'www.nicovideo.jp'
     puts @mylist_id
@@ -168,6 +176,7 @@ class Nicos::Mylist
     end  
   end  
 
+  # {Movie#set}　を参照。
   def set(paramObj)
     paramObj.each_key { |key|
       param = paramObj[key]
@@ -205,19 +214,104 @@ class Nicos::Mylist
     }   
   end
 
+  # このインスタンスがgetInfo等によって正常に情報を取得できている場合、trueとなる。
+  # 各種メソッドの実行には、これがtrueであることが要求される。
+  # 
+  # @return [Boolean]
   attr_accessor :available
-    
-  attr_accessor :mylist_id    
-	attr_accessor :user_id    
-	attr_accessor :title       
-	attr_accessor :description  
-	attr_accessor :public     
-	attr_accessor :default_sort   
-	attr_accessor :create_time  
+
+  # マイリストID
+  #
+  # @return [Fixnum]
+  # <b>取得可能なメソッド</b> 
+  # {Nicos::Movie#getInfo Mylist::getInfo}  
+  # {Nicos::Movie#getInfo Mylist::getHtmlInfo}
+  attr_accessor :mylist_id 
+
+  # ユーザID
+  #
+  # @return [Fixnum]
+  # <b>取得可能なメソッド</b> 
+  # {Nicos::Movie#getInfo Mylist::getHtmlInfo}   
+	attr_accessor :user_id 
+
+  # マイリストのタイトル
+  #
+  # @return [Fixnum]
+  # <b>取得可能なメソッド</b> 
+  # {Nicos::Movie#getInfo Mylist::getInfo}  
+  # {Nicos::Movie#getInfo Mylist::getHtmlInfo}   
+	attr_accessor :title   
+
+  # マイリストの説明文
+  #
+  # @return [Fixnum]
+  # <b>取得可能なメソッド</b> 
+  # {Nicos::Movie#getInfo Mylist::getInfo}  
+  # {Nicos::Movie#getInfo Mylist::getHtmlInfo}    
+	attr_accessor :description
+
+  # 公開設定
+  #
+  # 調査中
+  # @return [Fixnum]
+  # <b>取得可能なメソッド</b> 
+  # {Nicos::Movie#getInfo Mylist::getInfo}  
+  # {Nicos::Movie#getInfo Mylist::getHtmlInfo}  
+	attr_accessor :public 
+
+  # ソート順の設定
+  #
+  # ソート順の設定
+  # @return [Fixnum]
+  # <b>取得可能なメソッド</b> 
+  # {Nicos::Movie#getInfo Mylist::getInfo}  
+  # {Nicos::Movie#getInfo Mylist::getHtmlInfo}    
+	attr_accessor :default_sort 
+
+  # マイリスト作成日時
+  #
+  # @return [Fixnum]
+  # <b>取得可能なメソッド</b> 
+  # {Nicos::Movie#getInfo Mylist::getInfo}  
+  # {Nicos::Movie#getInfo Mylist::getHtmlInfo}  
+	attr_accessor :create_time
+
+  # マイリストの更新日時
+  #
+  # @return [Fixnum]
+  # <b>取得可能なメソッド</b> 
+  # {Nicos::Movie#getInfo Mylist::getInfo}  
+  # {Nicos::Movie#getInfo Mylist::getHtmlInfo}  
 	attr_accessor :update_time  
-	attr_accessor :icon_id    
-  attr_accessor :sort_order   
-  attr_accessor :author   
-  
-  attr_accessor :movies     
+
+  # アイコンの色？
+  #
+  # @return [Fixnum]
+  # <b>取得可能なメソッド</b> 
+  # {Nicos::Movie#getInfo Mylist::getInfo}  
+  # {Nicos::Movie#getInfo Mylist::getHtmlInfo}
+	attr_accessor :icon_id
+
+  # 現在のソート順
+  #
+  # @return [Fixnum]
+  # <b>取得可能なメソッド</b> 
+  # {Nicos::Movie#getInfo Mylist::getInfo}  
+  # {Nicos::Movie#getInfo Mylist::getHtmlInfo}    
+  attr_accessor :sort_order  
+
+  # 作成者の名前
+  #
+  # @return [Fixnum]
+  # <b>取得可能なメソッド</b> 
+  # {Nicos::Movie#getInfo Mylist::getInfo}  
+  attr_accessor :author
+
+  # マイリストが含む動画インスタンスの配列
+  #
+  # getInfo等のメソッドを利用した際に、そのマイリストが含む動画の
+  # インスタンスが配列として自動的に作られ、moviesに収められる。
+  # @return [Array<Movie>] 
+  attr_accessor :movies   
 end

data/lib/namespace.rb

@@ -0,0 +1,3 @@
+# -*- encoding: utf-8 -*-
+
+module Nicos end

data/lib/parser.rb

@@ -4,9 +4,14 @@ $:.unshift File.dirname(__FILE__)
 require 'rubygems'
 require 'xml'
 require 'time'
+
+require 'namespace.rb'
 require 'converter.rb'
 
 module Nicos::Parser
+  # getThumbInfoが返すXMLを解析し、ハッシュオブジェクトにして返します。
+  #
+  # @return [HashObj]
   def getThumbInfo(xml)
     doc = XML::Reader.string(
       xml,
@@ -54,10 +59,13 @@ module Nicos::Parser
       end
     end
 
-    doc.close        
+    doc.close 
     parsed
   end
-  
+
+  # タグ検索のAtomフィードが返すXMLを解析し、ハッシュオブジェクトにして返します。
+  #
+  # @return [HashObj]  
   def tagAtom(xml)
     doc = XML::Reader.string(
       xml,
@@ -116,7 +124,10 @@ module Nicos::Parser
     doc.close    
     parsed
   end
- 
+   
+  # マイリストのAtomフィードが返すXMLを解析し、ハッシュオブジェクトにして返します。
+  #
+  # @return [HashObj]  
   def mylistAtom(xml)    
     doc = XML::Reader.string(
       xml,
@@ -214,7 +225,6 @@ module Nicos::Parser
     end
 
     doc.close 
-
     parsed
   end
     

data/lib/searcher.rb

@@ -1,5 +1,5 @@
 # -*- encoding: utf-8 -*-# -*- encoding: utf-8 -*-
-$:.unshift File.dirname(__FILE__) 
+$:.unshift File.dirname(__FILE__)
 
 require 'rubygems'
 require 'ruby-debug'
@@ -8,15 +8,17 @@ require 'time'
 require 'mechanize'
 require 'kconv'
 
+require 'namespace.rb'
 require 'parser.rb'
 
 module Nicos::Searcher
+  # :nodocs:
   class ByTagSuper
     private
 
     def get(tag, sort, page, method, waitObj)
       paramAry = []
-      
+
       case sort
         when 'comment_new'
           sortStr = ''
@@ -43,12 +45,12 @@ module Nicos::Searcher
         when 'length_short'
           sortStr = 'sort=l&order=a'
       end
-      
+
       paramAry.push("page=#{page}") if page != 1
       paramAry.push(sortStr)
       if method == "atom" then paramAry.push("rss=atom&numbers=1") end
       param = tag + "?" + paramAry.join('&')
-      
+
       host = 'www.nicovideo.jp'
       entity = '/tag/' + param
 
@@ -60,7 +62,8 @@ module Nicos::Searcher
       termFlag    = false
       page        = 1
       movieObjAry = []
-     
+      order = "continue"
+
       begin
          response = get(
           tag,
@@ -73,29 +76,26 @@ module Nicos::Searcher
         if response["order"] == "success"
           result = parse(response["body"])
           result.each { |each|
-            movie = Nicos::Movie.new(each["video_id"]) 
+            movie = Nicos::Movie.new(each["video_id"])
             each["available"] = true
             movie.set(each)
             movieObjAry.push(movie)
           }
-
-          termFlag = block.call(movieObjAry, page)
-        else
-          termFlag = true
         end
-   
+
+        order = block.call(movieObjAry, page)
         page += 1
-      end until termFlag
+      end until order != "continue"
     end
   end
 
-  class ByTag < ByTagSuper
+  class ByTagHtml < ByTagSuper
     def initialize
       @numOfSearched = 32
       @incrAmt = 0.2
 
       @connector = Nicos::Connector.new('mech')
-      
+
       # HTML中の各パラメータの所在を示すXPath
       @videoIdXP  = "//div[@class='uad_thumbfrm']/table/tr/td/p/a"
       @lengthXP   = "//div[@class='uad_thumbfrm']/table/tr/td/p[2]/span"
@@ -104,10 +104,12 @@ module Nicos::Searcher
       @mylistXP   = "//div[@class='uad_thumbfrm']/table/tr/td[2]/div/nobr[3]/a/strong"
       @adXP       = "//div[@class='uad_thumbfrm']/table/tr/td[2]/div/nobr[4]/a/strong"
     end
-      
+
+    private
+
     def parse(movieNum)
       result = []
-      
+
       video_id  = /(sm|nm)[0-9]{1,}/.match(@connector.mech.page.search(@videoIdXP)[movieNum]['href'])[0]
         lengthStr = @connector.mech.page.search(@lengthXP)[movieNum].text.split(/\:/)
       length    = lengthStr[0].to_i * 60 + lengthStr[1].to_i
@@ -129,27 +131,111 @@ module Nicos::Searcher
         "ad"        => ad
       })
     end
-    
-    def execute(tag, sort, waitObj, &block) 
+
+    public
+
+    # @param [String] tag
+    # @param [String] sortMethod
+    # @param [HashObj] waitConfig
+    def execute(tag, sortMethod, waitConfig, &block)
       loop(tag, sort, "mech", waitObj) { |result, page|
         block.call(result, page)
       }
     end
   end
 
-  class ByTagLt < ByTagSuper
+  class ByTag < ByTagSuper
     def initialize
       @numOfSearched = 32
       @incrAmt = 0.2
       @connector = Nicos::Connector::TagAtom.new()
     end
 
+    private 
+
     def parse(xml)
       Nicos::Parser.tagAtom(xml)
     end
-     
-    def execute(tag, sort, waitObj, &block) 
-      loop(tag, sort, "atom", waitObj) { |result, page|
+
+    public
+
+    # 実行
+    #
+    # @param [String] tag 検索したいタグ文字列
+    # @param [String] sortMethod ソート方法
+    #==sortMethod: ソート方法
+    # *comment_new*  
+    # コメントが新しい順
+    # 
+    # *comment_old*  
+    # コメントが新しい順
+    # 
+    # *view_many*  
+    # 再生数が多い順
+    # 
+    # *view_few*  
+    # 再生数が少ない順
+    # 
+    # *comment_many*  
+    # コメントが多い順
+    # 
+    # *comment_few*  
+    # コメントが少ない順
+    # 
+    # *mylist_many*  
+    # マイリスト登録が多い順
+    # 
+    # *mylist_few*  
+    # マイリスト登録が少ない順
+    # 
+    # *post_new*  
+    # 登録が新しい順
+    # 
+    # *post_old*  
+    # 登録が少ない順
+    # 
+    # *length_long*  
+    # 再生時間が長い順
+    # 
+    # *length_short*  
+    # 再生時間が短い順
+    # 
+    # @param [HashObj] waitConfig ウェイト設定
+    #==waitConfig: ウェイト設定
+    # <b>ウェイトの変更に際しては、READMEの注意点と免責事項を事前にお読み下さい。</b>
+    #
+    # 以下のフォーマットのハッシュオブジェクトを与えて下さい。これはデフォルト設定です。
+    # また、ハッシュは以下のキーを全て用意する必要はありません。
+    # 変更したい部分のキーと値のみを持つハッシュオブジェクトを作って下さい。
+    #
+    #  @waitConfig = {
+    #    'seqAccLimit' => 10,  # 連続してリクエストする回数
+    #    'afterSeq'    => 10,  # 連続リクエスト後のウェイト（以下、単位は全て秒）
+    #    'each'        => 1,   # 連続リクエスト時の、1リクエスト毎のウェイト
+    #    'increment'   => 1,   # アクセス拒絶時の、次回以降の1リクエスト毎のウェイトの増加量
+    # 
+    #    'deniedSeqReq'=> {     # 連続アクセスを拒否された際の設定（以下同じ）
+    #      'retryLimit'  => 3,  # 再試行の上限回数
+    #      'wait'        => 120 # 次のアクセスまでのウェイト
+    #    },
+    #    
+    #    'serverIsBusy'=> {     # サーバ混雑時
+    #      'retryLimit'  => 3,
+    #      'wait'        => 120
+    #    },
+    #    
+    #    'serviceUnavailable' => { # 503が返ってきた時
+    #      'retryLimit'  => 3,
+    #      'wait'        => 120
+    #    },
+    #    
+    #    'timedOut' => {        # タイムアウト時
+    #      'retryLimit'  => 3,
+    #      'wait'        => 10
+    #    }
+    #  }
+    def execute(tag, sortMethod, waitConfig, &block)
+      loop(tag, sortMethod, "atom", waitConfig) { |result, page|
         block.call(result, page)
       }
     end

data/nicoscraper.gemspec

@@ -5,7 +5,7 @@
 
 Gem::Specification.new do |s|
   s.name = %q{nicoscraper}
-  s.version = "0.2.3"
+  s.version = "0.2.4"
 
   s.required_rubygems_version = Gem::Requirement.new(">= 0") if s.respond_to? :required_rubygems_version=
   s.authors = [%q{Masami Yonehara}]
@@ -15,8 +15,7 @@ Gem::Specification.new do |s|
   s.email = %q{zeitdiebe@gmail.com}
   s.extra_rdoc_files = [
     "LICENSE.txt",
-    "README.md",
-    "README.rdoc"
+    "README.md"
   ]
   s.files = [
     ".document",
@@ -24,15 +23,14 @@ Gem::Specification.new do |s|
     "Gemfile.lock",
     "LICENSE.txt",
     "README.md",
-    "README.rdoc",
     "Rakefile",
     "VERSION",
+    "index.html",
     "lib/connector.rb",
     "lib/converter.rb",
     "lib/movie.rb",
     "lib/mylist.rb",
-    "lib/nicos.rb",
-    "lib/nicoscraper.rb",
+    "lib/namespace.rb",
     "lib/parser.rb",
     "lib/searcher.rb",
     "nicoscraper.gemspec",