nicoscraper 0.2.9 → 0.2.10

data/lib/classes/parser.rb

@@ -9,6 +9,94 @@ require 'converter.rb'
 
 module Nicos
   module Parser
+    def parseRow(symbol, type, doc)
+      hash = {}      
+
+      value = case type
+      when :Fixnum  then
+        doc.read
+        doc.value.to_i
+      when :String  then 
+        doc.read
+        p doc.value
+        doc.value
+      when :ISO8601 then 
+        doc.read
+        Nicos::Converter.iso8601ToUnix(doc.value) 
+      when :JapDate then 
+        doc.read
+        Nicos::Converter.japToUnix(doc.value)
+      when :Time    then 
+        doc.read
+        Nicos::Converter.toSeconds(doc.value)
+
+      # for Mylist Atom
+      when :mylistId then
+        doc.read
+        Nicos::Extractor.mylistId(doc.value) 
+      when :videoId then
+        doc.move_to_attribute("href")
+        Nicos::Extractor.videoId(doc.value) 
+
+      # for getThumbInfo
+      when :Tags    then
+        doc.move_to_attribute("domain")
+        symbol = case doc.value
+        when "jp" then :tags_jp
+        when "tw" then :tags_tw
+        when "de" then :tags_de
+        when "es" then :tags_es
+        end
+
+        tags = []
+        lockedTags = []
+            category = nil
+            lock = nil
+
+        while doc.read
+          unless doc.node_type == XML::Reader::TYPE_END_ENTITY
+            break if doc.name === "tags"
+
+            if category == nil
+              doc.move_to_attribute("category")
+              if doc.name === "category"
+                doc.read
+                category = doc.value 
+                doc.read
+              end
+            end
+
+            doc.move_to_attribute("lock")
+            if doc.name === "lock"
+              lock = true
+              doc.read
+              doc.read
+            else lock = false
+            end
+
+            doc.read_inner_xml
+            if doc.value != nil  
+              if lock then lockedTags.push(doc.value) 
+              else tags.push(doc.value) end
+            end   
+          end
+        end
+
+        {
+          :category => category,
+          :tags     => tags,
+          :lockedTags => lockedTags
+        }
+      end 
+
+      hash[symbol] = value
+      hash
+    end
+    module_function :parseRow
+
+    def parseTag
+    end
+
     # getThumbInfoが返すXMLを解析し、ハッシュオブジェクトにして返します。
     #
     # @return [HashObj]
@@ -21,39 +109,34 @@ module Nicos
               
       n = -1
       parsed = {}
-      category = ""
 
       while doc.read
         unless doc.node_type == XML::Reader::TYPE_END_ELEMENT
-          case doc.name
-          when "video_id", "title", "description", "thumbnail_url",
-                "movie_type", "last_res_body" , "watch_url", "thumb_type"
-            label = doc.name
-            doc.read
-            parsed[label] = doc.value
-          when "size_high", "size_low", "view_counter", "comment_num",
-                "mylist_counter", "embeddable", "no_live_play", 
-                "user_id"   
-            label = doc.name
-            doc.read
-            parsed[label] = doc.value.to_i
-          when "first_retrieve"
-            label = doc.name
-            doc.read
-            parsed[label] =  Nicos::Converter.iso8601ToUnix(doc.value)        
-          when "length"
-            doc.read
-            parsed["length"] = Nicos::Converter.toSeconds(doc.value)
-          when "tags"
-            doc.move_to_attribute("domain")
-            category = doc.value
-            if defined? parsed["tags" + category]
-              parsed["tags_" + category] = []
-            end  
-          when "tag"      
-            doc.read
-            parsed["tags_" + category].push(doc.value)
-          end  
+          row = case doc.name
+          when "video_id"       then parseRow(:video_id,      :String,  doc)
+          when "title"          then parseRow(:title,         :String,  doc)
+          when "description"    then parseRow(:description,   :String,  doc)
+          when "thumbnail_url"  then parseRow(:thumbnail_url, :String,  doc)
+          when "movie_type"     then parseRow(:movie_type,    :String,  doc)
+          when "last_res_body"  then parseRow(:last_res_body, :String,  doc)
+          when "watch_url"      then parseRow(:watch_url,     :String,  doc)
+          when "thumb_type"     then parseRow(:thumb_type,    :String,  doc)
+
+          when "size_high"      then parseRow(:size_high,     :Fixnum,  doc) 
+          when "size_low"       then parseRow(:size_low,      :Fixnum,  doc) 
+          when "view_counter"   then parseRow(:view_counter,  :Fixnum,  doc) 
+          when "comment_num"    then parseRow(:comment_num,   :Fixnum,  doc) 
+          when "mylist_counter" then parseRow(:mylist_counter,:Fixnum,  doc) 
+          when "embeddable"     then parseRow(:embeddable,    :Fixnum,  doc) 
+          when "no_live_play"   then parseRow(:no_live_play,  :Fixnum,  doc) 
+          when "user_id"        then parseRow(:user_id,       :Fixnum,  doc) 
+          when "first_retrieve" then parseRow(:first_retrieve,:ISO8601, doc)       
+          when "length"         then parseRow(:length,        :Time,    doc) 
+          when "tags"           then parseRow(:tags,          :Tags,    doc) 
+          when "tag"            then parseRow(:tag,           :Tag,     doc) 
+          end
+
+          parsed.update(row) if row != nil
         end
       end
 
@@ -82,10 +165,10 @@ module Nicos
             parsed[n] = {}
           when "title"
             doc.read
-            parsed[n]["title"] = doc.value
+            parsed[n][:title] = doc.value
           when "link"
             doc.move_to_attribute("href")
-            parsed[n]["video_id"] = doc.value.split('/')[4]
+            parsed[n][:video_id] = doc.value.split('/')[4]
           when "published", "updated"
             label = doc.name
             doc.read
@@ -96,21 +179,21 @@ module Nicos
             when "nico-thumbnail"
               doc.read
               doc.move_to_attribute("src")
-              parsed[n]["thumbnail_url"] = doc.value
+              parsed[n][:thumbnail_url] = doc.value
             when "nico-description"
               doc.read
-              parsed[n]["description"] = doc.value
+              parsed[n][:description] = doc.value
             end
           when "strong"
             doc.move_to_attribute("class")
             case doc.value
             when "nico-info-length"
               doc.read
-              parsed[n]["length"] = Nicos::Converter.toSeconds(doc.value)
+              parsed[n][:length] = Nicos::Converter.toSeconds(doc.value)
             when "nico-info-date"
               label = doc.name
               doc.read
-              parsed[n]["first_retrieve"] = Nicos::Converter.japToUnix(doc.value)
+              parsed[n][:first_retrieve] = Nicos::Converter.japToUnix(doc.value)
             when "nico-numbers-view", "nico-numbers-res",
                   "nico-numbers-mylist"
               label = doc.value
@@ -135,55 +218,42 @@ module Nicos
         XML::Parser::Options::NOENT
       )
               
-      n = -1
-      parsed = { "mylist" => {}, "entry" => [{}] }
+      n = 0
+      parsed = { :mylist => {}, :entry => [{}] }
+
       while doc.read
+        break if doc.name === "entry"
+
         unless doc.node_type == XML::Reader::TYPE_END_ELEMENT
-          case doc.name
-          
+          row = case doc.name
+          when "title" then
+            /(マイリスト )(.+)(‐ニコニコ動画)/ =~ parseRow(:title, :String,  doc)[:title]
+            { :title => $2 }
+          when "id"       then parseRow(:mylist_id,   :mylistId,doc)
+          when "subtitle" then parseRow(:description,  :String,  doc)
+          when "updated"  then parseRow(:updated,     :ISO8601, doc)
+          when "name"     then parseRow(:author,      :String,  doc)
+          end
+
+          parsed[:mylist].update(row) if row != nil           
+        end
+      end
+
+      while doc.read
+        unless doc.node_type == XML::Reader::TYPE_END_ELEMENT
+          # bump up the page number
+          if doc.name === "entry"
+            n += 1
+            parsed[:entry][n] = {}              
+          end
+
+          row = case doc.name
           # <title> and <id> are marked up both in mylist and
           # each entry's node. So we need to assign the value to the
           # appropriate variable in accordance with node's location.
-          when "title" 
-            if n == -1
-              doc.read
-              d = doc.value
-              tmp = doc.value.slice(6, 99)
-              tmp = tmp.slice(0, tmp.length - 7)
-              parsed["mylist"]["title"] = tmp
-            else
-              doc.read
-              parsed["entry"][n]["title"] = doc.value
-            end
-          when "link"
-            if n != -1
-              doc.move_to_attribute("href")
-              parsed["entry"][n]["video_id"] =
-                Nicos::Extractor.videoId(doc.value)
-            end
-          when "subtitle"  
-            doc.read
-            parsed["mylist"]["description"] = doc.value
-          when "id"
-            if n == -1
-              doc.read
-              parsed["mylist"]["mylist_id"] = 
-                Nicos::Extractor.mylistId(doc.value)
-            else
-              doc.read
-              parsed["entry"][n]["item_id"] =
-                Nicos::Extractor.itemId(doc.value)
-            end    
-          when "updated"
-            doc.read
-            parsed["mylist"]["updated"] = 
-              Nicos::Converter.iso8601ToUnix(doc.value)
-          when "name"
-            doc.read
-            parsed["mylist"]["author"] = doc.value              
-          when "entry"
-            n += 1
-            parsed["entry"][n] = {}              
+          when "title" then parseRow(:title,    :String,  doc)
+          when "link"  then parseRow(:video_id, :videoId, doc)
+          when "id"    then parseRow(:item_id,  :itemId,  doc)
           when "content"
             doc.read
             html = doc.value   
@@ -194,7 +264,7 @@ module Nicos
             /(<p\sclass=\"nico-thumbnail\">.+src=\")(http:\/\/[^\"]{1,})/ =~ html
             thumbnail_url = $2
             
-            /(<p\sclass\=\"nico-description\"\>)([^\<]{1,})/ =~ html
+            /(<p\sclass=\"nico-description\"\>)([^\<]{1,})/ =~ html
             description = $2
 
             /(<strong\sclass\=\"nico-info-length\"\>)([^\<]{1,})/ =~ html
@@ -212,18 +282,22 @@ module Nicos
             /(<strong\sclass\=\"nico-numbers-mylist\"\>)([^\<]{1,})/ =~ html
             mylist = Nicos::Converter.commaRemover($2)
             
-            parsed["entry"][n]["memo"] = memo 
-            parsed["entry"][n]["thumbnail_url"] = thumbnail_url 
-            parsed["entry"][n]["description"] = description 
-            parsed["entry"][n]["length"] = length 
-            parsed["entry"][n]["first_retrieve"] = first_retrieve 
-            parsed["entry"][n]["view"] = view
-            parsed["entry"][n]["res"] = res 
-            parsed["entry"][n]["mylist"] = mylist 
-          end  
+            {
+              :memo             => memo,
+              :thumbnail_url    => thumbnail_url,
+              :description      => description,
+              :length           => length,
+              :first_retrieve   => first_retrieve,
+              :view             => view,
+              :res              => res,
+              :mylist           => mylist
+            } 
+          end 
+
+          parsed[:entry][n].update(row) if row != nil  
         end
       end
-      
+
       doc.close 
       parsed
     end

data/lib/classes/searcher.rb

@@ -18,35 +18,35 @@ module Nicos
         paramAry = []
 
         case sort
-          when 'comment_new'
+          when :comment_new
             sortStr = ''
-          when 'comment_old'
+          when :comment_old
             sortStr = 'order=a'
-          when 'view_many'
+          when :view_many
             sortStr = 'sort=v'
-          when 'view_few'
+          when :view_few
             sortStr = 'sort=v&order=a'
-          when 'comment_many'
+          when :comment_many
             sortStr = 'sort=r'
-          when 'comment_few'
+          when :comment_few
             sortStr = 'sort=r&order=a'
-          when 'mylist_many'
+          when :mylist_many
             sortStr = 'sort=m'
-          when 'mylist_few'
+          when :mylist_few
             sortStr = 'sort=m&order=a'
-          when 'post_new'
+          when :post_new
             sortStr = 'sort=f'
-          when 'post_old'
+          when :post_old
             sortStr = 'sort=f&order=a'
-          when 'length_long'
+          when :length_long
             sortStr = 'sort=l'
-          when 'length_short'
+          when :length_short
             sortStr = 'sort=l&order=a'
         end
 
         paramAry.push("page=#{@page}") if @page != 1
         paramAry.push(sortStr)
-        paramAry.push("rss=atom&numbers=1") if method == "atom"
+        paramAry.push("rss=atom&numbers=1") if method == :atom
         param = tag + "?" + paramAry.join('&')
 
         host = 'www.nicovideo.jp'
@@ -67,20 +67,20 @@ module Nicos
             method
           )
 
-          if response["order"] == "afterTheSuccess"
-            result = parse(response["body"])
+          if response[:order] == :afterTheSuccess
+            result = parse(response[:body])
             result.each { |each|
-              movie = Nicos::Movie.new(each["video_id"])
-              each["available"] = true
+              movie = Nicos::Movie.new(each[:video_id])
+              each[:available] = true
               movie.set(each)
               movieObjAry.push(movie)
             }
-          elsif response["order"] == "terminate"
+          elsif response[:order] == :terminate
             puts "Request loop terminated."
             break
           end
 
-          status = {"page" => @page, "results" => @connector.result}
+          status = { :page => @page, :results => @connector.result}
           order = block.call(movieObjAry, status)
           @page += 1
         end until order != "continue"
@@ -96,7 +96,7 @@ module Nicos
         @numOfSearched = 32
         @incrAmt = 0.2
 
-        @connector = Nicos::Connector.new('mech')
+        @connector = Nicos::Connector.new(:mech)
 
         # HTML中の各パラメータの所在を示すXPath
         @videoIdXP  = "//div[@class='uad_thumbfrm']/table/tr/td/p/a"
@@ -127,12 +127,12 @@ module Nicos
                     .text.gsub(/\,/, '').to_i
 
         result.push({
-          "video_id"  => video_id,
-          "length"    => length,
-          "view"      => view,
-          "res"       => res,
-          "mylist"    => mylist,
-          "ad"        => ad
+          :video_id => video_id,
+          :length   => length,
+          :view     => view,
+          :res      => res,
+          :mylist   => mylist,
+          :ad       => ad
         })
       end
 
@@ -142,7 +142,7 @@ module Nicos
       # @param [String] sortMethod
       # @param [HashObj] waitConfig
       def execute(tag, sortMethod, &block)
-        loop(tag, sort, "mech") { |result, page|
+        loop(tag, sort, :mech) { |result, page|
           block.call(result, page)
         }
       end
@@ -168,79 +168,81 @@ module Nicos
       # タグ検索を実行し、ブロックに結果を渡します。
       #
       # @param [String] tag 検索したいタグ文字列
-      # @param [String] sortMethod ソート方法
+      # @param [Symbol] sortMethod ソート方法
       #==基本的な使い方
-      # require 'nicoscraper'
-      # 
-      # searcher = Nicos::Searcher::ByTag.new()
-      # searcher.execute('VOCALOID', 'view_many') {
-      #  |result, page|
-      # 
-      #  result.each { |movieObj|
-      #    puts movieObj.title 
-      #  }  
-      # }
+      #  require 'nicoscraper'
+      #  
+      #  searcher = Nicos::Searcher::ByTag.new()
+      #  searcher.execute('VOCALOID', :view_many) {
+      #    |result, status|
+      #  
+      #    result.each { |movieObj|
+      #      puts movieObj.title 
+      #    }  
+      #  }
       #
-      # result ----
+      #  result ----
       #
-      # 【初音ミク】みくみくにしてあげる♪【してやんよ】
-      # 初音ミク　が　オリジナル曲を歌ってくれたよ「メルト」
-      # 初音ミク　が　オリジナル曲を歌ってくれたよ「ワールドイズマイン」
-      # 初音ミクオリジナル曲　「初音ミクの消失（LONG VERSION）」
-      # 【巡音ルカ】ダブルラリアット【オリジナル】
-      # 「卑怯戦隊うろたんだー」をKAITO,MEIKO,初音ミクにry【オリジナル】修正版
-      # 【オリジナル曲PV】マトリョシカ【初音ミク・GUMI】
-      # 初音ミクがオリジナルを歌ってくれたよ「ブラック★ロックシューター」
-      # ...
+      #  【初音ミク】みくみくにしてあげる♪【してやんよ】
+      #  初音ミク　が　オリジナル曲を歌ってくれたよ「メルト」
+      #  初音ミク　が　オリジナル曲を歌ってくれたよ「ワールドイズマイン」
+      #  初音ミクオリジナル曲　「初音ミクの消失（LONG VERSION）」
+      #  【巡音ルカ】ダブルラリアット【オリジナル】
+      #  「卑怯戦隊うろたんだー」をKAITO,MEIKO,初音ミクにry【オリジナル】修正版
+      #  【オリジナル曲PV】マトリョシカ【初音ミク・GUMI】
+      #  初音ミクがオリジナルを歌ってくれたよ「ブラック★ロックシューター」
+      #  ...
       #
-      #　Nicos::Searcher::ByTagのインスタンスを作り、executeメソッドに引数を与えて実行します。
+      #　　Nicos::Searcher::ByTagのインスタンスを作り、executeメソッドに引数を与えて実行します。
       # 結果がブロックの第1仮引数に渡されます。
       # 渡される結果はMovieクラスのインスタンスを含む配列です。
       #
       #==スクレイプの継続について
       #
-      # ニコニコ動画の検索結果は、指定した数を一度に取得できる訳ではありません。
+      # 　ニコニコ動画の検索結果は、指定した数を一度に取得できる訳ではありません。
       # なぜなら、現状では検索結果はHTML1ページ、もしくは1つのRSS/Atomフィードに32個を限度に渡される方式であり、
       # ByTagクラスがその結果を利用する以上、32個=1単位という制約のもとに置かれるからです。
-      # 従って、例えば最新の投稿100個の情報が欲しいとしても、1回のリクエストでは手に入らず 
+      # 従って、例えば最新の投稿100個の情報が欲しいとしても、1回のリクエストでは手に入らず、
       # かならず数回に分けてリクエストすることになります。
       #
       #　加えて、リクエストを継続するかどうかの判定も1ページ/1フィード毎に行います。
       #==sortMethod: ソート方法
-      # *comment_new*  
+      # 　以下のシンボルを指定して下さい。
+      #
+      # *:comment_new*  
       # コメントが新しい順
       # 
-      # *comment_old*  
+      # *:comment_old*  
       # コメントが新しい順
       # 
-      # *view_many*  
+      # *:view_many*  
       # 再生数が多い順
       # 
-      # *view_few*  
+      # *:view_few*  
       # 再生数が少ない順
       # 
-      # *comment_many*  
+      # *:comment_many*  
       # コメントが多い順
       # 
-      # *comment_few*  
+      # *:comment_few*  
       # コメントが少ない順
       # 
-      # *mylist_many*  
+      # *:mylist_many*  
       # マイリスト登録が多い順
       # 
-      # *mylist_few*  
+      # *:mylist_few*  
       # マイリスト登録が少ない順
       # 
-      # *post_new*  
+      # *:post_new*  
       # 登録が新しい順
       # 
-      # *post_old*  
+      # *:post_old*  
       # 登録が少ない順
       # 
-      # *length_long*  
+      # *:length_long*  
       # 再生時間が長い順
       # 
-      # *length_short*  
+      # *:length_short*  
       # 再生時間が短い順
       # 
       # @param [HashObj] waitConfig ウェイト設定
@@ -252,33 +254,89 @@ module Nicos
       # 変更したい部分のキーと値のみを持つハッシュオブジェクトを作って下さい。
       #
       #  @waitConfig = {
-      #    'seqAccLimit' => 10,  # 連続してリクエストする回数
-      #    'afterSeq'    => 10,  # 連続リクエスト後のウェイト（以下、単位は全て秒）
-      #    'each'        => 1,   # 連続リクエスト時の、1リクエスト毎のウェイト
-      #    'increment'   => 1,   # アクセス拒絶時の、次回以降の1リクエスト毎のウェイトの増加量
+      #    :seqAccLimit => 10,  # 連続してリクエストする回数
+      #    :afterSeq    => 10,  # 連続リクエスト後のウェイト（以下、単位は全て秒）
+      #    :each        => 1,   # 連続リクエスト時の、1リクエスト毎のウェイト
+      #    :increment   => 1,   # アクセス拒絶時の、次回以降の1リクエスト毎のウェイトの増加量
       # 
-      #    'deniedSeqReq'=> {     # 連続アクセスを拒否された際の設定（以下同じ）
-      #      'retryLimit'  => 3,  # 再試行の上限回数
-      #      'wait'        => 120 # 次のアクセスまでのウェイト
+      #    :deniedSeqReq=> {     # 連続アクセスを拒否された際の設定（以下同じ）
+      #      :retryLimit  => 3,  # 再試行の上限回数
+      #      :wait        => 120 # 次のアクセスまでのウェイト
       #    },
       #    
-      #    'serverIsBusy'=> {     # サーバ混雑時
-      #      'retryLimit'  => 3,
-      #      'wait'        => 120
+      #    :serverIsBusy=> {     # サーバ混雑時
+      #      :retryLimit  => 3,
+      #      :wait        => 120
       #    },
       #    
-      #    'serviceUnavailable' => { # 503が返ってきた時
-      #      'retryLimit'  => 3,
-      #      'wait'        => 120
+      #    :serviceUnavailable => { # 503が返ってきた時
+      #      :retryLimit  => 3,
+      #      :wait        => 120
       #    },
       #    
-      #    'timedOut' => {        # タイムアウト時
-      #      'retryLimit'  => 3,
-      #      'wait'        => 10
+      #    :timedOut => {        # タイムアウト時
+      #      :retryLimit  => 3,
+      #      :wait        => 10
       #    }
       #  }
+      #
+      #==ブロック内の第2引数について
+      #
+      # 第2引数には、それまでの検索の成否、例外の発生回数などを記録した
+      # ハッシュが渡されます。これは以下のような構造になっています。
+      #
+      #  {
+      #    # 各種例外等が発生した動画・マイリストのIDを配列で保管。
+      #    :notPublic => [],
+      #    :limInCommunity => [],
+      #    :notFound => [],
+      #    :deleted => [],
+      #  
+      #    # 再試行で対処できる例外等が発生した件数。
+      #    :deniedSeqReq => 0,
+      #    :serverIsBusy => 0,
+      #    :serviceUnavailable => 0,
+      #    :timedOut => 0,
+      #  
+      #    # 成功回数
+      #    :succeededNum => 0
+      #  }
+      #
+      # *allDisabled*  
+      # 　マイリストの場合のみ機能。そのマイリスト内の動画が全て非公開、
+      # あるいは削除済み等で存在しないが、マイリストは残っている場合。
+      #
+      # *notPublic*  
+      # 　動画、マイリストが非公開である場合。
+      #
+      # *limInCommunity*  
+      # 　動画、マイリストがコミュニティ限定公開である場合。
+      #
+      # *notFound*  
+      # 　動画、マイリストが存在しない場合。マイリストは削除済みの場合もnotFoundとなる。
+      #
+      # *deleted*  
+      # 　その動画が削除済みである場合。マイリストについては、上のnotFoundと
+      # 区別されない。 
+      #
+      # *deniedSeqReq*  
+      # 　連続アクセスとして明示的に拒否された場合。 
+      #
+      # *serverIsBusy*  
+      # 　「大変ご迷惑をおかけいたしますが、しばらく時間をあけてから
+      # 再度検索いただくようご協力をお願いいたします。」と表示される場合。
+      #
+      # *serviceUnavailable*  
+      # 　503が返ってきた時。
+      #
+      # *timedOut*  
+      # 　タイムアウト
+      #
+      # *succeededNum*  
+      # 　成功回数
+      #==
       def execute(tag, sortMethod, &block)
-        loop(tag, sortMethod, "atom") { |result, page|
+        loop(tag, sortMethod, :atom) { |result, page|
           block.call(result, page)
         }
       end