mushikago-sdk 2.4.2 → 2.4.3

data/README.md

@@ -5,8 +5,8 @@ Mushikago SDK for Ruby.
 - **Author**:          MiningBrownie
 - **Copyright**:       2011
 - **License**:         Apache License, Version 2.0
-- **Latest Version**:  2.4.2
-- **Release Date**:    Sep 14th 2012
+- **Latest Version**:  2.4.3
+- **Release Date**:    Oct 25th 2012
 
 
 概要
@@ -115,6 +115,184 @@ Mushikago SDK for Rubyはgemを使ってインストールします。
     #     {"word"=>"very", "score"=>4.4986811569504646},
     #     {"word"=>"is", "score"=>3.3137419313374643}]
 
+### hanamgriを利用する
+
+以下のコードで[hanamgri](http://www.mushikago.org/hanamgri/)を利用することができます。
+
+    # -*- encoding: utf-8 -*-
+    require 'rubygems' # ruby 1.9系では不要
+    require 'mushikago'
+
+    client = Mushikago::Hanamgri::Client.new(:api_key => '<APIキー>', :secret_key => '<シークレットキー>')
+
+    # domain/create - ドメインを作成する
+    domain_name = "ec_products" # ドメイン名
+    seeds = "税込,送料" # キーワード
+    option = Hash.new
+    option[:description] = "ecサイト取得用のドメイン" # 抽出データ定義
+    option[:dictionary_name] = "mushikago/ecsite-20120530" # 使用したい辞書名
+      
+    schema = Mushikago::Hanamgri::Schema.new do
+      add Mushikago::Hanamgri::Field.new('name', true, :string, "mushikago/ecsite/title-20120530")
+      add Mushikago::Hanamgri::Field.new('price', true, :number, "mushikago/ecsite/price-20120530")
+    end
+
+    name_knowledge = "mushikago/ecsite/title-20120530" # 使用したい学習データ名
+    price_knowledge =  "mushikago/ecsite/price-20120530" # 使用したい学習データ名
+
+    schema = Mushikago::Hanamgri::Schema.new # 抽出データ定義
+    schema.add Mushikago::Hanamgri::Field.new('name', true, :string, name_knowledge) # 商品名を抽出するための定義
+    schema.add Mushikago::Hanamgri::Field.new('price', true, :number, price_knowledge) # 価格を抽出するための定義
+    schema.add Mushikago::Hanamgri::Field.new('detailed_features', false, :string) # 商品詳細を抽出するための定義
+
+    client.create_domain domain_name, seeds, schema, option
+
+    # domain/list - ドメインの一覧を取得する
+    option = Hash.new
+    option[:limit] = 3
+    option[:offset] = 3
+    option[:filter] = 'ec'
+
+    response = client.list_domains option
+
+    response['domains'].each do |domain|
+      puts domain['domain_name']
+      puts domain['description']
+      puts domain['updated_at']
+    end
+    puts response['total']
+
+    # domain/info - ドメインの情報を取得する
+    response = client.get_information domain_name
+
+    puts response['domain_name']
+    puts response['description']
+    puts response['created_at']
+    puts response['updated_at']
+    puts response['seeds']
+    puts response['schema']
+
+    # domain/update - ドメインの説明文を更新する
+    description = "このドメインは、家電ECサイト用のドメインです。" # ドメインの説明文
+    client.update_domain domain_name, description
+
+    # domain/get_queue_size - ドメインの未完了のタスク数を取得する
+    response = client.get_queue_size domain_name
+
+    puts response['queue_size']
+
+    # domain/train - キーワード学習と構造学習（教師付き学習）をさせる
+    domain_name = "ec_products" # ドメイン名
+    url = "http://ec.electronics.dummy/about" # urlもしくはhtml形式のテキスト
+    # 上記のurlはダミーです
+
+    # 構造学習のための教師データ
+    training_data = Mushikago::Hanamgri::TrainingData.new do
+      put("name", "サイクロンクリーナー")
+      put("price", "11,635円")
+      put('detailed_features', '遠心力でごみを分離するすごい掃除機')
+    end
+
+    client.train domain_name, url, training_data
+
+    # analysis/request - 解析を実行する
+    domain_name = "ec_products"# ドメイン名
+    url = "http://shop.example.com/" # 解析対象URL
+    # 上記のurlはダミーです
+    option[:tag] = "サイト1" # 解析結果を識別するためのタグ
+
+    response = client.request_analysis domain_name, url, option
+
+    puts response['request_id']
+      
+    # analysis/list - 解析結果の一覧を取得する
+    domain_name = "ec_products" # ドメイン名
+
+    option = Hash.new
+    option[:limit] = 3 # 最大取得件数
+    option[:offset] = 3 # 開始位置
+    option[:filter] = 'サイト1' # 検索文字（tagに対して先頭一致）
+    option[:status] = 'complete' # 解析の状態
+
+    response = client.list_analyses domain_name, option
+
+    response['analyses'].each do |analysis|
+      puts analysis['request_id'] # 解析結果のリクエストID
+      puts analysis['save_url'] # 解析結果（blocks）の保存先url
+      puts analysis['status'] # 現在の解析の状態
+      puts analysis['updated_at'] # 解析情報の更新日
+      puts analysis['tag'] # 解析結果に設定されているtag
+    end
+    puts response['total'] # 解析情報の合計数が返ってきます
+
+    # analysis/get - 解析結果を取得する
+    domain_name = "ec_products" # ドメイン名
+    request_id = "xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx" # リクエストID
+
+    response = client.get_analysis domain_name, request_id
+
+    puts response['analysis_data']['blocks'] # 解析により抽出されたHTMLの配列
+    puts response['analysis_data']['results'] # 解析によりblocksから抽出された結果の配列
+
+    # dictionary/save - ブロック抽出用辞書を保存する
+    option = Hash.new
+    option["description"] = "家電ecサイト用" # 辞書の説明
+      
+    client.save_dictionary domain_name, option
+
+    # dictionary/list - ブロック抽出用辞書の一覧を取得する
+    option = Hash.new
+    option[:limit] = 3 # 最大取得件数
+    option[:offset] = 3 # 開始位置
+      
+    response = client.list_dictionaries option
+
+    # ブロック抽出用辞書の情報が入った配列
+    response['dictionaries'].each do |dictionary|
+      puts dictionary['dictionary_name'] # 辞書名
+      puts dictionary['description'] # 辞書の説明
+      puts dictionary['created_at'] # 辞書の作成日
+    end
+    puts response['total'] # 辞書の合計数が返ってきます
+      
+    # dictionary/delete - 保存したブロック抽出用辞書を削除する
+    dictionary_name = "xxxxx-xxxxxxxxx-xxxx-xxxx-xxxxx-xxxxxxxxxxxx" # 辞書名
+
+    client.delete_dictionary dictionary_name
+      
+    # knowledge/save - パラメータ抽出のための学習データを保存する
+    field_name = "name" # フィールド名
+    option = Hash.new
+    option[:description] = "家電用ecサイトの商品名" # 保存する学習データの説明文
+
+    client.save_knowledge domain_name, field_name, option
+
+    # knowledge/list - パラメータ抽出のための学習データの一覧を取得する
+    option = Hash.new
+    option[:limit] = 3 # 最大取得件数
+    option[:offset] = 3 # 開始位置
+    option[:status] = 'complete'# 学習データ保存の進捗状況
+
+    response = client.list_knowledges option
+
+    # 保存した学習データの情報が入った配列
+    response['knowledges'].each do |knowledge|
+      puts knowledge['knowledge_name'] # 学習データ名
+      puts knowledge['description'] # 学習データの説明文
+      puts knowledge['status'] # 学習データ保存の進捗状況
+      puts knowledge['created_at'] # 学習データの作成日
+    end
+    puts response['total'] # ヒットした学習データの総数
+
+    # knowledge/delete - 保存したパラメータ抽出のための学習データを削除する
+    knowledge_name = "xxxxxxxxx/xxxxx/xxxxx-xxxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxxxxx" # 学習データ名
+
+    client.delete_knowledge knowledge_name
+
+    # domain/delete - 作成したドメインを削除する
+    domain_name = "ec_products" # ドメイン名
+
+    client.delete_domain domain_name
 
 #### APIキーとシークレットキーの設定方法
 
@@ -156,6 +334,10 @@ $ export MUSHIKAGO_SECRET_KEY=&lt;シークレットキー&gt;
 変更履歴
 --------
 
+- **Oct.25.12**: 2.4.3 release
+  - http_fetch/pushに:encodingオプション追加
+- **Sep.14.12**: 2.4.2 release
+  - mitsubachiのproject_infoのオプション変更に対応
 - **Aug.27.12**: 2.4.1 release
   - tomboのcapturesにstateがない件を修正
 - **Aug.20.12**: 2.4 release

data/lib/mushikago/configuration.rb

@@ -41,6 +41,7 @@ module Mushikago
     add_option :secret_key, ENV['MUSHIKAGO_SECRET_KEY'] || ENV['MUSHIKAGO_SECRET_ACCESS_KEY']
     add_option :endpoint, 'api.mushikago.org'
     add_option :use_ssl, true
+    
 
     # @private
     private

data/lib/mushikago/http/request.rb

@@ -39,9 +39,10 @@ module Mushikago
         param ? param[1] : nil
       end
 
+
       # @return [String] URLエンコードされ、&で接続されたパラメータの文字列
       def url_encoded_params
-        params.sort.select{|p| p[1].kind_of?(String)}.collect{|pp| pp.map{|p| encode p}.join('=')}.join('&')
+        params.sort.select{|p| p[1].kind_of?(String)}.collect{|pp| pp.map{|p| encoding p}.join('=')}.join('&')
       end
 
       # HTTPリクエストオブジェクトに変換する
@@ -67,7 +68,7 @@ module Mushikago
       # @param [String] s URLエンコード対象の文字列
       # @return [String] URLエンコードされた文字列
       private
-      def encode s
+      def encoding s
         CGI.escape(s).gsub('+', '%20')
       end
 

data/lib/mushikago/mitsubachi/client.rb

@@ -157,6 +157,7 @@ module Mushikago
       # @option options [String] :group_id
       # @option options [String] :unique_key
       # @option options [Integer] :unique_key_expires
+      # @option options [String] :encode
       # @example
       #   client.http_fetch('project01', 'http://www.tombo.ne.jp/', 'sample.rb', :follow_redirect => true)
       # @return [Mushikago::Http::Response] リクエストの結果
@@ -182,6 +183,7 @@ module Mushikago
       # @option options [String] :group_id
       # @option options [String] :unique_key
       # @option options [Integer] :unique_key_expires
+      # @option options [String] :encode
       # @example
       #   client.http_push('project01', 'http://www.tombo.ne.jp/', 'sample.rb')
       # @return [Mushikago::Http::Response] リクエストの結果

data/lib/mushikago/mitsubachi/http_fetch_request.rb

@@ -16,6 +16,7 @@ module Mushikago
       request_parameter :group_id
       request_parameter :unique_key
       request_parameter :unique_key_expires do |v| v.to_s end
+      request_parameter :encode
 
       def initialize project_name, url, script_name, options={}
         super(options)
@@ -32,6 +33,7 @@ module Mushikago
         self.group_id = options[:group_id] if options.has_key?(:group_id)
         self.unique_key = options[:unique_key] if options.has_key?(:unique_key)
         self.unique_key_expires = options[:unique_key_expires] if options.has_key?(:unique_key_expires)
+        self.encode = options[:encode] if options.has_key?(:encode)
       end
     end
   end

data/lib/mushikago/mitsubachi/http_push_request.rb

@@ -17,6 +17,7 @@ module Mushikago
       request_parameter :group_id
       request_parameter :unique_key
       request_parameter :unique_key_expires do |v| v.to_s end
+      request_parameter :encode
 
       def initialize project_name, url, script_name, file_name, file_input_key, options={}
         super(options)
@@ -34,6 +35,7 @@ module Mushikago
         self.group_id = options[:group_id] if options.has_key?(:group_id)
         self.unique_key = options[:unique_key] if options.has_key?(:unique_key)
         self.unique_key_expires = options[:unique_key_expires] if options.has_key?(:unique_key_expires)
+        self.encode = options[:encode] if options.has_key?(:encode)
       end
     end
   end

data/lib/mushikago/version.rb

@@ -1,5 +1,5 @@
 # -*- coding: utf-8 -*-
 module Mushikago
   # Mushikago SDK for Ruby のバージョン
-  VERSION = '2.4.2'
+  VERSION = '2.4.3'
 end

data/spec/mushikago/mitsubachi/http_fetch_request_spec.rb

@@ -11,4 +11,12 @@ describe Mushikago::Mitsubachi::HttpFetchRequest do
       request.cookiejar.should == '[{"name":"name","value":"value","domain":"domain","path":"path","secure":true}]'
     end
   end
+
+  context 'encodeのテスト' do
+    it 'requestクラスにencodeのパラメータが指定されていること' do
+      encode = 'sjis'
+      request = Mushikago::Mitsubachi::HttpFetchRequest.new('p','u','s',:encode => encode)
+      request.encode.should == encode
+    end
+  end
 end

data/spec/mushikago/mitsubachi/http_push_request_spec.rb

@@ -11,5 +11,13 @@ describe Mushikago::Mitsubachi::HttpPushRequest do
       request.cookiejar.should == '[{"name":"name","value":"value","domain":"domain","path":"path","secure":true}]'
     end
   end
+
+  context 'encodeのテスト' do
+    it 'requestクラスにencodeのパラメータが指定されていること' do
+      encode = 'sjis'
+      request = Mushikago::Mitsubachi::HttpFetchRequest.new('p','u','s',:encode => encode)
+      request.encode.should == encode
+    end
+  end
 end
 

metadata

@@ -1,7 +1,7 @@
 --- !ruby/object:Gem::Specification
 name: mushikago-sdk
 version: !ruby/object:Gem::Version
-  version: 2.4.2
+  version: 2.4.3
   prerelease: 
 platform: ruby
 authors:
@@ -9,11 +9,11 @@ authors:
 autorequire: 
 bindir: bin
 cert_chain: []
-date: 2012-09-14 00:00:00.000000000Z
+date: 2012-10-25 00:00:00.000000000Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: json
-  requirement: &2153932960 !ruby/object:Gem::Requirement
+  requirement: &2154699000 !ruby/object:Gem::Requirement
     none: false
     requirements:
     - - ! '>='
@@ -21,10 +21,10 @@ dependencies:
         version: '0'
   type: :runtime
   prerelease: false
-  version_requirements: *2153932960
+  version_requirements: *2154699000
 - !ruby/object:Gem::Dependency
   name: mime-types
-  requirement: &2153932520 !ruby/object:Gem::Requirement
+  requirement: &2154698560 !ruby/object:Gem::Requirement
     none: false
     requirements:
     - - ! '>='
@@ -32,10 +32,10 @@ dependencies:
         version: '0'
   type: :runtime
   prerelease: false
-  version_requirements: *2153932520
+  version_requirements: *2154698560
 - !ruby/object:Gem::Dependency
   name: rake
-  requirement: &2153932100 !ruby/object:Gem::Requirement
+  requirement: &2154698140 !ruby/object:Gem::Requirement
     none: false
     requirements:
     - - ! '>='
@@ -43,10 +43,10 @@ dependencies:
         version: '0'
   type: :development
   prerelease: false
-  version_requirements: *2153932100
+  version_requirements: *2154698140
 - !ruby/object:Gem::Dependency
   name: maruku
-  requirement: &2153931680 !ruby/object:Gem::Requirement
+  requirement: &2154697720 !ruby/object:Gem::Requirement
     none: false
     requirements:
     - - ! '>='
@@ -54,10 +54,10 @@ dependencies:
         version: '0'
   type: :development
   prerelease: false
-  version_requirements: *2153931680
+  version_requirements: *2154697720
 - !ruby/object:Gem::Dependency
   name: yard
-  requirement: &2153931260 !ruby/object:Gem::Requirement
+  requirement: &2154697300 !ruby/object:Gem::Requirement
     none: false
     requirements:
     - - ! '>='
@@ -65,10 +65,10 @@ dependencies:
         version: '0'
   type: :development
   prerelease: false
-  version_requirements: *2153931260
+  version_requirements: *2154697300
 - !ruby/object:Gem::Dependency
   name: rspec
-  requirement: &2153930760 !ruby/object:Gem::Requirement
+  requirement: &2154696800 !ruby/object:Gem::Requirement
     none: false
     requirements:
     - - ~>
@@ -76,10 +76,10 @@ dependencies:
         version: 2.6.0
   type: :development
   prerelease: false
-  version_requirements: *2153930760
+  version_requirements: *2154696800
 - !ruby/object:Gem::Dependency
   name: ci_reporter
-  requirement: &2155987800 !ruby/object:Gem::Requirement
+  requirement: &2154696380 !ruby/object:Gem::Requirement
     none: false
     requirements:
     - - ! '>='
@@ -87,10 +87,10 @@ dependencies:
         version: '0'
   type: :development
   prerelease: false
-  version_requirements: *2155987800
+  version_requirements: *2154696380
 - !ruby/object:Gem::Dependency
   name: ZenTest
-  requirement: &2155987340 !ruby/object:Gem::Requirement
+  requirement: &2154695920 !ruby/object:Gem::Requirement
     none: false
     requirements:
     - - ! '>='
@@ -98,10 +98,10 @@ dependencies:
         version: '0'
   type: :development
   prerelease: false
-  version_requirements: *2155987340
+  version_requirements: *2154695920
 - !ruby/object:Gem::Dependency
   name: bundler
-  requirement: &2155986920 !ruby/object:Gem::Requirement
+  requirement: &2154695500 !ruby/object:Gem::Requirement
     none: false
     requirements:
     - - ! '>='
@@ -109,7 +109,7 @@ dependencies:
         version: '0'
   type: :development
   prerelease: false
-  version_requirements: *2155986920
+  version_requirements: *2154695500
 description: A SDK for Mushikago Web Service.
 email:
 - t.matsuoka@miningbrownie.co.jp