tfidf_ja 0.1.1 → 0.2.0

data/README.rdoc

@@ -10,7 +10,7 @@ tfidf_jaには以下の特徴があります。
   * IPADIC辞書に収録されている日本語の形態素(約32万語)を使用し、TF値をYahoo!のインデックス数としてあらかじめ算出。
   * 算出したTF値からIDF値を算出し、IDF辞書としてライブラリに包含し、ライブラリ使用時の算出コストを減らしています。
 * 形態素解析
-  * {igo-ruby}[https://rubygems.org/gems/igo-ruby]を使用した形態素解析を行なった上で、TF-IDFを算出することも可能です。
+  * {igo-ruby}[https://rubygems.org/gems/igo-ruby]を使用した形態素解析を行なった上で、TF-IDFを算出することをおすすめします。
 
 == インストール方法
 
@@ -26,59 +26,11 @@ tfidf_jaには以下の特徴があります。
   ti = TfIdf::Ja.new
   p ti.tfidf(['この', '文章', 'から', 'TFIDF', '値', 'を', '取得', 'する'])
 
-=== 形態素解析を行なったあと、TF-IDFを取得
-
-  require 'rubygems'
-  require 'tfidf_ja'
-  require 'tfidf_ja/igo_extension'
-  
-  dir = './ipadic' # igo-rubyに渡す辞書ファイルのディレクトリ
-  tie = TfIdf::IgoExtension.new(dir)
-  p tie.tfidf('この文章を形態素解析し、TFIDF値を取得する')
-
 === インスタンスを使い回し
 
 インスタンスを使い回すことにより、TF-IDF値は加算されていきます。
 複数のテキストから連続して算出する場合に便利です。
 
-  tie = TfIdf::IgoExtension.new(dir)
-  tie.tfidf('この文章を形態素解析し、TFIDF値を取得する').each_pair { |k, v|
-    puts "#{k}=>#{v}"
-  }
-  # =>
-  解析=>7.33823815006559
-  値=>7.61579107203583
-  TFIDF=>13.3689578610795
-  形態素=>13.0477195694085
-  文章=>7.2152399787301
-  取得=>7.24992553671799
-  
-  # インスタンスを使い回し
-  tie.tfidf('インスタンスを使い回し、再度TFIDF値を取得する').each_pair { |k, v|
-    puts "#{k}=>#{v}"
-  }
-  # =>
-  解析=>7.33823815006559
-  値=>15.2315821440717           # 両方のテキストに出現する形態素のTFIDFは大きくなる
-  TFIDF=>26.737915722159         # 両方のテキストに出現する形態素のTFIDFは大きくなる
-  形態素=>13.0477195694085
-  文章=>7.2152399787301
-  インスタンス=>11.7873551106461 # 両方のテキストに出現する形態素のTFIDFは大きくなる
-  取得=>14.499851073436          # 両方のテキストに出現する形態素のTFIDFは大きくなる
-
-リセットする場合はresetメソッドを使用します。
-
-  # resetメソッドでリセット
-  tie.reset
-  tie.tfidf('インスタンスを使い回し、再度TFIDF値を取得する').each_pair { |k, v|
-    puts "#{k}=>#{v}"
-  }
-  # =>
-  値=>7.61579107203583
-  TFIDF=>13.3689578610795
-  インスタンス=>11.7873551106461
-  取得=>7.24992553671799
-
 == 付録
 === 公開場所
 

data/Rakefile

@@ -28,7 +28,7 @@ Jeweler::Tasks.new do |gem|
   #  gem.add_development_dependency 'rspec', '> 1.2.3'
   
   # gems dependency
-  gem.add_runtime_dependency 'igo-ruby', '> 0.1'
+# gem.add_runtime_dependency 'igo-ruby', '> 0.1'
   
   # include files
   gem.files = Rake::FileList.new('lib/**/*.rb', '[A-Z]*', 'dic/idf.dic')

data/VERSION

@@ -1 +1 @@
-0.1.1
+0.2.0

data/lib/dictionary.rb

@@ -1,6 +1,6 @@
 # coding: utf-8
 #
-# Copyright:: Copyright (c) kyow, 2010
+# Copyright:: Copyright (c) kyow, 2011
 # Authors:: K.Nishi
 
 module TfIdf

data/test/test.rb

@@ -3,11 +3,8 @@
 #Copyright:: Copyright (c) kyow, 2011
 #Authors:: K.Nishi
 
-#require '../lib/tfidf_ja'
-#require '../lib/tfidf_ja/igo_extension'
 require 'rubygems'
 require 'tfidf_ja'
-require 'tfidf_ja/igo_extension'
 
 def output(h)
   h.each { |item|
@@ -16,19 +13,11 @@ def output(h)
 end
 
 tfidf = TfIdf::Ja.new
+puts "-->1回目"
 output tfidf.tfidf(['この', '文章', 'から', 'TFIDF', '値', 'を', '取得', 'する'])
+puts "-->2回目"
 output tfidf.tfidf(['文章', 'を', '連続', 'で', '渡す', 'と', 'TFIDF', '値', 'を', '追加', 'で', '算出', 'する'])
 
-
-# 以下はigo-rubyが必要
-dir = '../../ipadic'
-tie = TfIdf::IgoExtension.new(dir)
-puts s = "この文字列を形態素解析してTFIDF値を取得する"
-output tie.tfidf(s)
-
-puts s = "連続してインスタンスを使うと前回解析したTFIDF計算結果を加味する"
-output tie.tfidf(s)
-
-tie.reset
-puts s = "TfIdf::IgoExtension.resetでリセットする"
-output tie.tfidf(s)
+puts "-->リセット"
+tfidf.reset
+output tfidf.tfidf(['TFIDF', '#', 'rest', 'で', 'リセット', 'する'])

metadata

@@ -1,13 +1,13 @@
 --- !ruby/object:Gem::Specification 
 name: tfidf_ja
 version: !ruby/object:Gem::Version 
-  hash: 25
-  prerelease: false
+  hash: 23
+  prerelease: 
   segments: 
   - 0
-  - 1
-  - 1
-  version: 0.1.1
+  - 2
+  - 0
+  version: 0.2.0
 platform: ruby
 authors: 
 - K.Nishi
@@ -15,12 +15,12 @@ autorequire:
 bindir: bin
 cert_chain: []
 
-date: 2011-01-11 00:00:00 +09:00
+date: 2011-02-21 00:00:00 +09:00
 default_executable: 
 dependencies: 
 - !ruby/object:Gem::Dependency 
-  prerelease: false
-  version_requirements: &id001 !ruby/object:Gem::Requirement 
+  type: :development
+  requirement: &id001 !ruby/object:Gem::Requirement 
     none: false
     requirements: 
     - - ~>
@@ -32,11 +32,11 @@ dependencies:
         - 0
         version: 2.1.0
   name: rspec
-  requirement: *id001
-  type: :development
-- !ruby/object:Gem::Dependency 
+  version_requirements: *id001
   prerelease: false
-  version_requirements: &id002 !ruby/object:Gem::Requirement 
+- !ruby/object:Gem::Dependency 
+  type: :development
+  requirement: &id002 !ruby/object:Gem::Requirement 
     none: false
     requirements: 
     - - ~>
@@ -48,11 +48,11 @@ dependencies:
         - 0
         version: 1.0.0
   name: bundler
-  requirement: *id002
-  type: :development
-- !ruby/object:Gem::Dependency 
+  version_requirements: *id002
   prerelease: false
-  version_requirements: &id003 !ruby/object:Gem::Requirement 
+- !ruby/object:Gem::Dependency 
+  type: :development
+  requirement: &id003 !ruby/object:Gem::Requirement 
     none: false
     requirements: 
     - - ~>
@@ -64,11 +64,11 @@ dependencies:
         - 1
         version: 1.5.1
   name: jeweler
-  requirement: *id003
-  type: :development
-- !ruby/object:Gem::Dependency 
+  version_requirements: *id003
   prerelease: false
-  version_requirements: &id004 !ruby/object:Gem::Requirement 
+- !ruby/object:Gem::Dependency 
+  type: :development
+  requirement: &id004 !ruby/object:Gem::Requirement 
     none: false
     requirements: 
     - - ">="
@@ -78,23 +78,8 @@ dependencies:
         - 0
         version: "0"
   name: rcov
-  requirement: *id004
-  type: :development
-- !ruby/object:Gem::Dependency 
+  version_requirements: *id004
   prerelease: false
-  version_requirements: &id005 !ruby/object:Gem::Requirement 
-    none: false
-    requirements: 
-    - - ">"
-      - !ruby/object:Gem::Version 
-        hash: 9
-        segments: 
-        - 0
-        - 1
-        version: "0.1"
-  name: igo-ruby
-  requirement: *id005
-  type: :runtime
 description: "\n    tfidf_ja computes TF-IDF with a dictionary.\n    This gem include a Japanese IDF dictionary that were prepared in Yahoo! API.\n  "
 email: 24signals@gmail.com
 executables: []
@@ -114,7 +99,6 @@ files:
 - dic/idf.dic
 - lib/dictionary.rb
 - lib/tfidf_ja.rb
-- lib/tfidf_ja/igo_extension.rb
 - lib/utility.rb
 - spec/spec_helper.rb
 - spec/tfidf_ja_spec.rb
@@ -154,7 +138,7 @@ required_rubygems_version: !ruby/object:Gem::Requirement
 requirements: []
 
 rubyforge_project: 
-rubygems_version: 1.3.7
+rubygems_version: 1.5.0
 signing_key: 
 specification_version: 3
 summary: Computes TF-IDF with Japanese dictionary.

data/lib/tfidf_ja/igo_extension.rb

@@ -1,45 +0,0 @@
-# coding: utf-8
-#
-# Copyright:: Copyright (c) kyow, 2011
-# Authors:: K.Nishi
-
-$:.unshift(File.dirname(__FILE__))
-
-require 'rubygems'
-require 'igo-ruby'
-
-module TfIdf
-  #
-  # 形態素解析に{igo-ruby}[https://rubygems.org/gems/igo-ruby]を使用するための拡張クラス
-  #
-  class IgoExtension
-    # コンストラクタ
-    def initialize(dir)
-      @tagger = Igo::Tagger.new(dir)
-      @tfidf = TfIdf::Ja.new
-    end
-    
-    # インスタンスのリセット
-    def reset
-      @tfidf.reset
-    end
-    
-    # igo-rubyを利用して形態素解析を行ない、その結果のTF-IDFを返却する
-    # text:: 形態素解析を行なうテキスト
-    # return:: key=形態素、value=TF-IDFのハッシュテーブル
-    def tfidf(text)
-      t = @tagger.parse(text)
-      words = []
-      
-      # 品詞が"名詞"の形態素を選択
-      t.each{ |m|
-        part = m.feature.split(',')[0]
-        if(part == '名詞')
-          words.push(m.surface)
-        end
-      }
-      
-      return @tfidf.tfidf(words)
-    end
-  end
-end