tfidf_ja 0.1.0 → 0.1.1

data/README.rdoc

@@ -1,16 +1,89 @@
 = tfidf_ja
 
-Description goes here.
-
-== Contributing to tfidf_ja
- 
-* Check out the latest master to make sure the feature hasn't been implemented or the bug hasn't been fixed yet
-* Check out the issue tracker to make sure someone already hasn't requested it and/or contributed it
-* Fork the project
-* Start a feature/bugfix branch
-* Commit and push until you are happy with your contribution
-* Make sure to add tests for it. This is important so I don't break it in a future version unintentionally.
-* Please try not to mess with the Rakefile, version, or history. If you want to have your own version, or is otherwise necessary, that is fine, but please isolate to its own commit so I can cherry-pick around it.
+tfidf_jaは与えられた単語の配列の {TF-IDF}[http://ja.wikipedia.org/wiki/Tf-idf] を算出し、単語をキー、TF-IDF値をバリューとするハッシュテーブルを返却するライブラリです。
+
+== 特徴
+
+tfidf_jaには以下の特徴があります。
+
+* IDF辞書
+  * IPADIC辞書に収録されている日本語の形態素(約32万語)を使用し、TF値をYahoo!のインデックス数としてあらかじめ算出。
+  * 算出したTF値からIDF値を算出し、IDF辞書としてライブラリに包含し、ライブラリ使用時の算出コストを減らしています。
+* 形態素解析
+  * {igo-ruby}[https://rubygems.org/gems/igo-ruby]を使用した形態素解析を行なった上で、TF-IDFを算出することも可能です。
+
+== インストール方法
+
+コマンドプロンプトより以下を実行してください。
+  $ gem install tfidf_ja
+
+== サンプル
+=== 単語の配列からTF-IDFを取得
+
+  require 'rubygems'
+  require 'tfidf_ja'
+  
+  ti = TfIdf::Ja.new
+  p ti.tfidf(['この', '文章', 'から', 'TFIDF', '値', 'を', '取得', 'する'])
+
+=== 形態素解析を行なったあと、TF-IDFを取得
+
+  require 'rubygems'
+  require 'tfidf_ja'
+  require 'tfidf_ja/igo_extension'
+  
+  dir = './ipadic' # igo-rubyに渡す辞書ファイルのディレクトリ
+  tie = TfIdf::IgoExtension.new(dir)
+  p tie.tfidf('この文章を形態素解析し、TFIDF値を取得する')
+
+=== インスタンスを使い回し
+
+インスタンスを使い回すことにより、TF-IDF値は加算されていきます。
+複数のテキストから連続して算出する場合に便利です。
+
+  tie = TfIdf::IgoExtension.new(dir)
+  tie.tfidf('この文章を形態素解析し、TFIDF値を取得する').each_pair { |k, v|
+    puts "#{k}=>#{v}"
+  }
+  # =>
+  解析=>7.33823815006559
+  値=>7.61579107203583
+  TFIDF=>13.3689578610795
+  形態素=>13.0477195694085
+  文章=>7.2152399787301
+  取得=>7.24992553671799
+  
+  # インスタンスを使い回し
+  tie.tfidf('インスタンスを使い回し、再度TFIDF値を取得する').each_pair { |k, v|
+    puts "#{k}=>#{v}"
+  }
+  # =>
+  解析=>7.33823815006559
+  値=>15.2315821440717           # 両方のテキストに出現する形態素のTFIDFは大きくなる
+  TFIDF=>26.737915722159         # 両方のテキストに出現する形態素のTFIDFは大きくなる
+  形態素=>13.0477195694085
+  文章=>7.2152399787301
+  インスタンス=>11.7873551106461 # 両方のテキストに出現する形態素のTFIDFは大きくなる
+  取得=>14.499851073436          # 両方のテキストに出現する形態素のTFIDFは大きくなる
+
+リセットする場合はresetメソッドを使用します。
+
+  # resetメソッドでリセット
+  tie.reset
+  tie.tfidf('インスタンスを使い回し、再度TFIDF値を取得する').each_pair { |k, v|
+    puts "#{k}=>#{v}"
+  }
+  # =>
+  値=>7.61579107203583
+  TFIDF=>13.3689578610795
+  インスタンス=>11.7873551106461
+  取得=>7.24992553671799
+
+== 付録
+=== 公開場所
+
+* {RubyGems}[https://rubygems.org/gems/tfidf_ja]
+* {ソースコード}[https://github.com/kyow/tfidf_ja]
 
 == Copyright
 

data/Rakefile

@@ -62,4 +62,6 @@ Rake::RDocTask.new do |rdoc|
   rdoc.title = "tfidf_ja #{version}"
   rdoc.rdoc_files.include('README*')
   rdoc.rdoc_files.include('lib/**/*.rb')
+  
+  rdoc.options << '-c UTF-8' << '-S' << '-U'
 end

data/VERSION

@@ -1 +1 @@
-0.1.0
+0.1.1

data/lib/dictionary.rb

@@ -1,39 +1,60 @@
 # coding: utf-8
 #
-#Copyright:: Copyright (c) kyow, 2010
-#Authors:: K.Nishi
+# Copyright:: Copyright (c) kyow, 2010
+# Authors:: K.Nishi
 
-#
-#
-#
 module TfIdf
+  #
+  # 辞書基底クラス
+  #
   class Dictionary
+    # コンストラクタ
     def initialize
       @map = {}
     end
-  
+    
+    # 辞書にkeyとvalueを設定する
+    # k:: key
+    # v:: value
     def set(k, v)
       @map[k] = v
     end
-  
+    
+    # keyからvalueを取得する
+    # k:: key
+    # return:: value
     def get(k)
       return @map[k]
     end
   
+    # 辞書全体を返却する
+    # value:: ハッシュテーブル
     def all
       return @map
     end
-  
+    
+    # keyが存在するか検査する
+    # k:: 検査するkey
+    # return:: true=存在する faluse=存在しない
     def exists?(k)
       return @map.key?(k)
     end
   end
   
+  #
+  # DF辞書クラス
+  #
   class DFs < Dictionary
   end
-
+  
+  #
+  # IDF辞書クラス
+  #
   class IDFs < Dictionary
+    # 収録形態素数
     attr_accessor :size
+    
+    # 平均IDF値
     attr_accessor :average
   end
 end

data/lib/tfidf_ja/igo_extension.rb

@@ -1,34 +1,32 @@
 # coding: utf-8
 #
-#Copyright:: Copyright (c) kyow, 2011
-#Authors:: K.Nishi
+# Copyright:: Copyright (c) kyow, 2011
+# Authors:: K.Nishi
 
 $:.unshift(File.dirname(__FILE__))
 
 require 'rubygems'
 require 'igo-ruby'
 
-#
-#
-#
 module TfIdf
   #
-  #
+  # 形態素解析に{igo-ruby}[https://rubygems.org/gems/igo-ruby]を使用するための拡張クラス
   #
   class IgoExtension
     # コンストラクタ
     def initialize(dir)
-#     dir = File::expand_path(dir)
       @tagger = Igo::Tagger.new(dir)
       @tfidf = TfIdf::Ja.new
     end
     
+    # インスタンスのリセット
     def reset
       @tfidf.reset
     end
     
     # igo-rubyを利用して形態素解析を行ない、その結果のTF-IDFを返却する
-    #text:: テキスト
+    # text:: 形態素解析を行なうテキスト
+    # return:: key=形態素、value=TF-IDFのハッシュテーブル
     def tfidf(text)
       t = @tagger.parse(text)
       words = []

data/lib/tfidf_ja.rb

@@ -1,18 +1,15 @@
 # coding: utf-8
 #
-#Copyright:: Copyright (c) kyow, 2011
-#Authors:: K.Nishi
+# Copyright:: Copyright (c) kyow, 2011
+# Authors:: K.Nishi
 
 $:.unshift(File.dirname(__FILE__))
 
 require 'dictionary'
 
-#
-#
-#
 module TfIdf
   #
-  #
+  # 日本語辞書を使用してTFIDFを算出するクラス
   #
   class Ja
     # コンストラクタ
@@ -21,13 +18,14 @@ module TfIdf
       reset
     end
     
+    # インスタンスのリセット
     def reset
       @tfs = {}
     end
     
-    #
-    #words:: 形態素配列
-    #:: 
+    # TF-IDFを算出する
+    # words:: 形態素配列
+    # return:: key = 形態素、value = TF-IDF値のハッシュテーブル
     def tfidf(words)
       tfidfs = {}
       set_tf_map(words)
@@ -37,6 +35,9 @@ module TfIdf
       return tfidfs
     end
     
+    # IDFを取得する
+    # word:: 形態素
+    # return:: IDF
     def idf(word)
       idf = @idfs.get(word)
       if(idf.nil?)

data/lib/utility.rb

@@ -1,20 +1,19 @@
 # coding: utf-8
 #
-#Copyright:: Copyright (c) kyow, 2011
-#Authors:: K.Nishi
+# Copyright:: Copyright (c) kyow, 2011
+# Authors:: K.Nishi
 
 $:.unshift(File.dirname(__FILE__))
 require 'dictionary'
 
-#
-#
-#
 module TfIdf
   #
-  # ユーティリティ
+  # ユーティリティクラス
   #
   class Utility
-  N = 20000000000
+    # (仮の)インデックス数
+    N = 20000000000
+    
     # df.dicからidf.dicを生成する
     def self.create_dic
       dfs = self.df_load()
@@ -24,12 +23,17 @@ module TfIdf
       puts "size=#{idfs.size} average=#{idfs.average}"
     end
     
+    # DF値からiDF値を取得する
+    # IDF = log(N / DF)
+    # df_value:: DF値
     def self.get_inverse(df_value)
       return df_value > 0 ? Math::log(N / df_value) : 0
     end
     
     private
     
+    # DFsオブジェクトからIDFsオブジェクトを生成する
+    # dfs:: DFsオブジェクト
     def self.create_idf(dfs)
       idfs = IDFs.new
       total = 0
@@ -43,6 +47,7 @@ module TfIdf
       return idfs
     end
     
+    # df.dicを読み込む
     def self.df_load()
       df_dic  = File.dirname(__FILE__) + '/../dic/df.dic'
       unless File::exists?(df_dic)
@@ -53,6 +58,7 @@ module TfIdf
       }
     end
     
+    # idf.dicを保存する
     def self.idf_save(idfs)
       idf_dic  = File.dirname(__FILE__) + '/../dic/idf.dic'
       File::open(idf_dic, 'wb') { |f|

metadata

@@ -1,13 +1,13 @@
 --- !ruby/object:Gem::Specification 
 name: tfidf_ja
 version: !ruby/object:Gem::Version 
-  hash: 27
+  hash: 25
   prerelease: false
   segments: 
   - 0
   - 1
-  - 0
-  version: 0.1.0
+  - 1
+  version: 0.1.1
 platform: ruby
 authors: 
 - K.Nishi
@@ -15,7 +15,7 @@ autorequire:
 bindir: bin
 cert_chain: []
 
-date: 2011-01-08 00:00:00 +09:00
+date: 2011-01-11 00:00:00 +09:00
 default_executable: 
 dependencies: 
 - !ruby/object:Gem::Dependency