groonga 0.0.2 → 0.0.3

data/NEWS.ja.rdoc

@@ -1,15 +1,30 @@
 = お知らせ
 
+== 0.0.3: 2009-07-18
+
+* [#26145] Groonga::TableKeySupport#has_key?の追加 [Tasuku SUENAGA]
+* [#26146] カラム名が存在しない場合はGroonga::Record#[]が例外
+  をあげるように変更 [Tasuku SUENAGA]
+* 32ビット環境をサポート [niku]
+* N-gramインデックスサーチのテストを追加 [dara]
+* APIの追加
+  * Groonga::Record#incemrent!
+  * Groonga::Record#decemrent!
+  * Groonga::Record#lock
+  * Groonga::Table#lock
+  * Groonga::Schema: スキーマ定義用DSL
+  * Groonga::Expression
+
 == 0.0.2: 2009-06-04
 
-* groonga 0.0.9対応 [mori]
+* groonga 0.0.8対応 [mori]
 * 性能向上: キー、値、ドメイン、レンジをキャッシュ
 * API改良
 * ドキュメントの追加
 * Ruby 1.9対応
 * バグ修正:
-** インストール処理の修正 [Tasuku SUENAGA]
-** メモリリーク修正
+  * インストール処理の修正 [Tasuku SUENAGA]
+  * メモリリーク修正
 
 == 0.0.1: 2009-04-30
 

data/NEWS.rdoc

@@ -1,15 +1,30 @@
 = NEWS
 
+== 0.0.3: 2009-07-18
+
+* [#26145] Added Groonga::TableKeySupport#has_key? [Tasuku SUENAGA]
+* [#26146] Groonga::Record#[] raises an exception for nonexistent
+  column name. [Tasuku SUENAGA]
+* Supported 32bit environment [niku]
+* Added a test for N-gram index search [dara]
+* Added APIs
+  * Groonga::Record#incemrent!
+  * Groonga::Record#decemrent!
+  * Groonga::Record#lock
+  * Groonga::Table#lock
+  * Groonga::Schema: A DSL for schema definition
+  * Groonga::Expression
+
 == 0.0.2: 2009-06-04
 
-* Supported groonga 0.0.9 [mori]
+* Supported groonga 0.0.8 [mori]
 * Improved preformance: cache key, value, domain and range
 * Improved API
 * Added documents
 * Supported Ruby 1.9
 * Bug fixes:
-** Fixed install process [Tasuku SUENAGA]
-** Fixed memory leaks
+  * Fixed install process [Tasuku SUENAGA]
+  * Fixed memory leaks
 
 == 0.0.1: 2009-04-30
 

data/README.ja.rdoc

@@ -52,3 +52,5 @@ http://lists.sourceforge.jp/mailman/listinfo/groonga-dev
 
 * 森さん: 最新groonga対応パッチをくれました。
 * グニャラくん: バグレポートしてくれました。
+* にくさん: バグレポートしてくれました。
+* daraさん: テストを書いてくれました。

data/README.rdoc

@@ -53,3 +53,5 @@ http://rubyforge.org/mailman/listinfo/groonga-users-en
 
 * mori: sent patches to support the latest groonga.
 * Tasuku SUENAGA: sent bug reports.
+* niku: sent bug reports.
+* dara: wrote tests.

data/Rakefile

@@ -27,8 +27,6 @@ require 'hoe'
 
 ENV["NODOT"] = "yes"
 
-Hoe::Test::SUPPORTED_TEST_FRAMEWORKS[:testunit2] = "test/run-test.rb"
-
 base_dir = File.join(File.dirname(__FILE__))
 truncate_base_dir = Proc.new do |x|
   x.gsub(/^#{Regexp.escape(base_dir + File::SEPARATOR)}/, '')
@@ -88,7 +86,11 @@ end
 
 ENV["VERSION"] ||= guess_version
 version = ENV["VERSION"]
-project = Hoe.new('groonga', version) do |project|
+project = nil
+Hoe.spec('groonga') do |_project|
+  Hoe::Test::SUPPORTED_TEST_FRAMEWORKS[:testunit2] = "test/run-test.rb"
+  project = _project
+  project.version = version
   project.rubyforge_name = 'groonga'
   authors = File.join(base_dir, "AUTHORS")
   project.author = File.readlines(authors).collect do |line|
@@ -137,12 +139,13 @@ if /mswin32/ =~ project.spec.platform.to_s
 end
 
 ObjectSpace.each_object(Rake::RDocTask) do |rdoc_task|
-  t_option_index = rdoc_task.options.index("-t")
+  options = rdoc_task.options
+  t_option_index = options.index("--title") || options.index("-t")
   rdoc_task.options[t_option_index, 2] = nil
   rdoc_task.title = "Ruby/groonga - #{version}"
 
   rdoc_task.rdoc_files = ["ext/rb-groonga.c"] + Dir.glob("ext/rb-grn-*.c")
-  rdoc_task.rdoc_files += Dir.glob("lib/*.rb")
+  rdoc_task.rdoc_files += Dir.glob("lib/**/*.rb")
   rdoc_task.rdoc_files += Dir.glob("*.rdoc")
 end
 
@@ -202,6 +205,12 @@ task :publish_html do
   sh "rsync #{rsync_args} html/ #{host}:#{remote_dir}"
 end
 
+task :tag do
+  repository = "svn+ssh://rubyforge.org/var/svn/groonga/groonga"
+  sh("svn cp -m 'release #{version}!!!' " +
+     "#{repository}/trunk #{repository}/tags/#{version}")
+end
+
 # fix Hoe's incorrect guess.
 project.spec.executables.clear
 # project.lib_files = project.spec.files.grep(%r|^src/lib/|)

data/TUTORIAL.ja.rdoc

@@ -28,7 +28,7 @@ Ruby/groongaはRubyGemsでインストールできます。
 それでは、ファイルを指定してデータベースを作成します。
 
   >> Groonga::Database.create(:path => "/tmp/bookmark.db")
-  => #<Groonga::Database id: <nil>, name: (anonymous), path: </tmp/bookmark.db>, domain: <nil>, range: <nil>>
+  => #<Groonga::Database ...>
 
 ここで作成したデータベースは、これ以降、暗黙のうちに利用され
 ます。最初にデータベースを作成したら特に意識する必要はありま
@@ -54,7 +54,7 @@ groongaには以下の3種類のテーブルがあります。
 ブルを作成します。
 
   >> items = Groonga::Hash.create(:name => "<items>", :persistent => true)
-  => #<Groonga::Hash id: <18>, name: <<items>>, path: </tmp/bookmark.db.0000012>, domain: <nil>, range: <nil>, encoding: <:utf8>, size: <0>>
+  => #<Groonga::Hash ...>
 
 
 これで<tt><items></tt>という名前のテーブルが作成できました。
@@ -69,7 +69,7 @@ groongaには以下の3種類のテーブルがあります。
 
 == レコードを追加する
 
-items>テーブルにレコードを追加します。
+<tt><items></tt>テーブルにレコードを追加します。
 
   >> items.add("http://ja.wikipedia.org/wiki/Ruby")
   => #<Groonga::Record ...>
@@ -93,7 +93,7 @@ items>テーブルにレコードを追加します。
 
 まず<tt><items></tt>テーブルに+title+という名前のカラムを追加します。
 
-  >> title_colum = items.define_column("title", "<text>", :persistent => true)
+  >> title_column = items.define_column("title", "<text>", :persistent => true)
   => #<Groonga::VarSizeColumn ...>
 
 2番目の引数は、追加するカラムのデータ型を示しています。
@@ -125,9 +125,9 @@ N-gramを利用した全文検索では、分解したN文字とその出現位
 単語格納用テーブルの準備ができたので、<tt><items></tt>テーブ
 ルの+title+カラムに対するインデックスを定義します。
 
-  >> terms.define_index_column("item_title", items,
-                               :persistent => true,
-                               :source => "<items>.title")
+  >> title_index_column = terms.define_index_column("item_title", items,
+						    :persistent => true,
+						    :source => "<items>.title")
   => #<Groonga::IndexColumn ...>
 
 少し違和感を感じるかも知れませんが、<tt><items></tt>テーブル
@@ -155,7 +155,7 @@ N-gramを利用した全文検索では、分解したN文字とその出現位
 
 以下のようにして検索することができます。
 
-  >> title_index_column.saerch("Ruby").collect {|record| record.key.key}
+  >> title_index_column.search("Ruby").collect {|record| record.key.key}
   ["http://ja.wikipedia.org/wiki/Ruby", "http://www.ruby-lang.org/"]
 
 検索結果はGroonga::Hashで返されます。ハッシュのキーに見つかっ
@@ -249,11 +249,11 @@ http://qwik.jp/senna/senna2.files/rect4605.png
   >> @items = items
   >> @comments = comments
   >> def add_bookmark(url, title, author, content, issued)
-  >>  item = @items.find(url) || @items.add(url, :title => title)
-  >>  @comments.add(:item => item,
-  >>                :author => author,
-  >>                :content => content,
-  >>                :issued => issued)
+  >>   item = @items.find(url) || @items.add(url, :title => title)
+  >>   @comments.add(:item => item,
+  >>                 :author => author,
+  >>                 :content => content,
+  >>                 :issued => issued)
   >> end
 
 +itmes+と+comments+をインスタンス変数に代入しているのはメソッ
@@ -261,9 +261,9 @@ http://qwik.jp/senna/senna2.files/rect4605.png
 
 +add_bookmark+は以下のような手順を実行しています。
 
-  * <tt><items></tt>テーブルに該当ページのレコードがあるかどうか調べる。
-  * レコードがなければ追加する。
-  * <tt><comments></tt>テーブルにレコードを登録する。
+* <tt><items></tt>テーブルに該当ページのレコードがあるかどうか調べる。
+* レコードがなければ追加する。
+* <tt><comments></tt>テーブルにレコードを登録する。
 
 作成したメソッドを呼び出していくつかブックマークを登録してみ
 ましょう。
@@ -281,4 +281,70 @@ http://qwik.jp/senna/senna2.files/rect4605.png
 
 == 全文検索その2
 
+登録したレコードに対して全文検索を実行してみます。
+
+  >> records = comments.select do |record|
+  >>   record["content"] =~ "LISP"
+  >> end
+  >> records.each do |record|
+  >>   record = record.key
+  >>   p [record.id,
+  >>      record[".issued"],
+  >>      record[".item.title"],
+  >>      record[".author.name"],
+  >>      record[".content"]]
+  >> end
+  [1, Sat Aug 18 18:40:26 +0900 2007, "[翻訳]JavaScript: 世界で最も誤解されたプログラミング言語", "モリタン", "JavaScript LISP"]
+  [2, Mon Aug 20 09:11:32 +0900 2007, "なんでも継続", "モリタン", "継続 LISP Scheme"]
+  [3, Mon Aug 20 09:13:13 +0900 2007, "末尾再帰", "タポロボ", "末尾再帰 Scheme LISP"]
+  [4, Mon Aug 20 09:11:32 +0900 2007, "なんでも継続", "タポロボ", "トランポリン LISP continuation"]
+
+カラムへのアクセスは、カラム名を+.+で繋いで複合データ型の要素
+を再帰的に辿ることができます。（同様の出力を普通のRDBで実現す
+るためには、<tt><items></tt>テーブル、<tt><comments></tt>テー
+ブル、<tt><users></tt>テーブルのJOIN操作が必要になります。）
+
+上の式の中で、肝心の検索処理は、第一引数の式を評価する時点で
+完了していて、レコードセットオブジェクトとしてメモリに蓄積さ
+れています。
+
+  >> records
+  #<Groonga::Hash ..., size: <4>>
+
+レコードセットは、出力する前に様々に加工することができます。
+
+以下は、日付で降順にソートしてから出力した例です。
+
+  >> records.sort([{:key => ".issued", :order => "descending"}]).each do |record|
+  >>   record = record.key
+  >>   p [record.id,
+  >>      record[".issued"],
+  >>      record[".item.title"],
+  >>      record[".author.name"],
+  >>      record[".content"]]
+  >> end
+  [3, Mon Aug 20 09:13:13 +0900 2007, "末尾再帰", "タポロボ", "末尾再帰 Scheme LISP"]
+  [2, Mon Aug 20 09:11:32 +0900 2007, "なんでも継続", "モリタン", "継続 LISP Scheme"]
+  [4, Mon Aug 20 09:11:32 +0900 2007, "なんでも継続", "タポロボ", "トランポリン LISP continuation"]
+  [1, Sat Aug 18 18:40:26 +0900 2007, "[翻訳]JavaScript: 世界で最も誤解されたプログラミング言語", "モリタン", "JavaScript LISP"]
+
+同じitemが何度も出てくると検索結果が見にくいので、item毎にグ
+ループ化してみます。
+
+  >> records.group([".item"]).each do |record|
+  >>   item = record.key
+  >>   p [record[".:nsubrecs"],
+  >>      item.key,
+  >>      item[".title"]]
+  >> end
+  [1, "http://d.hatena.ne.jp/brazil/20050829/1125321936", "[翻訳]JavaScript: 世界で最も誤解されたプログラミング言語"]
+  [2, "http://practical-scheme.net/docs/cont-j.html", "なんでも継続"]
+  [1, "http://d.hatena.ne.jp/higepon/20070815/1187192864", "末尾再帰"]
+
++.:nsubrecs+というのはグループ化した単位に含まれるレコードの
+件数を示します。SQLで言えば、GROUP BY句を含むクエリのcount 関
+数のような働きです。
+
+== 少し複雑な検索
+
 つづく。。。

data/benchmark/{read-write-small-many-items.rb → read-write-many-small-items.rb}

@@ -3,30 +3,33 @@
 # This benchmark is based on Tokyo Cabinet's benchmark at
 # http://alpha.mixi.co.jp/blog/?p=791
 #
-# On my environment at 2009/05/16:
-# % for x in {0..9}; do ruby benchmark/read-write-small-many-items.rb $x; done
+# On my environment at 2009/07/14:
+# % for x in {0..9}; do ruby benchmark/read-write-many-small-items.rb $x; done
 #                           user     system      total        real        memory
-# Hash                  1.440000   0.120000   1.560000 (  2.018838)     47.230MB
-# groonga: Hash: memory 1.780000   0.170000   1.950000 (  2.331934)     30.582MB
-# groonga: Trie: memory 2.220000   0.150000   2.370000 (  2.788049)     22.594MB
-# groonga: Hash: file   1.810000   0.170000   1.980000 (  2.389940)     30.590MB
-# groonga: Trie: file   2.170000   0.150000   2.320000 (  2.862775)     22.594MB
-# Localmemcache: file   1.710000   0.240000   1.950000 (  2.311414)     46.410MB
-# TC: Hash: memory      1.540000   0.180000   1.720000 (  2.048307)     49.180MB
-# TC: Tree: memory      1.410000   0.160000   1.570000 (  1.891273)     37.691MB
-# TC: Hash: file        2.420000   2.950000   5.370000 (  7.122531)      9.258MB
-# TC: Tree: file        2.080000   0.220000   2.300000 (  2.876335)     13.234MB
+# Hash                  0.850000   0.170000   1.020000 (  1.050703)     46.957MB
+# groonga: Hash: memory 1.080000   0.180000   1.260000 (  1.251981)     30.152MB
+# groonga: Trie: memory 1.300000   0.120000   1.420000 (  1.429549)     22.199MB
+# groonga: Hash: file   1.070000   0.190000   1.260000 (  1.276910)     30.156MB
+# groonga: Trie: file   1.280000   0.150000   1.430000 (  1.423066)     22.203MB
+# Localmemcache: file   1.320000   0.150000   1.470000 (  1.497013)     45.984MB
+# TC: Hash: memory      0.940000   0.250000   1.190000 (  1.248141)     48.758MB
+# TC: Tree: memory      0.890000   0.140000   1.030000 (  1.067693)     37.270MB
+# TC: Hash: file        1.740000   2.390000   4.130000 (  4.141555)      8.848MB
+# TC: Tree: file        1.290000   0.180000   1.470000 (  1.476853)     12.805MB
 #
-# Ruby: Debian GNU/Linux sid at 2009/05/16:
-#       ruby 1.8.7 (2008-08-11 patchlevel 72) [x86_64-linux]
-# groonga: HEAD at 2009/05/16: ed49074fbc217b97c0b0b8d675f2417f9490c87e
-# Ruby/Groonga: trunk at 2009/05/16: r321
-# Localmemcache: HEAD at 2009/05/16: 6f8cfbd3a103c2be8d54834a65deb096d7cda34f
-# Tokyo Cabinet: 1.4.20
-# Tokyo Cabinet Ruby: 1.23
+# CPU: Intel(R) Core(TM)2 Duo 2.33GHz
+# Memory: 2GB
+# Ruby: Debian GNU/Linux sid at 2009/07/14:
+#       ruby 1.8.7 (2009-06-12 patchlevel 174) [x86_64-linux]
+# groonga: HEAD at 2009/07/14: fdaf58df5dd0195c10624eabee3e3f522f4af3f9
+# Ruby/Groonga: trunk at 2009/07/14: r479
+# Localmemcache: HEAD at 2009/07/14: 3121629016344dfd10f7533ca8ec68a0006cca21
+# Tokyo Cabinet: 1.4.29
+# Tokyo Cabinet Ruby: 1.27
 #
-# NOTE: All C source codes are built with "-g -O0"
-# option. They will be more faster with "-O2" option.
+# NOTE:
+# * groonga, Localmemcache and Tokyo Cabinet are built with "-O3" option.
+# * Ruby bindings of them are built with "-O2" option.
 
 require File.join(File.dirname(__FILE__), "common.rb")
 
@@ -99,9 +102,9 @@ begin
   require 'localmemcache'
 
   item("Localmemcache: file") do
-    LocalMemCache.drop(:namespace => "read-write-small-many-items",
+    LocalMemCache.drop(:namespace => "read-write-many-small-items",
                        :force => true)
-    @db = LocalMemCache.new(:namespace => "read-write-small-many-items")
+    @db = LocalMemCache.new(:namespace => "read-write-many-small-items")
     values.each do |value|
       @db[value] = value
       @db[value]

data/benchmark/{write-small-many-items.rb → write-many-small-items.rb}

@@ -3,30 +3,33 @@
 # This benchmark is based on Tokyo Cabinet's benchmark at
 # http://alpha.mixi.co.jp/blog/?p=791
 #
-# On my environment at 2009/05/16:
-# % for x in {0..9}; do ruby benchmark/write-small-many-items.rb $x; done
+# On my environment at 2009/07/14:
+# % for x in {0..9}; do ruby benchmark/write-many-small-items.rb $x; done
 #                           user     system      total        real        memory
-# Hash                  1.090000   0.180000   1.270000 (  1.565159)     47.090MB
-# groonga: Hash: memory 0.930000   0.140000   1.070000 (  1.364338)     23.473MB
-# groonga: Trie: memory 1.170000   0.120000   1.290000 (  1.601229)     15.480MB
-# groonga: Hash: file   0.980000   0.170000   1.150000 (  1.398126)     23.477MB
-# groonga: Trie: file   1.220000   0.130000   1.350000 (  1.744243)     15.484MB
-# Localmemcache: file   1.100000   0.210000   1.310000 (  1.734014)     39.301MB
-# TC: Hash: memory      0.710000   0.130000   0.840000 (  1.061472)     42.055MB
-# TC: Tree: memory      0.640000   0.150000   0.790000 (  1.040223)     30.566MB
-# TC: Hash: file        1.310000   2.370000   3.680000 (  5.028978)      2.133MB
-# TC: Tree: file        1.030000   0.200000   1.230000 (  1.666725)      6.086MB
+# Hash                  0.650000   0.130000   0.780000 (  0.799843)     46.957MB
+# groonga: Hash: memory 0.650000   0.130000   0.780000 (  0.781058)     23.477MB
+# groonga: Trie: memory 0.690000   0.180000   0.870000 (  0.862132)     15.516MB
+# groonga: Hash: file   0.660000   0.120000   0.780000 (  0.780952)     23.480MB
+# groonga: Trie: file   0.660000   0.190000   0.850000 (  0.867515)     15.520MB
+# Localmemcache: file   0.900000   0.150000   1.050000 (  1.052692)     39.312MB
+# TC: Hash: memory      0.480000   0.150000   0.630000 (  0.636297)     42.062MB
+# TC: Tree: memory      0.440000   0.150000   0.590000 (  0.593117)     30.570MB
+# TC: Hash: file        1.000000   1.820000   2.820000 (  2.989515)      2.160MB
+# TC: Tree: file        0.720000   0.130000   0.850000 (  0.877557)      6.102MB
 #
-# Ruby: Debian GNU/Linux sid at 2009/05/16:
-#       ruby 1.8.7 (2008-08-11 patchlevel 72) [x86_64-linux]
-# groonga: HEAD at 2009/05/16: ed49074fbc217b97c0b0b8d675f2417f9490c87e
-# Ruby/Groonga: trunk at 2009/05/16: r321
-# Localmemcache: HEAD at 2009/05/16: 6f8cfbd3a103c2be8d54834a65deb096d7cda34f
-# Tokyo Cabinet: 1.4.20
-# Tokyo Cabinet Ruby: 1.23
+# CPU: Intel(R) Core(TM)2 Duo 2.33GHz
+# Memory: 2GB
+# Ruby: Debian GNU/Linux sid at 2009/07/14:
+#       ruby 1.8.7 (2009-06-12 patchlevel 174) [x86_64-linux]
+# groonga: HEAD at 2009/07/14: fdaf58df5dd0195c10624eabee3e3f522f4af3f9
+# Ruby/Groonga: trunk at 2009/07/14: r479
+# Localmemcache: HEAD at 2009/07/14: 3121629016344dfd10f7533ca8ec68a0006cca21
+# Tokyo Cabinet: 1.4.29
+# Tokyo Cabinet Ruby: 1.27
 #
-# NOTE: All C source codes are built with "-g -O0"
-# option. They will be more faster with "-O2" option.
+# NOTE:
+# * groonga, Localmemcache and Tokyo Cabinet are built with "-O3" option.
+# * Ruby bindings of them are built with "-O2" option.
 
 require File.join(File.dirname(__FILE__), "common.rb")
 
@@ -94,8 +97,8 @@ begin
   require 'localmemcache'
 
   item("Localmemcache: file") do
-    LocalMemCache.drop(:namespace => "write-small-many-items", :force => true)
-    @db = LocalMemCache.new(:namespace => "write-small-many-items")
+    LocalMemCache.drop(:namespace => "write-many-small-items", :force => true)
+    @db = LocalMemCache.new(:namespace => "write-many-small-items")
     values.each do |value|
       @db[value] = value
     end

data/example/bookmark.rb

@@ -1,14 +1,32 @@
 #!/usr/bin/env ruby
 # -*- coding: utf-8 -*-
 
-require "rubygems"
-require "groonga"
+base_dir = File.join(File.dirname(__FILE__), "..")
+groonga_ext_dir = File.join(base_dir, 'ext')
+groonga_lib_dir = File.join(base_dir, 'lib')
+$LOAD_PATH.unshift(groonga_ext_dir)
+$LOAD_PATH.unshift(groonga_lib_dir)
+
+begin
+  require "groonga"
+rescue LoadError
+  require "rubygems"
+  require "groonga"
+end
 
 $KCODE = "UTF-8"
 Groonga::Context.default_options = {:encoding => :utf8}
 
 path = ARGV[0]
-persistent = !path.nil?
+if path.nil?
+  require 'tmpdir'
+  require 'fileutils'
+  temporary_directory = File.join(Dir.tmpdir, "ruby-groonga")
+  FileUtils.mkdir_p(temporary_directory)
+  at_exit {FileUtils.rm_rf(temporary_directory)}
+  path = File.join(temporary_directory, "db")
+end
+persistent = true
 
 p Groonga::Database.create(:path => path)
 
@@ -79,8 +97,34 @@ p add_bookmark("http://practical-scheme.net/docs/cont-j.html",
                "なんでも継続", "taporobo", "トランポリン LISP continuation",
                1187568692)
 
-terms.column("comment_content").search("LISP").each do |record|
+
+records = comments.select do |record|
+  record["content"] =~ "LISP"
+end
+
+records.each do |record|
+  record = record.key
+  p [record.id,
+     record[".issued"],
+     record[".item.title"],
+     record[".author.name"],
+     record[".content"]]
+end
+
+p records
+
+records.sort([{:key => ".issued", :order => "descending"}]).each do |record|
   record = record.key
-  p [record[".issued"], record[".item.title"], record[".author.name"],
+  p [record.id,
+     record[".issued"],
+     record[".item.title"],
+     record[".author.name"],
      record[".content"]]
 end
+
+records.group([".item"]).each do |record|
+  item = record.key
+  p [record[".:nsubrecs"],
+     item.key,
+     item[".title"]]
+end