rroonga 2.0.8-x86-mingw32 → 2.1.0-x86-mingw32

data/example/bookmark.rb

@@ -135,7 +135,7 @@ end
 p records
 
 records.sort([{:key => "issued", :order => "descending"}]).each do |record|
-  comment = record.key
+  comment = record.value
   p [comment.id,
      comment.issued,
      comment.item.title,

data/ext/groonga/rb-grn-database.c

@@ -234,18 +234,16 @@ rb_grn_database_s_create (int argc, VALUE *argv, VALUE klass)
  * る。
  *
  * @overload new(path, options=nil)
- *   @param options [::Hash] The name and value
- *     pairs. Omitted names are initialized as the default value.
- *   @option options :context (Groonga::Context.default)
- *     データベースを結びつけるコンテキスト。省略すると
- *     {Groonga::Context.default} を利用する。
+ *   @!macro [new] database.new.arguments
+ *     @param options [::Hash] The name and value
+ *       pairs. Omitted names are initialized as the default value.
+ *     @option options :context (Groonga::Context.default)
+ *       データベースを結びつけるコンテキスト。省略すると
+ *       {Groonga::Context.default} を利用する。
+ *   @!macro database.new.arguments
  *   @return [Groonga::Database]
  * @overload new(path, options=nil)
- *   @param options [::Hash] The name and value
- *     pairs. Omitted names are initialized as the default value.
- *   @option options :context (Groonga::Context.default)
- *     データベースを結びつけるコンテキスト。省略すると
- *     {Groonga::Context.default} を利用する。
+ *   @!macro database.new.arguments
  *   @yield [database]
  *   @yieldparam [Groonga::Database] database 開いたデータベース
  */
@@ -290,13 +288,14 @@ rb_grn_database_initialize (int argc, VALUE *argv, VALUE self)
  *   @return [Groonga::Database]
  *   @param options [::Hash] The name and value
  *     pairs. Omitted names are initialized as the default value.
- *   @option options :context (Groonga::Context.default) The context
- *     データベースを結びつけるコンテキスト。
+ *   @!macro [new] database.open.context
+ *     @option options :context (Groonga::Context.default) The context
+ *       データベースを結びつけるコンテキスト。
+ *   @!macro database.open.context
  * @overload open(path, options=nil)
  *   @param options [::Hash] The name and value
  *     pairs. Omitted names are initialized as the default value.
- *   @option options :context (Groonga::Context.default) The context
- *     データベースを結びつけるコンテキスト。
+ *   @!macro database.open.context
  *   @yield [database]
  *   @yieldparam [Groonga::Database] database 開いたデータベース
  */
@@ -442,18 +441,16 @@ rb_grn_database_unlock (VALUE self)
  * {Groonga::ResourceDeadlockAvoided} 例外が発生する。
  *
  * @overload lock(options={})
- *   @param [::Hash] options 利用可能なオプションは以下の通り。
- *   @option options :timeout
- *     ロックを獲得できなかった場合は _:timeout_ 秒間ロックの獲
- *     得を試みる。 _:timeout_ 秒以内にロックを獲得できなかった
- *     場合は例外が発生する。
+ *   @!macro [new] database.lock.arguments
+ *     @param [::Hash] options 利用可能なオプションは以下の通り。
+ *     @option options :timeout
+ *       ロックを獲得できなかった場合は _:timeout_ 秒間ロックの獲
+ *       得を試みる。 _:timeout_ 秒以内にロックを獲得できなかった
+ *       場合は例外が発生する。
+ *   @!macro database.lock.arguments
  * @overload lock(options={})
  *   @yield ブロックを指定した場合はブロックを抜けたときにunlockする。
- *   @param [::Hash] options 利用可能なオプションは以下の通り。
- *   @option options :timeout
- *     ロックを獲得できなかった場合は _:timeout_秒間ロックの獲
- *     得を試みる。 _:timeout_秒以内にロックを獲得できなかった
- *     場合は例外が発生する。
+ *   @!macro database.lock.arguments
  */
 static VALUE
 rb_grn_database_lock (int argc, VALUE *argv, VALUE self)

data/ext/groonga/rb-grn-double-array-trie.c

@@ -112,8 +112,12 @@ VALUE rb_cGrnDoubleArrayTrie;
  *       場合は自動的にパスが付加される。 +:context+ で指定した
  *       {Groonga::Context} に結びついているデータベースが一時デー
  *       タベースの場合は例外が発生する。
- *     @option options :key_normalize
- *       +true+ を指定するとキーを正規化する。
+ *
+ *     @option options :key_normalize (false) Keys are normalized
+ *       if this value is @true@.
+ *
+ *       @deprecated Use @:normalizer => "NormalizerAuto"@ instead.
+ *
  *     @option options :key_with_sis
  *       +true+ を指定するとキーの文字列の全suffixが自動的に登
  *       録される。
@@ -145,10 +149,17 @@ VALUE rb_cGrnDoubleArrayTrie;
  *       デフォルトでは何も設定されていないので、テーブルに
  *       {Groonga::IndexColumn} を定義する場合は
  *       @"TokenBigram"@ などを指定する必要がある。
+ *
  *     @option options :sub_records
  *       +true+ を指定すると {#group} でグループ化したときに、
  *       {Groonga::Record#n_sub_records} でグループに含まれるレコー
  *       ドの件数を取得できる。
+ *
+ *     @option options [String, Groonga::Procedure, nil] :normalizer
+ *       The normalizer that is used by {Groonga::IndexColumn}. You
+ *       can specify this by normalizer name as String such as
+ *       @"NormalizerAuto"@ or normalizer object.
+ *
  *   @!macro double-array-trie.create.options
  * @overload create(options={})
  *   @yield [table]
@@ -167,6 +178,7 @@ rb_grn_double_array_trie_s_create (int argc, VALUE *argv, VALUE klass)
     VALUE rb_key_normalize, rb_key_with_sis, rb_key_type;
     VALUE rb_value_type;
     VALUE rb_default_tokenizer, rb_sub_records;
+    VALUE rb_normalizer;
 
     rb_scan_args(argc, argv, "01", &options);
 
@@ -181,6 +193,7 @@ rb_grn_double_array_trie_s_create (int argc, VALUE *argv, VALUE klass)
 			"value_type", &rb_value_type,
 			"default_tokenizer", &rb_default_tokenizer,
 			"sub_records", &rb_sub_records,
+			"normalizer", &rb_normalizer,
 			NULL);
 
     context = rb_grn_context_ensure(&rb_context);
@@ -227,6 +240,10 @@ rb_grn_double_array_trie_s_create (int argc, VALUE *argv, VALUE klass)
 	rb_funcall(rb_table, rb_intern("default_tokenizer="), 1,
 		   rb_default_tokenizer);
 
+    if (!NIL_P(rb_normalizer))
+	rb_funcall(rb_table, rb_intern("normalizer="), 1,
+		   rb_normalizer);
+
     if (rb_block_given_p())
         return rb_ensure(rb_yield, rb_table, rb_grn_object_close, rb_table);
     else
@@ -427,64 +444,39 @@ rb_grn_double_array_trie_open_grn_prefix_cursor (int argc, VALUE *argv,
  *
  * @overload open_prefix_cursor(prefix, options={})
  *   @return [Groonga::DoubleArrayTrieCursor]
- *   @param [String] prefix 前方一致させる値
- *   @param options [::Hash] The name and value
- *     pairs. Omitted names are initialized as the default value.
- *   @option options :key_bytes
- *    _prefix_ のサイズ（byte）
- *   @option options :key_bits
- *    _prefix_ のサイズ（bit）
- *   @option options :offset
- *     該当する範囲のレコードのうち、(0ベースで) _:offset_ 番目
- *     からレコードを取り出す。
- *   @option options :limit
- *     該当する範囲のレコードのうち、 _:limit_ 件のみを取り出す。
- *     省略された場合または-1が指定された場合は、全件が指定され
- *     たものとみなす。
- *   @option options :order
- *     +:asc+ または +:ascending+ を指定すると昇順にレコードを取
- *     り出す。
- *     +:desc+ または +:descending+ を指定すると降順にレコードを
- *     取り出す。
- *   @option options :order_by (:id)
- *     +:id+ を指定するとID順にレコードを取り出す。（デフォルト）
- *     +:key+指定するとキー順にレコードを取り出す。
- *   @option options :greater_than
- *     +true+ を指定すると _prefix_ で指定した値に一致した [ +key+ ] を
- *     範囲に含まない。
- *   @option options :less_than
- *     +true+ を指定すると _prefix_ で指定した値に一致した [ +key+ ] を
- *     範囲に含まない。
+ *   @!macro [new] double_array_trie.open_prefix_cursor.arguments
+ *     @param [String] prefix 前方一致させる値
+ *     @param options [::Hash] The name and value
+ *       pairs. Omitted names are initialized as the default value.
+ *     @option options :key_bytes
+ *      _prefix_ のサイズ（byte）
+ *     @option options :key_bits
+ *      _prefix_ のサイズ（bit）
+ *     @option options :offset
+ *       該当する範囲のレコードのうち、(0ベースで) _:offset_ 番目
+ *       からレコードを取り出す。
+ *     @option options :limit
+ *       該当する範囲のレコードのうち、 _:limit_ 件のみを取り出す。
+ *       省略された場合または-1が指定された場合は、全件が指定され
+ *       たものとみなす。
+ *     @option options :order
+ *       +:asc+ または +:ascending+ を指定すると昇順にレコードを取
+ *       り出す。
+ *       +:desc+ または +:descending+ を指定すると降順にレコードを
+ *       取り出す。
+ *     @option options :order_by (:id)
+ *       +:id+ を指定するとID順にレコードを取り出す。（デフォルト）
+ *       +:key+指定するとキー順にレコードを取り出す。
+ *     @option options :greater_than
+ *       +true+ を指定すると _prefix_ で指定した値に一致した [ +key+ ] を
+ *       範囲に含まない。
+ *     @option options :less_than
+ *       +true+ を指定すると _prefix_ で指定した値に一致した [ +key+ ] を
+ *       範囲に含まない。
+ *   @!macro double_array_trie.open_prefix_cursor.arguments
  * @overload open_prefix_cursor(prefix, options={})
  *   @yield [cursor]
- *   @param [String] prefix 前方一致させる値
- *   @param options [::Hash] The name and value
- *     pairs. Omitted names are initialized as the default value.
- *   @option options :key_bytes
- *    _prefix_ のサイズ（byte）
- *   @option options :key_bits
- *    _prefix_ のサイズ（bit）
- *   @option options :offset
- *     該当する範囲のレコードのうち、(0ベースで) _:offset_ 番目
- *     からレコードを取り出す。
- *   @option options :limit
- *     該当する範囲のレコードのうち、 _:limit_ 件のみを取り出す。
- *     省略された場合または-1が指定された場合は、全件が指定され
- *     たものとみなす。
- *   @option options :order
- *     +:asc+ または +:ascending+ を指定すると昇順にレコードを取
- *     り出す。
- *     +:desc+ または +:descending+ を指定すると降順にレコードを
- *     取り出す。
- *   @option options :order_by (:id)
- *     +:id+ を指定するとID順にレコードを取り出す。（デフォルト）
- *     +:key+指定するとキー順にレコードを取り出す。
- *   @option options :greater_than
- *     +true+ を指定すると _prefix_ で指定した値に一致した [ +key+ ] を
- *     範囲に含まない。
- *   @option options :less_than
- *     +true+ を指定すると _prefix_ で指定した値に一致した [ +key+ ] を
- *     範囲に含まない。
+ *   @!macro double_array_trie.open_prefix_cursor.arguments
  */
 static VALUE
 rb_grn_double_array_trie_open_prefix_cursor (int argc, VALUE *argv, VALUE self)

data/ext/groonga/rb-grn-exception.c

@@ -1,6 +1,6 @@
 /* -*- coding: utf-8; c-file-style: "ruby" -*- */
 /*
-  Copyright (C) 2009-2010  Kouhei Sutou <kou@clear-code.com>
+  Copyright (C) 2009-2012  Kouhei Sutou <kou@clear-code.com>
 
   This library is free software; you can redistribute it and/or
   modify it under the terms of the GNU Lesser General Public
@@ -94,6 +94,7 @@ static VALUE eGrnTooLargeOffset;
 static VALUE eGrnTooSmallLimit;
 static VALUE eGrnCASError;
 static VALUE eGrnUnsupportedCommandVersion;
+static VALUE eGrnNormalizerError;
 
 VALUE
 rb_grn_rc_to_exception (grn_rc rc)
@@ -320,6 +321,9 @@ rb_grn_rc_to_exception (grn_rc rc)
       case GRN_UNSUPPORTED_COMMAND_VERSION:
         exception = eGrnUnsupportedCommandVersion;
         break;
+      case GRN_NORMALIZER_ERROR:
+        exception = eGrnNormalizerError;
+        break;
     }
 
     if (NIL_P(exception))
@@ -553,6 +557,9 @@ rb_grn_rc_to_message (grn_rc rc)
       case GRN_UNSUPPORTED_COMMAND_VERSION:
         message = "unsupported command version";
         break;
+      case GRN_NORMALIZER_ERROR:
+        message = "normalizer error";
+        break;
     }
 
     if (!message)
@@ -1192,4 +1199,14 @@ rb_grn_init_exception (VALUE mGrn)
      */
     eGrnUnsupportedCommandVersion =
 	rb_define_class_under(mGrn, "UnsupportedCommandVersion", rb_eGrnError);
+
+    /*
+     * Document-class: Groonga::NormalizerError
+     *
+     * It is used when a normalizer causes an error.
+     *
+     * @since 2.1.0
+     */
+    eGrnNormalizerError =
+	rb_define_class_under(mGrn, "NormalizerError", rb_eGrnError);
 }

data/ext/groonga/rb-grn-hash.c

@@ -1,6 +1,6 @@
 /* -*- coding: utf-8; c-file-style: "ruby" -*- */
 /*
-  Copyright (C) 2009  Kouhei Sutou <kou@clear-code.com>
+  Copyright (C) 2009-2012  Kouhei Sutou <kou@clear-code.com>
 
   This library is free software; you can redistribute it and/or
   modify it under the terms of the GNU Lesser General Public
@@ -97,8 +97,12 @@ VALUE rb_cGrnHash;
  *       場合は自動的にパスが付加される。 +:context+ で指定した
  *       {Groonga::Context} に結びついているデータベースが一時デー
  *       タベースの場合は例外が発生する。
- *     @option options :key_normalize
- *       +true+ を指定するとキーを正規化する。
+ *
+ *     @option options :key_normalize (false) Keys are normalized
+ *       if this value is @true@.
+ *
+ *       @deprecated Use @:normalizer => "NormalizerAuto"@ instead.
+ *
  *     @option options :key_type
  *       キーの種類を示すオブジェクトを指定する。キーの種類には型
  *       名（"Int32"や"ShortText"など）または {Groonga::Type} または
@@ -131,6 +135,12 @@ VALUE rb_cGrnHash;
  *       +true+ を指定すると {#group} でグループ化したときに、
  *       {Groonga::Record#n_sub_records} でグループに含まれるレコー
  *       ドの件数を取得できる。
+ *
+ *     @option options [String, Groonga::Procedure, nil] :normalizer
+ *       The normalizer that is used by {Groonga::IndexColumn}. You
+ *       can specify this by normalizer name as String such as
+ *       @"NormalizerAuto"@ or normalizer object.
+ *
  *   @!macro hash.create.options
  * @overload create(options={})
  *   @yield [table]
@@ -148,6 +158,7 @@ rb_grn_hash_s_create (int argc, VALUE *argv, VALUE klass)
     VALUE options, rb_context, rb_name, rb_path, rb_persistent;
     VALUE rb_key_normalize, rb_key_type, rb_value_type, rb_default_tokenizer;
     VALUE rb_sub_records;
+    VALUE rb_normalizer;
 
     rb_scan_args(argc, argv, "01", &options);
 
@@ -161,6 +172,7 @@ rb_grn_hash_s_create (int argc, VALUE *argv, VALUE klass)
 			"value_type", &rb_value_type,
 			"default_tokenizer", &rb_default_tokenizer,
 			"sub_records", &rb_sub_records,
+			"normalizer", &rb_normalizer,
 			NULL);
 
     context = rb_grn_context_ensure(&rb_context);
@@ -203,6 +215,9 @@ rb_grn_hash_s_create (int argc, VALUE *argv, VALUE klass)
     if (!NIL_P(rb_default_tokenizer))
 	rb_funcall(rb_table, rb_intern("default_tokenizer="), 1,
 		   rb_default_tokenizer);
+    if (!NIL_P(rb_normalizer))
+	rb_funcall(rb_table, rb_intern("normalizer="), 1,
+		   rb_normalizer);
 
     if (rb_block_given_p())
         return rb_ensure(rb_yield, rb_table, rb_grn_object_close, rb_table);

data/ext/groonga/rb-grn-index-column.c

@@ -535,8 +535,27 @@ rb_grn_index_column_with_position_p (VALUE self)
     return CBOOL2RVAL(column->header.flags & GRN_OBJ_WITH_POSITION);
 }
 
+/*
+ * Opens cursor to iterate posting in the index column.
+ *
+ * @example
+ *   # TODO
+ *
+ * @overload open_cursor(table_cursor, options={})
+ *   @param [TableCursor] The table cursor for table of the index column.
+ *   @param [::Hash] options
+ *   @option options [Boolean] :with_section (nil)
+ *      Includes section info the posting. It is enabled by default if
+ *      the index column is created with @:with_section@ flag.
+ *   @option options [Boolean] :with_weight (nil)
+ *      Includes weight info the posting. It is enabled by default if
+ *      the index column is created with @:with_weight@ flag.
+ *   @option options [Boolean] :with_position (nil)
+ *      Includes position info the posting. It is enabled by default if
+ *      the index column is created with @:with_position@ flag.
+ */
 static VALUE
-rb_grn_index_column_open_cursor (VALUE self, VALUE rb_table_cursor)
+rb_grn_index_column_open_cursor (int argc, VALUE *argv, VALUE self)
 {
     grn_ctx *context;
     grn_obj *column;
@@ -546,6 +565,9 @@ rb_grn_index_column_open_cursor (VALUE self, VALUE rb_table_cursor)
     grn_id rid_max = GRN_ID_MAX;
     int flags = 0;
     grn_obj *index_cursor;
+    VALUE rb_table_cursor;
+    VALUE options;
+    VALUE rb_with_section, rb_with_weight, rb_with_position;
     VALUE rb_table;
     VALUE rb_lexicon;
     VALUE rb_cursor;
@@ -555,10 +577,36 @@ rb_grn_index_column_open_cursor (VALUE self, VALUE rb_table_cursor)
 				    NULL, NULL,
 				    NULL, &range_object,
 				    NULL, NULL);
+
+    rb_scan_args(argc, argv, "11", &rb_table_cursor, &options);
+    rb_grn_scan_options(options,
+			"with_section", &rb_with_section,
+			"with_weight", &rb_with_weight,
+			"with_position", &rb_with_position,
+			NULL);
+
     table_cursor = RVAL2GRNTABLECURSOR(rb_table_cursor, NULL);
     rb_table = GRNOBJECT2RVAL(Qnil, context, range_object, GRN_FALSE);
     rb_lexicon = rb_iv_get(rb_table_cursor, "@table");
 
+    if (NIL_P(rb_with_section)) {
+	flags |= column->header.flags & GRN_OBJ_WITH_SECTION;
+    } else if (RVAL2CBOOL(rb_with_section)) {
+	flags |= GRN_OBJ_WITH_SECTION;
+    }
+
+    if (NIL_P(rb_with_weight)) {
+	flags |= column->header.flags & GRN_OBJ_WITH_WEIGHT;
+    } else if (RVAL2CBOOL(rb_with_weight)) {
+	flags |= GRN_OBJ_WITH_WEIGHT;
+    }
+
+    if (NIL_P(rb_with_position)) {
+	flags |= column->header.flags & GRN_OBJ_WITH_POSITION;
+    } else if (RVAL2CBOOL(rb_with_position)) {
+	flags |= GRN_OBJ_WITH_POSITION;
+    }
+
     index_cursor = grn_index_cursor_open(context, table_cursor,
 					 column, rid_min, rid_max, flags);
 
@@ -596,5 +644,5 @@ rb_grn_init_index_column (VALUE mGrn)
     rb_define_method(rb_cGrnIndexColumn, "with_position?",
 		     rb_grn_index_column_with_position_p, 0);
     rb_define_method(rb_cGrnIndexColumn, "open_cursor",
-		     rb_grn_index_column_open_cursor, 1);
+		     rb_grn_index_column_open_cursor, -1);
 }

data/ext/groonga/rb-grn-normalizer.c

@@ -0,0 +1,83 @@
+/* -*- coding: utf-8; c-file-style: "ruby" -*- */
+/*
+  Copyright (C) 2012  Kouhei Sutou <kou@clear-code.com>
+
+  This library is free software; you can redistribute it and/or
+  modify it under the terms of the GNU Lesser General Public
+  License version 2.1 as published by the Free Software Foundation.
+
+  This library is distributed in the hope that it will be useful,
+  but WITHOUT ANY WARRANTY; without even the implied warranty of
+  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+  Lesser General Public License for more details.
+
+  You should have received a copy of the GNU Lesser General Public
+  License along with this library; if not, write to the Free Software
+  Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
+*/
+
+#include "rb-grn.h"
+
+#define SELF(object, context) (RVAL2GRNNORMALIZER(object, context))
+
+VALUE rb_cGrnNormalizer;
+
+/*
+ * Document-class: Groonga::Normalizer < Groonga::Object
+ *
+ * It normalizes string.
+ */
+
+/*
+ * Normalizes the @string@.
+ *
+ * @example
+ *   # Normalizes "ABC" with the default normalizer
+ *   Groonga::Normalizer.normalize("AbC") # => "abc"
+ *
+ * @overload normalize(string)
+ *   @return [String] The normalized string
+ *   @param [String] string The original string
+ */
+static VALUE
+rb_grn_normalizer_s_normalize (VALUE klass, VALUE rb_string)
+{
+    VALUE rb_context = Qnil;
+    VALUE rb_encoded_string;
+    VALUE rb_normalized_string;
+    grn_ctx *context = NULL;
+    grn_obj *grn_string;
+    grn_obj *normalizer = GRN_NORMALIZER_AUTO;
+    /* TODO: make customizable */
+    int flags = GRN_STRING_REMOVE_BLANK;
+    const char *normalized_string;
+    unsigned int normalized_string_length;
+
+    context = rb_grn_context_ensure(&rb_context);
+    rb_encoded_string = rb_grn_context_rb_string_encode(context, rb_string);
+    grn_string = grn_string_open(context,
+				 RSTRING_PTR(rb_encoded_string),
+				 RSTRING_LEN(rb_encoded_string),
+				 normalizer,
+				 flags);
+    rb_grn_context_check(context, rb_string);
+    grn_string_get_normalized(context, grn_string,
+			      &normalized_string, &normalized_string_length,
+			      NULL);
+    rb_normalized_string =
+	rb_grn_context_rb_string_new(context,
+				     normalized_string,
+				     normalized_string_length);
+    grn_obj_close(context, grn_string);
+
+    return rb_normalized_string;
+}
+
+void
+rb_grn_init_normalizer (VALUE mGrn)
+{
+    rb_cGrnNormalizer = rb_define_class_under(mGrn, "Normalizer", rb_cObject);
+
+    rb_define_singleton_method(rb_cGrnNormalizer, "normalize",
+			       rb_grn_normalizer_s_normalize, 1);
+}