groonga 0.0.6 → 0.0.7

data/AUTHORS

@@ -1 +1,5 @@
 Kouhei Sutou <kou@clear-code.com>
+Tasuku SUENAGA <a@razil.jp>
+daijiro <morita@razil.jp>
+Yuto HAYAMIZU <y.hayamizu@gmail.com>
+SHIDARA Yoji <dara@shidara.net>

data/NEWS.ja.rdoc

@@ -1,5 +1,15 @@
 = お知らせ
 
+== 0.0.7: 2009-10-02
+
+* groonga 0.1.4対応
+* APIの追加
+  * Groonga::PatriciaTrie#scan
+  * Groonga::PatriciaTrie#tag_keys
+  * Groonga::Expression#snippet
+  * Groonga::Object#append
+  * Groonga::Object#prepend
+
 == 0.0.6: 2009-07-31
 
 * groonga 0.1.1対応

data/NEWS.rdoc

@@ -1,5 +1,15 @@
 = NEWS
 
+== 0.0.7: 2009-10-02
+
+* Supported groonga 0.1.4
+* Added API
+  * Groonga::PatriciaTrie#scan
+  * Groonga::PatriciaTrie#tag_keys
+  * Groonga::Expression#snippet
+  * Groonga::Object#append
+  * Groonga::Object#prepend
+
 == 0.0.6: 2009-07-31
 
 * Supported groonga 0.1.1.

data/README.ja.rdoc

@@ -20,7 +20,11 @@ groongaに関する情報は以下を参照して下さい。
 
 == 作者
 
-Kouhei Sutou: <tt><kou@clear-code.com></tt>
+Kouhei Sutou:: <tt><kou@clear-code.com></tt>
+Tasuku SUENAGA:: <tt><a@razil.jp></tt>
+daijiro:: <tt><morita@razil.jp></tt>
+Yuto HAYAMIZU:: <tt><y.hayamizu@gmail.com></tt>
+SHIDARA Yoji:: <tt><dara@shidara.net></tt>
 
 == ライセンス
 
@@ -32,7 +36,7 @@ pkg-config.rbはrcairoに付属しているもので、これはRubyライセ
 == 依存ソフトウェア
 
 * Ruby >= 1.8 （1.9.1対応）
-* groonga >= 0.1.1
+* groonga >= 0.1.4
 
 == インストール
 
@@ -53,5 +57,7 @@ http://lists.sourceforge.jp/mailman/listinfo/groonga-dev
 * 森さん: 最新groonga対応パッチをくれました。
 * グニャラくん: バグレポートしてくれました。
 * にくさん: バグレポートしてくれました。
-* daraさん: テストを書いてくれました。
+* daraさん:
+  * テストを書いてくれました。
+  * バグを直してくれました。
 * id:mat_akiさん: チュートリアルのバグを教えてくれました。

data/README.rdoc

@@ -18,9 +18,13 @@ See the following URL about groonga.
 
 * groonga: http://groonga.org/
 
-== Author
+== Authors
 
-Kouhei Sutou: <tt><kou@clear-code.com></tt>
+Kouhei Sutou:: <tt><kou@clear-code.com></tt>
+Tasuku SUENAGA:: <tt><a@razil.jp></tt>
+daijiro:: <tt><morita@razil.jp></tt>
+Yuto HAYAMIZU:: <tt><y.hayamizu@gmail.com></tt>
+SHIDARA Yoji:: <tt><dara@shidara.net></tt>
 
 == License
 
@@ -33,7 +37,7 @@ license/GPL for details.
 == Dependencies
 
 * Ruby >= 1.8 (including 1.9.1)
-* groonga >= 0.1.1
+* groonga >= 0.1.4
 
 == Install
 
@@ -54,5 +58,7 @@ http://rubyforge.org/mailman/listinfo/groonga-users-en
 * mori: sent patches to support the latest groonga.
 * Tasuku SUENAGA: sent bug reports.
 * niku: sent bug reports.
-* dara: wrote tests.
+* dara:
+  * wrote tests.
+  * fixed bugs.
 * id:mat_aki: sent bug reports.

data/Rakefile

@@ -54,7 +54,7 @@ base_dir_included_components = %w(AUTHORS Rakefile
                                   TUTORIAL.ja.rdoc
                                   extconf.rb pkg-config.rb)
 excluded_components = %w(.cvsignore .gdb_history CVS depend Makefile pkg
-                         .svn .git doc vendor .test-result)
+                         .svn .git doc vendor data .test-result)
 excluded_suffixes = %w(.png .ps .pdf .o .so .a .txt .~)
 Find.find(base_dir) do |target|
   target = truncate_base_dir[target]

data/TUTORIAL.ja.rdoc

@@ -53,7 +53,7 @@ groongaには以下の3種類のテーブルがあります。
 ここではハッシュテーブルを利用して、<tt><items></tt>という名前のテー
 ブルを作成します。
 
-  >> items = Groonga::Hash.create(:name => "<items>", :persistent => true)
+  >> items = Groonga::Hash.create(:name => "<items>")
   => #<Groonga::Hash ...>
 
 
@@ -93,7 +93,7 @@ groongaには以下の3種類のテーブルがあります。
 
 まず<tt><items></tt>テーブルに+title+という名前のカラムを追加します。
 
-  >> title_column = items.define_column("title", "<text>", :persistent => true)
+  >> title_column = items.define_column("title", "<text>")
   => #<Groonga::VarSizeColumn ...>
 
 2番目の引数は、追加するカラムのデータ型を示しています。
@@ -106,7 +106,6 @@ groongaには以下の3種類のテーブルがあります。
 
   >> terms = Groonga::Hash.create(:name => "<terms>",
                                   :key_type => "<shorttext>",
-                                  :persistent => true,
                                   :default_tokenizer => "<token:bigram>")
   => #<Groonga::Hash ...>
 
@@ -126,7 +125,6 @@ N-gramを利用した全文検索では、分解したN文字とその出現位
 ルの+title+カラムに対するインデックスを定義します。
 
   >> title_index_column = terms.define_index_column("item_title", items,
-						    :persistent => true,
 						    :source => "<items>.title")
   => #<Groonga::IndexColumn ...>
 
@@ -187,8 +185,7 @@ http://qwik.jp/senna/senna2.files/rect4605.png
 
 次に、<tt><comments></tt>テーブルを追加します。
 
-  >> comments = Groonga::Array.create(:name => "<comments>",
-                                      :key_type => "<shorttext>")
+  >> comments = Groonga::Array.create(:name => "<comments>")
   => #<Groonga::Array ...>
   >> comments.define_column("item", items)
   => #<Groonga::FixSizeColumn ..>

data/example/bookmark.rb

@@ -107,7 +107,7 @@ p add_bookmark("http://d.hatena.ne.jp/higepon/20070815/1187192864",
                "末尾再帰", "taporobo", "末尾再帰 Scheme LISP", 1187568793)
 p add_bookmark("http://practical-scheme.net/docs/cont-j.html",
                "なんでも継続", "taporobo", "トランポリン LISP continuation",
-               1187568692)
+               1187568692.98765)
 p add_bookmark("http://jp.rubyist.net/managinze",
                "るびま", "moritan", "Ruby ドキュメント",
                Time.now)

data/example/search/config.ru

@@ -71,8 +71,8 @@ EOF
     request['query'] || ''
   end
 
-  def words(request)
-    query(request).split
+  def page(request)
+    (request['page'] || 0).to_i
   end
 
   def render_search_box(request, response)
@@ -88,8 +88,10 @@ EOF
   end
 
   def render_search_result(request, response)
-    _words = words(request)
-    if _words.empty?
+    _query = query(request)
+    _page = page(request)
+    limit = 20
+    if _query.empty?
       records = []
       response.write(<<-EOS)
   <div class='search-summary'>
@@ -97,25 +99,16 @@ EOF
   </div>
 EOS
     else
-      offset = 0
       options = {}
       before = Time.now
       records = @documents.select do |record|
-        expression = nil
-        _words.each do |word|
-          sub_expression = record["content"] =~ word
-          if expression.nil?
-            expression = sub_expression
-          else
-            expression &= sub_expression
-          end
-        end
-        expression
+        record["content"].match(_query)
       end
       total_records = records.size
       records = records.sort([[".:score", "descending"],
                               [".last-modified", "descending"]],
-                             :limit => 20)
+                             :offset => _page * limit,
+                             :limit => limit)
       elapsed = Time.now - before
 
       response.write(<<-EOS)
@@ -124,9 +117,9 @@ EOS
       <span class="keyword">#{escape_html(query(request))}</span>の検索結果:
       <span class="total-entries">#{total_records}</span>件中
       <span class="display-range">
-        #{total_records.zero? ? 0 : offset + 1}
+        #{total_records.zero? ? 0 : _page + 1}
         -
-        #{offset + records.size}
+        #{_page + records.size}
       </span>
       件（#{elapsed}秒）
     </p>
@@ -139,6 +132,8 @@ EOS
       render_record(request, response, record)
     end
     response.write("  </div>\n")
+
+    # render_pagination(request, response, _page, limit)
   end
 
   def render_record(request, response, record)
@@ -160,16 +155,11 @@ EOM
   end
 
   def render_snippet(request, response, record)
-    open_tag = "<span class=\"keyword\">"
-    close_tag = "</span>"
-    snippet = Groonga::Snippet.new(:width => 100,
-                                   :default_open_tag => open_tag,
-                                   :default_close_tag => close_tag,
-                                   :html_escape => true,
-                                   :normalize => true)
-    words(request).each do |word|
-      snippet.add_keyword(word)
-    end
+    expression = record.table.expression
+    snippet = expression.snippet([["<span class=\"keyword\">", "</span>"]],
+                                 :width => 100,
+                                 :html_escape => true,
+                                 :normalize => true)
     separator = "\n<span class='separator'>...</span>\n"
     response.write(<<-EOS)
       <p class="snippet">
@@ -177,6 +167,40 @@ EOM
       </p>
 EOS
   end
+
+  def render_pagination(request, response, page, limit)
+    _query = query(request)
+    return if _query.empty?
+
+    total_records = @documents.size
+    return if total_records < limit
+
+    last_page = total_records / limit
+    response.write("<div class='pagination'>\n")
+    if page > 0
+      render_pagination_link(request, response, _query, page - 1, "<<")
+    end
+    last_page.times do |i|
+      if i == page
+        response.write(pagination_span(escape_html(i)))
+      else
+        render_pagination_link(request, response, _query, i, i)
+      end
+    end
+    if page < last_page
+      render_pagination_link(request, response, _query, page + 1, ">>")
+    end
+    response.write("</div>\n")
+  end
+
+  def render_pagination_link(request, response, query, page, label)
+    href = "./?query=#{escape_html(query)};page=#{escape_html(page)}"
+    response.write(pagination_span("<a href='#{href}'>#{label}</a>"))
+  end
+
+  def pagination_span(content)
+    "<span class='pagination-link'>#{content}</span>\n"
+  end
 end
 
 run Searcher.new

data/ext/rb-grn-column.c

@@ -167,33 +167,37 @@ rb_grn_column_select (int argc, VALUE *argv, VALUE self)
     grn_ctx *context;
     grn_obj *table, *column, *result, *expression;
     grn_operator operator = GRN_OP_OR;
-    grn_rc rc;
     VALUE options;
-    VALUE rb_query, rb_name, rb_operator, rb_result;
-    char *name = NULL, *query;
-    unsigned name_size = 0, query_size;
+    VALUE rb_query, rb_query_or_options, rb_name, rb_operator, rb_result;
+    VALUE builder;
+    VALUE rb_expression;
+    
+    rb_query = Qnil;
 
-    rb_scan_args(argc, argv, "11", &rb_query, &options);
-
-    query = StringValueCStr(rb_query);
-    query_size = RSTRING_LEN(rb_query);
+    rb_scan_args(argc, argv, "02", &rb_query_or_options, &options);
 
     rb_grn_column_deconstruct(SELF(self), &column, &context,
 			      NULL, NULL,
 			      NULL, NULL, NULL);
     table = grn_column_table(context, column);
 
+    if (RVAL2CBOOL(rb_obj_is_kind_of(rb_query_or_options, rb_cString))) {
+        rb_query = rb_query_or_options;
+    } else {
+        if (!NIL_P(options))
+            rb_raise(rb_eArgError,
+		     "should be [query_string, option_hash] "
+		     "or [option_hash]: %s",
+		     rb_grn_inspect(rb_ary_new4(argc, argv)));
+        options = rb_query_or_options;
+    }
+    
     rb_grn_scan_options(options,
 			"operator", &rb_operator,
 			"result", &rb_result,
 			"name", &rb_name,
 			NULL);
 
-    if (!NIL_P(rb_name)) {
-	name = StringValueCStr(rb_name);
-	name_size = RSTRING_LEN(rb_name);
-    }
-
     if (!NIL_P(rb_operator))
 	operator = NUM2INT(rb_operator);
 
@@ -207,12 +211,14 @@ rb_grn_column_select (int argc, VALUE *argv, VALUE self)
 	result = RVAL2GRNTABLE(rb_result, &context);
     }
 
-    expression = grn_expr_create_from_str(context, name, name_size,
-					  query, query_size,
-					  table, column);
-    rc = grn_table_select(context, table, expression, result, operator);
+    builder = rb_grn_column_expression_builder_new(self, rb_name, rb_query);
+    rb_expression = rb_grn_column_expression_builder_build(builder);
+    rb_grn_object_deconstruct(RB_GRN_OBJECT(DATA_PTR(rb_expression)),
+                              &expression, NULL,
+                              NULL, NULL, NULL, NULL);
+
+    grn_table_select(context, table, expression, result, operator);
     rb_grn_context_check(context, self);
-    rb_grn_rc_check(rc, self);
 
     return rb_result;
 }

data/ext/rb-grn-context.c

@@ -53,7 +53,23 @@ rb_grn_context_from_ruby_object (VALUE object)
     Data_Get_Struct(object, RbGrnContext, rb_grn_context);
     if (!rb_grn_context)
 	rb_raise(rb_eGrnError, "groonga context is NULL");
-    return &(rb_grn_context->context);
+    return rb_grn_context->context;
+}
+
+void
+rb_grn_context_fin (grn_ctx *context)
+{
+    grn_obj *database;
+
+    if (context->stat == GRN_CTX_FIN)
+	return;
+
+    database = grn_ctx_db(context);
+    debug("context:database: %p:%p\n", context, database);
+    if (database && database->header.type == GRN_DB) {
+	grn_obj_close(context, database);
+    }
+    grn_ctx_fin(context);
 }
 
 static void
@@ -62,22 +78,12 @@ rb_grn_context_free (void *pointer)
     RbGrnContext *rb_grn_context = pointer;
     grn_ctx *context;
 
-    context = &(rb_grn_context->context);
+    context = rb_grn_context->context;
     debug("context-free: %p\n", context);
-    if (context->stat != GRN_CTX_FIN) {
-	grn_obj *database;
-
-	database = grn_ctx_db(context);
-	debug("context:database: %p:%p\n", context, database);
-	if (database && database->header.type == GRN_DB) {
-	    grn_obj_close(context, database);
-	}
-	grn_ctx_fin(context);
-    }
+    if (!rb_grn_exited)
+	rb_grn_context_fin(context);
     debug("context-free: %p: done\n", context);
     xfree(rb_grn_context);
-
-    GRN_CTX_USER_DATA(context)->ptr = NULL;
 }
 
 static VALUE
@@ -142,6 +148,34 @@ rb_grn_context_ensure (VALUE *context)
     return SELF(*context);
 }
 
+VALUE
+rb_grn_context_rb_string_new (grn_ctx *context, const char *string, long length)
+{
+    if (length < 0)
+	length = strlen(string);
+#ifdef HAVE_RUBY_ENCODING_H
+    return rb_enc_str_new(string, length,
+			  rb_grn_encoding_to_ruby_encoding(context->encoding));
+#else
+    return rb_str_new(string, length);
+#endif
+}
+
+VALUE
+rb_grn_context_rb_string_encode (grn_ctx *context, VALUE rb_string)
+{
+#ifdef HAVE_RUBY_ENCODING_H
+    rb_encoding *encoding, *to_encode;
+
+    encoding = rb_enc_get(rb_string);
+    to_encode = rb_grn_encoding_to_ruby_encoding(context->encoding);
+    if (rb_enc_to_index(encoding) != rb_enc_to_index(to_encode))
+	rb_string = rb_str_encode(rb_string, rb_enc_from_encoding(to_encode),
+				  0, Qnil);
+#endif
+    return rb_string;
+}
+
 /*
  * call-seq:
  *   Groonga::Context.default -> Groonga::Context
@@ -233,7 +267,6 @@ rb_grn_context_initialize (int argc, VALUE *argv, VALUE self)
     RbGrnContext *rb_grn_context;
     grn_ctx *context;
     int flags = 0;
-    grn_rc rc;
     VALUE options, default_options;
     VALUE rb_encoding;
 
@@ -252,8 +285,7 @@ rb_grn_context_initialize (int argc, VALUE *argv, VALUE self)
 
     rb_grn_context = ALLOC(RbGrnContext);
     DATA_PTR(self) = rb_grn_context;
-    context = &(rb_grn_context->context);
-    rc = grn_ctx_init(context, flags);
+    context = rb_grn_context->context = grn_ctx_open(flags);
     rb_grn_context_check(context, self);
 
     GRN_CTX_USER_DATA(context)->ptr = rb_grn_context;
@@ -351,6 +383,108 @@ rb_grn_context_get_database (VALUE self)
     return GRNDB2RVAL(context, grn_ctx_db(context), RB_GRN_FALSE);
 }
 
+/*
+ * call-seq:
+ *   context.connect(options=nil)
+ *
+ * groongaサーバに接続する。_options_に指定可能な値は以下の通
+ * り。
+ *
+ * [+:host+]
+ *   groongaサーバのホスト名。またはIPアドレス。省略すると
+ *   "localhost"に接続する。
+ *
+ * [+:port+]
+ *   groongaサーバのポート番号。省略すると10041番ポートに接
+ *   続する。
+ */
+static VALUE
+rb_grn_context_connect (int argc, VALUE *argv, VALUE self)
+{
+    grn_ctx *context;
+    char *host;
+    int port;
+    int flags = 0;
+    grn_rc rc;
+    VALUE options, rb_host, rb_port;
+
+    rb_scan_args(argc, argv, "01", &options);
+    rb_grn_scan_options(options,
+			"host", &rb_host,
+			"port", &rb_port,
+			NULL);
+
+    context = SELF(self);
+
+    if (NIL_P(rb_host)) {
+	host = "localhost";
+    } else {
+	host = StringValueCStr(rb_host);
+    }
+
+    if (NIL_P(rb_port)) {
+	port = 10041;
+    } else {
+	port = NUM2INT(rb_port);
+    }
+
+    rc = grn_ctx_connect(context, host, port, flags);
+    rb_grn_context_check(context, self);
+    rb_grn_rc_check(rc, self);
+
+    return Qnil;
+}
+
+/*
+ * call-seq:
+ *   context.send(string) -> ID
+ *
+ * groongaサーバにクエリ文字列を送信する。
+ *
+ * 実験的: APIが変わる可能性があります。
+ */
+static VALUE
+rb_grn_context_send (VALUE self, VALUE rb_string)
+{
+    grn_ctx *context;
+    char *string;
+    unsigned int string_size;
+    int flags = 0;
+    unsigned int query_id;
+
+    context = SELF(self);
+    string = StringValuePtr(rb_string);
+    string_size = RSTRING_LEN(rb_string);
+    query_id = grn_ctx_send(context, string, string_size, flags);
+    rb_grn_context_check(context, self);
+
+    return UINT2NUM(query_id);
+}
+
+/*
+ * call-seq:
+ *   context.receive -> [ID, String]
+ *
+ * groongaサーバからクエリ実行結果文字列を受信する。
+ *
+ * 実験的: APIが変わる可能性があります。
+ */
+static VALUE
+rb_grn_context_receive (VALUE self)
+{
+    grn_ctx *context;
+    char *string;
+    unsigned string_size;
+    int flags = 0;
+    unsigned int query_id;
+
+    context = SELF(self);
+    query_id = grn_ctx_recv(context, &string, &string_size, &flags);
+    rb_grn_context_check(context, self);
+
+    return rb_ary_new3(2, UINT2NUM(query_id), rb_str_new(string, string_size));
+}
+
 static const char *
 grn_type_name_old_to_new (const char *name, unsigned int name_size)
 {
@@ -472,6 +606,14 @@ rb_grn_context_array_reference (VALUE self, VALUE name_or_id)
     return GRNOBJECT2RVAL(Qnil, context, object, RB_GRN_FALSE);
 }
 
+static VALUE
+rb_grn_context_pop (VALUE self)
+{
+    grn_ctx *context;
+    context = SELF(self);
+    return GRNOBJ2RVAL(Qnil, context, grn_ctx_pop(context), self);
+}
+
 void
 rb_grn_init_context (VALUE mGrn)
 {
@@ -500,4 +642,10 @@ rb_grn_init_context (VALUE mGrn)
     rb_define_method(cGrnContext, "database", rb_grn_context_get_database, 0);
 
     rb_define_method(cGrnContext, "[]", rb_grn_context_array_reference, 1);
+
+    rb_define_method(cGrnContext, "pop", rb_grn_context_pop, 0);
+
+    rb_define_method(cGrnContext, "connect", rb_grn_context_connect, -1);
+    rb_define_method(cGrnContext, "send", rb_grn_context_send, 1);
+    rb_define_method(cGrnContext, "receive", rb_grn_context_receive, 0);
 }