rroonga 4.0.0-x86-mingw32 → 4.0.1-x86-mingw32

data/lib/groonga/schema.rb

@@ -470,82 +470,6 @@ module Groonga
         end
       end
 
-      # 名前が_name_のビューを作成する。以下の省略形。
-      #
-      # <pre>
-      # !!!ruby
-      # Groonga::Schema.define do |schema|
-      #   schema.create_view(name, options) do |view|
-      #     # ...
-      #   end
-      # end
-      # </pre>
-      # ブロックには {Groonga::Schema::ViewDefinition} オブジェ
-      # クトがわたるので、そのオブジェクトを利用してビュー
-      # の詳細を定義する。
-      #
-      # @param options [::Hash] The name and value
-      #   pairs. Omitted names are initialized as the default value.
-      # @option options :force The force
-      #
-      #   +true+ を指定すると既存の同名のビューが
-      #   存在していても、強制的にビューを作成する。
-      # @option options :context (Groonga::Context.default) The context
-      #
-      #   スキーマ定義時に使用する {Groonga::Context} を指定する。
-      # @option options :path The path
-      #
-      #   ビューを保存するパスを指定する。
-      #   パスを指定すると永続ビューになる。
-      # @option options :persistent (true) The persistent
-      #
-      #   ビューを永続ビューとする。 +:path:+ を省略した場
-      #   合はパス名は自動的に作成される。デフォルトでは永続
-      #   ビューとなる。
-      def create_view(name, options={}, &block)
-        define do |schema|
-          schema.create_view(name, options, &block)
-        end
-      end
-
-      # 名前が _name_ のテーブルを削除する。
-      #
-      # @param options [::Hash] The name and value
-      #   pairs. Omitted names are initialized as the default value.
-      # @option options :context (Groonga::context.default) The context
-      #   スキーマ定義時に使用する {Groonga::Context} を指定する。
-      def remove_view(name, options={})
-        define do |schema|
-          schema.remove_view(name, options)
-        end
-      end
-
-      # 名前が _name_ のビューを変更する。以下の省略形。
-      #
-      # <pre>
-      # !!!ruby
-      # Groonga::Schema.define do |schema|
-      #   schema.change_view(name, options) do |view|
-      #     # ...
-      #   end
-      # end
-      # </pre>
-      #
-      # ブロックには {Groonga::Schema::ViewDefinition} オブジェ
-      # クトがわたるので、そのオブジェクトを利用してテーブル
-      # の詳細を定義する。
-      #
-      # @param options [::Hash] The name and value
-      #   pairs. Omitted names are initialized as the default value.
-      # @option options :context (Groonga::Context.default) The context
-      #
-      #   スキーマ定義時に使用する {Groonga::Context} を指定する。
-      def change_view(name, options={}, &block)
-        define do |schema|
-          schema.change_view(name, options, &block)
-        end
-      end
-
       # 以下と同様:
       #
       # <pre>
@@ -825,69 +749,6 @@ module Groonga
       @definitions << definition
     end
 
-    # 名前が _name_ のビューを作成する。
-    #
-    # ビューの作成は {#define} を呼び出すまでは実行されないこ
-    # とに注意すること。
-    #
-    # @param options [::Hash] The name and value
-    #   pairs. Omitted names are initialized as the default value.
-    # @option options :force The force
-    #
-    #   +true+ を指定すると既存の同名の
-    #   ビューが存在していても、強制的にビューを作成する。
-    # @option options [Groonga::Context] :context (Groonga::Schema.new) The context
-    #
-    #   スキーマ定義時に使用する {Groonga::Context} を指定する。
-    #   {Groonga::Schema.new} で指定していない場合は
-    #   {Groonga::Context.default} を使用する。
-    # @option options :path The path
-    #
-    #   テーブルを保存するパスを指定する。パスを指定すると
-    #   永続テーブルになる。
-    # @option options :persistent (true) The persistent
-    #
-    #   テーブルを永続テーブルとする。 +:path:+ を省略した場合は
-    #   パス名は自動的に作成される。デフォルトでは永続テーブルとなる。
-    def create_view(name, options={})
-      definition = ViewDefinition.new(name, @options.merge(options || {}))
-      yield(definition)
-      @definitions << definition
-    end
-
-    # 名前が _name_ のビューを削除する。
-    #
-    # ビューの削除は {#define} を呼び出すまでは実行されないことに
-    # 注意すること。
-    #
-    # @param options [::Hash] The name and value
-    #   pairs. Omitted names are initialized as the default value.
-    # @option options [Groonga::Context] :context (Groonga::Context.default)
-    #   The context
-    #
-    #   スキーマ定義時に使用する {Groonga::Context} を指定する。
-    def remove_view(name, options={})
-      definition = ViewRemoveDefinition.new(name, @options.merge(options || {}))
-      @definitions << definition
-    end
-
-    # 名前が _name_ のビューを変更する。
-    #
-    # ビューの変更は {#define} を呼び出すまでは実行されないこ
-    # とに注意すること。
-    #
-    # @param options [::Hash] The name and value
-    #   pairs. Omitted names are initialized as the default value.
-    # @option options :context (Groonga::Context.default) The context
-    #
-    #   スキーマ定義時に使用する {Groonga::Context} を指定する。
-    def change_view(name, options={})
-      options = @options.merge(options || {}).merge(:change => true)
-      definition = ViewDefinition.new(name, options)
-      yield(definition)
-      @definitions << definition
-    end
-
     # 以下と同様:
     #
     # <pre>
@@ -1010,6 +871,11 @@ module Groonga
       #
       #   - :scalar := スカラ値(単独の値)を格納する。
       #   - :vector := 値の配列を格納する。
+      # @option options [Boolean] :with_weight (false)
+      #    It specifies whether making the column weight vector column or not.
+      #    Weight vector column can store weight for each element.
+      #
+      #    You can't use this option for scalar column.
       # @option options :compress
       #
       #   値の圧縮方法を指定する。省略した場合は、圧縮しない。
@@ -1445,7 +1311,7 @@ module Groonga
             target_column_full_name = target_column_full_name.name
           end
           target_table, target_column = target_column_full_name.split(/\./, 2)
-          target_columns = [target_column]
+          target_columns = [target_column].compact
           key = [target_table, target_columns]
         else
           target_table_name = target_table_or_target_column_full_name
@@ -1591,99 +1457,6 @@ module Groonga
       end
     end
 
-    # スキーマ定義時に {Groonga::Schema.create_view} や
-    # {Groonga::Schema#create_view} からブロックに渡されてくる
-    # オブジェクト
-    class ViewDefinition
-      # ビューの名前
-      attr_reader :name
-
-      # @private
-      def initialize(name, options)
-        @name = name
-        @name = @name.to_s if @name.is_a?(Symbol)
-        @tables = []
-        validate_options(options)
-        @options = options
-      end
-
-      # @private
-      def define
-        view = context[@name]
-        if @options[:change]
-          raise TableNotExists.new(@name) if view.nil?
-        else
-          if view and @options[:force]
-            view.remove
-            view = nil
-          end
-          view ||= Groonga::View.create(create_options)
-        end
-        @tables.each do |table|
-          unless table.is_a?(Groonga::Table)
-            table_name = table
-            table = context[table_name]
-            raise TableNotExists.new(table_name) if table.nil?
-          end
-          view.add_table(table)
-        end
-        view
-      end
-
-      # 名前が _table_ のテーブルをビューに追加する。
-      def add(table)
-        table = table.to_s if table.is_a?(Symbol)
-        @tables << table
-        self
-      end
-
-      # @private
-      def context
-        @options[:context] || Groonga::Context.default
-      end
-
-      private
-      # @private
-      AVAILABLE_OPTION_KEYS = [:context, :change, :force,
-                               :path, :persistent, :named_path]
-      # @private
-      def validate_options(options)
-        return if options.nil?
-        unknown_keys = options.keys - AVAILABLE_OPTION_KEYS
-        unless unknown_keys.empty?
-          raise UnknownOptions.new(options, unknown_keys, AVAILABLE_OPTION_KEYS)
-        end
-      end
-
-      # @private
-      def create_options
-        {
-          :name => @name,
-          :path => @options[:path],
-          :persistent => persistent?,
-          :context => context,
-        }
-      end
-
-      # @private
-      def persistent?
-        @options[:persistent].nil? ? true : @options[:persistent]
-      end
-    end
-
-    # @private
-    class ViewRemoveDefinition
-      def initialize(name, options={})
-        @name = name
-        @options = options
-      end
-
-      def define
-        context = @options[:context] || Groonga::Context.default
-        context[@name].remove
-      end
-    end
-
     # @private
     class ColumnDefinition
       include Path
@@ -1729,13 +1502,22 @@ module Groonga
       end
 
       def same_column?(context, column)
-        column.range == resolved_type(context)
+        return false unless column.range == resolved_type(context)
+        if column.scalar?
+          [nil, :scalar].include?(@options[:type])
+        else
+          return false unless @options[:type] == :vector
+          with_weight = @options[:with_weight]
+          with_weight = false if with_weight.nil?
+          column.with_weight? == with_weight
+        end
       end
 
       def define_options(context, table)
         {
           :path => path(context, table),
           :type => @options[:type],
+          :with_weight => @options[:with_weight],
           :compress => @options[:compress],
         }
       end

data/rroonga-build.rb

@@ -19,15 +19,15 @@ module RroongaBuild
   module RequiredGroongaVersion
     MAJOR = 4
     MINOR = 0
-    MICRO = 0
+    MICRO = 1
     VERSION = [MAJOR, MINOR, MICRO]
-    RELEASED_DATE = Time.utc(2014, 2, 9)
+    RELEASED_DATE = Time.utc(2014, 3, 29)
   end
 
   module LatestGroongaVersion
     MAJOR = 4
     MINOR = 0
-    MICRO = 0
+    MICRO = 1
     VERSION = [MAJOR, MINOR, MICRO]
   end
 

data/rroonga.gemspec

@@ -59,7 +59,7 @@ Gem::Specification.new do |s|
   description = clean_white_space.call(entries[entries.index("Description") + 1])
   s.summary, s.description, = description.split(/\n\n+/, 3)
 
-  s.files = ["README.textile", "AUTHORS", "Rakefile", "Gemfile"]
+  s.files = ["README.textile", "AUTHORS", "Rakefile", "Gemfile", ".yardopts"]
   s.files += Dir.glob("doc/text/*.textile")
   s.files += ["#{s.name}.gemspec"]
   s.files += ["rroonga-build.rb", "extconf.rb"]

data/test/test-array.rb

@@ -1,4 +1,4 @@
-# Copyright (C) 2009-2013  Kouhei Sutou <kou@clear-code.com>
+# Copyright (C) 2009-2014  Kouhei Sutou <kou@clear-code.com>
 #
 # This library is free software; you can redistribute it and/or
 # modify it under the terms of the GNU Lesser General Public
@@ -117,11 +117,12 @@ class ArrayTest < Test::Unit::TestCase
     users = Groonga::Array.create(:name => "Users")
     users.define_column("name", "ShortText")
     users.define_column("address", "ShortText")
-    1000.times do |i|
-      users.add(:name => "user #{i}" * 1000,
-                :address => "address #{i}" * 1000)
+    large_data = "x" * (2 ** 16)
+    100.times do |i|
+      users.add(:name => "user #{i}" + large_data,
+                :address => "address #{i}" + large_data)
     end
-    assert_equal(3, users.defrag)
+    assert_equal(2, users.defrag)
   end
 
   def test_rename

data/test/test-column.rb

@@ -93,20 +93,6 @@ class ColumnTest < Test::Unit::TestCase
     assert_equal([@bookmarks_content], @bookmarks_index_content.sources)
   end
 
-  def test_update_index_column
-    groonga = @bookmarks.add
-    groonga["content"] = "<html><body>groonga</body></html>"
-
-    ruby = @bookmarks.add
-    ruby["content"] = "<html><body>ruby</body></html>"
-
-    @bookmarks_index_content[groonga.id] = groonga["content"]
-    @bookmarks_index_content[ruby.id] = ruby["content"]
-
-    assert_content_search([groonga], "groonga")
-    assert_content_search([groonga, ruby], "html")
-  end
-
   def test_range
     assert_equal(context[Groonga::Type::SHORT_TEXT], @bookmarks_uri.range)
     assert_equal(context[Groonga::Type::TEXT], @bookmarks_comment.range)

data/test/test-database.rb

@@ -1,4 +1,4 @@
-# Copyright (C) 2009-2013  Kouhei Sutou <kou@clear-code.com>
+# Copyright (C) 2009-2014  Kouhei Sutou <kou@clear-code.com>
 #
 # This library is free software; you can redistribute it and/or
 # modify it under the terms of the GNU Lesser General Public
@@ -146,11 +146,12 @@ class DatabaseTest < Test::Unit::TestCase
       end
     end
     users = context["Users"]
-    1000.times do |i|
-      users.add(:name => "user #{i}" * 1000,
-                :address => "address #{i}" * 1000)
+    large_data = "x" * (2 ** 16)
+    100.times do |i|
+      users.add(:name => "user #{i}" + large_data,
+                :address => "address #{i}" + large_data)
     end
-    assert_equal(3, @database.defrag)
+    assert_equal(2, @database.defrag)
   end
 
   def test_tables

data/test/test-double-array-trie.rb

@@ -1,6 +1,6 @@
 # -*- coding: utf-8 -*-
 #
-# Copyright (C) 2011-2012  Kouhei Sutou <kou@clear-code.com>
+# Copyright (C) 2011-2014  Kouhei Sutou <kou@clear-code.com>
 #
 # This library is free software; you can redistribute it and/or
 # modify it under the terms of the GNU Lesser General Public
@@ -158,12 +158,13 @@ class DoubleArrayTrieTest < Test::Unit::TestCase
                                             :key_type => "ShortText")
     users.define_column("name", "ShortText")
     users.define_column("address", "ShortText")
-    1000.times do |i|
+    large_data = "x" * (2 ** 16)
+    100.times do |i|
       users.add("user #{i}",
-                :name => "user #{i}" * 1000,
-                :address => "address #{i}" * 1000)
+                :name => "user #{i}" + large_data,
+                :address => "address #{i}" + large_data)
     end
-    assert_equal(3, users.defrag)
+    assert_equal(2, users.defrag)
   end
 
   def test_rename

data/test/test-expression.rb

@@ -37,7 +37,7 @@ class ExpressionTest < Test::Unit::TestCase
 
   def test_get_value
     users = Groonga::Hash.create(:name => "Users")
-    name = users.define_column("name", "ShortText")
+    users.define_column("name", "ShortText")
 
     morita = users.add("morita", :name => "mori daijiro")
 
@@ -51,7 +51,7 @@ class ExpressionTest < Test::Unit::TestCase
 
   def test_get_value_with_variable
     users = Groonga::Hash.create(:name => "Users")
-    name = users.define_column("name", "ShortText")
+    users.define_column("name", "ShortText")
 
     morita = users.add("morita", :name => "mori daijiro")
     gunyara_kun = users.add("gunyara-kun", :name => "Tasuku SUENAGA")

data/test/test-hash.rb

@@ -1,6 +1,6 @@
 # -*- coding: utf-8 -*-
 #
-# Copyright (C) 2009-2013  Kouhei Sutou <kou@clear-code.com>
+# Copyright (C) 2009-2014  Kouhei Sutou <kou@clear-code.com>
 #
 # This library is free software; you can redistribute it and/or
 # modify it under the terms of the GNU Lesser General Public
@@ -367,12 +367,13 @@ class HashTest < Test::Unit::TestCase
                                  :key_type => "ShortText")
     users.define_column("name", "ShortText")
     users.define_column("address", "ShortText")
-    1000.times do |i|
+    large_data = "x" * (2 ** 16)
+    100.times do |i|
       users.add("user #{i}",
-                :name => "user #{i}" * 1000,
-                :address => "address #{i}" * 1000)
+                :name => "user #{i}" + large_data,
+                :address => "address #{i}" + large_data)
     end
-    assert_equal(3, users.defrag)
+    assert_equal(2, users.defrag)
   end
 
   def test_rename

data/test/test-index-column.rb

@@ -1,6 +1,6 @@
 # -*- coding: utf-8 -*-
 #
-# Copyright (C) 2009-2013  Kouhei Sutou <kou@clear-code.com>
+# Copyright (C) 2009-2014  Kouhei Sutou <kou@clear-code.com>
 #
 # This library is free software; you can redistribute it and/or
 # modify it under the terms of the GNU Lesser General Public
@@ -55,40 +55,24 @@ class IndexColumnTest < Test::Unit::TestCase
   class CRUDTest < self
     setup
     def setup_schema
-      @articles = Groonga::Array.create(:name => "Articles")
-      @articles.define_column("content", "Text")
-
-      terms = Groonga::Hash.create(:name => "Terms",
-                                   :key_type => "ShortText",
-                                   :default_tokenizer => "TokenBigram")
-      @index = terms.define_index_column("content", @articles,
-                                         :with_position => true,
-                                         :with_section => true)
-    end
-
-    def test_array_set_with_record
-      content = <<-EOC
-      groonga は組み込み型の全文検索エンジンライブラリです。
-      DBMSやスクリプト言語処理系等に組み込むことによって、その
-      全文検索機能を強化することができます。また、リレーショナ
-      ルモデルに基づくデータストア機能を内包しており、groonga
-      単体でも高速なデータストアサーバとして使用することができ
-      ます。
-
-      ■全文検索方式
-      転置索引型の全文検索エンジンです。転置索引は圧縮されてファ
-      イルに格納され、検索時のディスク読み出し量を小さく、かつ
-      局所的に抑えるように設計されています。用途に応じて以下の
-      索引タイプを選択できます。
-      EOC
-
-      groonga = @articles.add(:content => content)
+      Groonga::Schema.define do |schema|
+        schema.create_table("Articles") do |table|
+          table.text("content")
+        end
 
-      content.split(/\n{2,}/).each_with_index do |sentence, i|
-        @index[groonga] = {:value => sentence, :section => i + 1}
+        schema.create_table("Terms",
+                            :type => :hash,
+                            :key_type => "ShortText",
+                            :default_tokenizer => "TokenBigram") do |table|
+          table.index("Articles.content",
+                      :name => "articles_content",
+                      :with_position => true,
+                      :with_section => true)
+        end
       end
-      assert_equal([groonga],
-                   @index.search("エンジン").collect {|record| record.key})
+
+      @articles = Groonga["Articles"]
+      @index = Groonga["Terms.articles_content"]
     end
 
     def test_add
@@ -365,4 +349,150 @@ class IndexColumnTest < Test::Unit::TestCase
                    @index.disk_usage)
     end
   end
+
+  class SearchTest < self
+    class WeightTest < self
+      def setup
+        super
+        setup_schema
+      end
+
+      def setup_schema
+        Groonga::Schema.define do |schema|
+          schema.create_table("Memos",
+                              :type => :hash,
+                              :key_type => :short_text) do |table|
+            table.short_text("tags",
+                             :type => :vector,
+                             :with_weight => true)
+          end
+
+          schema.create_table("Tags",
+                              :type => :hash,
+                              :key_type => :short_text) do |table|
+            table.index("Memos.tags",
+                        :name => "memos_index",
+                        :with_weight => true)
+          end
+        end
+
+        @memos = context["Memos"]
+        @index = context["Tags.memos_index"]
+      end
+
+      def search(keyword, options={})
+        @index.search(keyword, options).collect do |record|
+          {
+            :key => record._key,
+            :score => record.score,
+          }
+        end
+      end
+
+      def test_index
+        record = @memos.add("Rroonga is fun!")
+        record.tags = [
+          {
+            :value => "rroonga",
+            :weight => 9,
+          }
+        ]
+
+        expected = [
+          {
+            :key => "Rroonga is fun!",
+            :score => 10,
+          }
+        ]
+        assert_equal(expected, search("rroonga"))
+      end
+
+      def test_search
+        record = @memos.add("Rroonga is fun!")
+        record.tags = [
+          {
+            :value => "rroonga",
+          }
+        ]
+
+        expected = [
+          {
+            :key => "Rroonga is fun!",
+            :score => 5,
+          }
+        ]
+        assert_equal(expected, search("rroonga", :weight => 5))
+      end
+
+      def test_index_and_search
+        record = @memos.add("Rroonga is fun!")
+        record.tags = [
+          {
+            :value => "rroonga",
+            :weight => 9,
+          }
+        ]
+
+        expected = [
+          {
+            :key => "Rroonga is fun!",
+            :score => 50
+          }
+        ]
+        assert_equal(expected, search("rroonga", :weight => 5))
+      end
+    end
+
+    class OperatorTest < self
+      def setup
+        super
+        setup_schema
+      end
+
+      def setup_schema
+        Groonga::Schema.define do |schema|
+          schema.create_table("Memos",
+                              :type => :hash,
+                              :key_type => :short_text) do |table|
+            table.short_text("tags", :type => :vector)
+          end
+
+          schema.create_table("Tags",
+                              :type => :hash,
+                              :key_type => :short_text) do |table|
+            table.index("Memos.tags",
+                        :name => "memos_index")
+          end
+        end
+
+        @memos = context["Memos"]
+        @index = context["Tags.memos_index"]
+      end
+
+      def test_adjust
+        @memos.add("Rroonga is fun!", :tags => ["rroonga", "groonga"])
+        @memos.add("Groonga is fast!", :tags => ["groonga"])
+
+        result = @index.search("groonga")
+        @index.search("rroonga", :result => result, :operator => :adjust)
+        expected = [
+          {
+            :key => "Rroonga is fun!",
+            :score => 2,
+          },
+          {
+            :key => "Groonga is fast!",
+            :score => 1,
+          }
+        ]
+        actual = result.collect do |record|
+          {
+            :key => record._key,
+            :score => record.score,
+          }
+        end
+        assert_equal(expected, actual)
+      end
+    end
+  end
 end