rroonga 4.0.0 → 4.0.1

data/ext/groonga/rb-grn.h

@@ -84,7 +84,7 @@ RB_GRN_BEGIN_DECLS
 
 #define RB_GRN_MAJOR_VERSION 4
 #define RB_GRN_MINOR_VERSION 0
-#define RB_GRN_MICRO_VERSION 0
+#define RB_GRN_MICRO_VERSION 1
 
 #define RB_GRN_QUERY_DEFAULT_MAX_EXPRESSIONS 32
 
@@ -96,6 +96,7 @@ RB_GRN_BEGIN_DECLS
 #define RB_GRN_TABLE_KEY_SUPPORT(object) ((RbGrnTableKeySupport *)(object))
 #define RB_GRN_TABLE_CURSOR(object) ((RbGrnTableCursort *)(object))
 #define RB_GRN_COLUMN(object) ((RbGrnColumn *)(object))
+#define RB_GRN_VARIABLE_SIZE_COLUMN(object) ((RbGrnVariableSizeColumn *)(object))
 #define RB_GRN_INDEX_COLUMN(object) ((RbGrnIndexColumn *)(object))
 #define RB_GRN_ACCESSOR(object) ((RbGrnAccessor *)(object))
 #define RB_GRN_EXPRESSION(object) ((RbGrnExpression *)(object))
@@ -159,11 +160,19 @@ struct _RbGrnColumn
     grn_obj *value;
 };
 
+typedef struct _RbGrnVariableSizeColumn RbGrnVariableSizeColumn;
+struct _RbGrnVariableSizeColumn
+{
+    RbGrnColumn parent;
+    grn_obj *element_value;
+};
+
 typedef struct _RbGrnIndexColumn RbGrnIndexColumn;
 struct _RbGrnIndexColumn
 {
     RbGrnColumn parent;
     grn_obj *old_value;
+    grn_obj *set_value;
     grn_obj *id_query;
     grn_obj *string_query;
 };
@@ -490,6 +499,13 @@ void           rb_grn_column_deconstruct            (RbGrnColumn *rb_grn_column,
                                                      grn_id *range_id,
                                                      grn_obj **range);
 
+void           rb_grn_variable_size_column_bind     (RbGrnVariableSizeColumn *rb_grn_column,
+                                                     grn_ctx *context,
+                                                     grn_obj *column);
+void           rb_grn_variable_size_column_finalizer(grn_ctx *context,
+                                                     grn_obj *column,
+                                                     RbGrnVariableSizeColumn *rb_grn_column);
+
 void           rb_grn_index_column_bind             (RbGrnIndexColumn *rb_grn_index_column,
                                                      grn_ctx *context,
                                                      grn_obj *object);
@@ -503,6 +519,7 @@ void           rb_grn_index_column_deconstruct      (RbGrnIndexColumn *rb_grn_in
                                                      grn_obj **domain,
                                                      grn_obj **value,
                                                      grn_obj **old_value,
+                                                     grn_obj **set_value,
                                                      grn_id *range_id,
                                                      grn_obj **range,
                                                      grn_obj **id_query,

data/lib/groonga/dumper.rb

@@ -395,10 +395,6 @@ module Groonga
         return nil if normalizer.nil?
         normalizer.name
       end
-
-      def default_normalizer?(normalizer_name)
-        normalizer_name == "NormalizerAuto"
-      end
     end
 
     # @private
@@ -418,15 +414,12 @@ module Groonga
           end
           if table.domain
             parameters << ":key_type => #{table.domain.name.dump}"
-            if default_normalizer?(_normalizer_name)
-              parameters << ":key_normalize => true"
-            end
           end
           default_tokenizer = table.default_tokenizer
           if default_tokenizer
             parameters << ":default_tokenizer => #{default_tokenizer.name.dump}"
           end
-          if _normalizer_name and not default_normalizer?(_normalizer_name)
+          if _normalizer_name
             parameters << ":normalizer => #{_normalizer_name.dump}"
           end
         end
@@ -460,9 +453,11 @@ module Groonga
         name = column.local_name
         reference = column.range
         options = column_options(column)
-        arguments = [dump_object(name),
-                     dump_object(reference.name),
-                     options].compact.join(", ")
+        arguments = [
+          dump_object(name),
+          dump_object(reference.name),
+          options,
+        ].compact.join(", ")
         write("  table.reference(#{arguments})\n")
       end
 
@@ -477,9 +472,17 @@ module Groonga
           end
           dump_object(name)
         end.join(", ")
-        arguments = [dump_object(target_table_name),
-                     sources.size == 1 ? source_names : "[#{source_names}]",
-                     ":name => #{dump_object(column.local_name)}"]
+        options = {
+          :name => column.local_name,
+        }
+        options[:with_section]  = true if column.with_section?
+        options[:with_weight]   = true if column.with_weight?
+        options[:with_position] = true if column.with_position?
+        arguments = [
+          dump_object(target_table_name),
+          sources.size == 1 ? source_names : "[#{source_names}]",
+          dump_options(options),
+        ]
         write("  table.index(#{arguments.join(', ')})\n")
       end
 
@@ -514,15 +517,19 @@ module Groonga
       def column_options(column)
         options = {}
         options[:type] = :vector if column.vector?
+        options[:with_weight] = true if column.with_weight?
         return nil if options.empty?
 
-        dumped_options = ""
-        options.each do |key, value|
+        dump_options(options)
+      end
+
+      def dump_options(options)
+        dumped_options = options.collect do |key, value|
           dumped_key = dump_object(key)
           dumped_value = dump_object(value)
-          dumped_options << "#{dumped_key} => #{dumped_value}"
+          "#{dumped_key} => #{dumped_value}"
         end
-        dumped_options
+        dumped_options.join(", ")
       end
 
       def dump_object(object)
@@ -552,7 +559,6 @@ module Groonga
           flags << "TABLE_DAT_KEY"
         end
         if table.domain
-          flags << "KEY_NORMALIZE" if default_normalizer?(_normalizer_name)
           if table.is_a?(Groonga::PatriciaTrie) and table.register_key_with_sis?
             flags << "KEY_WITH_SIS"
           end
@@ -570,7 +576,7 @@ module Groonga
             parameters << "--default_tokenizer #{default_tokenizer.name}"
           end
         end
-        if _normalizer_name and not default_normalizer?(_normalizer_name)
+        if _normalizer_name
           parameters << "--normalizer #{_normalizer_name}"
         end
         write("table_create #{table.name} #{parameters.join(' ')}\n")
@@ -595,6 +601,7 @@ module Groonga
         elsif column.vector?
           flags << "COLUMN_VECTOR"
         end
+        flags << "WITH_WEIGHT" if column.with_weight?
         # TODO: support COMPRESS_ZLIB and COMPRESS_LZO?
         parameters << "#{flags.join('|')}"
         parameters << "#{column.range.name}"
@@ -687,8 +694,12 @@ module Groonga
     def resolve_value(record, column, value)
       case value
       when ::Array
-        value.collect do |v|
-          resolve_value(record, column, v)
+        if column.vector? and column.with_weight?
+          resolve_weight_vector_value(record, column, value)
+        else
+          value.collect do |v|
+            resolve_value(record, column, v)
+          end
         end
       when Groonga::Record
         if value.support_key?
@@ -726,6 +737,19 @@ module Groonga
       end
     end
 
+    def resolve_weight_vector_value(record, column, entries)
+      resolved_weight_vector_entries = {}
+      sorted_entries = entries.sort_by do |entry|
+        entry[:value]
+      end
+      sorted_entries.each do |entry|
+        resolved_value = resolve_value(record, column, entry[:value])
+        resolved_weight = resolve_value(record, column, entry[:weight])
+        resolved_weight_vector_entries[resolved_value] = resolved_weight
+      end
+      resolved_weight_vector_entries
+    end
+
     def fix_encoding(value)
       if value.encoding == ::Encoding::ASCII_8BIT
         value.force_encoding(@table.context.ruby_encoding)

data/lib/groonga/expression-builder.rb

@@ -79,10 +79,8 @@ module Groonga
         end
       end
 
-      if builders.empty? or builders == [self]
-        expression.append_constant(1)
-        expression.append_constant(1)
-        expression.append_operation(Groonga::Operation::OR, 2)
+      if builders.empty?
+        expression.append_constant(true)
       else
         combined_builder = builders.inject(nil) do |previous, builder|
           if previous.nil?

data/lib/groonga/schema.rb

@@ -470,82 +470,6 @@ module Groonga
         end
       end
 
-      # 名前が_name_のビューを作成する。以下の省略形。
-      #
-      # <pre>
-      # !!!ruby
-      # Groonga::Schema.define do |schema|
-      #   schema.create_view(name, options) do |view|
-      #     # ...
-      #   end
-      # end
-      # </pre>
-      # ブロックには {Groonga::Schema::ViewDefinition} オブジェ
-      # クトがわたるので、そのオブジェクトを利用してビュー
-      # の詳細を定義する。
-      #
-      # @param options [::Hash] The name and value
-      #   pairs. Omitted names are initialized as the default value.
-      # @option options :force The force
-      #
-      #   +true+ を指定すると既存の同名のビューが
-      #   存在していても、強制的にビューを作成する。
-      # @option options :context (Groonga::Context.default) The context
-      #
-      #   スキーマ定義時に使用する {Groonga::Context} を指定する。
-      # @option options :path The path
-      #
-      #   ビューを保存するパスを指定する。
-      #   パスを指定すると永続ビューになる。
-      # @option options :persistent (true) The persistent
-      #
-      #   ビューを永続ビューとする。 +:path:+ を省略した場
-      #   合はパス名は自動的に作成される。デフォルトでは永続
-      #   ビューとなる。
-      def create_view(name, options={}, &block)
-        define do |schema|
-          schema.create_view(name, options, &block)
-        end
-      end
-
-      # 名前が _name_ のテーブルを削除する。
-      #
-      # @param options [::Hash] The name and value
-      #   pairs. Omitted names are initialized as the default value.
-      # @option options :context (Groonga::context.default) The context
-      #   スキーマ定義時に使用する {Groonga::Context} を指定する。
-      def remove_view(name, options={})
-        define do |schema|
-          schema.remove_view(name, options)
-        end
-      end
-
-      # 名前が _name_ のビューを変更する。以下の省略形。
-      #
-      # <pre>
-      # !!!ruby
-      # Groonga::Schema.define do |schema|
-      #   schema.change_view(name, options) do |view|
-      #     # ...
-      #   end
-      # end
-      # </pre>
-      #
-      # ブロックには {Groonga::Schema::ViewDefinition} オブジェ
-      # クトがわたるので、そのオブジェクトを利用してテーブル
-      # の詳細を定義する。
-      #
-      # @param options [::Hash] The name and value
-      #   pairs. Omitted names are initialized as the default value.
-      # @option options :context (Groonga::Context.default) The context
-      #
-      #   スキーマ定義時に使用する {Groonga::Context} を指定する。
-      def change_view(name, options={}, &block)
-        define do |schema|
-          schema.change_view(name, options, &block)
-        end
-      end
-
       # 以下と同様:
       #
       # <pre>
@@ -825,69 +749,6 @@ module Groonga
       @definitions << definition
     end
 
-    # 名前が _name_ のビューを作成する。
-    #
-    # ビューの作成は {#define} を呼び出すまでは実行されないこ
-    # とに注意すること。
-    #
-    # @param options [::Hash] The name and value
-    #   pairs. Omitted names are initialized as the default value.
-    # @option options :force The force
-    #
-    #   +true+ を指定すると既存の同名の
-    #   ビューが存在していても、強制的にビューを作成する。
-    # @option options [Groonga::Context] :context (Groonga::Schema.new) The context
-    #
-    #   スキーマ定義時に使用する {Groonga::Context} を指定する。
-    #   {Groonga::Schema.new} で指定していない場合は
-    #   {Groonga::Context.default} を使用する。
-    # @option options :path The path
-    #
-    #   テーブルを保存するパスを指定する。パスを指定すると
-    #   永続テーブルになる。
-    # @option options :persistent (true) The persistent
-    #
-    #   テーブルを永続テーブルとする。 +:path:+ を省略した場合は
-    #   パス名は自動的に作成される。デフォルトでは永続テーブルとなる。
-    def create_view(name, options={})
-      definition = ViewDefinition.new(name, @options.merge(options || {}))
-      yield(definition)
-      @definitions << definition
-    end
-
-    # 名前が _name_ のビューを削除する。
-    #
-    # ビューの削除は {#define} を呼び出すまでは実行されないことに
-    # 注意すること。
-    #
-    # @param options [::Hash] The name and value
-    #   pairs. Omitted names are initialized as the default value.
-    # @option options [Groonga::Context] :context (Groonga::Context.default)
-    #   The context
-    #
-    #   スキーマ定義時に使用する {Groonga::Context} を指定する。
-    def remove_view(name, options={})
-      definition = ViewRemoveDefinition.new(name, @options.merge(options || {}))
-      @definitions << definition
-    end
-
-    # 名前が _name_ のビューを変更する。
-    #
-    # ビューの変更は {#define} を呼び出すまでは実行されないこ
-    # とに注意すること。
-    #
-    # @param options [::Hash] The name and value
-    #   pairs. Omitted names are initialized as the default value.
-    # @option options :context (Groonga::Context.default) The context
-    #
-    #   スキーマ定義時に使用する {Groonga::Context} を指定する。
-    def change_view(name, options={})
-      options = @options.merge(options || {}).merge(:change => true)
-      definition = ViewDefinition.new(name, options)
-      yield(definition)
-      @definitions << definition
-    end
-
     # 以下と同様:
     #
     # <pre>
@@ -1010,6 +871,11 @@ module Groonga
       #
       #   - :scalar := スカラ値(単独の値)を格納する。
       #   - :vector := 値の配列を格納する。
+      # @option options [Boolean] :with_weight (false)
+      #    It specifies whether making the column weight vector column or not.
+      #    Weight vector column can store weight for each element.
+      #
+      #    You can't use this option for scalar column.
       # @option options :compress
       #
       #   値の圧縮方法を指定する。省略した場合は、圧縮しない。
@@ -1445,7 +1311,7 @@ module Groonga
             target_column_full_name = target_column_full_name.name
           end
           target_table, target_column = target_column_full_name.split(/\./, 2)
-          target_columns = [target_column]
+          target_columns = [target_column].compact
           key = [target_table, target_columns]
         else
           target_table_name = target_table_or_target_column_full_name
@@ -1591,99 +1457,6 @@ module Groonga
       end
     end
 
-    # スキーマ定義時に {Groonga::Schema.create_view} や
-    # {Groonga::Schema#create_view} からブロックに渡されてくる
-    # オブジェクト
-    class ViewDefinition
-      # ビューの名前
-      attr_reader :name
-
-      # @private
-      def initialize(name, options)
-        @name = name
-        @name = @name.to_s if @name.is_a?(Symbol)
-        @tables = []
-        validate_options(options)
-        @options = options
-      end
-
-      # @private
-      def define
-        view = context[@name]
-        if @options[:change]
-          raise TableNotExists.new(@name) if view.nil?
-        else
-          if view and @options[:force]
-            view.remove
-            view = nil
-          end
-          view ||= Groonga::View.create(create_options)
-        end
-        @tables.each do |table|
-          unless table.is_a?(Groonga::Table)
-            table_name = table
-            table = context[table_name]
-            raise TableNotExists.new(table_name) if table.nil?
-          end
-          view.add_table(table)
-        end
-        view
-      end
-
-      # 名前が _table_ のテーブルをビューに追加する。
-      def add(table)
-        table = table.to_s if table.is_a?(Symbol)
-        @tables << table
-        self
-      end
-
-      # @private
-      def context
-        @options[:context] || Groonga::Context.default
-      end
-
-      private
-      # @private
-      AVAILABLE_OPTION_KEYS = [:context, :change, :force,
-                               :path, :persistent, :named_path]
-      # @private
-      def validate_options(options)
-        return if options.nil?
-        unknown_keys = options.keys - AVAILABLE_OPTION_KEYS
-        unless unknown_keys.empty?
-          raise UnknownOptions.new(options, unknown_keys, AVAILABLE_OPTION_KEYS)
-        end
-      end
-
-      # @private
-      def create_options
-        {
-          :name => @name,
-          :path => @options[:path],
-          :persistent => persistent?,
-          :context => context,
-        }
-      end
-
-      # @private
-      def persistent?
-        @options[:persistent].nil? ? true : @options[:persistent]
-      end
-    end
-
-    # @private
-    class ViewRemoveDefinition
-      def initialize(name, options={})
-        @name = name
-        @options = options
-      end
-
-      def define
-        context = @options[:context] || Groonga::Context.default
-        context[@name].remove
-      end
-    end
-
     # @private
     class ColumnDefinition
       include Path
@@ -1729,13 +1502,22 @@ module Groonga
       end
 
       def same_column?(context, column)
-        column.range == resolved_type(context)
+        return false unless column.range == resolved_type(context)
+        if column.scalar?
+          [nil, :scalar].include?(@options[:type])
+        else
+          return false unless @options[:type] == :vector
+          with_weight = @options[:with_weight]
+          with_weight = false if with_weight.nil?
+          column.with_weight? == with_weight
+        end
       end
 
       def define_options(context, table)
         {
           :path => path(context, table),
           :type => @options[:type],
+          :with_weight => @options[:with_weight],
           :compress => @options[:compress],
         }
       end