gren 0.2.1 → 0.2.2

data/History.txt

@@ -1,3 +1,14 @@
+=== 0.2.2 2010/09/14
+
+* mkgrendb
+  * 複数引数に対応
+  * 引数に、.rb, .yamlどちらを渡しても正しく動作するように
+  * --ddb, --defaultオプションを追加 (GRENDB_DEFAULT_DBで指定されているデータベースを更新)
+  * --dump    データベースの中身をダンプする
+  * --full    データベースを一度削除してから再構築
+  * --delete  データベースを削除(yamlは消さない)
+  * ファイルのタイムスタンプを比較して、すでに更新されているものは再生成しないように
+
 === 0.2.1 2010/09/13
 
 * デフォルトのignoreファイル追加 .d, .map, .MAP

data/bin/mkgrendb

@@ -7,5 +7,5 @@ require 'rubygems'
 require File.expand_path(File.dirname(__FILE__) + "/../lib/gren")
 require "mkgrendb/cli"
 
-Version = "0.2.1"
+Version = "0.2.2"
 Mkgrendb::CLI.execute(STDOUT, ARGV)

data/lib/gren.rb

@@ -2,5 +2,5 @@ $:.unshift(File.dirname(__FILE__)) unless
   $:.include?(File.dirname(__FILE__)) || $:.include?(File.expand_path(File.dirname(__FILE__)))
 
 module Gren
-  VERSION = '0.2.1'
+  VERSION = '0.2.2'
 end

data/lib/mkgrendb/cli.rb

@@ -5,13 +5,38 @@ require File.join(File.dirname(__FILE__), 'mkgrendb')
 module Mkgrendb
   class CLI
     def self.execute(stdout, arguments=[])
+      input_yamls = []
+      isDump = false
+      isFull = false
+      isDelete = false
+
       opt = OptionParser.new "#{File.basename($0)} INPUT_YAML1 [INPUT_YAML2 ...]"
+      opt.on('--ddb', "--default-db", "Create or Update default DB. (Plase set ENV['GRENDB_DEFAULT_DB'])") {|v| input_yamls << ENV['GRENDB_DEFAULT_DB']}
+      opt.on('--full', "Full update DB. (Delete and create)") {|v| isFull = true }
+      opt.on('--delete', "Delete DB. (Not delete yaml)") {|v| isDelete = true }
+      opt.on('--dump', "Dump DB.") {|v| isDump = true }
       opt.parse!(arguments)
 
-      if (arguments.size >= 1)
-        # @todo 複数個引数に対応
-        obj = Mkgrendb.new(arguments[0])
-        obj.update
+      input_yamls.concat arguments
+
+      if (input_yamls.size >= 1)
+        input_yamls.each do |input_yaml|
+          obj = Mkgrendb.new(input_yaml)
+          
+          if (isFull)
+            obj.full
+            stdout.puts
+          elsif (isDelete)
+            obj.delete
+            stdout.puts
+          elsif (isDump)
+            obj.dump
+          else
+            obj.update
+            stdout.puts
+          end
+
+        end
       else
         stdout.puts opt.help
       end

data/lib/mkgrendb/mkgrendb.rb

@@ -1,34 +1,52 @@
 # -*- coding: utf-8 -*-
 
 require 'yaml'
-
 require 'pathname'
-
-base_directory = Pathname(__FILE__).dirname + ".."
-$LOAD_PATH.unshift((base_directory + "ext").to_s)
-$LOAD_PATH.unshift((base_directory + "lib").to_s)
-
 require 'rubygems'
 require 'groonga'
-
 require File.join(File.dirname(__FILE__), '../common/grenfiletest')
 
 module Mkgrendb
   class Mkgrendb
-    def initialize(input_yaml)
-      @output_db = input_yaml.sub(/\.yaml$/, ".db")
-      @src = YAML.load(open(input_yaml).read())
-      db_create(@output_db)
+    def initialize(input)
+      @input_yaml = input.sub(/\.db$/, ".yaml")
+      @output_db = input.sub(/\.yaml$/, ".db")
+      puts "input_yaml : #{@input_yaml} found."
+      @src = YAML.load(open(@input_yaml).read())
+      @file_count = 0
     end
 
     def update
+      db_create(@output_db)
       db_open(@output_db)
-      
       @src["directory"].each do |dir|
         db_add_dir(File.expand_path(dir))
       end
     end
 
+    def delete
+      db_delete(@output_db)
+    end
+
+    def full
+      delete
+      update
+    end
+
+    def dump()
+      db_open(@output_db)
+
+      documents = Groonga::Context.default["documents"]
+      records = documents.select
+      records.each do |record|
+        puts "path : #{record.path}"
+        puts "timestamp : #{record.timestamp.strftime('%Y/%m/%d %H:%M:%S')}"
+        puts "content :", record.content[0..64]
+        puts
+      end
+
+    end
+
     def db_create(filename)
       dbfile = Pathname(File.expand_path(filename))
       dbdir = dbfile.dirname
@@ -40,6 +58,7 @@ module Mkgrendb
           schema.create_table("documents") do |table|
             table.string("path")
             table.text("content")
+            table.time("timestamp")
           end
 
           schema.create_table("terms",
@@ -48,23 +67,33 @@ module Mkgrendb
                               :default_tokenizer => "TokenBigram") do |table|
             table.index("documents.path")
             table.index("documents.content")
+            table.index("documents.timestamp")
           end
         end
-        puts "create  : #{dbfile.to_s} created."
+        puts "create     : #{filename} created."
       else
-        puts "message : #{dbfile.to_s} already exist."
+        puts "message    : #{filename} already exist."
       end
     end
     private :db_create
+
+    def db_delete(filename)
+      raise "Illegal file name : #{filename}." unless filename =~ /\.db$/
+      Dir.glob("#{filename}*").each do |f|
+        puts "delete     : #{f}"
+        File.unlink(f)
+      end
+    end
+    private :db_delete
       
     def db_open(filename)
       dbfile = Pathname(File.expand_path(filename))
       
       if dbfile.exist?
         Groonga::Database.open(dbfile.to_s)
-        puts "open    : #{dbfile} open."
+        puts  "open       : #{dbfile} open."
       else
-        raise "error    : #{dbfile.to_s} not found!!"
+        raise "error      : #{dbfile.to_s} not found!!"
       end
     end
     private :db_open
@@ -78,25 +107,43 @@ module Mkgrendb
       # 格納するデータ
       values = {
         :path => filename,
-        :content => open(filename).read
+        :content => nil,
+        :timestamp => File.mtime(filename),
       }
       
-      # 既に登録されているファイルならばそれを上書き、そうでなければ新規レコードを作成
+      # 検索するデータベース
       documents = Groonga::Context.default["documents"]
+      
+      # 既に登録されているファイルならばそれを上書き、そうでなければ新規レコードを作成
       _documents = documents.select do |record|
         record["path"] == values[:path]
       end
       
+      isNewFile = false
+
       if _documents.size.zero?
         document = documents.add
+        isNewFile = true
       else
         document = _documents.to_a[0].key
       end
       
-      # データベースに格納
-      values.each do |key, value|
-        puts value if (key == :path)
-        document[key] = value
+      # タイムスタンプが新しければデータベースに格納
+      if (document[:timestamp] < values[:timestamp])
+        # 実際に使うタイミングでファイルの内容を読み込み
+        values[:content] = open(filename).read
+        
+        # データベースに格納
+        values.each do |key, value|
+          if (key == :path)
+            if (isNewFile)
+              puts "add_file   : #{value}"
+            else
+              puts "update     : #{value}"
+            end
+          end
+          document[key] = value
+        end
       end
 
     end
@@ -121,6 +168,8 @@ module Mkgrendb
         when "file"
           unless ignoreFile?(fpath)
             db_add_file(stdout, fpath)
+            @file_count += 1
+            puts "file_count : #{@file_count}" if (@file_count % 100 == 0)
           end
         end          
       end

metadata

@@ -5,8 +5,8 @@ version: !ruby/object:Gem::Version
   segments: 
   - 0
   - 2
-  - 1
-  version: 0.2.1
+  - 2
+  version: 0.2.2
 platform: ruby
 authors: 
 - ongaeshi
@@ -14,7 +14,7 @@ autorequire:
 bindir: bin
 cert_chain: []
 
-date: 2010-09-13 00:00:00 +09:00
+date: 2010-09-17 00:00:00 +09:00
 default_executable: 
 dependencies: 
 - !ruby/object:Gem::Dependency