gren 0.2.2 → 0.2.3

data/History.ja.txt

@@ -0,0 +1,78 @@
+=== 0.2.3 2010/09/25
+
+* mkgrendb
+  * ymal入力時にパスを展開していないバグを修正
+  * mkgrendbの最後に表示する基本情報を整理
+    * 入力ファイル
+    * 出力ファイル
+    * かかった時間
+    * ファイル数
+    * 更新ファイル数
+  * データベースの生成オプションを整理
+    * パトリシア木 .. テーブルの記録方式、ハッシュに比べて遅くなるが、前方一致検索可能に
+    * 正規化 .. 各語彙を正規化して登録(大文字、小文字を区別しない)
+    * with_position .. 転置索引に出現位置情報を合わせて格納
+
+=== 0.2.2 2010/09/14
+
+* mkgrendb
+  * 複数引数に対応
+  * 引数に、.rb, .yamlどちらを渡しても正しく動作するように
+  * --ddb, --defaultオプションを追加 (GRENDB_DEFAULT_DBで指定されているデータベースを更新)
+  * --dump    データベースの中身をダンプする
+  * --full    データベースを一度削除してから再構築
+  * --delete  データベースを削除(yamlは消さない)
+  * ファイルのタイムスタンプを比較して、すでに更新されているものは再生成しないように
+
+=== 0.2.1 2010/09/13
+
+* デフォルトのignoreファイル追加 .d, .map, .MAP
+* オプション名変更 : --sub → --not
+
+=== 0.2.0 2010/09/13
+
+* grooongaを利用して超高速検索を実現した、grendbをリリース
+  * mkgrendbでデータベース生成
+  * grendbでデータベース検索
+
+=== 0.1.4 2010/08/14
+
+* snipモード
+  * 一行が長過ぎる場合は適当に省略する機能を追加
+  * 圧縮したJavascript等で効果を発揮
+
+=== 0.1.3 2010/08/13
+
+* 含まれない検索、OR検索に対応
+  * --subで指定したキーワードは''含まれない''
+  * --orで指定したキーワードは''いずれかを含む''
+
+* 自動エンコードに対応
+  * ファイルの文字コードがばらばらでも、自動的にシェルで使用している文字コードにあわせてくれるようにした
+  * -e, --encode ENCODE              Specify encode(none, auto, jis, sjis, euc, ascii, utf8, utf16). Default is "auto"
+
+=== 0.1.2 2010/08/05
+
+* Bug fix.
+* 読み込み禁止ディレクトリがあるとハングアップする問題を修正
+
+=== 0.1.1 2010/08/04
+
+* --depth, --this(== "--depth 0")、探索する階層数を指定出来るように
+* -sでサイレントモード、マッチした行のみを表示する
+* -f, --if, --idオプションを何個でも設定出来るように
+* -cで色付き表示
+
+=== 0.1.0 2010/08/02
+
+* Update README.doc (to English).
+
+=== 0.0.6 2010/07/29
+
+* update github
+  * http://github.com/ongaeshi/gren
+
+=== 0.0.1 2010-07-22
+
+* 1 major enhancement:
+  * Initial release

data/History.txt

@@ -1,52 +1,36 @@
+=== 0.2.3 2010/09/25
+
+* mkgrendb
+
 === 0.2.2 2010/09/14
 
 * mkgrendb
-  * 複数引数に対応
-  * 引数に、.rb, .yamlどちらを渡しても正しく動作するように
-  * --ddb, --defaultオプションを追加 (GRENDB_DEFAULT_DBで指定されているデータベースを更新)
-  * --dump    データベースの中身をダンプする
-  * --full    データベースを一度削除してから再構築
-  * --delete  データベースを削除(yamlは消さない)
-  * ファイルのタイムスタンプを比較して、すでに更新されているものは再生成しないように
 
 === 0.2.1 2010/09/13
 
-* デフォルトのignoreファイル追加 .d, .map, .MAP
-* オプション名変更 : --sub → --not
+* gren
 
 === 0.2.0 2010/09/13
 
-* grooongaを利用して超高速検索を実現した、grendbをリリース
-  * mkgrendbでデータベース生成
-  * grendbでデータベース検索
+* grendb
 
 === 0.1.4 2010/08/14
 
-* snipモード
-  * 一行が長過ぎる場合は適当に省略する機能を追加
-  * 圧縮したJavascript等で効果を発揮
+* gren
+  * snip-mode
 
 === 0.1.3 2010/08/13
 
-* 含まれない検索、OR検索に対応
-  * --subで指定したキーワードは''含まれない''
-  * --orで指定したキーワードは''いずれかを含む''
-
-* 自動エンコードに対応
-  * ファイルの文字コードがばらばらでも、自動的にシェルで使用している文字コードにあわせてくれるようにした
-  * -e, --encode ENCODE              Specify encode(none, auto, jis, sjis, euc, ascii, utf8, utf16). Default is "auto"
+* gren
 
 === 0.1.2 2010/08/05
 
-* Bug fix.
-* 読み込み禁止ディレクトリがあるとハングアップする問題を修正
+* gren
+  * Bug fix.
 
 === 0.1.1 2010/08/04
 
-* --depth, --this(== "--depth 0")、探索する階層数を指定出来るように
-* -sでサイレントモード、マッチした行のみを表示する
-* -f, --if, --idオプションを何個でも設定出来るように
-* -cで色付き表示
+* gren
 
 === 0.1.0 2010/08/02
 

data/Manifest.txt

@@ -1,3 +1,4 @@
+History.ja.txt
 History.txt
 Manifest.txt
 PostInstall.txt
@@ -6,6 +7,7 @@ Rakefile
 bin/gren
 bin/grendb
 bin/mkgrendb
+lib/common/display_util.rb
 lib/common/grenfiletest.rb
 lib/common/grensnip.rb
 lib/common/platform.rb
@@ -14,6 +16,7 @@ lib/findgrep/findgrep.rb
 lib/findgrep/result.rb
 lib/gren.rb
 lib/gren/cli.rb
+lib/gren/findgrep.rb
 lib/grendb/cli.rb
 lib/mkgrendb/cli.rb
 lib/mkgrendb/mkgrendb.rb

data/bin/mkgrendb

@@ -7,5 +7,5 @@ require 'rubygems'
 require File.expand_path(File.dirname(__FILE__) + "/../lib/gren")
 require "mkgrendb/cli"
 
-Version = "0.2.2"
+Version = "0.2.3"
 Mkgrendb::CLI.execute(STDOUT, ARGV)

data/lib/common/display_util.rb

@@ -0,0 +1,48 @@
+# -*- coding: utf-8 -*-
+
+module Gren
+  module DisplayUtil
+    def time_s(time)
+      t = time.truncate
+      h = t / 3600
+      t = t % 3600
+      m = t / 60
+      t = t % 60
+      t += round(time - time.prec_i, 2)
+      
+      if (h > 0 && m > 0)
+        "#{h}h #{m}m #{t}s"
+      elsif (m > 0)
+        "#{m}m #{t}s"
+      else
+        "#{t}sec"
+      end
+    end
+    module_function :time_s
+
+    def round(n, d)
+      (n * 10 ** d).round / 10.0 ** d
+    end
+    module_function :round
+
+    def size_s(size)
+      tb = 1024 ** 4
+      gb = 1024 ** 3
+      mb = 1024 ** 2
+      kb = 1024
+
+      if (size >= tb)
+        round(size / tb.prec_f, 2).to_s + "TB"
+      elsif (size >= gb)
+        round(size / gb.prec_f, 2).to_s + "GB"
+      elsif (size >= mb)
+        round(size / mb.prec_f, 2).to_s + "MB"
+      elsif (size >= kb)
+        round(size / kb.prec_f, 2).to_s + "KB"
+      else
+        size.to_s + "Byte"
+      end
+    end
+    module_function :size_s
+  end
+end

data/lib/findgrep/result.rb

@@ -1,5 +1,7 @@
 # -*- coding: utf-8 -*-
 require 'find'
+require File.join(File.dirname(__FILE__), '../common/display_util')
+include Gren
 
 module FindGrep
   class Result
@@ -31,49 +33,9 @@ module FindGrep
       @end_time - @start_time 
     end
 
-    def time_s
-      t = time.truncate
-      h = t / 3600
-      t = t % 3600
-      m = t / 60
-      t = t % 60
-      t += round(time - time.prec_i, 2)
-      
-      if (h > 0 && m > 0)
-        "#{h}h #{m}m #{t}s"
-      elsif (m > 0)
-        "#{m}m #{t}s"
-      else
-        "#{t}sec"
-      end
-    end
-
-    def round(n, d)
-      (n * 10 ** d).round / 10.0 ** d
-    end
-
-    def size_s(size)
-      tb = 1024 ** 4
-      gb = 1024 ** 3
-      mb = 1024 ** 2
-      kb = 1024
-
-      if (size >= tb)
-        round(size / tb.prec_f, 2).to_s + "TB"
-      elsif (size >= gb)
-        round(size / gb.prec_f, 2).to_s + "GB"
-      elsif (size >= mb)
-        round(size / mb.prec_f, 2).to_s + "MB"
-      elsif (size >= kb)
-        round(size / kb.prec_f, 2).to_s + "KB"
-      else
-        size.to_s + "Byte"
-      end
-    end
-
     def print(stdout)
-      stdout.puts "dir   : #{@start_dir} (#{time_s})"
-      stdout.puts "files : #{@search_count} in #{@count} (#{size_s(@search_size)} in #{size_s(@size)})"
+      stdout.puts "dir   : #{@start_dir} (#{DisplayUtil::time_s(time)})"
+      stdout.puts "files : #{@search_count} in #{@count} (#{DisplayUtil::size_s(@search_size)} in #{DisplayUtil::size_s(@size)})"
       stdout.puts "match : #{@match_file_count} files, #{match_count} hit"
     end
 

data/lib/gren.rb

@@ -2,5 +2,5 @@ $:.unshift(File.dirname(__FILE__)) unless
   $:.include?(File.dirname(__FILE__)) || $:.include?(File.expand_path(File.dirname(__FILE__)))
 
 module Gren
-  VERSION = '0.2.2'
+  VERSION = '0.2.3'
 end

data/lib/gren/findgrep.rb

@@ -0,0 +1,215 @@
+# -*- coding: utf-8 -*-
+require 'find'
+require File.join(File.dirname(__FILE__), 'result')
+require 'rubygems'
+require 'termcolor'
+
+module Gren
+  class FindGrep
+    IGNORE_FILE = /(\A#.*#\Z)|(~\Z)|(\A\.#)/
+    IGNORE_DIR = /(\A\.svn\Z)|(\A\.git\Z)|(\ACVS\Z)/
+    
+    Option = Struct.new(:directory,
+                        :depth,
+                        :ignoreCase,
+                        :colorHighlight,
+                        :isSilent,
+                        :debugMode,
+                        :filePatterns,
+                        :ignoreFiles,
+                        :ignoreDirs)
+    
+    def initialize(patterns, option)
+      @option = option
+      @patternRegexps = strs2regs(patterns, @option.ignoreCase)
+      @filePatterns = strs2regs(option.filePatterns)
+      @ignoreFiles = strs2regs(option.ignoreFiles)
+      @ignoreDirs = strs2regs(option.ignoreDirs)
+      @result = Result.new(option.directory)
+    end
+
+    def strs2regs(strs, ignore = false)
+      regs = []
+
+      strs.each do |v|
+        option = 0
+        option |= Regexp::IGNORECASE if (ignore)
+        regs << Regexp.new(v, option)
+      end
+
+      regs
+    end
+
+    def searchAndPrint(stdout)
+      searchAndPrintIN(stdout, @option.directory, 0)
+
+      @result.time_stop
+      
+      unless (@option.isSilent)
+        if (@option.debugMode)
+          stdout.puts
+          stdout.puts "--- search --------"
+          print_fpaths stdout, @result.search_files
+          stdout.puts "--- match --------"
+          print_fpaths stdout, @result.match_files
+          stdout.puts "--- ignore-file --------"
+          print_fpaths stdout, @result.ignore_files
+          stdout.puts "--- ignore-dir --------"
+          print_fpaths stdout, @result.prune_dirs
+          stdout.puts "--- unreadable --------"
+          print_fpaths stdout, @result.unreadable_files
+        end
+
+        unless (@option.colorHighlight)
+          stdout.puts
+        else
+          stdout.puts TermColor.parse("<7>------------------------------------------------------------</7>")
+        end
+
+        @result.print(stdout)
+      end
+    end
+
+    def searchAndPrintIN(stdout, dir, depth)
+      if (@option.depth != -1 && depth > @option.depth)
+        return
+      end
+      
+      Dir.foreach(dir) do |name|
+        next if (name == '.' || name == '..')
+          
+        fpath = File.join(dir,name)
+        fpath_disp = fpath.gsub(/^.\//, "")
+        
+        # 除外ディレクトリならばパス
+        if ignoreDir?(fpath)
+          @result.prune_dirs << fpath_disp if (@option.debugMode)
+          next;
+        end
+
+        # 読み込み不可ならばパス
+        unless FileTest.readable?(fpath)
+          @result.unreadable_files << fpath_disp if (@option.debugMode)
+          next
+        end
+
+        # ファイルならば中身を探索、ディレクトリならば再帰
+        case File.ftype(fpath)
+        when "directory"
+          searchAndPrintIN(stdout, fpath, depth + 1)
+        when "file"
+          searchFile(stdout, fpath, fpath_disp)
+        end          
+      end
+    end
+    private :searchAndPrintIN
+
+    def print_fpaths(stdout, data)
+      stdout.print data.join("\n")
+      stdout.puts if data.count > 0
+      stdout.puts "total: #{data.count}"
+      stdout.puts
+    end
+    private :print_fpaths
+
+    def ignoreDir?(fpath)
+      FileTest.directory?(fpath) &&
+      (IGNORE_DIR.match(File.basename(fpath)) || ignoreDirUser?(fpath))
+    end
+    private :ignoreDir?
+
+    def ignoreDirUser?(fpath)
+      @ignoreDirs.any? {|v| v.match File.basename(fpath) }
+    end
+    private :ignoreDirUser?
+
+    def ignoreFile?(fpath)
+      !correctFileUser?(fpath) ||
+      IGNORE_FILE.match(File.basename(fpath)) ||
+      ignoreFileUser?(fpath) ||
+      binary?(fpath)
+    end
+    private :ignoreFile?
+
+    def correctFileUser?(fpath)
+      @filePatterns.empty? ||
+      @filePatterns.any? {|v| v.match File.basename(fpath) }
+    end
+    private :correctFileUser?
+
+    def ignoreFileUser?(fpath)
+      @ignoreFiles.any? {|v| v.match File.basename(fpath) }
+    end
+    private :ignoreFileUser?
+
+    def binary?(file)
+      s = File.read(file, 1024) or return false
+      return s.index("\x00")
+    end
+
+    def searchFile(stdout, fpath, fpath_disp)
+      @result.count += 1
+      @result.size += FileTest.size(fpath)
+
+      # 除外ファイル
+      if ignoreFile?(fpath)
+        @result.ignore_files << fpath_disp if (@option.debugMode)
+        return
+      end
+      
+      @result.search_count += 1
+      @result.search_size += FileTest.size(fpath)
+
+      # 検索本体
+      @result.search_files << fpath_disp if (@option.debugMode)
+
+      open(fpath, "r") { |file|
+        match_file = false
+        file.each() { |line|
+          line.chomp!
+
+          result, match_datas = match?(line)
+
+          if ( result )
+            unless (@option.colorHighlight)
+              stdout.puts "#{fpath_disp}:#{file.lineno}:#{line}"
+            else
+              header = "#{fpath_disp}:#{file.lineno}"
+                
+              begin
+                stdout.puts TermColor.parse("<34>#{header}</34>:") + coloring(line, match_datas)
+              rescue REXML::ParseException
+                stdout.puts header + line
+              end
+            end
+
+            unless match_file
+              @result.match_file_count += 1
+              @result.match_files << fpath_disp if (@option.debugMode)
+              match_file = true
+            end
+
+            @result.match_count += 1
+          end
+        }
+      }
+    end
+    private :searchFile
+
+    def match?(line)
+      match_datas = []
+      @patternRegexps.each {|v| match_datas << v.match(line)}
+      return match_datas.all?, match_datas
+    end
+    private :match?
+
+    def coloring(line, match_datas)
+      match_datas.each do |m|
+        line = line.split(m[0]).join(TermColor.parse("<42>#{m[0]}</42>"))
+      end
+      line
+    end
+    private :coloring
+
+  end
+end

data/lib/mkgrendb/mkgrendb.rb

@@ -5,15 +5,20 @@ require 'pathname'
 require 'rubygems'
 require 'groonga'
 require File.join(File.dirname(__FILE__), '../common/grenfiletest')
+require File.join(File.dirname(__FILE__), '../common/display_util')
+include Gren
 
 module Mkgrendb
   class Mkgrendb
     def initialize(input)
+      input = File.expand_path(input)
       @input_yaml = input.sub(/\.db$/, ".yaml")
       @output_db = input.sub(/\.yaml$/, ".db")
       puts "input_yaml : #{@input_yaml} found."
       @src = YAML.load(open(@input_yaml).read())
       @file_count = 0
+      @update_count = 0
+      @start_time = Time.now
     end
 
     def update
@@ -22,6 +27,8 @@ module Mkgrendb
       @src["directory"].each do |dir|
         db_add_dir(File.expand_path(dir))
       end
+      @end_time = Time.now
+      print_result
     end
 
     def delete
@@ -33,6 +40,18 @@ module Mkgrendb
       update
     end
 
+    def time
+      @end_time - @start_time 
+    end
+
+    def print_result
+      puts
+      puts "input_yaml : #{@input_yaml} (#{DisplayUtil::time_s(time)})"
+      puts "output_db  : #{@output_db}*"
+      puts "files      : #{@file_count}"
+      puts "updates    : #{@update_count}"
+    end
+
     def dump()
       db_open(@output_db)
 
@@ -44,7 +63,6 @@ module Mkgrendb
         puts "content :", record.content[0..64]
         puts
       end
-
     end
 
     def db_create(filename)
@@ -65,9 +83,9 @@ module Mkgrendb
                               :type => :patricia_trie,
                               :key_normalize => true,
                               :default_tokenizer => "TokenBigram") do |table|
-            table.index("documents.path")
-            table.index("documents.content")
-            table.index("documents.timestamp")
+            table.index("documents.path", :with_position => true)
+            table.index("documents.content", :with_position => true)
+            table.index("documents.timestamp", :with_position => true)
           end
         end
         puts "create     : #{filename} created."
@@ -139,6 +157,7 @@ module Mkgrendb
             if (isNewFile)
               puts "add_file   : #{value}"
             else
+              @update_count += 1
               puts "update     : #{value}"
             end
           end

metadata

@@ -5,8 +5,8 @@ version: !ruby/object:Gem::Version
   segments: 
   - 0
   - 2
-  - 2
-  version: 0.2.2
+  - 3
+  version: 0.2.3
 platform: ruby
 authors: 
 - ongaeshi
@@ -14,7 +14,7 @@ autorequire:
 bindir: bin
 cert_chain: []
 
-date: 2010-09-17 00:00:00 +09:00
+date: 2010-09-26 00:00:00 +09:00
 default_executable: 
 dependencies: 
 - !ruby/object:Gem::Dependency 
@@ -83,11 +83,13 @@ executables:
 extensions: []
 
 extra_rdoc_files: 
+- History.ja.txt
 - History.txt
 - Manifest.txt
 - PostInstall.txt
 - README.rdoc
 files: 
+- History.ja.txt
 - History.txt
 - Manifest.txt
 - PostInstall.txt
@@ -96,6 +98,7 @@ files:
 - bin/gren
 - bin/grendb
 - bin/mkgrendb
+- lib/common/display_util.rb
 - lib/common/grenfiletest.rb
 - lib/common/grensnip.rb
 - lib/common/platform.rb
@@ -104,6 +107,7 @@ files:
 - lib/findgrep/result.rb
 - lib/gren.rb
 - lib/gren/cli.rb
+- lib/gren/findgrep.rb
 - lib/grendb/cli.rb
 - lib/mkgrendb/cli.rb
 - lib/mkgrendb/mkgrendb.rb