spinel 0.1.0 → 0.2.0

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA1:
-  metadata.gz: da5beee409ee144651696f28780f01ac1674568c
-  data.tar.gz: 95e3ac8b09ad14410d4aa209a3b5403ed886d601
+  metadata.gz: bfc0aae3285cb2efbb58eea915cde7314614c945
+  data.tar.gz: fa7fb254ea04ddf0c93ff28f6a5fc10f637d40f3
 SHA512:
-  metadata.gz: 772acc69c9303650862441440df10b16509c8ed0a3935c00da3a8d80d93c9cf383ee110e7727f85dfd6d9ac0a2e5f272e8fc08f4bd22e8acc91e4826ce591dde
-  data.tar.gz: 30de09fa646a5229a3efae3c192fa186146aa3cd5b7b732f6e5c5fa606c1a190c52b78c2a944ec5fecfd0281e20e9079220962d44afb6e0326670ce711d9d0a8
+  metadata.gz: 744409a98574cbf84ea2e22e7442296c7322a1ced06047a4b6346df7a9b1d8db95fa340553beb501ee3812b83f53de28935278daa0e7f112a58d377cc9f9ee83
+  data.tar.gz: db068029c776eb8d28e5dcc1d45fe58e09ca1fe95f9c99a26bc6063cbb58eba5d96f2524451a898b19f2b3559471b1ff4cce18b785e5061f1d633010c11ffbda

data/CHANGELOG.md

@@ -0,0 +1,10 @@
+# 0.2.0
+
+* 空白文字列の取り扱いをPOSIX文字クラスで指定
+* 文字列中の連続する空白を単一の空白と見なし、かつ前後の空白を除去
+* データ保存時と検索時で同一のインスタンスを使用できるように変更
+* 保存及び検索メソッド名称を変更
+
+# 0.1.0
+
+* 基本機能のリリース

data/README.md

@@ -34,16 +34,16 @@ $ gem install spinel
 ### データ登録 / registration
 
 ```ruby
-backend = Spinel.backend
-backend.add id: 1, body: 'and all with pearl and ruby glowing'
-backend.add id: 2, body: 'a yellow or orange variety of ruby spinel'
-backend.add id: 3, body: 'a colour called pearl yellow'
-backend.add id: 4, body: 'a mandarin orange net sack'
-backend.add id: 5, body: 'a spinel used as a gemstone usually dark red'
-backend.add id: 6, body: 'today is hotter than usual'
-backend.add id: 7, body: 'call on a person'
-backend.add id: 8, body: 'that gem is shining'
-backend.add id: 9, body: 'polish shoes to a bright shine'
+spinel = Spinel.new
+spinel.store id: 1, body: 'and all with pearl and ruby glowing'
+spinel.store id: 2, body: 'a yellow or orange variety of ruby spinel'
+spinel.store id: 3, body: 'a colour called pearl yellow'
+spinel.store id: 4, body: 'a mandarin orange net sack'
+spinel.store id: 5, body: 'a spinel used as a gemstone usually dark red'
+spinel.store id: 6, body: 'today is hotter than usual'
+spinel.store id: 7, body: 'call on a person'
+spinel.store id: 8, body: 'that gem is shining'
+spinel.store id: 9, body: 'polish shoes to a bright shine'
 ```
 
 データの登録時には最低限の要素として `id` 及び `body` が必要になります。  
@@ -52,13 +52,15 @@ backend.add id: 9, body: 'polish shoes to a bright shine'
 `score` がキー含まれていた場合は特別に処理されます。  
 `score`はドキュメントの優先度を指定できるキーであり、検索結果の順序に関係します。
 
+`id`, `body`, `score` 以外のキーには特殊な処理は行われません、JSONに変換された後、そのまま保存されます。
+
 ### 検索 / search
 
 ```ruby
-matcher = Spinel.matcher
-matcher.matches 'ruby'
+spinel = Spinel.new
+spinel.search 'ruby'
 # => [{"id"=>2, "body"=>"a yellow or orange variety of ruby spinel"}, {"id"=>1, "body"=>"and all with pearl and ruby glowing"}]
-matcher.matches 'usu'
+spinel.search 'usu'
 # => [{"id"=>6, "body"=>"today is hotter than usual"}, {"id"=>5, "body"=>"a spinel used as a gemstone usually dark red"}]
 ```
 
@@ -102,15 +104,140 @@ end
 キャッシュの使用と検索候補数は検索時にオプションとして値を指定することも可能です。
 
 ```ruby
-matcher.matches 'ruby', cache: false, limit: 5
+spinel.search 'ruby', cache: false, limit: 5
+```
+
+#### 名前空間
+
+Spinelは複数階層の名前空間をサポートします。  
+SpinelはRedisへのアクセスに `spinel:index:default` のようなキーを用います。  
+これを `#{spinel_namespaace}:index:#{index_type}` と見なしたとき、
+`#{spinel_namespaace}` 及び `#{index_type}` は変更可能です。
+
+上位の `#{spinel_namespaace}` は configure によって指定可能です。
+
+```
+Spinel.configure do |config|
+  config.namespace    = 'spinel'
+end
+```
+
+下位の `#{index_type}` はデータ登録時及び検索時に指定を変更することが可能です。
+
+```
+spinel = Spinel.new(:another_type)
 ```
 
+`#{spinel_namespaace}` よりも上位で名前空間を分割したい場合には [resque/redis-namespace](https://github.com/resque/redis-namespace) を併用してください。
+
 ## バージョニング / Versioning
 
 Spinelのバージョニングは[Semantic Versioning 2.0.0](http://semver.org/)に基づいて採番されます。  
 現在Spinelは開発初期段階です。  
 いつでも、いかなる変更も起こりうります。
 
+## どのように活用できるか
+
+例えばあなたが住所入力のフォームにインクリメンタルサーチを導入しようとしたとき、Spinelは良い選択肢になり得ます。
+以下では、[郵便番号データのダウンロード - zipcloud](http://zipcloud.ibsnet.co.jp/)の都道府県データを検索する例を示しています。
+
+この例では、Spinel以外に半角カタカナをひらがなに変換するために[gimite/moji](https://github.com/gimite/moji)ライブラリを使用しています。  
+インデキシングさせる情報(`body`キー)には、郵便番号、都道府県及び都道府県の読み仮名を含めており、
+データは12万5094件存在します。
+
+```ruby
+require 'spinel'
+require 'moji'
+require 'csv'
+
+header = [
+  :jis_x0401, # 全国地方公共団体コード
+  :old_code,  # (旧)郵便番号(5桁)
+  :code,      # 郵便番号(7桁)
+  :pref_kana, # 都道府県名カタカナ
+  :city_kana, # 市区町村名カタカナ
+  :town_kana, # 町域名カタカナ
+  :pref,      # 都道府県名
+  :city,      # 市区町村名
+  :town,      # 町域名
+  :flag1,     # 一町域が二以上の郵便番号で表される場合の表示
+  :flag2,     # 小字毎に番地が起番されている町域の表示
+  :flag3,     # 丁目を有する町域の場合の表示
+  :flag4,     # 一つの郵便番号で二以上の町域を表す場合の表示
+  :flag5,     # 更新の表示
+  :flag6      # 変更理由
+]
+
+import_data = []
+
+puts 'data converting...'
+t1 = Time.now
+CSV.foreach('x-ken-all.csv') do |row|
+  hash = header.zip(row).to_h
+  hash[:pref_kana] = Moji.kata_to_hira(Moji.han_to_zen(hash[:pref_kana]))
+  hash[:city_kana] = Moji.kata_to_hira(Moji.han_to_zen(hash[:city_kana]))
+  hash[:town_kana] = Moji.kata_to_hira(Moji.han_to_zen(hash[:town_kana]))
+  doc = {
+    id: hash[:code],
+    body: [hash[:code], hash[:pref], hash[:city], hash[:town], hash[:pref_kana], hash[:city_kana], hash[:town_kana]].join(' '),
+    raw_data: hash
+  }
+  import_data << doc
+end
+t2 = Time.now
+
+puts "convert done #{t2 - t1}s"
+puts "data importing..."
+
+spinel = Spinel.new
+import_data.each do |doc|
+  spinel.store doc
+end
+
+t3 = Time.now
+puts "import done #{t3 - t2}s"
+
+# data converting...
+#   convert done 53.303588s
+# data importing...
+#   import done 188.305489s
+```
+
+MacBook Air(1.7 GHz Intel Core i7, 8 GB 1600 MHz DDR3) でデータを投入したとき、
+12万件のインポートに約3分かかりました。  
+検索には郵便番号、都道府県、読み仮名を組み合わせることが可能で、検索は非常に軽快です。
+
+```ruby
+> spinel.search '014'
+=> [{"id"=>"0141413",
+  "body"=>"0141413 秋田県 大仙市 角間川町 あきたけん だいせんし かくまがわまち", ...
+
+> spinel.search '014 ろくごう'
+=> [{"id"=>"0141411",
+  "body"=>"0141411 秋田県 大仙市 六郷西根 あきたけん だいせんし ろくごうにしね", ...
+
+> spinel.search 'とうき'
+=> [
+  {"id"=>"5998242",
+  "body"=>"5998242 大阪府 堺市中区 陶器北 おおさかふ さかいしなかく とうききた", ...
+  {"id"=>"2892254",
+  "body"=>"2892254 千葉県 香取郡多古町 東輝 ちばけん かとりぐんたこまち とうき", ...
+  {"id"=>"2080035",
+  "body"=>"2080035 東京都 武蔵村山市 中原 とうきょうと むさしむらやまし なかはら", ...
+
+> spinel.search 'とうきょう'
+=> [{"id"=>"2080035",
+  "body"=>"2080035 東京都 武蔵村山市 中原 とうきょうと むさしむらやまし なかはら", ...
+
+> spinel.search 'とうきょう しぶや'
+=> [{"id"=>"1510073",
+  "body"=>"1510073 東京都 渋谷区 笹塚 とうきょうと しぶやく ささづか", ...
+
+> spinel.search 'とうきょう しぶや よよぎ'
+=> [{"id"=>"1510053",
+  "body"=>"1510053 東京都 渋谷区 代々木 とうきょうと しぶやく よよぎ", ...
+```
+
 ## Contributing
 
 1. Fork it ( https://github.com/k-shogo/spinel/fork )

data/lib/spinel.rb

@@ -3,18 +3,24 @@ require 'multi_json'
 require "spinel/version"
 require "spinel/config"
 require "spinel/helper"
-require "spinel/base"
-require "spinel/backend"
-require "spinel/matcher"
+require "spinel/indexer"
+require "spinel/searcher"
+require "spinel/client"
 
 module Spinel
   extend Config
 
-  def self.backend type = :default
-    Backend.new type
+  def self.new type = :default
+    Client.new type
   end
 
-  def self.matcher type = :default
-    Matcher.new type
+  def self.method_missing(method_name, *args, type: :default, &block)
+    return super unless new(type).respond_to?(method_name)
+    new(type).send(method_name, *args, &block)
   end
+
+  def self.respond_to?(method_name, include_private = false)
+    new.respond_to?(method_name, include_private) || super
+  end
+
 end

data/lib/spinel/{base.rb → client.rb}

@@ -1,6 +1,8 @@
 module Spinel
-  class Base
+  class Client
     include Helper
+    include Indexer
+    include Searcher
 
     attr_accessor :type
 
@@ -8,24 +10,16 @@ module Spinel
       @type = type
     end
 
-    def base
-      "#{Spinel.namespace}:index:#{type}"
-    end
-
-    def base_and p
-      "#{base}:#{p}"
+    def index p
+      "#{Spinel.namespace}:index:#{type}:#{p}"
     end
 
     def database
       "#{Spinel.namespace}:data:#{type}"
     end
 
-    def cachebase
-      "#{Spinel.namespace}:cache:#{type}"
-    end
-
     def cachekey words
-      "#{cachebase}:#{words.join('|')}"
+      "#{Spinel.namespace}:cache:#{type}:#{words.join('|')}"
     end
   end
 end

data/lib/spinel/helper.rb

@@ -2,10 +2,13 @@ module Spinel
   module Helper
 
     def prefixes_for_phrase(phrase)
-      words = phrase.split(' ')
-      words.map do |w|
+      squish(phrase).split.flat_map do |w|
         (Spinel.min_complete-1..(w.length-1)).map{ |l| w[0..l] }
-      end.flatten.uniq
+      end.uniq
+    end
+
+    def squish str
+      str.to_s.gsub(/[[:space:]]+/, ' ').strip
     end
 
     def document_validate doc

data/lib/spinel/{backend.rb → indexer.rb}

@@ -1,7 +1,7 @@
 module Spinel
-  class Backend < Base
+  module Indexer
 
-    def add(doc, opts = {})
+    def store doc, opts = {}
       opts = { skip_duplicate_check: false }.merge(opts)
       document_validate doc
       id = document_id doc
@@ -11,7 +11,7 @@ module Spinel
       Spinel.redis.pipelined do
         Spinel.redis.hset(database, id, MultiJson.encode(doc))
         prefixes_for_phrase(document_body(doc)).each do |p|
-          Spinel.redis.zadd(base_and(p), document_score(doc), id)
+          Spinel.redis.zadd(index(p), document_score(doc), id)
         end
       end
     end
@@ -22,14 +22,14 @@ module Spinel
       end
     end
 
-    def remove(doc)
+    def remove doc
       if prev_doc = Spinel.redis.hget(database, document_id(doc))
         prev_doc = MultiJson.decode(prev_doc)
         prev_id = document_id prev_doc
         Spinel.redis.pipelined do
           Spinel.redis.hdel(database, prev_id)
           prefixes_for_phrase(document_body(prev_doc)).each do |p|
-            Spinel.redis.zrem(base_and(p), prev_id)
+            Spinel.redis.zrem(index(p), prev_id)
           end
         end
       end

data/lib/spinel/searcher.rb

@@ -0,0 +1,24 @@
+module Spinel
+  module Searcher
+
+    def search term, options = {}
+      options = { limit: Spinel.match_limit, cache: true }.merge(options)
+
+      words = squish(term).split.reject{|w| w.size < Spinel.min_complete}.sort
+      return [] if words.empty?
+
+      tmp_cachekey = cachekey(words)
+
+      unless options[:cache] && Spinel.redis.exists(tmp_cachekey)
+        interkeys = words.map{ |w| index w }
+        Spinel.redis.zinterstore(tmp_cachekey, interkeys)
+        Spinel.redis.expire(tmp_cachekey, Spinel.cache_expire)
+      end
+
+      ids = Spinel.redis.zrevrange(tmp_cachekey, 0, options[:limit] - 1)
+      ids.empty? ? [] : Spinel.redis.hmget(database, *ids).compact.map{|json| MultiJson.decode(json)}
+
+    end
+
+  end
+end

data/lib/spinel/version.rb

@@ -1,6 +1,6 @@
 module Spinel
   MAJOR = 0
-  MINOR = 1
+  MINOR = 2
   PATCH = 0
   VERSION = [MAJOR, MINOR, PATCH].compact.join('.')
 end

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: spinel
 version: !ruby/object:Gem::Version
-  version: 0.1.0
+  version: 0.2.0
 platform: ruby
 authors:
 - k-shogo
 autorequire: 
 bindir: bin
 cert_chain: []
-date: 2015-02-02 00:00:00.000000000 Z
+date: 2015-02-03 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: redis
@@ -74,16 +74,17 @@ extensions: []
 extra_rdoc_files: []
 files:
 - ".gitignore"
+- CHANGELOG.md
 - Gemfile
 - LICENSE.txt
 - README.md
 - Rakefile
 - lib/spinel.rb
-- lib/spinel/backend.rb
-- lib/spinel/base.rb
+- lib/spinel/client.rb
 - lib/spinel/config.rb
 - lib/spinel/helper.rb
-- lib/spinel/matcher.rb
+- lib/spinel/indexer.rb
+- lib/spinel/searcher.rb
 - lib/spinel/version.rb
 - spinel.gemspec
 homepage: ''

data/lib/spinel/matcher.rb

@@ -1,32 +0,0 @@
-module Spinel
-  class Matcher < Base
-
-    def matches(term, options = {})
-      options = { limit: Spinel.match_limit, cache: true }.merge(options)
-
-      words = term.split(' ').reject do |w|
-        w.size < Spinel.min_complete
-      end.sort
-
-      return [] if words.empty?
-
-      tmp_cachekey = cachekey(words)
-
-      if !options[:cache] || !Spinel.redis.exists(tmp_cachekey) || Spinel.redis.exists(tmp_cachekey) == 0
-        interkeys = words.map { |w| base_and w }
-        Spinel.redis.zinterstore(tmp_cachekey, interkeys)
-        Spinel.redis.expire(tmp_cachekey, Spinel.cache_expire)
-      end
-
-      ids = Spinel.redis.zrevrange(tmp_cachekey, 0, options[:limit] - 1)
-      if ids.size > 0
-        results = Spinel.redis.hmget(database, *ids)
-        results = results.reject{ |r| r.nil? }
-        results.map { |r| MultiJson.decode(r) }
-      else
-        []
-      end
-    end
-
-  end
-end