hiwai 0.0.0 → 0.0.1

data/.gitignore

@@ -2,3 +2,4 @@
 .bundle
 Gemfile.lock
 pkg/*
+tmp

data/ChangeLog.md

@@ -0,0 +1,4 @@
+# Version 0.0.0
+
+Initial version released.
+

data/README.md

@@ -1,13 +1,13 @@
 # Hiwai
 
 レシーバがひわいかどうかを確認します。
-公の場で表示されると困るオブジェクトをフィルタするのが目的です。
+公の場で表示されると困る文字列をフィルタするのが目的です。
 
 そのような文字列をなるべく目にしないで管理できるようにすることも目標にしています。
 
 ## Installation
 
-** under construction **
+**under construction**
 
 Add this line to your application's Gemfile:
 
@@ -34,12 +34,44 @@ Hiwai.dictionary = 'path/to/dictionary'
 ['とっても<<よくない文字列>>です'].hiwai? # => true
 ```
 
-今は単純にString#matchでマッチさせています（もっと精度の高い方法にしたい）。
+今は単純にレシーバをto_sした結果をString#matchでマッチさせています（もっと精度の高い方法にしたい）。
 ワードの一覧はvendor/hiwai.txtの下に改行区切で置いています（まだ何もない）。
 管理するときになるべく見ないためにBase64エンコーディングしています。
 
 マッチ候補の文字列はHiwaiモジュールが持っていますが、inspectしたときにうっかり表示されないように拡張しています。
 
+## 単語リストの管理
+
+### 対話モードで単語を追加
+
+デフォルトの単語リスト`vendor/hiwai.txt`に単語を追加できます。
+
+```
+rake dic:interactive
+```
+
+できることは追加だけです。`crtl+d`で追加した単語が保存されます。それまでの入力を破棄するには`ctrl+c`します。
+
+入力した文字は普通にエコーバックされます。
+
+### 素のままで編集する
+
+**リダイレクトしなければあられもない文字列たちが標準出力に出力されます。**
+
+1. 単語リストをプレーンなテキストに展開します
+
+```
+cat path/to/dictionary | rake dic:expand > temporary
+```
+
+2. がんばって編集したのち保存します
+
+3. 変換して上書きします
+
+```
+cat temporary | rake dic:serialize > path/to/dictionary
+```
+
 ## Contributing
 
 1. Fork it
@@ -47,3 +79,4 @@ Hiwai.dictionary = 'path/to/dictionary'
 3. Commit your changes (`git commit -am 'Added some feature'`)
 4. Push to the branch (`git push origin my-new-feature`)
 5. Create new Pull Request
+

data/Rakefile

@@ -1,8 +1,59 @@
 require 'bundler'
 
+Bundler.require
+
 Bundler::GemHelper.install_tasks
 require 'rspec/core/rake_task'
 RSpec::Core::RakeTask.new(:spec)
 
-task default: :spec
+namespace :dic do
+  desc 'Expand dictionary from STDIN'
+  task :expand do
+    print Hiwai::CensorableWords.load(STDIN.read).join("\n")
+  end
+
+  desc 'Serialize dictionary from STDIN'
+  task :serialize do
+    print Hiwai::CensorableWords.dump(STDIN.read.split("\n"))
+  end
+
+  desc 'Add new words in interactive mode,'
+  task :interactive do
+    puts "To commit, exit by ctrl+d.\nTo rollback, interrupt by ctrl+c."
+    prompt = -> { print 'new hiwai word > ' }.tap(&:[])
+    changes = []
+
+    trap :EXIT do
+      if changes.any?
+        File.open(Hiwai.dictionary, 'w') do |f|
+          f.write Hiwai::CensorableWords.dump(Hiwai.censorable_words + changes)
+        end
+
+        puts 'Committed successfully.'
+      end
+    end
 
+    trap :INT do
+      changes.clear
+      puts "\nRollbacked."
+      prompt[]
+    end
+
+    while input = STDIN.gets
+      word = input.strip.force_encoding(Encoding::UTF_8)
+
+      if Hiwai.censorable_words.index(word)
+        puts "#{word} is already exists."
+      else
+        unless word.empty?
+          changes << word
+          puts "#{word} was added."
+        end
+      end
+
+      prompt[]
+    end
+  end
+end
+
+task default: :spec

data/lib/hiwai.rb

@@ -1,7 +1,7 @@
-require 'base64'
 require 'hiwai/version'
 require 'hiwai/object'
 require 'hiwai/masked'
+require 'hiwai/censorable_words'
 
 module Hiwai
   class Censored < StandardError; end
@@ -12,18 +12,16 @@ module Hiwai
     attr_accessor :dictionary
 
     def censorable_words
-      @censorable_words ||=
-        File.read(dictionary).split("\n").map {|line|
-          # TODO: support other encoding
-          str = Base64.decode64(line).force_encoding('utf-8')
-
-          MaskedString.new(str)
-        }
+      @censorable_words ||= CensorableWords.load(read_dictionary)
     end
 
     def reset!
       @censorable_words = nil
     end
+
+    def read_dictionary
+      File.read(dictionary)
+    end
   end
 end
 

data/lib/hiwai/censorable_words.rb

@@ -0,0 +1,23 @@
+# coding: utf-8
+
+module Hiwai
+  module CensorableWords
+    extend self
+
+    def dump(words)
+      words.map {|word| encode(word) }.join
+    end
+
+    def load(string)
+      string.split("\n").map {|word| MaskedString.new(decode(word)) }
+    end
+
+    def decode(str)
+      str.unpack('m').join.force_encoding(Encoding::UTF_8)
+    end
+
+    def encode(str)
+      [str].pack('m')
+    end
+  end
+end

data/lib/hiwai/masked.rb

@@ -1,11 +1,15 @@
 module Hiwai
   module Masked
-    def masked_string
-      '<censored>'
+    def self.included(klass)
+      klass.class_eval do
+        alias_method :to_s, :masked_string
+        alias_method :inspect, :masked_string
+      end
     end
 
-    alias_method :to_s, :masked_string
-    alias_method :inspect, :masked_string
+    def masked_string
+      '<masked>'
+    end
   end
 
   class MaskedString < String

data/lib/hiwai/object.rb

@@ -2,10 +2,10 @@
 
 class Object
   def hiwai?
-    inspected = inspect
+    string = to_s
 
     @hiwai_matches = Hiwai.censorable_words.select {|word|
-      inspected.match Regexp.new(word)
+      string.match Hiwai::MaskedRegexp.new(word)
     }
 
     @hiwai_matches.any?

data/lib/hiwai/version.rb

@@ -1,3 +1,3 @@
 module Hiwai
-  VERSION = '0.0.0'
+  VERSION = '0.0.1'
 end

data/spec/censorable_words_spec.rb

@@ -0,0 +1,37 @@
+# coding: utf-8
+
+require 'spec_helper'
+require 'fileutils'
+
+describe Hiwai::CensorableWords do
+  def load_words(str)
+    Hiwai::CensorableWords.load str
+  end
+
+  def dump_words(arr)
+    Hiwai::CensorableWords.dump arr
+  end
+
+  let(:serialized) { dump_words(%w(ワカラナイ シラナイ コムギコカナニカダ)) }
+
+  describe '.load' do
+    subject { load_words(serialized) }
+
+    it { should include 'ワカラナイ' }
+    it { should include 'シラナイ' }
+    it { should include 'コムギコカナニカダ' }
+  end
+
+  describe '.dump' do
+    let(:censorable_words) { load_words serialized }
+
+    before do
+      censorable_words << 'ドイツ村'
+    end
+
+    subject { load_words(dump_words(censorable_words)) }
+
+    it { should have(4).words }
+    it { should include 'ドイツ村' }
+  end
+end

data/spec/hiwai_spec.rb

@@ -3,17 +3,7 @@
 require 'spec_helper'
 
 describe Hiwai do
-  describe '#hiwai?' do
-    it { "これは#{censored}です".should be_hiwai }
-    it { "小麦粉か何かだ".should_not be_hiwai }
-  end
-
-  describe '#hiwai!' do
-    it { expect { "これは#{censored}です".hiwai! }.should raise_error(Hiwai::Censored) }
-    it { expect { "小麦粉か何かだ".hiwai! }.should_not raise_error(Hiwai::Censored) }
-  end
-
-  describe 'censorable_words' do
+  describe '.censorable_words' do
     subject { Hiwai.censorable_words }
 
     its(:inspect) { should_not match /#{censored}/ }

data/spec/object_spec.rb

@@ -0,0 +1,15 @@
+# coding: utf-8
+
+require 'spec_helper'
+
+describe Object do
+  describe '#hiwai?' do
+    it { "これは#{censored}です".should be_hiwai }
+    it { "小麦粉か何かだ".should_not be_hiwai }
+  end
+
+  describe '#hiwai!' do
+    it { expect { "これは#{censored}です".hiwai! }.should raise_error(Hiwai::Censored) }
+    it { expect { "小麦粉か何かだ".hiwai! }.should_not raise_error(Hiwai::Censored) }
+  end
+end

data/spec/support/example_group_helper.rb

@@ -2,6 +2,6 @@
 
 module ExampleGroupHelper
   def censored
-    Base64.decode64('PDzjgajjgabjgoLljZHnjKXjgarmloflrZfliJc+Pg==').force_encoding('utf-8')
+    Hiwai::CensorableWords.decode('PDzjgajjgabjgoLljZHnjKXjgarmloflrZfliJc+Pg==')
   end
 end

data/vendor/hiwai.txt

@@ -1,2 +1,100 @@
 PDzjgajjgabjgoLljZHnjKXjgarmloflrZfliJc+Pg==
 PDzjgojjgY/jgarjgYTmloflrZfliJc+Pg==
+QVblpbPlhKo=
+R+OCueODneODg+ODiA==
+U03jgq/jg6njg5Y=
+5Lmx5Lqk
+5ZKM5aem
+5by15b2i
+5oSb5pKr
+5oSb5ray
+5rOh5aer
+542j5aem
+55Sf5aer
+55S35qC5
+55+t5bCP
+57Sg6IKh
+6Ieq5oWw
+6KaW5aem
+6LKe5pON
+6LK35pil
+6Zmw5q+b
+6Z2S5aem
+6aGU5bCE
+44OB44Oz44Od
+44Gh44KT44G9
+44Ki44Kv44Oh
+44Ki44OK44Or
+44Ki44OM44K5
+44K144Kq5bir
+44OB44Oz44Kz
+44OQ44Kk44OW
+44OV44Kn44Op
+44Oe44Oz44Kz
+5Lit5Ye644GX
+5Lit5oqY44KM
+5by144KK5Z6L
+5by144KK5b2i
+5b6M6IOM5L2N
+5omL44Kz44Kt
+56m05YWE5byf
+56u/5aeJ5aa5
+6aiO5LmX5L2N
+44GM44Gw44G+44KT
+44GM44G+44KT5rGB
+44Ks44Oe44Oz5rGB
+5oiR5oWi5rGB
+44KP44GL44KB6YWS
+44Ov44Kr44Oh6YWS
+44Ki44OK44Op44O8
+44Ki44OK44Or5qOS
+44Kq44OK44OL44O8
+44K244O844Oh44Oz
+44K544Kr44OI44Ot
+44K544Oa44Or44Oe
+44OH44Oq44OY44Or
+44OP44Oh5pKu44KK
+44OQ44Op44Og44OB
+44OR44Kk44K644Oq
+44OR44Kk44OR44Oz
+44OU44Oz44K144Ot
+44Oe44Oz44K644Oq
+44Op44Oz44OR44OW
+44Ot44O844K/44O8
+44O044Kh44Ku44OK
+5LiJ6KeS5pyo6aas
+5YWI6LWw44KK5ray
+5Y+j5YaF5bCE57K+
+5p2+6JGJ5bSp44GX
+6aGU6Z2i6aiO5LmX
+44GP44GQ44KK5qSF5a2Q
+44GZ44GR44G55qSF5a2Q
+44K544Kx44OZ5qSF5a2Q
+44Ki44OK44Or44OJ44Or
+44Kk44Op44Oe44OB44Kq
+44Ko44ON44Oe44Kw44Op
+44Kq44OK44Ob44O844Or
+44Kv44Oq44OI44Oq44K5
+44Of44Of44K65Y2D5Yy5
+5pWw44Gu5a2Q5aSp5LqV
+55e05ryi44OX44Os44Kk
+6Iqx44Gz44KJ5Zue6Lui
+6YeO5aSW44OX44Os44Kk
+44G+44KT44GQ44KK6L+U44GX
+44Oe44Oz44Kw44Oq6L+U44GX
+44Ki44OK44Or44OQ44Kk44OW
+44Ki44OK44Or44OT44O844K6
+44Ki44OK44Or44OX44Op44Kw
+44Ki44OL44Oq44Oz44Kw44K5
+44K944O844OX44Op44Oz44OJ
+44OA44OD44OB44Ov44Kk44OV
+44Oe44OD44OI44OX44Os44Kk
+44Op44OW44K444Ol44O844K5
+44Ki44OK44Or44K744OD44Kv44K5
+44Kv44Oz44OL44Oq44Oz44Kw44K5
+44OU44Oz44Kv44Ot44O844K/44O8
+5aSn5Lq644Gu44GK44KC44Gh44KD
+5oCn5oSf44Oe44OD44K144O844K4
+44Ki44Oh44Oq44Kr44Oz44OB44Oz44Od
+44OV44Kj44K544OI44OV44Kh44OD44Kv
+44Oe44K544K/44O844OZ44O844K344On44Oz

metadata

@@ -1,7 +1,7 @@
 --- !ruby/object:Gem::Specification
 name: hiwai
 version: !ruby/object:Gem::Version
-  version: 0.0.0
+  version: 0.0.1
   prerelease: 
 platform: ruby
 authors:
@@ -9,11 +9,11 @@ authors:
 autorequire: 
 bindir: bin
 cert_chain: []
-date: 2012-03-26 00:00:00.000000000 Z
+date: 2012-04-01 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: rake
-  requirement: &70155429296240 !ruby/object:Gem::Requirement
+  requirement: &70125375902360 !ruby/object:Gem::Requirement
     none: false
     requirements:
     - - ! '>='
@@ -21,10 +21,10 @@ dependencies:
         version: 0.9.2
   type: :development
   prerelease: false
-  version_requirements: *70155429296240
+  version_requirements: *70125375902360
 - !ruby/object:Gem::Dependency
   name: rspec
-  requirement: &70155429295720 !ruby/object:Gem::Requirement
+  requirement: &70125375901560 !ruby/object:Gem::Requirement
     none: false
     requirements:
     - - ! '>='
@@ -32,7 +32,7 @@ dependencies:
         version: 2.6.0
   type: :development
   prerelease: false
-  version_requirements: *70155429295720
+  version_requirements: *70125375901560
 description: detect hiwai string in japanese
 email:
 - celluloid.key@gmail.com
@@ -41,16 +41,20 @@ extensions: []
 extra_rdoc_files: []
 files:
 - .gitignore
+- ChangeLog.md
 - Gemfile
 - LICENSE
 - README.md
 - Rakefile
 - hiwai.gemspec
 - lib/hiwai.rb
+- lib/hiwai/censorable_words.rb
 - lib/hiwai/masked.rb
 - lib/hiwai/object.rb
 - lib/hiwai/version.rb
+- spec/censorable_words_spec.rb
 - spec/hiwai_spec.rb
+- spec/object_spec.rb
 - spec/spec_helper.rb
 - spec/support/example_group_helper.rb
 - vendor/hiwai.txt
@@ -79,6 +83,8 @@ signing_key:
 specification_version: 3
 summary: detect hiwai string
 test_files:
+- spec/censorable_words_spec.rb
 - spec/hiwai_spec.rb
+- spec/object_spec.rb
 - spec/spec_helper.rb
 - spec/support/example_group_helper.rb