ja-complex-word 0.0.0

data/.document

@@ -0,0 +1,5 @@
+lib/**/*.rb
+bin/*
+- 
+features/**/*.feature
+LICENSE.txt

data/.rspec

@@ -0,0 +1 @@
+-fs --color

data/Gemfile

@@ -0,0 +1,13 @@
+source "http://rubygems.org"
+# Add dependencies required to use your gem here.
+# Example:
+#   gem "activesupport", ">= 2.3.5"
+
+# Add dependencies to develop your gem here.
+# Include everything needed to run rake, tests, features, etc.
+group :development do
+  gem "rspec", "~> 2.3.0"
+  gem "bundler", "~> 1.0.0"
+  gem "jeweler", "~> 1.6.4"
+  gem "rcov", ">= 0"
+end

data/README.rdoc

@@ -0,0 +1,61 @@
+= Ja::ComplexWord
+
+== 概要
+
+MeCab の形態素解析結果に複合語の考慮を与えるライブラリ。
+TermExtract::MeCab (Perl ライブラリ) から複合語に関する処理を抜き出し、単体でシンプルに使えるようにしたものです。
+
+イメージとしては、[東京 特許 許可局 の 名前 が 欲しい です] という形態素の配列があるときに、
+[[東京 特許 許可局] の [名前] が 欲しい です] のように flat ではない 2 次元配列へとパースしてくれるものです。
+
+== 使い方
+
+    require 'ja/complex_word'
+    
+    text = 'ABC事件とは東京特許許可局でバスガス爆発が緊急発生した事件のことです'
+    jcw = Ja::ComplexWord.new
+    node_list = jcw.parse(text)
+    node_list.each do |node|
+      if node.is_a?(Array)
+        all = node.map{|n| n.surface }.join
+        puts "#{all}\t複合語"
+        node.each do |n|
+          puts " - #{n.surface}\t#{n.feature}"
+        end
+      else
+        puts "#{node.surface}\t#{node.feature}"
+      end
+    end
+
+    ABC事件 複合語
+     - ABC  ,
+     - 事件 名詞,一般,*,*,*,*,事件,ジケン,ジケン
+    と      助詞,格助詞,一般,*,*,*,と,ト,ト
+    は      助詞,係助詞,*,*,*,*,は,ハ,ワ
+    東京特許許可局  複合語
+     - 東京 名詞,固有名詞,地域,一般,*,*,東京,トウキョウ,トーキョー
+     - 特許 名詞,サ変接続,*,*,*,*,特許,トッキョ,トッキョ
+     - 許可 名詞,サ変接続,*,*,*,*,許可,キョカ,キョカ
+     - 局   名詞,接尾,一般,*,*,*,局,キョク,キョク
+    で      助詞,格助詞,一般,*,*,*,で,デ,デ
+    バスガス爆発    複合語
+     - バス 名詞,一般,*,*,*,*,バス,バス,バス
+     - ガス 名詞,一般,*,*,*,*,ガス,ガス,ガス
+     - 爆発 名詞,サ変接続,*,*,*,*,爆発,バクハツ,バクハツ
+    が      助詞,格助詞,一般,*,*,*,が,ガ,ガ
+    緊急発生        複合語
+     - 緊急 名詞,形容動詞語幹,*,*,*,*,緊急,キンキュウ,キンキュー
+     - 発生 名詞,サ変接続,*,*,*,*,発生,ハッセイ,ハッセイ
+    し      動詞,自立,*,*,サ変・スル,連用形,する,シ,シ
+    た      助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
+    事件    名詞,一般,*,*,*,*,事件,ジケン,ジケン
+    の      助詞,連体化,*,*,*,*,の,ノ,ノ
+    こと    名詞,非自立,一般,*,*,*,こと,コト,コト
+    です    助動詞,*,*,*,特殊・デス,基本形,です,デス,デス
+
+== 使い方
+
+== ライセンス
+
+Term::Extract のライセンスと同様にしたいと思います。
+(Term::Extract のライセンス自体がどうなっているかよく分かりませんが…。)

data/Rakefile

@@ -0,0 +1,49 @@
+# encoding: utf-8
+
+require 'rubygems'
+require 'bundler'
+begin
+  Bundler.setup(:default, :development)
+rescue Bundler::BundlerError => e
+  $stderr.puts e.message
+  $stderr.puts "Run `bundle install` to install missing gems"
+  exit e.status_code
+end
+require 'rake'
+
+require 'jeweler'
+Jeweler::Tasks.new do |gem|
+  # gem is a Gem::Specification... see http://docs.rubygems.org/read/chapter/20 for more options
+  gem.name = "ja-complex-word"
+  gem.homepage = "http://github.com/tily/ruby-ja-complex-word"
+  gem.license = "MIT"
+  gem.summary = %Q{日本語テキストに含まれる複合語をパースするライブラリ}
+  gem.description = %Q{日本語テキストに含まれる複合語をパースするライブラリ}
+  gem.email = "tily05@gmail.com"
+  gem.authors = ["tily"]
+  # dependencies defined in Gemfile
+end
+Jeweler::RubygemsDotOrgTasks.new
+
+require 'rspec/core'
+require 'rspec/core/rake_task'
+RSpec::Core::RakeTask.new(:spec) do |spec|
+  spec.pattern = FileList['spec/**/*_spec.rb']
+end
+
+RSpec::Core::RakeTask.new(:rcov) do |spec|
+  spec.pattern = 'spec/**/*_spec.rb'
+  spec.rcov = true
+end
+
+task :default => :spec
+
+require 'rake/rdoctask'
+Rake::RDocTask.new do |rdoc|
+  version = File.exist?('VERSION') ? File.read('VERSION') : ""
+
+  rdoc.rdoc_dir = 'rdoc'
+  rdoc.title = "ruby-ja-complex-word #{version}"
+  rdoc.rdoc_files.include('README*')
+  rdoc.rdoc_files.include('lib/**/*.rb')
+end

data/VERSION

@@ -0,0 +1 @@
+0.0.0

data/example/test.rb

@@ -0,0 +1,18 @@
+# -*- coding:utf-8 -*-
+$:.unshift(File.dirname(__FILE__) + '/../lib')
+require 'ja/complex_word'
+
+text = 'ABC事件とは東京特許許可局でバスガス爆発が緊急発生した事件のことです'
+jcw = Ja::ComplexWord.new
+node_list = jcw.parse(text)
+node_list.each do |node|
+  if node.is_a?(Array)
+    all = node.map{|n| n.surface }.join
+    puts "#{all}\t複合語"
+    node.each do |n|
+      puts " - #{n.surface}\t#{n.feature}"
+    end
+  else
+    puts "#{node.surface}\t#{node.feature}"
+  end
+end

data/lib/ja/complex_word.rb

@@ -0,0 +1,129 @@
+# -*- coding: utf-8 -*-
+require 'MeCab'
+require 'ostruct'
+
+class Ja
+  class ComplexWord
+    DEFAULT_UNKNOWN = '未知語'
+    RULE_BASE = {:noun1 => false, :noun2 => false, :verb => false}
+
+    # コンストラクタ。オプションを指定することができる。
+    def initialize(opts={})
+      @opts = opts
+    end
+
+    # 入力されたオブジェクトを複合語考慮した配列にパースして返す。
+    # 引数には下記オブジェクトを取ることができる。
+    #
+    # * IO オブジェクト (#read で日本語テキストを返すもの)
+    # * String オブジェクト (日本語テキスト)
+    # * MeCab::Node オブジェクト
+    # * Array オブジェクト (各要素は文字列を返す surface, feature メソッドを持つ必要がある)
+    def parse(arg)
+      unk = @opts[:unk] || DEFAULT_UNKNOWN
+      nodes = []
+      if arg.respond_to?(:read)
+        nodes = to_nodes(arg.read)
+      elsif arg.is_a?(String)
+        nodes = to_nodes(arg)
+      elsif arg.is_a?(MeCab::Node)
+        node = arg
+        nodes = []
+        while node
+          nodes << OpenStruct.new(:surface => node.surface, :feature => node.feature)
+          node = node.next
+        end
+      elsif arg.is_a?(Array)
+        nodes = arg
+      else
+        raise ArgumentError, 'Error: arg1 must be either an IO, String or Array.'
+      end
+      parse_nodes(nodes)
+    end
+
+    # MeCab を用いて日本語テキストを解析し MeCab::Node 風の OpenStruct オブジェクトを含む配列にして返す。
+    # 形態素が未知の場合には :unk オプションに指定された文字列 (デフォルトは「未知語」) を利用し、
+    # 素性を '未知語,' に設定する。
+    def to_nodes(text)
+      list = []
+      tagger = MeCab::Tagger.new("-U %M\\t#{@opts[:unk]},\\n")
+      result = tagger.parse(text)
+      result.split("\n").each do |line|
+        surface, feature = line.chomp.split("\t")
+        list << OpenStruct.new(:surface => surface, :feature => feature || '')
+      end
+      list
+    end
+
+    # Array オブジェクト (各要素は文字列を返す surface, feature メソッドを持つ) を受け取り、
+    # 複合語と思われる連続を Array 内の Array にパースして返却する。
+    def parse_nodes(nodes)
+      rule = RULE_BASE
+      rule.update(@opts[:rule]) if @opts[:rule]
+      terms = []    # 複合語リスト作成用の作業用配列
+      unknown = []  # 「未知語」整形用作業変数
+      must  = false # 次の語が名詞でなければならない場合は真
+      result = []
+
+      nodes.each do |node|
+        # 記号・数値で区切られた「未知語」は、１つのまとまりにしてから処理
+        if node.feature[/^#{@opts[:unk]},/u] && !node.surface[/^[\(\)\[\]\<\>|\"\'\;\,]/]
+          if unknown.empty?
+            unknown << node
+            next
+          end
+          # 「未知語」が記号・数値で結びつかない
+          unless unknown.last[/[A-Za-z]/] && node.surface[/^[A-Za-z]/]
+            unknown << node # 「未知語」をひとまとめにする
+            next
+          end
+        end
+        # ひとまとめにした「未知語」を蓄積する
+        while !unknown.empty?
+          if unknown.last =~ /^[\x21-\x2F]|[{|}:\;\<\>\[\]]$/
+            unknown.pop
+          else
+            break
+          end
+        end
+        terms.concat(unknown) if !unknown.empty?
+        unknown = []
+  
+        # 基本ルール
+        if node.feature[/^名詞,(一般|サ変接続|固有名詞),/u] ||
+           node.feature[/^名詞,接尾,(一般|サ変接続),/u]     ||
+           node.feature[/^名詞,固有名詞,/u]                 ||
+           node.feature[/^記号,アルファベット,/u]           ||
+           node.feature[/^m語,/u] && node.surface !~ /^[\x21-\x2F]|[{|}:\;\<\>\[\]]$/
+          terms << node
+          must = false
+          next
+        # 名詞ルール1
+        elsif node.feature[/^名詞,(形容動詞語幹|ナイ形容詞語幹),/u]
+          terms << node
+          must = rule[:noun1]
+          next
+        # 名詞ルール2
+        elsif node.feature[/^名詞,接尾,形容動詞語幹,/u]
+          terms << node
+          must = rule[:noun2]
+          next
+        end
+
+        # 動詞ルール
+        must = rule[:verb] if node.feature[/^動詞,/u]
+
+        if must || terms.size == 1
+          result += terms if !terms.empty?
+        else
+          result << terms if !terms.empty?
+        end
+
+        terms = []
+        must = false
+        result << node
+      end
+      result
+    end
+  end
+end

data/spec/base_spec.rb

@@ -0,0 +1,89 @@
+# -*- coding:utf-8 -*-
+require File.expand_path(File.dirname(__FILE__) + '/spec_helper')
+
+describe "Ja::ComplexWord (basic specs)" do
+  before do
+    @parser = Ja::ComplexWord.new
+  end
+
+  describe "#to_nodes" do
+    it "splits Japanese text to nodes." do
+      expect = [
+        ['すもも', '名詞,一般,*,*,*,*,すもも,スモモ,スモモ'   ],
+        ['も',     '助詞,係助詞,*,*,*,*,も,モ,モ'             ],
+        ['もも',   '名詞,一般,*,*,*,*,もも,モモ,モモ'         ],
+        ['も',     '助詞,係助詞,*,*,*,*,も,モ,モ'             ],
+        ['もも',   '名詞,一般,*,*,*,*,もも,モモ,モモ'         ],
+        ['の',     '助詞,連体化,*,*,*,*,の,ノ,ノ'             ],
+        ['うち',   '名詞,非自立,副詞可能,*,*,*,うち,ウチ,ウチ'],
+        ['EOS',    ''                                         ]
+      ]
+      nodes = @parser.to_nodes('すもももももももものうち')
+      res = nodes.map {|n| [n.surface, n.feature] }
+      res.should == expect
+    end
+
+    it "deals with unknown words correctly." do
+      expect = 'dummy_unknown_phrase' # TODO: must not include spaces.
+      @parser.instance_variable_set("@opts", {:unk => expect}) 
+      nodes = @parser.to_nodes("ABCをDEFした。")
+      [nodes[0].surface, nodes[0].feature].should == %W(ABC #{expect},)
+      [nodes[2].surface, nodes[2].feature].should == %W(DEF #{expect},)
+    end
+  end
+
+  describe "#parse" do
+    it "receives an IO." do
+      expects = %w(値1 値2 値3)
+      io = StringIO.new(expects[0])
+      @parser.should_receive(:to_nodes).with(expects[0]).and_return(expects[1])
+      @parser.should_receive(:parse_nodes).with(expects[1]).and_return(expects[2])
+      @parser.parse(io).should == expects[2]
+
+    end
+
+    it "receives a String." do
+      expects = %w(値1 値2 値3)
+      @parser.should_receive(:to_nodes).with(expects[0]).and_return(expects[1])
+      @parser.should_receive(:parse_nodes).with(expects[1]).and_return(expects[2])
+      @parser.parse(expects[0]).should == expects[2]
+    end
+
+    it "receives a MeCab::Node." do
+      expect = 'テスト用の値'
+      tagger = MeCab::Tagger.new
+      node = tagger.parseToNode('これはテストです')
+      @parser.should_receive(:parse_nodes).and_return(expect)
+      @parser.parse(node).should == expect
+    end
+
+    it "receives an Array." do
+      expect = [
+        OpenStruct.new(:surface => '', :feature => ''),
+        OpenStruct.new(:surface => '', :feature => ''),
+        OpenStruct.new(:surface => '', :feature => '')
+      ]
+      result = 'dummy'
+      @parser.should_receive(:parse_nodes).with(expect).and_return(result)
+      @parser.parse(expect).should == result
+    end
+
+    it "receives the other objects and raises an ArgumentError." do
+      SomeOtherClass = Class.new
+      lambda { @parser.parse(SomeOtherClass.new) }.should raise_error(ArgumentError)
+    end
+  end
+
+  describe "#parse_nodes" do
+    it "parses nodes good." do
+      nodes = [
+        OpenStruct.new(:surface => '', :feature => ''),
+        OpenStruct.new(:surface => '', :feature => ''),
+        OpenStruct.new(:surface => '', :feature => '')
+      ]
+      expect = [
+      ]
+      #@parser.parse_nodes(nodes).should_return(expect)
+    end
+  end
+end

data/spec/spec_helper.rb

@@ -0,0 +1,12 @@
+$LOAD_PATH.unshift(File.join(File.dirname(__FILE__), '..', 'lib'))
+$LOAD_PATH.unshift(File.dirname(__FILE__))
+require 'rspec'
+require 'ja/complex_word'
+
+# Requires supporting files with custom matchers and macros, etc,
+# in ./support/ and its subdirectories.
+Dir["#{File.dirname(__FILE__)}/support/**/*.rb"].each {|f| require f}
+
+RSpec.configure do |config|
+  
+end

metadata

@@ -0,0 +1,143 @@
+--- !ruby/object:Gem::Specification 
+name: ja-complex-word
+version: !ruby/object:Gem::Version 
+  hash: 31
+  prerelease: 
+  segments: 
+  - 0
+  - 0
+  - 0
+  version: 0.0.0
+platform: ruby
+authors: 
+- tily
+autorequire: 
+bindir: bin
+cert_chain: []
+
+date: 2011-10-14 00:00:00 +09:00
+default_executable: 
+dependencies: 
+- !ruby/object:Gem::Dependency 
+  type: :development
+  requirement: &id001 !ruby/object:Gem::Requirement 
+    none: false
+    requirements: 
+    - - ~>
+      - !ruby/object:Gem::Version 
+        hash: 3
+        segments: 
+        - 2
+        - 3
+        - 0
+        version: 2.3.0
+  name: rspec
+  version_requirements: *id001
+  prerelease: false
+- !ruby/object:Gem::Dependency 
+  type: :development
+  requirement: &id002 !ruby/object:Gem::Requirement 
+    none: false
+    requirements: 
+    - - ~>
+      - !ruby/object:Gem::Version 
+        hash: 23
+        segments: 
+        - 1
+        - 0
+        - 0
+        version: 1.0.0
+  name: bundler
+  version_requirements: *id002
+  prerelease: false
+- !ruby/object:Gem::Dependency 
+  type: :development
+  requirement: &id003 !ruby/object:Gem::Requirement 
+    none: false
+    requirements: 
+    - - ~>
+      - !ruby/object:Gem::Version 
+        hash: 7
+        segments: 
+        - 1
+        - 6
+        - 4
+        version: 1.6.4
+  name: jeweler
+  version_requirements: *id003
+  prerelease: false
+- !ruby/object:Gem::Dependency 
+  type: :development
+  requirement: &id004 !ruby/object:Gem::Requirement 
+    none: false
+    requirements: 
+    - - ">="
+      - !ruby/object:Gem::Version 
+        hash: 3
+        segments: 
+        - 0
+        version: "0"
+  name: rcov
+  version_requirements: *id004
+  prerelease: false
+description: !binary |
+  5pel5pys6Kqe44OG44Kt44K544OI44Gr5ZCr44G+44KM44KL6KSH5ZCI6Kqe
+  44KS44OR44O844K544GZ44KL44Op44Kk44OW44Op44Oq
+
+email: tily05@gmail.com
+executables: []
+
+extensions: []
+
+extra_rdoc_files: 
+- README.rdoc
+files: 
+- .document
+- .rspec
+- Gemfile
+- README.rdoc
+- Rakefile
+- VERSION
+- example/test.rb
+- lib/ja/complex_word.rb
+- spec/base_spec.rb
+- spec/spec_helper.rb
+has_rdoc: true
+homepage: http://github.com/tily/ruby-ja-complex-word
+licenses: 
+- MIT
+post_install_message: 
+rdoc_options: []
+
+require_paths: 
+- lib
+required_ruby_version: !ruby/object:Gem::Requirement 
+  none: false
+  requirements: 
+  - - ">="
+    - !ruby/object:Gem::Version 
+      hash: 3
+      segments: 
+      - 0
+      version: "0"
+required_rubygems_version: !ruby/object:Gem::Requirement 
+  none: false
+  requirements: 
+  - - ">="
+    - !ruby/object:Gem::Version 
+      hash: 3
+      segments: 
+      - 0
+      version: "0"
+requirements: []
+
+rubyforge_project: 
+rubygems_version: 1.6.2
+signing_key: 
+specification_version: 3
+summary: !binary |
+  5pel5pys6Kqe44OG44Kt44K544OI44Gr5ZCr44G+44KM44KL6KSH5ZCI6Kqe
+  44KS44OR44O844K544GZ44KL44Op44Kk44OW44Op44Oq
+
+test_files: []
+