russian_metaphone 0.0.1

data/.gitignore

@@ -0,0 +1,18 @@
+*.gem
+*.rbc
+.bundle
+.config
+.yardoc
+Gemfile.lock
+InstalledFiles
+_yardoc
+coverage
+doc/
+lib/bundler/man
+pkg
+rdoc
+spec/reports
+test/tmp
+test/version_tmp
+tmp
+vendor/gems

data/Gemfile

@@ -0,0 +1,4 @@
+source 'https://rubygems.org'
+
+# Specify your gem's dependencies in russian_metaphone.gemspec
+gemspec

data/LICENSE.txt

@@ -0,0 +1,22 @@
+Copyright (c) 2013 Pavlo V. Lysov
+
+MIT License
+
+Permission is hereby granted, free of charge, to any person obtaining
+a copy of this software and associated documentation files (the
+"Software"), to deal in the Software without restriction, including
+without limitation the rights to use, copy, modify, merge, publish,
+distribute, sublicense, and/or sell copies of the Software, and to
+permit persons to whom the Software is furnished to do so, subject to
+the following conditions:
+
+The above copyright notice and this permission notice shall be
+included in all copies or substantial portions of the Software.
+
+THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
+EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
+MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
+NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE
+LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION
+OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION
+WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.

data/README.md

@@ -0,0 +1,84 @@
+# RussianMetaphone
+
+This gem provides an implementation of 'Metaphone' phonetic algorithm adapted for Russian language. Check [this Wikipedia article](http://rubydoc.info/gems/carrierwave/frames) for Metaphone intro.
+
+## Installation
+
+Add this line to your application's Gemfile:
+
+    gem 'russian_metaphone'
+
+And then execute:
+
+    $ bundle
+
+Or install it yourself as:
+
+    $ gem install russian_metaphone
+
+## Usage
+
+Going to switch to Russian at this point... Drop me a line if you'd like me to translate the Usage section to English...
+
+Алгоритм русского "Метафон" был предложен Петром Каньковски более 10 лет назад. Именно он и лег в основу этой реализации. Оригинал статьи, за давностью лет, не сохранился, но его можно посмотреть в [архиве](http://web.archive.org/web/20071107145942/http://kankowski.narod.ru/dev/metaphoneru.htm).
+
+Реализация RussianMetaphone не претендует на высокую производительность. Основной упор сделан на модульность реализации - позволяет легко менять, настраивать, тестировать и подстраивать его под нужды конкретного проекта. Думаю оптимизация хорошо настроенного алгоритма не будет сложной задачей, гораздо сложнее "оттюнить" сам алгоритм.
+
+### Как пользоваться
+
+```ruby
+puts RussianMetaphone::process("Ахматова") # => ахмат%5
+puts RussianMetaphone::process("Бродский") # => працк%9
+puts RussianMetaphone::process("Мальденштам") # => малдинштам
+```
+
+### Как это работает
+
+Входные данные проходят через набор фильтров и каждый фильтр по-своему модифицирует строку. Та строка, которую вернет последний в цепочке фильтр и будет конечным результатом.
+
+### Фильтры
+
+Фильтр - это руби модуль или экземпляр класса, который реализует метод *filter*:
+
+```ruby
+def filter(string, options = {})
+```
+
+результатом выполнения фильтра должна быть строка. 
+
+RussianMetaphone имеет готовый набор фильтров для работы с именами и фамилиями, эти фильтры перечислены ниже. Вы можете добавить свои фильтры в цепочку если алгоритм не совсем четко справляется с Вашей задачей. Про добавление "кастомных" фильтров в цепочку смотрите ниже.
+
+#### RussianMetaphone::Filter::Normalization
+
+Нормализует строку - убирает из нее все не кириллическое, а так-же символы твердого и мягкого знаков ('Ъ' и 'Ь')
+
+#### RussianMetaphone::Filter::DuplicatesRemoval
+
+Исключает повторяющиеся символы - (Метревели многие напишут как Метревелли)
+
+#### RussianMetaphone::Filter::LastnameEnding
+
+При работе с фамилиями бывает полезным заменить часто употребимые окончания фамилий на что-то более короткое. Этот фильтр заменяет окончание *овский* на *%1*, *евский* на *%2* и т.д. Остальные замены см. в исходниках.
+
+#### RussianMetaphone::Filter::Replacement
+
+Заменяет символы следующим образом:
+
+* ТС, ДС - заменяются на Ц
+* ЙО, ИО, ЙЕ, ИЕ - заменяются на И
+* О, Ы, А, Я - заменяются на А
+* Ю, У - заменяются на У
+* Е, Ё, Э - заменяются на И
+
+#### RussianMetaphone::Filter::BreathConsonants
+
+Производит оглушение согласных в слабой позиции. См. исходник - там описаны детали.
+
+
+## Contributing
+
+1. Fork it
+2. Create your feature branch (`git checkout -b my-new-feature`)
+3. Commit your changes (`git commit -am 'Add some feature'`)
+4. Push to the branch (`git push origin my-new-feature`)
+5. Create new Pull Request

data/Rakefile

@@ -0,0 +1 @@
+require "bundler/gem_tasks"

data/lib/russian_metaphone/filter/breath_consonants.rb

@@ -0,0 +1,46 @@
+# encoding: UTF-8
+module RussianMetaphone
+  module Filter
+    # Оглушение согласных в слабой позиции
+    module BreathConsonants
+
+      REZONANTS = %w(л м н р) # Сонорные согласные (те звонкие, у которых нет глухой пары?) 
+      VOICED_VS_VOICELESS = { 'б' => 'п', 'в' => 'ф', 'г' => 'к', 'д' => 'т', 'ж' => 'ж', 'з' => 'с' }
+      VOICED = VOICED_VS_VOICELESS.keys
+      VOICELESS = VOICED_VS_VOICELESS.values
+
+      def filter(string, options = {})
+        options[:skip_if_before_rezonant] = false if !options.has_key?(:skip_if_before_rezonant)
+        previous_char = nil
+
+        string.each_char.each_with_index do |current_char, ind|
+          if VOICED.include?(previous_char) && 
+            (
+              VOICELESS.include?(current_char) || 
+              (!options[:skip_if_before_rezonant] && REZONANTS.include?(current_char))
+          )
+          string[ind-1] = VOICED_VS_VOICELESS[previous_char]
+          end
+          previous_char = current_char
+        end
+
+        # Звонкие согласные превращаются в глухие в конце слова
+        string[string.length-1] = VOICED_VS_VOICELESS[previous_char] if VOICED.include?(previous_char)
+
+        string
+      end
+      module_function :filter
+
+    end
+
+  end
+end
+
+# Слабой считается такая позиция (место в слове) звука, 
+# при которой он слышится неясно, неотчётливо. 
+#
+# Такими позициями для согласных звуков являются 
+# 1) расположение согласного звука в конце слова: дуб [дуп], верблюд [вирблют]; 
+# 2) расположение согласного звука перед другим согласным (кроме сонорных) - 
+#     при так называемом стечении согласных, когда их несколько в слове: 
+#     пробка [пропка], скобка [скопка];

data/lib/russian_metaphone/filter/duplicates_removal.rb

@@ -0,0 +1,21 @@
+# encoding: UTF-8
+module RussianMetaphone
+  module Filter
+    # Исключение повторяющихся символов
+    module DuplicatesRemoval
+
+      def filter(string, options = {})
+        previous_char = nil
+
+        string.each_char.each_with_index do |current_char, ind|
+          string.slice!(ind-1) if previous_char == current_char
+          previous_char = current_char
+        end
+
+        string
+      end
+      module_function :filter
+
+    end
+  end
+end

data/lib/russian_metaphone/filter/lastname_ending.rb

@@ -0,0 +1,32 @@
+# encoding: UTF-8
+module RussianMetaphone
+  module Filter
+    module LastnameEnding
+
+      REPLACEMENTS = { 
+        /овский$/               => '%1',
+        /евский$/               => '%2',
+        /овская$/               => '%3',
+        /евская$/               => '%4',
+        /иева$|еева$|ова$|ева$/ => '%5',
+        /иев$|еев$|ов$|ев$/     => '%6',
+        /нко$/                  => '%7',
+        /ая$/                   => '%8',
+        /ий$|ый$/               => '%9',
+        /ых$|их$/               => '%10',
+        /ин$/                   => '%11',
+        /ик$|ек$/               => '%12',
+        /ук$|юк$/               => '%13'
+      }
+
+      def filter(string, options = {})
+        REPLACEMENTS.each_pair do |regexp, substitution|
+          string.gsub!(regexp, substitution)
+        end
+        string
+      end
+
+      module_function :filter
+    end
+  end
+end

data/lib/russian_metaphone/filter/normalization.rb

@@ -0,0 +1,16 @@
+# encoding: UTF-8
+module RussianMetaphone
+  module Filter
+    module Normalization
+
+      STRIP_REGEXP = /[ъь]/ 
+
+      def filter(string, options = {})
+        string = Unicode.downcase(string.gsub(/\P{Cyrillic}+/, ''))
+        string.gsub(STRIP_REGEXP, '')
+      end
+
+      module_function :filter
+    end
+  end
+end

data/lib/russian_metaphone/filter/replacement.rb

@@ -0,0 +1,36 @@
+# encoding: UTF-8
+
+# Исходные символы  |  Конечный символ
+#                   |
+#  О, Ы, А, Я       |        А
+#  Ю, У             |        У
+#  Е, Ё, Э, И       |        И
+#
+#  ЙО, ИО, ЙЕ, ИЕ заменяются на И
+#  ТС, ДС заменяются на Ц
+#
+module RussianMetaphone
+  module Filter
+    module Replacement
+
+      REPLACEMENTS = { 
+        /тс|дс/ => 'ц' , 
+        /йо|ио|йе|ие/ => 'и', 
+        /[оыя]/ => 'а', 
+        /[ю]/ => 'y', 
+        /[еёэ]/ => 'и' 
+      }
+
+      def filter(string, options = {})
+        result = String.new(string)
+        REPLACEMENTS.each_pair do |reg, char|
+          result.gsub!(reg, char)
+        end
+        result
+      end
+      module_function :filter
+
+    end
+  end
+
+end

data/lib/russian_metaphone/filter.rb

@@ -0,0 +1,6 @@
+# encoding: UTF-8
+require 'russian_metaphone/filter/normalization'
+require 'russian_metaphone/filter/replacement'
+require 'russian_metaphone/filter/breath_consonants'
+require 'russian_metaphone/filter/duplicates_removal'
+require 'russian_metaphone/filter/lastname_ending'

data/lib/russian_metaphone/version.rb

@@ -0,0 +1,4 @@
+# encoding: UTF-8
+module RussianMetaphone
+  VERSION = "0.0.1"
+end

data/lib/russian_metaphone.rb

@@ -0,0 +1,21 @@
+# encoding: UTF-8
+require "unicode"
+require "russian_metaphone/version"
+require "russian_metaphone/filter"
+
+module RussianMetaphone
+  def process(source)
+    filters = [
+      RussianMetaphone::Filter::Normalization,
+      RussianMetaphone::Filter::DuplicatesRemoval,
+      RussianMetaphone::Filter::LastnameEnding,
+      RussianMetaphone::Filter::Replacement,
+      RussianMetaphone::Filter::BreathConsonants,
+      RussianMetaphone::Filter::DuplicatesRemoval
+    ]
+    result = String.new(source)
+    filters.each { |f| result = f.send(:filter, result) }
+    result
+  end
+  module_function :process
+end

data/russian_metaphone.gemspec

@@ -0,0 +1,22 @@
+# -*- encoding: utf-8 -*-
+lib = File.expand_path('../lib', __FILE__)
+$LOAD_PATH.unshift(lib) unless $LOAD_PATH.include?(lib)
+require 'russian_metaphone/version'
+
+Gem::Specification.new do |gem|
+  gem.name          = "russian_metaphone"
+  gem.version       = RussianMetaphone::VERSION
+  gem.authors       = ["Pavlo V. Lysov"]
+  gem.email         = ["pavlo@cleverua.com"]
+  gem.description   = %q{Implements 'Metaphone' phonetic algorithm adapted for Russian language}
+  gem.summary       = %q{Implements 'Metaphone' phonetic algorithm adapted for Russian language, allows easy extending and algorithm tuning.}
+  gem.homepage      = "https://github.com/cleverua/russian_metaphone"
+
+  gem.files         = `git ls-files`.split($/)
+  gem.executables   = gem.files.grep(%r{^bin/}).map{ |f| File.basename(f) }
+  gem.test_files    = gem.files.grep(%r{^(test|spec|features)/})
+  gem.require_paths = ["lib"]
+
+  gem.add_dependency("unicode", ">= 0.4.4")
+  gem.add_development_dependency "rspec"
+end

data/spec/breath_consonants_filter_spec.rb

@@ -0,0 +1,23 @@
+# encoding: UTF-8
+require 'spec_helper'
+
+describe "Breath Consonants Filter" do
+  
+  it "should replace voiced with voiceless counterpart if voiced goes right before a voiceless" do
+    RussianMetaphone::Filter::BreathConsonants.filter('мавка').should == 'мафка'
+    RussianMetaphone::Filter::BreathConsonants.filter('обнимать').should == 'опнимать'
+    RussianMetaphone::Filter::BreathConsonants.filter('втгжбсаук').should == 'фткжпсаук'
+  end
+
+  it "skip_if_before_rezonant option is TRUE" do
+    # если 'Б' идет перед сонорным 'Н', тогда его не заменяем, если передан skip_if_before_rezonant 
+    RussianMetaphone::Filter::BreathConsonants.filter('обнимать', :skip_if_before_rezonant => true).should == 'обнимать'
+  end
+
+  it "should replace voiced conconant with voiceless at the end of the word" do
+    RussianMetaphone::Filter::BreathConsonants.filter('город').should == 'горот'
+    RussianMetaphone::Filter::BreathConsonants.filter('мороз').should == 'морос'
+  end
+
+end
+

data/spec/duplicates_removal_filter_spec.rb

@@ -0,0 +1,16 @@
+# encoding: UTF-8
+require 'spec_helper'
+
+describe "Duplicates Removal Filter" do
+  
+  it "should remove all duplicates" do
+    RussianMetaphone::Filter::DuplicatesRemoval.filter('Метревелли').should == 'Метревели'
+    RussianMetaphone::Filter::DuplicatesRemoval.filter('Длиннющий').should == 'Длинющий'
+  end
+  
+  it "should not do anything if no duplicates available" do
+    RussianMetaphone::Filter::DuplicatesRemoval.filter('новый год').should == 'новый год'
+  end
+
+end
+

data/spec/lastname_ending_filter_spec.rb

@@ -0,0 +1,46 @@
+# encoding: UTF-8
+require 'spec_helper'
+
+describe "Lastname Ending Filter" do
+  
+  it "should collapse like this:" do
+    assert_filter('Дубровский', 'Дубр%1')
+    assert_filter('Раевский', 'Ра%2')
+    assert_filter('Покровская', 'Покр%3')
+    assert_filter('Раневская', 'Ран%4')
+
+    assert_filter('Палиева', 'Пал%5')
+    assert_filter('Авдеева', 'Авд%5')
+    assert_filter('Семенова', 'Семен%5')
+    assert_filter('Терентьева', 'Теренть%5')
+
+    assert_filter('Палиев', 'Пал%6')
+    assert_filter('Авдеев', 'Авд%6')
+    assert_filter('Семенов', 'Семен%6')
+    assert_filter('Терентьев', 'Теренть%6')
+
+    assert_filter('Кононенко', 'Кононе%7')
+
+    assert_filter('Яровая', 'Яров%8')
+
+    assert_filter('Чернявский', 'Чернявск%9')
+    assert_filter('Буденый', 'Буден%9')
+
+    assert_filter('Боровских', 'Боровск%10')
+    assert_filter('Черных', 'Черн%10')
+
+    assert_filter('Литвин', 'Литв%11')
+
+    assert_filter('Кулик', 'Кул%12')
+    assert_filter('Гашек', 'Гаш%12')
+
+    assert_filter('Гайдук', 'Гайд%13')
+    assert_filter('Мазнюк', 'Мазн%13')
+  end
+  
+end
+
+def assert_filter(source, expected)
+  RussianMetaphone::Filter::LastnameEnding.filter(source).should == expected
+end
+

data/spec/normalization_filter_spec.rb

@@ -0,0 +1,24 @@
+# encoding: UTF-8
+require 'spec_helper'
+
+describe "Normalization Filter" do
+
+  it "should join multiple words into one" do
+    RussianMetaphone::Filter::Normalization.filter("привет от старых штиблет").should == 'приветотстарыхштиблет'
+  end
+
+  it "should not allow anything but cyrillic chars" do
+    RussianMetaphone::Filter::Normalization.filter("Привет мир! Hello World!").should == 'приветмир'
+  end
+
+  it "should downcase things properly" do
+    source = "МИРу МИр"
+    RussianMetaphone::Filter::Normalization.filter("МИРу МИр").should == 'мирумир'
+  end
+
+  it "should stip Ь and Ъ chars" do
+    RussianMetaphone::Filter::Normalization.filter("масянька").should == 'масянка'
+    RussianMetaphone::Filter::Normalization.filter("гундосъев").should == 'гундосев'
+  end
+
+end

data/spec/replacement_filter_spec.rb

@@ -0,0 +1,33 @@
+# encoding: UTF-8
+require 'spec_helper'
+
+#
+# Исходные символы  |  Конечный символ
+#                   |
+#  О, Ы, А, Я       |        А
+#  Ю, У             |        У
+#  Е, Ё, Э, И       |        И
+#
+#  ЙО, ИО, ЙЕ, ИЕ заменяются на И
+#  ТС, ДС заменяются на Ц
+
+describe "Replacements Filter" do
+  
+  it "should not take into account the accent of a word" do
+    RussianMetaphone::Filter::Replacement.filter('боян').should == 'баан'
+    RussianMetaphone::Filter::Replacement.filter('малюкиёлка').should == 'малyкиилка'
+  end
+
+  it "should replace ЙО, ИО, ЙЕ, ИЕ = И" do
+    RussianMetaphone::Filter::Replacement.filter('майонез').should == 'маиниз'
+    RussianMetaphone::Filter::Replacement.filter('физиотерапия').should == 'физитирапиа'
+    RussianMetaphone::Filter::Replacement.filter('йемен').should == 'имин'
+    RussianMetaphone::Filter::Replacement.filter('приключение').should == 'приклyчини'
+  end
+
+  it "should replace ТС, ДС = Ц" do
+    RussianMetaphone::Filter::Replacement.filter('безрассудство').should == 'бизрассуцтва'
+    RussianMetaphone::Filter::Replacement.filter('детсад').should == 'дицад'
+  end
+end
+

data/spec/spec_helper.rb

@@ -0,0 +1,2 @@
+# encoding: UTF-8
+require 'russian_metaphone'

metadata

@@ -0,0 +1,104 @@
+--- !ruby/object:Gem::Specification
+name: russian_metaphone
+version: !ruby/object:Gem::Version
+  version: 0.0.1
+  prerelease: 
+platform: ruby
+authors:
+- Pavlo V. Lysov
+autorequire: 
+bindir: bin
+cert_chain: []
+date: 2013-07-27 00:00:00.000000000 Z
+dependencies:
+- !ruby/object:Gem::Dependency
+  name: unicode
+  requirement: !ruby/object:Gem::Requirement
+    none: false
+    requirements:
+    - - ! '>='
+      - !ruby/object:Gem::Version
+        version: 0.4.4
+  type: :runtime
+  prerelease: false
+  version_requirements: !ruby/object:Gem::Requirement
+    none: false
+    requirements:
+    - - ! '>='
+      - !ruby/object:Gem::Version
+        version: 0.4.4
+- !ruby/object:Gem::Dependency
+  name: rspec
+  requirement: !ruby/object:Gem::Requirement
+    none: false
+    requirements:
+    - - ! '>='
+      - !ruby/object:Gem::Version
+        version: '0'
+  type: :development
+  prerelease: false
+  version_requirements: !ruby/object:Gem::Requirement
+    none: false
+    requirements:
+    - - ! '>='
+      - !ruby/object:Gem::Version
+        version: '0'
+description: Implements 'Metaphone' phonetic algorithm adapted for Russian language
+email:
+- pavlo@cleverua.com
+executables: []
+extensions: []
+extra_rdoc_files: []
+files:
+- .gitignore
+- Gemfile
+- LICENSE.txt
+- README.md
+- Rakefile
+- lib/russian_metaphone.rb
+- lib/russian_metaphone/filter.rb
+- lib/russian_metaphone/filter/breath_consonants.rb
+- lib/russian_metaphone/filter/duplicates_removal.rb
+- lib/russian_metaphone/filter/lastname_ending.rb
+- lib/russian_metaphone/filter/normalization.rb
+- lib/russian_metaphone/filter/replacement.rb
+- lib/russian_metaphone/version.rb
+- russian_metaphone.gemspec
+- spec/breath_consonants_filter_spec.rb
+- spec/duplicates_removal_filter_spec.rb
+- spec/lastname_ending_filter_spec.rb
+- spec/normalization_filter_spec.rb
+- spec/replacement_filter_spec.rb
+- spec/spec_helper.rb
+homepage: https://github.com/cleverua/russian_metaphone
+licenses: []
+post_install_message: 
+rdoc_options: []
+require_paths:
+- lib
+required_ruby_version: !ruby/object:Gem::Requirement
+  none: false
+  requirements:
+  - - ! '>='
+    - !ruby/object:Gem::Version
+      version: '0'
+required_rubygems_version: !ruby/object:Gem::Requirement
+  none: false
+  requirements:
+  - - ! '>='
+    - !ruby/object:Gem::Version
+      version: '0'
+requirements: []
+rubyforge_project: 
+rubygems_version: 1.8.24
+signing_key: 
+specification_version: 3
+summary: Implements 'Metaphone' phonetic algorithm adapted for Russian language, allows
+  easy extending and algorithm tuning.
+test_files:
+- spec/breath_consonants_filter_spec.rb
+- spec/duplicates_removal_filter_spec.rb
+- spec/lastname_ending_filter_spec.rb
+- spec/normalization_filter_spec.rb
+- spec/replacement_filter_spec.rb
+- spec/spec_helper.rb