petrovich 0.1.4 → 0.1.5

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA1:
-  metadata.gz: e254345aa99e9b41420872a0a26772a591770d11
-  data.tar.gz: 06d8364dc873d2d8240b47214820ab226d8027e6
+  metadata.gz: 172b74ffbc89257e10d65ff26748ec1cd60e8d7a
+  data.tar.gz: fddc2e767c1e1a0870c2ed56062aee987f88bcf5
 SHA512:
-  metadata.gz: cd90dab2d64215eaa63e405577cf24a78193057f978f719d46f016e58a23f19b4b8ff1ab1408abf78c1fb332f6e0ecd2714c14f81dbd1c39d0308c970dfc2aa5
-  data.tar.gz: 50c85d2aaf853a2d709ab1672641cd47cef24d72eeb947370ad74d3ceffa6e78a8f1b5b0188796453e3cc4dae49cd43287e4949f693c54fb5579203e7fb5f235
+  metadata.gz: 618bd1860e0809bc81700dc45fc14736bf0045ea6f5681574248e5965a84353753fb9ae2cd6dea2dd398529dfc1f58b32b8d4309f8c5578fdcc45415c571d033
+  data.tar.gz: 34caf140f11fb16c4a351be843ccabbb70520e1385db435c096f73c733adfba4baaa705f4c183ae354157cd8ddaf59fc3ebbf249a0a2c38dd884f3ebc0f7911e

data/MIT-LICENSE

@@ -1,4 +1,4 @@
-Copyright (c) 2013 Petrovich Developers
+Copyright (c) 2013-2014 Andrew Kozloff & Dmitry Ustalov
 
 MIT License
 

data/README.md

@@ -27,12 +27,12 @@ gem 'petrovich'
 
 Для работы гема требуется Ruby не младше версии 1.9.1. Petrovich не
 привязан к Ruby on Rails и может свободно использоваться практически
-в любых приложениях и библиотеках на Ruby.
+в любых приложениях и библиотеках на языке Ruby.
 
 ## Использование
 
 Вы задаёте начальные значения (фамилию, имя и отчество) в именительном
-падеже.
+падеже, а библиотека делает всё остальное.
 
 ```ruby
 p = Petrovich.new(:male)
@@ -155,6 +155,33 @@ person.my_lastname_dative   # => Сафронову
 | instrumental   | творительный | Кем? Чем?              |
 | prepositional  | предложный   | О ком? О чём?          |
 
+## Лемматизация
+
+Petrovich умеет выполнять преобразовывание фамилии, имени и отчества
+в произвольном падеже к нормальной форме, а именно в именительный падеж.
+Такой процесс называется *лемматизацией*.
+
+Для выполнения лемматизации нужно передать в методы склонения третий
+аргумент, означающий текущий падеж слова, а во втором аргументе указать
+желаемый падеж — именительный.
+
+```ruby
+p = Petrovich.new(:male )
+p.firstname('Савве', :nominative, :dative)         # => Савва
+p.middlename('Палладиевичу', :nominative, :dative) # => Палладиевич
+p.lastname('Солунскому', :nominative, :dative)     # => Солунский
+```
+
+Также Petrovich позволяет преобразовывать слово сразу в любой падеж,
+отличный от именительного:
+
+```ruby
+p = Petrovich.new(:female )
+p.firstname('Марфе', :accusative, :dative)     # => Марфу
+p.middlename('Золовне', :accusative, :dative)  # => Золовну
+p.lastname('Соловецкой', :accusative, :dative) # => Соловецкую
+```
+
 ## Оценка точности
 
 Тестирование гема при склонении коллекции фамилий из морфологического
@@ -168,11 +195,11 @@ person.my_lastname_dative   # => Сафронову
 
 ```
 Pr(nominative|male) = 100.0000%
-Pr(genitive|male) = 99.7261%
-Pr(dative|male) = 99.7510%
-Pr(accusative|male) = 99.7635%
-Pr(instrumental|male) = 99.2664%
-Pr(prepositional|male) = 99.7386%
+Pr(genitive|male) = 99.7635%
+Pr(dative|male) = 99.7884%
+Pr(accusative|male) = 99.8008%
+Pr(instrumental|male) = 99.3037%
+Pr(prepositional|male) = 99.7759%
 ```
 ```
 Pr(nominative|female) = 100.0000%
@@ -183,7 +210,7 @@ Pr(instrumental|female) = 99.4636%
 Pr(prepositional|female) = 99.9401%
 ```
 
-В настоящий момент наблюдается точность в 99.7815% на основе обработки
+В настоящий момент наблюдается точность в 99.7984% на основе обработки
 88314 примеров.
 
 [АОТ]: http://seman.svn.sourceforge.net/viewvc/seman/trunk/Docs/Morph_UNIX.txt?revision=HEAD&view=markup
@@ -195,7 +222,12 @@ Pr(prepositional|female) = 99.9401%
 ## Разработчики
 
  * [Андрей Козлов](https://github.com/tanraya)
- * [Дмитрий Усталов](http://eveel.ru)
+ * [Дмитрий Усталов](http://ustalov.name)
+
+## Благодарности
+
+Эта библиотека не была бы столь замечательна без содействия Павла Скрылёва,
+Никиты Помящего, Игоря Бочарикова, и других хороших людей.
 
 ## Портирование
 

data/Rakefile

@@ -2,18 +2,14 @@
 # encoding: utf-8
 
 require 'bundler/gem_tasks'
+require 'rake/testtask'
 
-begin
-  require 'rdoc/task'
-rescue LoadError
-  require 'rdoc/rdoc'
-  require 'rake/rdoctask'
-  RDoc::Task = Rake::RDocTask
+Rake::TestTask.new(:spec) do |test|
+  test.libs << 'spec'
+  test.test_files = Dir['spec/**/*_spec.rb']
+  test.verbose = true
 end
 
-require 'rspec/core/rake_task'
-RSpec::Core::RakeTask.new(:spec)
-
 task :petrovich do
   require 'petrovich'
 end

data/lib/petrovich/extension.rb

@@ -106,12 +106,20 @@ class Petrovich
         attribute = match[1]
         gcase     = match[2]
 
-        petrovich_create_getter(method_name, attribute, gcase).call
+        petrovich_create_getter(method_name, attribute, gcase)
+
+        if respond_to_without_petrovich?(method_name)
+          send method_name
+        else
+          super
+        end
       else
         super
       end
     end
 
+    alias :respond_to_without_petrovich? :respond_to?
+
     def respond_to?(method_name, include_private = false)
       if match = method_name.to_s.match(petrovich_method_regex)
         true

data/lib/petrovich/rules.rb

@@ -6,9 +6,20 @@ class Petrovich
 
   class UnknownCaseException < Exception;;end
   class UnknownRuleException < Exception;;end
+  class CantApplyRuleException < Exception;;end
 
   # Набор методов для нахождения и применения правил к имени, фамилии и отчеству.
   class Rules
+    attr_reader :gender
+
+    Matchers = [
+      proc {| x, y, i | y[ 0 ].size <=> x[ 0 ].size },
+      proc {| x, y, i | x[ 1 ][ 'gender' ] != i.gender &&  1 ||
+                        y[ 1 ][ 'gender' ] != i.gender && -1 || 0 },
+      proc {| x, y, i | y[ 1 ][ 'test' ][ 0 ].size <=>
+                        x[ 1 ][ 'test' ][ 0 ].size },
+      proc {| x, y, i | x[ 1 ][ 'test' ][ 0 ] <=> y[ 1 ][ 'test' ][ 0 ] } ]
+
     def initialize(gender = nil)
       @gender = gender
     end
@@ -25,8 +36,8 @@ class Petrovich
     #   lastname_accusative('Комаров') # => Комарова
     #
     [:lastname, :firstname, :middlename].each do |method_name|
-      define_method(method_name) do |name, gcase|
-        inflect(name, gcase, Petrovich::RULES[method_name.to_s])
+      define_method(method_name) do |name, gcase, scase|
+        inflect(name, gcase, scase, Petrovich::RULES[method_name.to_s])
       end
     end
 
@@ -36,14 +47,20 @@ class Petrovich
     # Признак +first_word+ указывает, что данное слово является первым словом
     # в составном слове. Например, в двойной русской фамилии Иванов-Сидоров.
     #
-    def match?(name, rule, match_whole_word, tags)
+    def match?(name, gcase, scase, rule, match_whole_word, tags)
       return false unless tags_allow? tags, rule['tags']
-      return false if rule['gender'] == 'male' && female? || rule['gender'] == 'female' && !female?
+      return false if rule['gender'] == 'male' && female? ||
+                      rule['gender'] == 'female' && !female?
 
-      name = UnicodeUtils.downcase(name)
       rule['test'].each do |chars|
-        test = match_whole_word ? name : name.slice([name.size - chars.size, 0].max .. -1)        
-        return true if test == chars
+        begin
+          chars = apply(chars, rule, scase, gcase) if scase != NOMINATIVE
+        rescue CantApplyRuleException
+          next
+        end
+
+        test = match_whole_word ? name : name.slice([name.size - chars.size, 0].max .. -1)
+        return chars if test == chars
       end
 
       false
@@ -57,25 +74,28 @@ class Petrovich
       @gender == 'female'
     end
 
-    def inflect(name, gcase, rules)
+    def inflect(name, gcase, scase, rules)
       i = 0
 
       parts = name.split('-')
 
       parts.map! do |part|
         first_word = (i += 1) == 1 && parts.size > 1
-        find_and_apply(part, gcase, rules, first_word: first_word)
+        find_and_apply(part, gcase, scase, rules, first_word: first_word)
       end
 
       parts.join('-')
     end
 
     # Применить правило
-    def apply(name, gcase, rule)
-      modificator_for(gcase, rule).each_char do |char|
+    def apply(name, rule, gcase, scase)
+      mod = modificator_from(scase, rule) + modificator_for(gcase, rule)
+      skip = 0
+      mod.each_char do |char|
         case char
           when '.'
           when '-'
+            raise CantApplyRuleException if name.empty?
             name = name.slice(0, name.size - 1)
           else
             name += char
@@ -86,32 +106,46 @@ class Petrovich
     end
 
     # Найти правило и применить к имени с учетом склонения
-    def find_and_apply(name, gcase, rules, features = {})
-      rule = find_for(name, rules, features)
-      apply(name, gcase, rule)
-    rescue UnknownRuleException
-      # Если не найдено правило для имени, возвращаем неизмененное имя.
+    def find_and_apply(name, gcase, scase, rules, features = {})
+      rule = find_for(name, gcase, scase, rules, features)
+      apply(name, rule, gcase, scase)
+    rescue UnknownRuleException, CantApplyRuleException
+      # Если не найдено правило для имени, или случилась ошибка применения
+      # правила, возвращаем неизмененное имя.
       name
     end
 
     # Найти подходящее правило в исключениях или суффиксах
-    def find_for(name, rules, features = {})
+    def find_for(name, gcase, scase, rules, features = {})
       tags = extract_tags(features)
 
       # Сначала пытаемся найти исключения
       if rules.has_key?('exceptions')
-        p = find(name, rules['exceptions'], true, tags)
+        p = find(name, gcase, scase, rules['exceptions'], true, tags)
         return p if p
       end
 
       # Не получилось, ищем в суффиксах. Если не получилось найти и в них,
       # возвращаем неизмененное имя.
-      find(name, rules['suffixes'], false, tags) or raise UnknownRuleException, "Cannot find rule for #{name}"
+      find(name, gcase, scase, rules['suffixes'], false, tags) ||
+      raise( UnknownRuleException, "Cannot find rule for #{name}" )
     end
 
     # Найти подходящее правило в конкретном списке правил
-    def find(name, rules, match_whole_word, tags)
-      rules.find { |rule| match?(name, rule, match_whole_word, tags) }
+    def find(name, gcase, scase, rules, match_whole_word, tags)
+      name = UnicodeUtils.downcase(name)
+      first =
+      rules.map do| rule |
+        score = match?(name, gcase, scase, rule, match_whole_word, tags)
+        score && [ score, rule ] || nil
+      end.compact.sort do| x, y |
+        Matchers.reduce( 0 ) do| c, m |
+          c = m.call( x, y, self )
+          break c if c != 0
+        end
+      end.first
+
+      first && first[ 1 ]
     end
 
     # Получить модификатор из указанного правиля для указанного склонения
@@ -134,6 +168,29 @@ class Petrovich
       end
     end
 
+    # Получить модификатор из указанного правила для преобразования
+    # из указанного склонения
+    def modificator_from(scase, rule)
+      return '.' if scase.to_sym == NOMINATIVE
+
+      # TODO т.к. именительный падеж не может быть восстановлен
+      # в некоторых случаях верно, используется первый попавшийся вариант
+      # видимо нужно менять формат таблицы, или развязывать варианты,
+      # находящиеся в поле test
+      base = rule['test'][0].unpack('U*')
+      mod = modificator_for(scase, rule).unpack('U*')
+      mod.map do | char |
+        case char
+        when 46 # '.'
+          46
+        when 45 # '-'
+          base.pop
+        else
+          45
+        end
+      end.reverse.pack('U*')
+    end
+
     # Преобразование +{a: true, b: false, c: true}+ в +%w(a c)+.
     def extract_tags(features = {})
       features.keys.select { |k| features[k] == true }.map(&:to_s)

data/lib/petrovich.rb

@@ -48,16 +48,16 @@ class Petrovich
     @gender = gender.to_s
   end
 
-  def lastname(name, gcase)
-    Rules.new(@gender).lastname(name, gcase)
+  def lastname(name, gcase, scase = :nominative)
+    Rules.new(@gender).lastname(name, gcase, scase)
   end
 
-  def firstname(name, gcase)
-    Rules.new(@gender).firstname(name, gcase)
+  def firstname(name, gcase, scase = :nominative)
+    Rules.new(@gender).firstname(name, gcase, scase)
   end
 
-  def middlename(name, gcase)
-    Rules.new(@gender).middlename(name, gcase)
+  def middlename(name, gcase, scase = :nominative)
+    Rules.new(@gender).middlename(name, gcase, scase)
   end
 
   alias :patronymic :middlename

data/rules/rules.yml

@@ -81,12 +81,12 @@ lastname:
       mods: [-ой, -ой, -ую, -ой, -ой]
 
     - gender: female
-      test: [ая]
+      test: [цкая, ская, ная, ая]
       mods: [--ой, --ой, --ую, --ой, --ой]
 
     - gender: female
-      test: [ская]
-      mods: [--ой, --ой, --ую, --ой, --ой]
+      test: [яя]
+      mods: [--ей, --ей, --юю, --ей, --ей]
 
     - gender: female
       test: [на]
@@ -132,10 +132,6 @@ lastname:
       test: [га, ка, ха, ча, ща, жа]
       mods: [-и, -е, -у, -ой, -е]
 
-    - gender: androgynous
-      test: [ца]
-      mods: [-и, -е, -у, -ей, -е]
-
     - gender: androgynous
       test: [а]
       mods: [-ы, -е, -у, -ой, -е]
@@ -173,7 +169,11 @@ lastname:
       mods: [-я, -ю, -я, -ем, -е]
 
     - gender: male
-      test: [гой, кой]
+      test: [кой]
+      mods: [-го, -му, -го, --им, -м]
+
+    - gender: male
+      test: [гой]
       mods: [-го, -му, -го, --им, -м]
 
     - gender: male
@@ -189,7 +189,11 @@ lastname:
       mods: [--его, --ему, --его, -м, --ем]
 
     - gender: male
-      test: [кий, ый]
+      test: [ый]
+      mods: [--ого, --ому, --ого, -м, --ом]
+
+    - gender: male
+      test: [кий]
       mods: [--ого, --ому, --ого, -м, --ом]
 
     - gender: male
@@ -279,6 +283,10 @@ firstname:
       test: [ия]
       mods: [-и, -и, -ю, -ей, -и]
 
+    - gender: female
+      test: [а]
+      mods: [-ы, -е, -у, -ой, -е]
+
     - gender: female
       test: [я]
       mods: [-и, -е, -ю, -ей, -е]
@@ -299,6 +307,10 @@ firstname:
       test: [б, в, г, д, ж, з, к, л, м, н, п, р, с, т, ф, х, ц, ч]
       mods: [а, у, а, ом, е]
 
+    - gender: androgynous
+      test: [ния, рия, вия]
+      mods: [-и, -и, -ю, -ем, -ем]
+
 middlename:
   suffixes:
     - gender: male

metadata

@@ -1,7 +1,7 @@
 --- !ruby/object:Gem::Specification
 name: petrovich
 version: !ruby/object:Gem::Version
-  version: 0.1.4
+  version: 0.1.5
 platform: ruby
 authors:
 - Andrew Kozloff
@@ -9,34 +9,34 @@ authors:
 autorequire: 
 bindir: bin
 cert_chain: []
-date: 2013-11-23 00:00:00.000000000 Z
+date: 2014-02-27 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: unicode_utils
   requirement: !ruby/object:Gem::Requirement
     requirements:
-    - - ~>
+    - - "~>"
       - !ruby/object:Gem::Version
         version: '1.4'
   type: :runtime
   prerelease: false
   version_requirements: !ruby/object:Gem::Requirement
     requirements:
-    - - ~>
+    - - "~>"
       - !ruby/object:Gem::Version
         version: '1.4'
 - !ruby/object:Gem::Dependency
-  name: rspec
+  name: minitest
   requirement: !ruby/object:Gem::Requirement
     requirements:
-    - - '>='
+    - - ">="
       - !ruby/object:Gem::Version
         version: '0'
   type: :development
   prerelease: false
   version_requirements: !ruby/object:Gem::Requirement
     requirements:
-    - - '>='
+    - - ">="
       - !ruby/object:Gem::Version
         version: '0'
 description: A library to inflect Russian anthroponyms such as first names, last names,
@@ -48,14 +48,14 @@ executables: []
 extensions: []
 extra_rdoc_files: []
 files:
+- MIT-LICENSE
+- README.md
+- Rakefile
+- lib/petrovich.rb
 - lib/petrovich/extension.rb
 - lib/petrovich/rules.rb
 - lib/tasks/evaluate.rake
-- lib/petrovich.rb
 - rules/rules.yml
-- MIT-LICENSE
-- Rakefile
-- README.md
 homepage: https://github.com/petrovich/petrovich-ruby
 licenses:
 - MIT
@@ -66,17 +66,17 @@ require_paths:
 - lib
 required_ruby_version: !ruby/object:Gem::Requirement
   requirements:
-  - - '>='
+  - - ">="
     - !ruby/object:Gem::Version
       version: 1.9.1
 required_rubygems_version: !ruby/object:Gem::Requirement
   requirements:
-  - - '>='
+  - - ">="
     - !ruby/object:Gem::Version
       version: '0'
 requirements: []
 rubyforge_project: 
-rubygems_version: 2.1.11
+rubygems_version: 2.2.2
 signing_key: 
 specification_version: 4
 summary: Automatic inflection of Russian anthroponyms