pragmatic_segmenter 0.3.21 → 0.3.22

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA1:
-  metadata.gz: a13bc873b763cc68e4bfebcd0c291d3eab12a429
-  data.tar.gz: 85666c4d354ba1a0e5118c0e3e23b9c4d1978ae4
+  metadata.gz: 77e3c8da3e5e184a5143dff774dbe851de58c385
+  data.tar.gz: f9f2803fb49a298b2015e206f7237b792be26e10
 SHA512:
-  metadata.gz: f3c211daa3aaf71d4ff1d363ee15711c8979db6fa3cf9fb87d84108466f0d8fe9ee7b9694ad32a6439a79c471ab013e70f536601d951a7e9400addb954f35c76
-  data.tar.gz: de40f070a216d90cff094bb6cfdb83b1f1c108774ff67da18e58846fc69aab78decc234f0b0c7fda7931ffcc7e8ca1e427d28fd495922a28aa91df02981917e6
+  metadata.gz: 050ea08ad001c6786f44c936581e4d82d05ebf2cc1ac5265a5b24c3af25d8cad4f562f3d7c241baf48d49a14374559d12e4888f7514f9edb23733645c49999d7
+  data.tar.gz: d5c39d307836ce2571f8c8b0507110dd907d5150a6efc686136d915e2ecef6bca43a262ac7fc76fa908a9f18e9a1344f59b4da9115806ddc6e24e536bea0bd7d

data/.gitignore

@@ -12,4 +12,5 @@
 *.o
 *.a
 mkmf.log
-.DS_Store
+.DS_Store
+.vscode/launch.json

data/NEWS

@@ -1,3 +1,7 @@
+0.3.22 (2018-09-23):
+
+* Improvement: Initial support for Kazakh
+
 0.3.21 (2018-08-30):
 
 * Improvement: Add support for file formats

data/README.md

@@ -433,6 +433,12 @@ Was sind die Konsequenzen der Abstimmung vom 12. Juni?
 => ["Was sind die Konsequenzen der Abstimmung vom 12. Juni?"]
 ```
 
+4.) **Cardinal numbers at end of sentence** *Credit: Dr. Michael Ustaszewski*
+```
+Die Information steht auf Seite 12. Dort kannst du nachlesen.
+=> ["Die Information steht auf Seite 12.", "Dort kannst du nachlesen."]
+```
+
 #### Golden Rules (Japanese)
 
 1.) **Simple period to end sentence**
@@ -878,6 +884,9 @@ To test the relative performance of different segmentation tools and libraries I
 * Add support for file formats
 * Add support for numeric references at the end of a sentence (i.e. Wikipedia references)
 
+**Version 0.3.22**
+* Add initial support and tests for Kazakh
+
 ## Contributing
 
 If you find a text that is incorrectly segmented using this gem, please submit an issue.
@@ -888,6 +897,10 @@ If you find a text that is incorrectly segmented using this gem, please submit a
 4. Push to the branch (`git push origin my-new-feature`)
 5. Create a new Pull Request
 
+## Ports
+
+* [C# - PragmaticSegmenterNet](https://github.com/UglyToad/PragmaticSegmenterNet)
+
 ## License
 
 The MIT License (MIT)

data/lib/pragmatic_segmenter/languages.rb

@@ -26,6 +26,7 @@ require 'pragmatic_segmenter/languages/polish'
 require 'pragmatic_segmenter/languages/chinese'
 require 'pragmatic_segmenter/languages/bulgarian'
 require 'pragmatic_segmenter/languages/danish'
+require 'pragmatic_segmenter/languages/kazakh'
 
 module PragmaticSegmenter
   module Languages
@@ -49,7 +50,8 @@ module PragmaticSegmenter
       'nl' => Dutch,
       'pl' => Polish,
       'zh' => Chinese,
-      'da' => Danish
+      'da' => Danish,
+      'kk' => Kazakh
     }
 
     def self.get_language_by_code(code)

data/lib/pragmatic_segmenter/languages/kazakh.rb

@@ -0,0 +1,44 @@
+# frozen_string_literal: true
+
+module PragmaticSegmenter
+  module Languages
+    module Kazakh
+      include Languages::Common
+
+      MULTI_PERIOD_ABBREVIATION_REGEX = /\b\p{Cyrillic}(?:\.\s?\p{Cyrillic})+[.]|b[a-z](?:\.[a-z])+[.]/i
+
+      module Abbreviation
+        ABBREVIATIONS = Set.new(['afp', 'anp', 'atp', 'bae', 'bg', 'bp', 'cam', 'cctv', 'cd', 'cez', 'cgi', 'cnpc', 'farc', 'fbi', 'eiti', 'epo', 'er', 'gp', 'gps', 'has', 'hiv', 'hrh', 'http', 'icu', 'idf', 'imd', 'ime', 'icu', 'idf', 'ip', 'iso', 'kaz', 'kpo', 'kpa', 'kz', 'kz', 'mri', 'nasa', 'nba', 'nbc', 'nds', 'ohl', 'omlt', 'ppm', 'pda', 'pkk', 'psm', 'psp', 'raf', 'rss', 'rtl', 'sas', 'sme', 'sms', 'tnt', 'udf', 'uefa', 'usb', 'utc', 'x', 'zdf', 'әқбк', 'әқбк', 'аақ', 'авг.', 'aбб', 'аек', 'ак', 'ақ', 'акцион.', 'акср', 'ақш', 'англ', 'аөсшк', 'апр', 'м.', 'а.', 'р.', 'ғ.', 'апр.', 'аум.', 'ацат', 'әч', 'т. б.', 'б. з. б.', 'б. з. б.', 'б. з. д.', 'б. з. д.', 'биікт.', 'б. т.', 'биол.', 'биохим', 'бө', 'б. э. д.', 'бта', 'бұұ', 'вич', 'всоонл', 'геогр.', 'геол.', 'гленкор', 'гэс', 'қк', 'км', 'г', 'млн', 'млрд', 'т', 'ғ. с.', 'ғ.', 'қ.', 'ғ.', 'дек.', 'днқ', 'дсұ', 'еақк', 'еқыұ', 'ембімұнайгаз', 'ео', 'еуразэқ', 'еуроодақ', 'еұу', 'ж.', 'ж.', 'жж.', 'жоо', 'жіө', 'жсдп', 'жшс', 'іім', 'инта', 'исаф', 'камаз', 'кгб', 'кеу', 'кг', 'км²', 'км²', 'км³', 'км³', 'кимеп', 'кср', 'ксро', 'кокп', 'кхдр', 'қазатомпром', 'қазкср', 'қазұу', 'қазмұнайгаз', 'қазпошта', 'қазтаг', 'қазұу', 'қкп', 'қмдб', 'қр', 'қхр', 'лат.', 'м²', 'м²', 'м³', 'м³', 'магатэ', 'май.', 'максам', 'мб', 'мвт', 'мемл', 'м', 'мсоп', 'мтк', 'мыс.', 'наса', 'нато', 'нквд', 'нояб.', 'обл.', 'огпу', 'окт.', 'оңт.', 'опек', 'оеб', 'өзенмұнайгаз', 'өф', 'пәк', 'пед.', 'ркфср', 'рнқ', 'рсфср', 'рф', 'свс', 'сву', 'сду', 'сес', 'сент.', 'см', 'снпс', 'солт.', 'солт.', 'сооно', 'ссро', 'сср', 'ссср', 'ссс', 'сэс', 'дк', 'т. б.', 'т', 'тв', 'тереңд.', 'тех.', 'тжқ', 'тмд', 'төм.', 'трлн', 'тр', 'т.', 'и.', 'м.', 'с.', 'ш.', 'т.', 'т. с. с.', 'тэц', 'уаз', 'уефа', 'еқыұ', 'ұқк', 'ұқшұ', 'февр.', 'фққ', 'фсб', 'хим.', 'хқко', 'шұар', 'шыұ', 'экон.', 'экспо', 'цтп', 'цас', 'янв.', 'dvd', 'жкт', 'ққс', 'км', 'ацат', 'юнеско', 'ббс', 'mgm', 'жск', 'зоо', 'бсн', 'өұқ', 'оар', 'боак', 'эөкк', 'хтқо', 'әөк', 'жэк', 'хдо', 'спбму', 'аф', 'сбд', 'амт', 'гсдп', 'гсбп', 'эыдұ', 'нұсжп', 'шыұ', 'жтсх', 'хдп', 'эқк', 'фкққ', 'пиқ', 'өгк', 'мбф', 'маж', 'кота', 'тж', 'ук', 'обб', 'сбл', 'жхл', 'кмс', 'бмтрк', 'жққ', 'бхооо', 'мқо', 'ржмб', 'гулаг', 'жко', 'еэы', 'еаэы', 'кхдр', 'рфкп', 'рлдп', 'хвқ', 'мр', 'мт', 'кту', 'ртж', 'тим', 'мемдум', 'ксро', 'т.с.с', 'с.ш.', 'ш.б.', 'б.б.', 'руб', 'мин', 'акад.', 'ғ.', 'мм', 'мм.']).freeze
+        PREPOSITIVE_ABBREVIATIONS = [].freeze
+        NUMBER_ABBREVIATIONS = [].freeze
+      end
+
+      class Processor < PragmaticSegmenter::Processor
+        private
+
+        # Rubular: http://rubular.com/r/WRWy56Z5zp
+        QuestionMarkFollowedByDashLowercaseRule = Rule.new(/(?<=\p{Ll})\?(?=\s*[-—]\s*\p{Ll})/, '&ᓷ&')
+        # Rubular: http://rubular.com/r/lixxP7puSa
+        ExclamationMarkFollowedByDashLowercaseRule = Rule.new(/(?<=\p{Ll})!(?=\s*[-—]\s*\p{Ll})/, '&ᓴ&')
+
+        def between_punctuation(txt)
+          super(txt)
+          txt.apply(QuestionMarkFollowedByDashLowercaseRule, ExclamationMarkFollowedByDashLowercaseRule)
+        end
+      end
+
+      class AbbreviationReplacer < AbbreviationReplacer
+        SENTENCE_STARTERS = [].freeze
+
+        SingleUpperCaseCyrillicLetterAtStartOfLineRule = Rule.new(/(?<=^[А-ЯЁ])\.(?=\s)/, '∯')
+        SingleUpperCaseCyrillicLetterRule = Rule.new(/(?<=\s[А-ЯЁ])\.(?=\s)/, '∯')
+
+        def replace
+          super
+          @text.apply(SingleUpperCaseCyrillicLetterAtStartOfLineRule, SingleUpperCaseCyrillicLetterRule)
+        end
+      end
+    end
+  end
+end
+

data/lib/pragmatic_segmenter/version.rb

@@ -1,5 +1,5 @@
 # frozen_string_literal: true
 
 module PragmaticSegmenter
-  VERSION = "0.3.21"
+  VERSION = "0.3.22"
 end

data/spec/pragmatic_segmenter/languages/deutsch_spec.rb

@@ -17,6 +17,24 @@ RSpec.describe PragmaticSegmenter::Languages::Deutsch, "(de)" do
       ps = PragmaticSegmenter::Segmenter.new(text: "Was sind die Konsequenzen der Abstimmung vom 12. Juni?", language: "de")
       expect(ps.segment).to eq(["Was sind die Konsequenzen der Abstimmung vom 12. Juni?"])
     end
+
+    it "Numbers #004" do
+      # Credit: Dr. Michael Ustaszewski
+      # A numeral followed by a dot within the sentence should not be treated as a sentence,
+      # because the meaning of numeral + dot is that of an ordinal number.
+      # However, if the numeral + dot is in the last position of the sentence, then it is not an ordinal,
+      # but a cardinal number and thus a sentence break should be made. See the following example:
+
+      # <INPUT>Die Information steht auf Seite 12. Dort kannst du nachlesen.</INPUT>
+      # <SHOULDBE>["Die Information steht auf Seite 12.", "Dort kannst du nachlesen."]</SHOULDBE>
+      # The sentence translates as "The information can be found on page 12. You can read it there".
+
+      # That's a tricky one I guess, because the capitalisation of the word following the dot is not necessarily a clue,
+      # since German nouns are usually always capitalised.
+      skip "NOT IMPLEMENTED"
+      ps = PragmaticSegmenter::Segmenter.new(text: "Die Information steht auf Seite 12. Dort kannst du nachlesen.", language: "de")
+      expect(ps.segment).to eq(["Die Information steht auf Seite 12.", "Dort kannst du nachlesen."])
+    end
   end
 
   # Thanks to Silvia Busse for the German test examples.

data/spec/pragmatic_segmenter/languages/kazakh_spec.rb

@@ -0,0 +1,73 @@
+require 'spec_helper'
+
+RSpec.describe PragmaticSegmenter::Languages::Kazakh, "(kk)" do
+
+  context "Golden Rules" do
+    it "Simple period to end sentence #001" do
+      ps = PragmaticSegmenter::Segmenter.new(text: "Мұхитқа тікелей шыға алмайтын мемлекеттердің ішінде Қазақстан - ең үлкені.", language: "kk")
+      expect(ps.segment).to eq(["Мұхитқа тікелей шыға алмайтын мемлекеттердің ішінде Қазақстан - ең үлкені."])
+    end
+
+    it "Question mark to end sentence #002" do
+      ps = PragmaticSegmenter::Segmenter.new(text: "Оқушылар үйі, Достық даңғылы, Абай даналығы, ауыл шаруашылығы – кім? не?", language: "kk")
+      expect(ps.segment).to eq(["Оқушылар үйі, Достық даңғылы, Абай даналығы, ауыл шаруашылығы – кім?", "не?"])
+    end
+
+    it "Parenthetical inside sentence #003" do
+      ps = PragmaticSegmenter::Segmenter.new(text: "Әр түрлі өлшемнің атауы болып табылатын м (метр), см (сантиметр), кг (киллограмм), т (тонна), га (гектар), ц (центнер), т. б. (тағы басқа), тәрізді белгілер де қысқарған сөздер болып табылады.", language: "kk")
+      expect(ps.segment).to eq(["Әр түрлі өлшемнің атауы болып табылатын м (метр), см (сантиметр), кг (киллограмм), т (тонна), га (гектар), ц (центнер), т. б. (тағы басқа), тәрізді белгілер де қысқарған сөздер болып табылады."])
+    end
+
+    it "Two letter abbreviation to end sentence #004" do
+      ps = PragmaticSegmenter::Segmenter.new(text: "Мысалы: обкомға (облыстық комитетке) барды, ауаткомда (аудандық атқару комитетінде) болды, педучилищеге (педагогтік училищеге) түсті, медпункттің (медициналық пункттің) алдында т. б.", language: "kk")
+      expect(ps.segment).to eq(["Мысалы: обкомға (облыстық комитетке) барды, ауаткомда (аудандық атқару комитетінде) болды, педучилищеге (педагогтік училищеге) түсті, медпункттің (медициналық пункттің) алдында т. б."])
+    end
+
+    it "Number as non sentence boundary #005" do
+      ps = PragmaticSegmenter::Segmenter.new(text: "Елдің жалпы ішкі өнімі ЖІӨ (номинал) = $225.619 млрд (2014)", language: "kk")
+      expect(ps.segment).to eq(["Елдің жалпы ішкі өнімі ЖІӨ (номинал) = $225.619 млрд (2014)"])
+    end
+
+    it "No whitespace between sentence boundary #006" do
+      ps = PragmaticSegmenter::Segmenter.new(text: "Ресейдiң әлеуметтiк-экономикалық жағдайы.XVIII ғасырдың бiрiншi ширегiнде Ресейге тән нәрсе.", language: "kk")
+      expect(ps.segment).to eq(["Ресейдiң әлеуметтiк-экономикалық жағдайы.", "XVIII ғасырдың бiрiншi ширегiнде Ресейге тән нәрсе."])
+    end
+
+    it "Dates within sentence #007" do
+      ps = PragmaticSegmenter::Segmenter.new(text: "(«Егемен Қазақстан», 7 қыркүйек 2012 жыл. №590-591); Бұл туралы кеше санпедқадағалау комитетінің облыыстық департаменті хабарлады. («Айқын», 23 сəуір 2010 жыл. № 70).", language: "kk")
+      expect(ps.segment).to eq(["(«Егемен Қазақстан», 7 қыркүйек 2012 жыл. №590-591); Бұл туралы кеше санпедқадағалау комитетінің облыыстық департаменті хабарлады.", "(«Айқын», 23 сəуір 2010 жыл. № 70)."])
+    end
+
+    it "Multi period abbreviation within sentence #008" do
+      ps = PragmaticSegmenter::Segmenter.new(text: "Иран революциясы (1905 — 11) және азаматтық қозғалыс (1918 — 21) кезінде А. Фарахани, М. Кермани, М. Т. Бехар, т.б. ақындар демократиялық идеяның жыршысы болды.", language: "kk")
+      expect(ps.segment).to eq(["Иран революциясы (1905 — 11) және азаматтық қозғалыс (1918 — 21) кезінде А. Фарахани, М. Кермани, М. Т. Бехар, т.б. ақындар демократиялық идеяның жыршысы болды."])
+    end
+
+    it "Web addresses #009" do
+      ps = PragmaticSegmenter::Segmenter.new(text: "Владимир Федосеев: Аттар магиясы енді жоқ http://www.vremya.ru/2003/179/10/80980.html", language: "kk")
+      expect(ps.segment).to eq(["Владимир Федосеев: Аттар магиясы енді жоқ http://www.vremya.ru/2003/179/10/80980.html"])
+    end
+
+    it "Question mark not at end of sentence #010" do
+      ps = PragmaticSegmenter::Segmenter.new(text: "Бірақ оның енді не керегі бар? — деді.", language: "kk")
+      expect(ps.segment).to eq(["Бірақ оның енді не керегі бар? — деді."])
+    end
+
+    it "Exclamation mark not at end of sentence #011" do
+      ps = PragmaticSegmenter::Segmenter.new(text: "Сондықтан шапаныма жегізіп отырғаным! - деп, жауап береді.", language: "kk")
+      expect(ps.segment).to eq(["Сондықтан шапаныма жегізіп отырғаным! - деп, жауап береді."])
+    end
+  end
+
+  describe '#segment' do
+    it 'correctly segments text #001' do
+      ps = PragmaticSegmenter::Segmenter.new(text: "Б.з.б. 6 – 3 ғасырларда конфуцийшілдік, моизм, легизм мектептерінің қалыптасуы нәтижесінде Қытай философиясы пайда болды.", language: 'kk')
+      expect(ps.segment).to eq(["Б.з.б. 6 – 3 ғасырларда конфуцийшілдік, моизм, легизм мектептерінің қалыптасуы нәтижесінде Қытай философиясы пайда болды."])
+    end
+
+    it 'correctly segments text #002' do
+      ps = PragmaticSegmenter::Segmenter.new(text: "'Та марбута' тек сөз соңында екі түрде жазылады:", language: "kk")
+      expect(ps.segment).to eq(["'Та марбута' тек сөз соңында екі түрде жазылады:"])
+    end
+  end
+end

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: pragmatic_segmenter
 version: !ruby/object:Gem::Version
-  version: 0.3.21
+  version: 0.3.22
 platform: ruby
 authors:
 - Kevin S. Dias
 autorequire: 
 bindir: bin
 cert_chain: []
-date: 2018-08-29 00:00:00.000000000 Z
+date: 2018-09-23 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: unicode
@@ -124,6 +124,7 @@ files:
 - lib/pragmatic_segmenter/languages/hindi.rb
 - lib/pragmatic_segmenter/languages/italian.rb
 - lib/pragmatic_segmenter/languages/japanese.rb
+- lib/pragmatic_segmenter/languages/kazakh.rb
 - lib/pragmatic_segmenter/languages/persian.rb
 - lib/pragmatic_segmenter/languages/polish.rb
 - lib/pragmatic_segmenter/languages/russian.rb
@@ -152,6 +153,7 @@ files:
 - spec/pragmatic_segmenter/languages/hindi_spec.rb
 - spec/pragmatic_segmenter/languages/italian_spec.rb
 - spec/pragmatic_segmenter/languages/japanese_spec.rb
+- spec/pragmatic_segmenter/languages/kazakh_spec.rb
 - spec/pragmatic_segmenter/languages/persian_spec.rb
 - spec/pragmatic_segmenter/languages/polish_spec.rb
 - spec/pragmatic_segmenter/languages/russian_spec.rb
@@ -202,6 +204,7 @@ test_files:
 - spec/pragmatic_segmenter/languages/hindi_spec.rb
 - spec/pragmatic_segmenter/languages/italian_spec.rb
 - spec/pragmatic_segmenter/languages/japanese_spec.rb
+- spec/pragmatic_segmenter/languages/kazakh_spec.rb
 - spec/pragmatic_segmenter/languages/persian_spec.rb
 - spec/pragmatic_segmenter/languages/polish_spec.rb
 - spec/pragmatic_segmenter/languages/russian_spec.rb