greek_stemmer 1.2.0 → 1.3.0

checksums.yaml

@@ -1,7 +1,7 @@
 ---
-SHA256:
-  metadata.gz: 7d74d733ad6b73cb5ef7dd799abddaa9968723838d5905da7c087792fd62cbe3
-  data.tar.gz: e4041de586528a85eeff003e894ffa4d6062dd696e87e144e362345f2b01da19
+SHA1:
+  metadata.gz: b3a88c623110ed08b7da611e59ae3f562f9cae84
+  data.tar.gz: 22414bc204c9b89ec76e23f2bcadc8cf11334e65
 SHA512:
-  metadata.gz: 481525b1f4c37ee929722bdcf8aec5ff6003e0cac65c4c3300a8eb51d12272305b71b257ae48c80affc9e25e5b9ee19cb4c08d5e5528a0a5fed6411b372881db
-  data.tar.gz: efbc852c6a17d5a03d6c35a6edbfec7d809bb19cfcd26d7db4e1a63af0ff2b9de51a4b9c0723b294d6acc6608cd69e73428a0e2b6ff31466663fb729af1db6bc
+  metadata.gz: 1e0cd0e35ead19b2e42b6af5b8ff60b888479273636eb613ee4072afd79dca733d72262c3a2e22c789f5ad6eba5cb70588b28ec52e8b84af54afb35ff27624f5
+  data.tar.gz: 3965af3e9b4937abd7abe86cb1a390670522339e16bfe2c1e01cdf05640a6971a0473ca781a0b5f34b32c2a4ffc28c919c1167c44ab194aec0a5ed1a538405f5

data/benchmarks/stemming_sample.txt

@@ -6920,7 +6920,7 @@
 ΘΕΡΜΟΠΥΛ,ΘΕΡΜΟΠΥΛ
 ΘΕΡΜΟΠΥΛΕΣ,ΘΕΡΜΟΠΥΛ
 ΘΕΡΜΟΠΥΛΩΝ,ΘΕΡΜΟΠΥΛ
-ΘΕΡΜΟΣ,ΘΕΡΜ
+ΘΕΡΜΟΣ,ΘΕΡΜΟΣ
 ΘΕΡΜΟΤΗΤ,ΘΕΡΜΟΤΗΤ
 ΘΕΡΜΟΤΗΤΑΣ,ΘΕΡΜΟΤΗΤ
 ΘΕΡΜΩ,ΘΕΡΜ
@@ -12744,12 +12744,12 @@
 ΠΑΣΤΑ,ΠΑΣΤ
 ΠΑΣΤΡΑ,ΠΑΣΤΡ
 ΠΑΣΧ,ΠΑΣΧ
-ΠΑΣΧΑ,ΠΑΣΧ
+ΠΑΣΧΑ,ΠΑΣΧΑ
 ΠΑΣΧΑΛ,ΠΑΣΧΑΛ
 ΠΑΣΧΑΛΙΑ,ΠΑΣΧΑΛ
 ΠΑΣΧΑΛΙΝ,ΠΑΣΧΑΛΙΝ
-ΠΑΣΧΑΛΙΝΑ,ΠΑΣΧΑΛΙΝ
-ΠΑΣΧΑΛΙΝΕΣ,ΠΑΣΧΑΛΙΝ
+ΠΑΣΧΑΛΙΝΑ,ΠΑΣΧΑ
+ΠΑΣΧΑΛΙΝΕΣ,ΠΑΣΧΑ
 ΠΑΣΧΑΛΙΤΣ,ΠΑΣΧΑΛΙΤΣ
 ΠΑΣΧΑΛΙΤΣΑ,ΠΑΣΧΑΛΙΤΣ
 ΠΑΣΧΑΡΑΛΑΜΠ,ΠΑΣΧΑΡΑΛΑΜΠ
@@ -13449,7 +13449,7 @@
 ΠΟΔΗΛΑΤΙΚΟΣ,ΠΟΔΗΛΑΤ
 ΠΟΔΗΛΑΤΟ,ΠΟΔΗΛΑΤ
 ΠΟΔΗΛΑΤΟΥ,ΠΟΔΗΛΑΤ
-ΠΟΔΙΑ,ΠΟΔ
+ΠΟΔΙΑ,ΠΟΔΙ
 ΠΟΔΙΑΣ,ΠΟΔ
 ΠΟΔΟΣΦΑΙΡ,ΠΟΔΟΣΦΑΙΡ
 ΠΟΔΟΣΦΑΙΡΙΚΑ,ΠΟΔΟΣΦΑΙΡ
@@ -17726,8 +17726,8 @@
 ΧΑΡΤΑΕΤ,ΧΑΡΤΑΕΤ
 ΧΑΡΤΑΕΤΟΣ,ΧΑΡΤΑΕΤ
 ΧΑΡΤΑΚΙΑ,ΧΑΡΤΑΚ
-ΧΑΡΤΕΣ,ΧΑΡΤ
-ΧΑΡΤΗΣ,ΧΑΡΤ
+ΧΑΡΤΕΣ,ΧΑΡΤΗ
+ΧΑΡΤΗΣ,ΧΑΡΤΗ
 ΧΑΡΤΙ,ΧΑΡΤ
 ΧΑΡΤΙΑ,ΧΑΡΤ
 ΧΑΡΤΙΝ,ΧΑΡΤΙΝ
@@ -17748,7 +17748,7 @@
 ΧΑΡΤΟΚΙΒΩΤΙΟ,ΧΑΡΤΟΚΙΒΩΤ
 ΧΑΡΤΟΦΥΛΑΚ,ΧΑΡΤΟΦΥΛΑΚ
 ΧΑΡΤΟΦΥΛΑΚΙΟΥ,ΧΑΡΤΟΦΥΛΑΚ
-ΧΑΡΤΩΝ,ΧΑΡΤ
+ΧΑΡΤΩΝ,ΧΑΡΤΗ
 ΧΑΣΙΚ,ΧΑΣΙΚ
 ΧΑΣΙΚΟ,ΧΑΣΙΚ
 ΧΑΣΙΜ,ΧΑΣΙΜ

data/config/stemmer.yml

@@ -1,11 +1,17 @@
 step_0_exceptions:
-  ΡΟΛΟΓΙΑ: ΡΟΛ
-  ΛΑΔΟΥΣΑ: ΛΑΔΟΥΣ
-  ΣΚΙ: ΣΚ
-  ΚΡΕΜΑΣ: ΚΡΕΜΑ
   ΒΕΡΜΟΥΔΕΣ: ΒΕΡΜΟΥΔ
+  ΚΡΕΜΑΣ: ΚΡΕΜΑ
+  ΚΡΕΜΕΣ: ΚΡΕΜΑ
+  ΛΑΒΑΣ: ΛΑΒΑ
+  ΛΑΔΟΥΣΑ: ΛΑΔΟΥΣ
+  ΛΙΒΑΝΗΣ: ΛΙΒΑΝΗ
   ΜΑΤΙΑ: ΜΑΤΙ
   ΜΑΤΙΩΝ: ΜΑΤΙ
+  ΠΑΤΑΚΗΣ: ΠΑΤΑΚΗ
+  ΠΟΔΙΑ: ΠΟΔΙ
+  ΡΟΛΟΓΙΑ: ΡΟΛ
+  ΣΚΙ: ΣΚ
+  ΤΑΜΠΟΥΡΑ: ΤΑΜΠΟΥΡΟ
 step_1_exceptions:
   ΦΑΓΙΑ: ΦΑ
   ΦΑΓΙΟΥ: ΦΑ
@@ -26,6 +32,9 @@ step_1_exceptions:
   ΚΡΕΑΤΟΣ: ΚΡΕ
   ΚΡΕΑΤΑ: ΚΡΕ
   ΚΡΕΑΤΩΝ: ΚΡΕ
+  ΝΤΟΥΛΑΠΑΣ: ΝΤΟΥΛΑΠΑ
+  ΝΤΟΥΛΑΠΩΝ: ΝΤΟΥΛΑΠΑ
+  ΝΤΟΥΛΑΠΕΣ: ΝΤΟΥΛΑΠΑ
   ΠΕΡΑΣ: ΠΕΡ
   ΠΕΡΑΤΟΣ: ΠΕΡ
   ΠΕΡΑΤΑ: ΠΕΡ
@@ -39,6 +48,9 @@ step_1_exceptions:
   ΦΩΤΑ: ΦΩ
   ΦΩΤΩΝ: ΦΩ
   ΦΩΤΟ: ΦΩ
+  ΧΑΡΤΕΣ: ΧΑΡΤΗ
+  ΧΑΡΤΩΝ: ΧΑΡΤΗ
+  ΧΑΡΤΗΣ: ΧΑΡΤΗ
   ΚΑΘΕΣΤΩΣ: ΚΑΘΕΣΤ
   ΚΑΘΕΣΤΩΤΟΣ: ΚΑΘΕΣΤ
   ΚΑΘΕΣΤΩΤΑ: ΚΑΘΕΣΤ
@@ -69,11 +81,14 @@ protected_words:
   - ΑΠΟΨΕ
   - ΑΡΑ
   - ΑΡΑΓΕ
+  - ΑΡΚΑΣ
   - ΑΥΡΙΟ
   - ΑΦΟΙ
   - ΑΦΟΥ
   - ΑΦΟΤΟΥ
+  - ΒΙΟΛΟΓΟΣ
   - ΒΡΕ
+  - ΓΑΖΙ
   - ΓΕΙΑ
   - ΓΙΑ
   - ΓΙΑΤΙ
@@ -131,6 +146,7 @@ protected_words:
   - ΗΜΙ
   - ΗΠΑ
   - ΗΤΟΙ
+  - ΘΕΡΜΟΣ
   - ΘΕΣ
   - ΙΔΙΩΣ
   - ΙΔΗ
@@ -156,9 +172,12 @@ protected_words:
   - ΚΥΡΙΩΣ
   - ΚΡΕΜΑ
   - ΚΩΣ
+  - ΛΑΒΑ
+  - ΛΙΒΑΝΗ
   - ΜΑΓΙΟ
   - ΜΑΓΙΩ
   - ΜΑΚΑΡΙ
+  - ΜΑΚΡΑΜΕ
   - ΜΑΛΙΣΤΑ
   - ΜΑΛΛΟΝ
   - ΜΑΙ
@@ -184,6 +203,7 @@ protected_words:
   - ΜΟΥ
   - ΜΠΑ
   - ΜΠΑΣ
+  - ΜΠΕΡΙ
   - ΜΠΕΤΟΝΙ
   - ΜΠΟΥΦΑΝ
   - ΜΠΡΟΣ
@@ -191,6 +211,7 @@ protected_words:
   - ΝΕΣ
   - ΝΤΑ
   - ΝΤΕ
+  - ΝΤΟΥΛΑΠΑ
   - ΞΑΝΑ
   - ΟΗΕ
   - ΟΚΤΩ
@@ -217,7 +238,9 @@ protected_words:
   - ΠΑΝΙ
   - ΠΕΡΑ
   - ΠΕΡΙ
+  - ΠΕΡΛΕ
   - ΠΕΡΙΠΟΥ
+  - ΠΑΤΑΚΗ
   - ΠΕΤΑΛΟ
   - ΠΙΑ
   - ΠΙΟ
@@ -225,6 +248,7 @@ protected_words:
   - ΠΛΑΙ
   - ΠΛΕΟΝ
   - ΠΛΗΝ
+  - ΠΟΔΙ
   - ΠΟΤΕ
   - ΠΟΥ
   - ΠΡΟ
@@ -233,6 +257,7 @@ protected_words:
   - ΠΡΟΧΘΕΣ
   - ΡΟΔΙ
   - ΡΟΛΑ
+  - ΡΟΥΤΕΡ
   - ΠΩΣ
   - ΣΑΙ
   - ΣΑΣ
@@ -242,10 +267,14 @@ protected_words:
   - ΣΟΙ
   - ΣΟΥ
   - ΣΡΙ
+  - ΣΤΡΑΤΑ
+  - ΣΤΥΛΟ
   - ΣΥΝ
   - ΣΥΝΑΜΑ
   - ΣΧΕΔΟΝ
   - ΤΑΔΕ
+  - ΤΑΜΠΟΥΡΕ
+  - ΤΑΜΠΟΥΡΟ
   - ΤΑΞΙ
   - ΤΑΧΑ
   - ΤΕΙ
@@ -271,6 +300,8 @@ protected_words:
   - ΦΙΣ
   - ΦΛΟΤΕΡ
   - ΦΠΑ
+  - ΦΤΕΡΗ
+  - ΧΑΡΤΗ
   - ΧΑΦ
   - ΧΘΕΣ
   - ΧΤΕΣ

data/lib/greek_stemmer/version.rb

@@ -1,3 +1,3 @@
 module GreekStemmer
-  VERSION = "1.2.0"
+  VERSION = "1.3.0"
 end

data/lib/greek_stemmer.rb

@@ -91,14 +91,18 @@ module GreekStemmer
     # step 4
     stem.scan(/^(.+?)(ΙΚΟΣ|ΙΚΟΝ|ΙΚΕΙΣ|ΙΚΟΙ|ΙΚΕΣ|ΙΚΟΥΣ|ΙΚΗ|ΙΚΗΣ|ΙΚΟ|ΙΚΑ|ΙΚΟΥ|ΙΚΩΝ|ΙΚΩΣ)$/u) do |st, suffix|
       stem  = st
-      stem << "ΙΚ" if ends_on_vowel?(st) || st =~ /^(ΑΔ|ΑΛ|ΑΜΑΝ|ΑΜΕΡ|ΑΜΜΟΧΑΛ|
-                      ΑΝΗΘ|ΑΝΤΙΔ|ΑΠΛ|ΑΤΤ|ΑΦΡ|ΒΑΣ|ΒΡΩΜ|ΓΕΝ|ΓΕΡ|Δ|ΔΙΑΦΟΡ|ΔΙΚΑΝ|
-                      ΔΥΤ|ΕΙΔ|ΕΝΔ|ΕΞΩΔ|ΗΘ|ΘΕΤ|ΚΑΛΛΙΝ|ΚΑΛΠ|ΚΑΤΑΔ|ΚΟΥΖΙΝ|ΚΡ|ΚΩΔ|
-                      ΛΑΔ|ΛΟΓ|Μ|ΜΕΡ|ΜΟΝΑΔ|ΜΟΥΛ|ΜΟΥΣ|ΜΠΑΓΙΑΤ|ΜΠΑΝ|ΜΠΟΛ|ΜΠΟΣ|ΜΥΣΤ|
-                      Ν|ΝΙΤ|ΞΙΚ|ΟΠΤ|ΠΑΝ|ΠΕΡΙΣΤΡΟΦ|ΠΕΤΣ|ΠΙΚΑΝΤ|ΠΙΤΣ|ΠΛΑΣΤ|ΠΛΙΑΤΣ|
-                      ΠΟΝΤ|ΠΟΣΤΕΛΝ|ΠΡΩΤΟΔ|ΣΕΡΤ|ΣΗΜΑΝΤ|ΣΤΑΤ|ΣΥΝΑΔ|ΣΥΝΟΜΗΛ|ΤΕΛ|
-                      ΤΕΧΝ|ΤΗΛΕΣΚΟΠ|ΤΡΟΠ|ΤΣΑΜ|ΥΠΟΔ|Φ|ΦΙΛΟΝ|ΦΥΛΟΔ|ΦΥΣ|ΧΑΣ|ΦΥΤ)
-                      $/ux || st =~ /(ΦΟΙΝ)$/u
+       if ends_on_vowel?(st) || st =~ /^(ΑΔ|ΑΛ|ΑΜΑΝ|ΑΜΕΡ|ΑΜΜΟΧΑΛ|
+          ΑΝΗΘ|ΑΝΤΙΔ|ΑΠΛ|ΑΤΤ|ΑΦΡ|ΒΑΣ|ΒΡΩΜ|ΓΕΝ|ΓΕΡ|Δ|ΔΙΑΦΟΡ|ΔΙΚΑΝ|
+          ΔΥΤ|ΕΙΔ|ΕΝΔ|ΕΞΩΔ|ΗΘ|ΘΕΤ|ΚΑΛΛΙΝ|ΚΑΛΠ|ΚΑΤΑΔ|ΚΟΥΖΙΝ|ΚΡ|ΚΩΔ|
+          ΛΑΔ|ΛΟΓ|Μ|ΜΕΡ|ΜΟΝΑΔ|ΜΟΥΛ|ΜΟΥΣ|ΜΠΑΓΙΑΤ|ΜΠΑΝ|ΜΠΟΛ|ΜΠΟΣ|ΜΥΣΤ|
+          Ν|ΝΙΤ|ΞΙΚ|ΟΠΤ|ΠΑΝ|ΠΕΡΙΣΤΡΟΦ|ΠΕΤΣ|ΠΙΚΑΝΤ|ΠΙΤΣ|ΠΛΑΣΤ|ΠΛΙΑΤΣ|
+          ΠΟΝΤ|ΠΟΣΤΕΛΝ|ΠΡΩΤΟΔ|ΣΕΡΤ|ΣΗΜΑΝΤ|ΣΤΑΤ|ΣΥΝΑΔ|ΣΥΝΟΜΗΛ|ΤΕΛ|
+          ΤΕΧΝ|ΤΗΛΕΣΚΟΠ|ΤΡΟΠ|ΤΣΑΜ|ΥΠΟΔ|Φ|ΦΙΛΟΝ|ΦΥΛΟΔ|ΦΥΣ|ΧΑΣ|ΦΥΤ)
+          $/ux || st =~ /(ΦΟΙΝ)$/u
+         stem << "ΙΚ"
+       elsif stem == 'ΠΑΣΧΑΛΙΑΤ'
+         stem = 'ΠΑΣΧΑ'
+       end
     end
 
     # step 5a
@@ -291,8 +295,13 @@ module GreekStemmer
     ΗΚΑΤΕ|ΗΚΑΝ|ΗΣ|ΗΣΑΝ|ΗΣΑΤΕ|ΗΣΕΙ|ΗΣΕΣ|ΗΣΟΥΝ|ΗΣΩ|Ο|ΟΙ|ΟΜΑΙ|ΟΜΑΣΤΑΝ|ΟΜΟΥΝ|ΟΜΟΥΝΑ|
     ΟΝΤΑΙ|ΟΝΤΑΝ|ΟΝΤΟΥΣΑΝ|ΟΣ|ΟΣΑΣΤΑΝ|ΟΣΑΣΤΕ|ΟΣΟΥΝ|ΟΣΟΥΝΑ|ΟΤΑΝ|ΟΥ|ΟΥΜΑΙ|ΟΥΜΑΣΤΕ|
     ΟΥΝ|ΟΥΝΤΑΙ|ΟΥΝΤΑΝ|ΟΥΣ|ΟΥΣΑΝ|ΟΥΣΑΤΕ|Υ||ΥΑ|ΥΣ|Ω|ΩΝ|ΟΙΣ)$/ux) do |st, suffix|
+      return word if word == 'ΠΑΣΧΑ'
       word = st
-      word << "Ο" if st =~ /^(ΣΠΟΡ)$/u && suffix != ''
+      if st =~ /^(ΣΠΟΡ)$/u && suffix != ''
+        word << "Ο"
+      elsif st =~ /^(ΠΑΣΧΑΛΙΝ)$/u && suffix != ''
+        word = 'ΠΑΣΧΑ'
+      end
     end
     word
   end

metadata

@@ -1,7 +1,7 @@
 --- !ruby/object:Gem::Specification
 name: greek_stemmer
 version: !ruby/object:Gem::Version
-  version: 1.2.0
+  version: 1.3.0
 platform: ruby
 authors:
 - Tasos Stathopoulos
@@ -9,7 +9,7 @@ authors:
 autorequire: 
 bindir: bin
 cert_chain: []
-date: 2018-08-06 00:00:00.000000000 Z
+date: 2019-04-26 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: bundler
@@ -110,7 +110,7 @@ required_rubygems_version: !ruby/object:Gem::Requirement
       version: '0'
 requirements: []
 rubyforge_project: 
-rubygems_version: 2.7.6
+rubygems_version: 2.5.2.1
 signing_key: 
 specification_version: 4
 summary: A simple Greek stemmer