greek_stemmer 1.1.10 → 1.2.0

checksums.yaml

@@ -1,7 +1,7 @@
 ---
-SHA1:
-  metadata.gz: 3e00d7149d6ce4ff5862a3f05972e8f3e33bb7b9
-  data.tar.gz: 0be47fef1c838f6d47d4d756cfc342bde6db6978
+SHA256:
+  metadata.gz: 7d74d733ad6b73cb5ef7dd799abddaa9968723838d5905da7c087792fd62cbe3
+  data.tar.gz: e4041de586528a85eeff003e894ffa4d6062dd696e87e144e362345f2b01da19
 SHA512:
-  metadata.gz: cf9295a424de7d6a9a41610f739456e841e3e00bf75130f6d4b607c0963d2bb14540dcf67c3d90239ff256128feea8abc7a568d10c3f58570f82edb366deb39d
-  data.tar.gz: bd702e15f4491c54f06b614b51374dea84812fabbce64ad14732d3a0cf1144b7cd5340bb6a4f06f5ce258e1a851e1dac4a28bed259ebb7fd556810d98f1a8930
+  metadata.gz: 481525b1f4c37ee929722bdcf8aec5ff6003e0cac65c4c3300a8eb51d12272305b71b257ae48c80affc9e25e5b9ee19cb4c08d5e5528a0a5fed6411b372881db
+  data.tar.gz: efbc852c6a17d5a03d6c35a6edbfec7d809bb19cfcd26d7db4e1a63af0ff2b9de51a4b9c0723b294d6acc6608cd69e73428a0e2b6ff31466663fb729af1db6bc

data/README.md

@@ -41,9 +41,11 @@ Original work: [bandito](https://github.com/bandito)
 
 1. Fork it ( http://github.com/<my-github-username>/greek_stemmer/fork )
 2. Create your feature branch (`git checkout -b my-new-feature`)
-3. Commit your changes (`git commit -am 'Add some feature'`)
-4. Push to the branch (`git push origin my-new-feature`)
-5. Create new Pull Request
+3. Perform changes and run `bundle exec rake update_greek_stemming_sample` to
+   update the stemming samples
+4. Commit your changes (`git commit -a`)
+5. Push to the branch (`git push origin my-new-feature`)
+6. Create new Pull Request
 
 ## License
 

data/benchmarks/stemming_sample.txt

@@ -2732,7 +2732,7 @@
 ΒΕΡΕΝΙΚ,ΒΕΡΕΝΙΚ
 ΒΕΡΕΝΙΚΗΣ,ΒΕΡΕΝ
 ΒΕΡΜΟΥΔΑ,ΒΕΡΜΟΥΔ
-ΒΕΡΜΟΥΔΕΣ,ΒΕΡΜ
+ΒΕΡΜΟΥΔΕΣ,ΒΕΡΜΟΥΔ
 ΒΕΡΝ,ΒΕΡΝ
 ΒΕΡΝΑ,ΒΕΡΝ
 ΒΕΡΝΤ,ΒΕΡΝΤ
@@ -4196,9 +4196,9 @@
 ΔΙΑΦΟΡΕΤΙΚΑ,ΔΙΑΦΟΡΕΤ
 ΔΙΑΦΟΡΕΤΙΚΟΣ,ΔΙΑΦΟΡΕΤ
 ΔΙΑΦΟΡΙΚ,ΔΙΑΦΟΡΙΚ
-ΔΙΑΦΟΡΙΚΕΣ,ΔΙΑΦΟΡ
-ΔΙΑΦΟΡΙΚΗ,ΔΙΑΦΟΡ
-ΔΙΑΦΟΡΙΚΟΣ,ΔΙΑΦΟΡ
+ΔΙΑΦΟΡΙΚΕΣ,ΔΙΑΦΟΡΙΚ
+ΔΙΑΦΟΡΙΚΗ,ΔΙΑΦΟΡΙΚ
+ΔΙΑΦΟΡΙΚΟΣ,ΔΙΑΦΟΡΙΚ
 ΔΙΑΦΟΡΩΝ,ΔΙΑΦΟΡ
 ΔΙΑΦΥΛΛΙΚ,ΔΙΑΦΥΛΛΙΚ
 ΔΙΑΦΥΛΛΙΚΕΣ,ΔΙΑΦΥΛΛ
@@ -7711,7 +7711,7 @@
 ΚΑΝΙΑΡΗΣ,ΚΑΝΙΑΡ
 ΚΑΝΝΑΒΗ,ΚΑΝΝΑΒ
 ΚΑΝΝΑΒΙΣ,ΚΑΝΝΑΒΙΣ
-ΚΑΝΟ,ΚΑΝ
+ΚΑΝΟ,ΚΑΝΟ
 ΚΑΝΟΝ,ΚΑΝΟΝ
 ΚΑΝΟΝΕΣ,ΚΑΝΟΝ
 ΚΑΝΟΝΙΚ,ΚΑΝΟΝΙΚ
@@ -7867,7 +7867,7 @@
 ΚΑΡΦ,ΚΑΡΦ
 ΚΑΡΦΙ,ΚΑΡΦ
 ΚΑΡΦΩΤΑ,ΚΑΡΦΩ
-ΚΑΡΦΩΤΟ,ΚΑΡΦΩΤ
+ΚΑΡΦΩΤΟ,ΚΑΡΦΩ
 ΚΑΡΦΩΤΟΙ,ΚΑΡΦΩΤ
 ΚΑΡΩ,ΚΑΡ
 ΚΑΣ,Κ
@@ -8859,7 +8859,7 @@
 ΚΡΕΒΑΤΙΑ,ΚΡΕΒΑΤ
 ΚΡΕΜΑΜΕΝ,ΚΡΕΜΑΜΕΝ
 ΚΡΕΜΑΜΕΝΟΣ,ΚΡΕΜΑΜΕΝ
-ΚΡΕΜΑΣ,ΚΡΕΜ
+ΚΡΕΜΑΣ,ΚΡΕΜΑ
 ΚΡΕΜΑΣΜΕΝ,ΚΡΕΜΑΣΜΕΝ
 ΚΡΕΜΑΣΜΕΝΟΙ,ΚΡΕΜΑΣΜΕΝ
 ΚΡΕΜΑΣΟΥΝ,ΚΡΕΜΑΣ
@@ -9668,7 +9668,7 @@
 ΜΑΓΙΚΟ,ΜΑΓ
 ΜΑΓΙΚΟΣ,ΜΑΓ
 ΜΑΓΙΚΟΥ,ΜΑΓ
-ΜΑΓΙΟ,ΜΑΓΙ
+ΜΑΓΙΟ,ΜΑΓΙΟ
 ΜΑΓΙΟΡΚ,ΜΑΓΙΟΡΚ
 ΜΑΓΙΟΡΚΑ,ΜΑΓΙΟΡΚ
 ΜΑΓΙΣΣ,ΜΑΓΙΣΣ
@@ -9976,8 +9976,8 @@
 ΜΑΤ,ΜΑΤ
 ΜΑΤΑΚΙΑ,ΜΑΤΑΚ
 ΜΑΤΑΚΙΑΣ,ΜΑΤΑΚ
-ΜΑΤΙ,ΜΑΤ
-ΜΑΤΙΑ,ΜΑΤ
+ΜΑΤΙ,ΜΑΤΙ
+ΜΑΤΙΑ,ΜΑΤΙ
 ΜΑΤΙΑΣ,ΜΑΤ
 ΜΑΤΙΕΣ,ΜΑΤ
 ΜΑΤΣΑΔ,ΜΑΤΣΑΔ
@@ -10718,6 +10718,8 @@
 ΜΟΝΟΦΑΣΙΚΟΣ,ΜΟΝΟΦΑΣ
 ΜΟΝΟΦΘΑΛΜ,ΜΟΝΟΦΘΑΛΜ
 ΜΟΝΟΦΘΑΛΜΟΣ,ΜΟΝΟΦΘΑΛΜ
+ΜΟΝΟΦΩΤΑ,ΜΟΝΟΦΩ
+ΜΟΝΟΦΩΤΟ,ΜΟΝΟΦΩ
 ΜΟΝΡΟ,ΜΟΝΡ
 ΜΟΝΡΟΕ,ΜΟΝΡΟ
 ΜΟΝΤ,ΜΟΝΤ
@@ -12451,7 +12453,7 @@
 ΠΑΝΕΠΙΣΤΗΜΙΟΥ,ΠΑΝΕΠΙΣΤΗΜ
 ΠΑΝΕΠΙΣΤΗΜΙΩΝ,ΠΑΝΕΠΙΣΤΗΜ
 ΠΑΝΕΣ,ΠΑΝ
-ΠΑΝΙ,ΠΑΝ
+ΠΑΝΙ,ΠΑΝΙ
 ΠΑΝΙΕΡ,ΠΑΝΙΕΡ
 ΠΑΝΙΕΡΟΣ,ΠΑΝΙΕΡ
 ΠΑΝΙΚΟ,ΠΑΝΙΚ
@@ -13042,9 +13044,9 @@
 ΠΕΡΙΣΣΟΤΕΡΟ,ΠΕΡΙΣΣ
 ΠΕΡΙΣΤΑΤ,ΠΕΡΙΣΤΑΤ
 ΠΕΡΙΣΤΑΤΙΚΑ,ΠΕΡΙΣΤΑΤ
-ΠΕΡΙΣΤΡΟΦΙΚΗ,ΠΕΡΙΣΤΡΟΦ
-ΠΕΡΙΣΤΡΟΦΙΚΟ,ΠΕΡΙΣΤΡΟΦ
-ΠΕΡΙΣΤΡΟΦΙΚΟΣ,ΠΕΡΙΣΤΡΟΦ
+ΠΕΡΙΣΤΡΟΦΙΚΗ,ΠΕΡΙΣΤΡΟΦΙΚ
+ΠΕΡΙΣΤΡΟΦΙΚΟ,ΠΕΡΙΣΤΡΟΦΙΚ
+ΠΕΡΙΣΤΡΟΦΙΚΟΣ,ΠΕΡΙΣΤΡΟΦΙΚ
 ΠΕΡΙΤΟΝΑΙΚ,ΠΕΡΙΤΟΝΑΙΚ
 ΠΕΡΙΤΟΝΑΙΚΗ,ΠΕΡΙΤΟΝΑΙΚ
 ΠΕΡΙΦΕΡΕΙΑΚ,ΠΕΡΙΦΕΡΕΙΑΚ
@@ -13078,7 +13080,7 @@
 ΠΕΤΑ,ΠΕΤ
 ΠΕΤΑΕΙ,ΠΕΤ
 ΠΕΤΑΛ,ΠΕΤΑΛ
-ΠΕΤΑΛΟ,ΠΕΤΑΛ
+ΠΕΤΑΛΟ,ΠΕΤΑΛΟ
 ΠΕΤΑΛΟΥΔ,ΠΕΤΑΛΟΥΔ
 ΠΕΤΑΛΟΥΔΑ,ΠΕΤΑΛΟΥΔ
 ΠΕΤΑΛΟΥΔΑΣ,ΠΕΤΑΛΟΥΔ
@@ -13636,7 +13638,7 @@
 ΠΟΛΥΦΩΝΑ,ΠΟΛΥΦΩΝ
 ΠΟΛΥΦΩΝΙΚΑ,ΠΟΛΥΦΩΝ
 ΠΟΛΥΦΩΤΑ,ΠΟΛΥΦΩ
-ΠΟΛΥΦΩΤΟ,ΠΟΛΥΦΩΤ
+ΠΟΛΥΦΩΤΟ,ΠΟΛΥΦΩ
 ΠΟΛΥΦΩΤΩΝ,ΠΟΛΥΦΩ
 ΠΟΛΥΧΡΩΜ,ΠΟΛΥΧΡΩΜ
 ΠΟΛΥΧΡΩΜΑ,ΠΟΛΥΧΡΩΜ
@@ -14460,9 +14462,9 @@
 ΡΟΙΔΙΚΗΣ,ΡΟΙΔ
 ΡΟΚ,ΡΟΚ
 ΡΟΛ,ΡΟΛ
-ΡΟΛΑ,ΡΟΛ
+ΡΟΛΑ,ΡΟΛΑ
 ΡΟΛΟ,ΡΟΛ
-ΡΟΛΟΓΙΑ,ΡΟΛΟΓ
+ΡΟΛΟΓΙΑ,ΡΟΛ
 ΡΟΛΟΙ,ΡΟΛ
 ΡΟΛΟΣ,ΡΟΛ
 ΡΟΛΣ,ΡΟΛΣ
@@ -14939,7 +14941,7 @@
 ΣΚΗΠΤΡΟ,ΣΚΗΠΤΡ
 ΣΚΗΤ,ΣΚΗΤ
 ΣΚΗΤΗ,ΣΚΗΤ
-ΣΚΙ,ΣΚΙ
+ΣΚΙ,ΣΚ
 ΣΚΙΑ,ΣΚΙ
 ΣΚΙΑΘ,ΣΚΙΑΘ
 ΣΚΙΑΘΟΣ,ΣΚΙΑΘ
@@ -15189,10 +15191,10 @@
 ΣΠΟΝΔ,ΣΠΟΝΔ
 ΣΠΟΝΔΗ,ΣΠΟΝΔ
 ΣΠΟΡ,ΣΠΟΡ
-ΣΠΟΡΑ,ΣΠΟΡ
+ΣΠΟΡΑ,ΣΠΟΡΟ
 ΣΠΟΡΑΔ,ΣΠΟΡΑΔ
 ΣΠΟΡΑΔΕΣ,ΣΠΟΡΑΔ
-ΣΠΟΡΟΣ,ΣΠΟΡ
+ΣΠΟΡΟΣ,ΣΠΟΡΟ
 ΣΠΟΥΔ,ΣΠΟΥΔ
 ΣΠΟΥΔΑΙ,ΣΠΟΥΔΑ
 ΣΠΟΥΔΑΙΑ,ΣΠΟΥΔΑΙ
@@ -16169,8 +16171,8 @@
 ΤΕΤΡΑΓΩΝΟ,ΤΕΤΡΑΓΩΝ
 ΤΕΤΡΑΔ,ΤΕΤΡΑΔ
 ΤΕΤΡΑΔΙ,ΤΕΤΡΑΔ
-ΤΕΤΡΑΔΙΑ,ΤΕΤΡΑΔ
-ΤΕΤΡΑΔΙΟ,ΤΕΤΡΑΔ
+ΤΕΤΡΑΔΙΑ,ΤΕΤΡΑΔΙ
+ΤΕΤΡΑΔΙΟ,ΤΕΤΡΑΔΙ
 ΤΕΤΣ,ΤΕΤΣ
 ΤΕΤΣΗΣ,ΤΕΤΣ
 ΤΕΧΝ,ΤΕΧΝ
@@ -16266,10 +16268,10 @@
 ΤΗΛΕΠΙΚΟΙΝΩΝΙΕΣ,ΤΗΛΕΠΙΚΟΙΝΩΝ
 ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ,ΤΗΛΕΠΙΚΟΙΝΩΝ
 ΤΗΛΕΣΚΟΠΙΑ,ΤΗΛΕΣΚΟΠ
-ΤΗΛΕΣΚΟΠΙΚΗ,ΤΗΛΕΣΚΟΠ
-ΤΗΛΕΣΚΟΠΙΚΟ,ΤΗΛΕΣΚΟΠ
-ΤΗΛΕΣΚΟΠΙΚΟΙ,ΤΗΛΕΣΚΟΠ
-ΤΗΛΕΣΚΟΠΙΚΟΣ,ΤΗΛΕΣΚΟΠ
+ΤΗΛΕΣΚΟΠΙΚΗ,ΤΗΛΕΣΚΟΠΙΚ
+ΤΗΛΕΣΚΟΠΙΚΟ,ΤΗΛΕΣΚΟΠΙΚ
+ΤΗΛΕΣΚΟΠΙΚΟΙ,ΤΗΛΕΣΚΟΠΙΚ
+ΤΗΛΕΣΚΟΠΙΚΟΣ,ΤΗΛΕΣΚΟΠΙΚ
 ΤΗΛΕΣΚΟΠΙΟ,ΤΗΛΕΣΚΟΠ
 ΤΗΛΕΣΚΟΠΙΟΥ,ΤΗΛΕΣΚΟΠ
 ΤΗΛΕΦΩΝ,ΤΗΛΕΦ
@@ -17161,7 +17163,7 @@
 ΦΕΓΓΑΡΟΠΛΕΚΤ,ΦΕΓΓΑΡΟΠΛΕΚΤ
 ΦΕΓΓΑΡΟΠΛΕΚΤΗ,ΦΕΓΓΑΡΟΠΛΕΚΤ
 ΦΕΓΓΑΡΟΦΩΤ,ΦΕΓΓΑΡΟΦΩΤ
-ΦΕΓΓΑΡΟΦΩΤΟ,ΦΕΓΓΑΡΟΦΩΤ
+ΦΕΓΓΑΡΟΦΩΤΟ,ΦΕΓΓΑΡΟΦΩ
 ΦΕΓΓΑΡΟΨΗΜΕΝ,ΦΕΓΓΑΡΟΨΗΜΕΝ
 ΦΕΓΓΑΡΟΨΗΜΕΝΕΣ,ΦΕΓΓΑΡΟΨΗΜΕΝ
 ΦΕΓΓΙΤ,ΦΕΓΓΙΤ
@@ -17524,8 +17526,8 @@
 ΦΥΤΕΜΑ,ΦΥΤΕΜ
 ΦΥΤΕΥ,ΦΥΤΕ
 ΦΥΤΕΥΩ,ΦΥΤΕΥ
-ΦΥΤΙΚΑ,ΦΥΤ
-ΦΥΤΙΚΗ,ΦΥΤ
+ΦΥΤΙΚΑ,ΦΥΤΙΚ
+ΦΥΤΙΚΗ,ΦΥΤΙΚ
 ΦΥΤΟΛΟ,ΦΥΤΟΛ
 ΦΥΤΟΛΟΓΙΑ,ΦΥΤΟΛΟΓ
 ΦΥΤΟΠΑΘΟΛΟ,ΦΥΤΟΠΑΘΟΛ
@@ -17580,7 +17582,7 @@
 ΦΩΤΙΣΤΙΚΑ,ΦΩΤΙΣΤ
 ΦΩΤΙΣΤΙΚΗ,ΦΩΤΙΣΤ
 ΦΩΤΙΣΤΙΚΟΙ,ΦΩΤΙΣΤ
-ΦΩΤΟ,ΦΩΤ
+ΦΩΤΟ,ΦΩ
 ΦΩΤΟΒΟΛΤΑΙΚ,ΦΩΤΟΒΟΛΤΑΙΚ
 ΦΩΤΟΒΟΛΤΑΙΚΑ,ΦΩΤΟΒΟΛΤΑΙΚ
 ΦΩΤΟΓΡΑΦ,ΦΩΤΟΓΡΑΦ

data/config/stemmer.yml

@@ -1,3 +1,11 @@
+step_0_exceptions:
+  ΡΟΛΟΓΙΑ: ΡΟΛ
+  ΛΑΔΟΥΣΑ: ΛΑΔΟΥΣ
+  ΣΚΙ: ΣΚ
+  ΚΡΕΜΑΣ: ΚΡΕΜΑ
+  ΒΕΡΜΟΥΔΕΣ: ΒΕΡΜΟΥΔ
+  ΜΑΤΙΑ: ΜΑΤΙ
+  ΜΑΤΙΩΝ: ΜΑΤΙ
 step_1_exceptions:
   ΦΑΓΙΑ: ΦΑ
   ΦΑΓΙΟΥ: ΦΑ
@@ -30,6 +38,7 @@ step_1_exceptions:
   ΦΩΤΟΣ: ΦΩ
   ΦΩΤΑ: ΦΩ
   ΦΩΤΩΝ: ΦΩ
+  ΦΩΤΟ: ΦΩ
   ΚΑΘΕΣΤΩΣ: ΚΑΘΕΣΤ
   ΚΑΘΕΣΤΩΤΟΣ: ΚΑΘΕΣΤ
   ΚΑΘΕΣΤΩΤΑ: ΚΑΘΕΣΤ
@@ -133,6 +142,7 @@ protected_words:
   - ΚΑΘΩΣ
   - ΚΑΙ
   - ΚΑΝ
+  - ΚΑΝΟ
   - ΚΑΠΟΤΕ
   - ΚΑΠΟΥ
   - ΚΑΤΑ
@@ -144,7 +154,10 @@ protected_words:
   - ΚΚΕ
   - ΚΟΛΑΝ
   - ΚΥΡΙΩΣ
+  - ΚΡΕΜΑ
   - ΚΩΣ
+  - ΜΑΓΙΟ
+  - ΜΑΓΙΩ
   - ΜΑΚΑΡΙ
   - ΜΑΛΙΣΤΑ
   - ΜΑΛΛΟΝ
@@ -152,6 +165,7 @@ protected_words:
   - ΜΑΟ
   - ΜΑΟΥΣ
   - ΜΑΣ
+  - ΜΑΤΙ
   - ΜΕΘΑΥΡΙΟ
   - ΜΕΣ
   - ΜΕΣΑ
@@ -194,14 +208,17 @@ protected_words:
   - ΠΑΛΙ
   - ΠΑΝ
   - ΠΑΝΟ
+  - ΠΑΝΤΕΛΟΝΑ
   - ΠΑΝΤΟΤΕ
   - ΠΑΝΤΟΥ
   - ΠΑΝΤΩΣ
   - ΠΑΝΩ
   - ΠΑΡΑ
+  - ΠΑΝΙ
   - ΠΕΡΑ
   - ΠΕΡΙ
   - ΠΕΡΙΠΟΥ
+  - ΠΕΤΑΛΟ
   - ΠΙΑ
   - ΠΙΟ
   - ΠΙΣΩ
@@ -215,13 +232,13 @@ protected_words:
   - ΠΡΟΧΤΕΣ
   - ΠΡΟΧΘΕΣ
   - ΡΟΔΙ
+  - ΡΟΛΑ
   - ΠΩΣ
   - ΣΑΙ
   - ΣΑΣ
   - ΣΑΝ
   - ΣΕΙΣ
   - ΣΙΑ
-  - ΣΚΙ
   - ΣΟΙ
   - ΣΟΥ
   - ΣΡΙ

data/lib/greek_stemmer.rb

@@ -21,9 +21,6 @@ module GreekStemmer
     end
   end
 
-  # Transformations for step 1 words
-  STEP_1_EXCEPTIONS = load_settings("step_1_exceptions")
-
   # Protected words
   PROTECTED_WORDS   = load_settings("protected_words")
 
@@ -37,13 +34,14 @@ module GreekStemmer
   def stem(word)
     return word if word.length < 3
     stem = word.dup
+
     return stem if PROTECTED_WORDS.include?(stem) || !greek?(word)
 
-    step_1_regexp = /(.*)(#{STEP_1_EXCEPTIONS.keys.join("|")})$/u
+    return step_0_exceptions[stem] if step_0_exceptions.include?(stem)
 
     # step 1
-    stem.scan(step_1_regexp) do |st, suffix|
-      stem = st + STEP_1_EXCEPTIONS[suffix]
+    stem.scan(step_1_regex) do |st, suffix|
+      stem = st + step_1_exceptions[suffix]
     end
 
     # step 2a
@@ -85,8 +83,8 @@ module GreekStemmer
                      ΑΕΡ|ΑΘΛ|ΑΚΟΥΣ|ΑΞ|ΑΣ|Β|ΒΙΒΛ|ΒΥΤ|Γ|ΓΙΑΓ|ΓΩΝ|Δ|ΔΑΝ|ΔΗΛ|ΔΗΜ|
                      ΔΟΚΙΜ|ΕΛ|ΖΑΧΑΡ|ΗΛ|ΗΠ|ΙΔ|ΙΣΚ|ΙΣΤ|ΙΟΝ|ΙΩΝ|ΚΙΜΩΛ|ΚΟΛΟΝ|ΚΟΡ|
                      ΚΤΗΡ|ΚΥΡ|ΛΑΓ|ΛΟΓ|ΜΑΓ|ΜΠΑΝ|ΜΠΕΤΟΝ|ΜΠΡ|ΝΑΥΤ|ΝΟΤ|ΟΠΑΛ|ΟΞ|ΟΡ|ΟΣ|
-                     ΠΑΝΑΓ|ΠΑΤΡ|ΠΗΛ|ΠΗΝ|ΠΛΑΙΣ|ΠΟΝΤ|ΡΑΔ|ΡΟΔ|ΣΚ|ΣΚΟΡΠ|ΣΟΥΝ|ΣΠΑΝ|
-                     ΣΤΑΔ|ΣΥΡ|ΤΗΛ|ΤΙΜ|ΤΟΚ|ΤΟΠ|ΤΡΟΧ|ΦΙΛ|ΦΩΤ|Χ|ΧΙΛ|ΧΡΩΜ|ΧΩΡ)$/ux
+                     ΠΑΝ|ΠΑΝΑΓ|ΠΑΤΡ|ΠΗΛ|ΠΗΝ|ΠΛΑΙΣ|ΠΟΝΤ|ΡΑΔ|ΡΟΔ|ΣΚ|ΣΚΟΡΠ|ΣΟΥΝ|ΣΠΑΝ|
+                     ΣΤΑΔ|ΣΥΡ|ΤΗΛ|ΤΕΤΡΑΔ|ΤΙΜ|ΤΟΚ|ΤΟΠ|ΤΡΟΧ|ΦΙΛ|ΦΩΤ|Χ|ΧΙΛ|ΧΡΩΜ|ΧΩΡ)$/ux
       stem << "ΑΙ" if st =~ /^(ΠΑΛ)$/u
     end
 
@@ -94,12 +92,13 @@ module GreekStemmer
     stem.scan(/^(.+?)(ΙΚΟΣ|ΙΚΟΝ|ΙΚΕΙΣ|ΙΚΟΙ|ΙΚΕΣ|ΙΚΟΥΣ|ΙΚΗ|ΙΚΗΣ|ΙΚΟ|ΙΚΑ|ΙΚΟΥ|ΙΚΩΝ|ΙΚΩΣ)$/u) do |st, suffix|
       stem  = st
       stem << "ΙΚ" if ends_on_vowel?(st) || st =~ /^(ΑΔ|ΑΛ|ΑΜΑΝ|ΑΜΕΡ|ΑΜΜΟΧΑΛ|
-                      ΑΝΗΘ|ΑΝΤΙΔ|ΑΠΛ|ΑΤΤ|ΑΦΡ|ΒΑΣ|ΒΡΩΜ|ΓΕΝ|ΓΕΡ|Δ|ΔΙΚΑΝ|ΔΥΤ|ΕΙΔ|
-                      ΕΝΔ|ΕΞΩΔ|ΗΘ|ΘΕΤ|ΚΑΛΛΙΝ|ΚΑΛΠ|ΚΑΤΑΔ|ΚΟΥΖΙΝ|ΚΡ|ΚΩΔ|ΛΟΓ|Μ|ΜΕΡ|
-                      ΜΟΝΑΔ|ΜΟΥΛ|ΜΟΥΣ|ΜΠΑΓΙΑΤ|ΜΠΑΝ|ΜΠΟΛ|ΜΠΟΣ|ΜΥΣΤ|Ν|ΝΙΤ|ΞΙΚ|ΟΠΤ|
-                      ΠΑΝ|ΠΕΤΣ|ΠΙΚΑΝΤ|ΠΙΤΣ|ΠΛΑΣΤ|ΠΛΙΑΤΣ|ΠΟΝΤ|ΠΟΣΤΕΛΝ|ΠΡΩΤΟΔ|ΣΕΡΤ|
-                      ΣΗΜΑΝΤ|ΣΤΑΤ|ΣΥΝΑΔ|ΣΥΝΟΜΗΛ|ΤΕΛ|ΤΕΧΝ|ΤΡΟΠ|ΤΣΑΜ|ΥΠΟΔ|Φ|ΦΙΛΟΝ|
-                      ΦΥΛΟΔ|ΦΥΣ|ΧΑΣ)$/ux || st =~ /(ΦΟΙΝ)$/u
+                      ΑΝΗΘ|ΑΝΤΙΔ|ΑΠΛ|ΑΤΤ|ΑΦΡ|ΒΑΣ|ΒΡΩΜ|ΓΕΝ|ΓΕΡ|Δ|ΔΙΑΦΟΡ|ΔΙΚΑΝ|
+                      ΔΥΤ|ΕΙΔ|ΕΝΔ|ΕΞΩΔ|ΗΘ|ΘΕΤ|ΚΑΛΛΙΝ|ΚΑΛΠ|ΚΑΤΑΔ|ΚΟΥΖΙΝ|ΚΡ|ΚΩΔ|
+                      ΛΑΔ|ΛΟΓ|Μ|ΜΕΡ|ΜΟΝΑΔ|ΜΟΥΛ|ΜΟΥΣ|ΜΠΑΓΙΑΤ|ΜΠΑΝ|ΜΠΟΛ|ΜΠΟΣ|ΜΥΣΤ|
+                      Ν|ΝΙΤ|ΞΙΚ|ΟΠΤ|ΠΑΝ|ΠΕΡΙΣΤΡΟΦ|ΠΕΤΣ|ΠΙΚΑΝΤ|ΠΙΤΣ|ΠΛΑΣΤ|ΠΛΙΑΤΣ|
+                      ΠΟΝΤ|ΠΟΣΤΕΛΝ|ΠΡΩΤΟΔ|ΣΕΡΤ|ΣΗΜΑΝΤ|ΣΤΑΤ|ΣΥΝΑΔ|ΣΥΝΟΜΗΛ|ΤΕΛ|
+                      ΤΕΧΝ|ΤΗΛΕΣΚΟΠ|ΤΡΟΠ|ΤΣΑΜ|ΥΠΟΔ|Φ|ΦΙΛΟΝ|ΦΥΛΟΔ|ΦΥΣ|ΧΑΣ|ΦΥΤ)
+                      $/ux || st =~ /(ΦΟΙΝ)$/u
     end
 
     # step 5a
@@ -261,6 +260,21 @@ module GreekStemmer
 
   private
 
+  # Top-level stemming exceptions for full words
+  def step_0_exceptions
+    @step_0_exceptions ||= load_settings("step_0_exceptions")
+  end
+
+  # Transformations for step 1 suffixes
+  def step_1_exceptions
+    @step_1_exceptions ||= load_settings("step_1_exceptions")
+  end
+
+  # Regex matching terms having step 1 exceptions as suffix
+  def step_1_regex
+    @step_1_regex ||= /(.*)(#{step_1_exceptions.keys.join("|")})$/u
+  end
+
   def ends_on_vowel?(word)
     word =~ /[ΑΕΗΙΟΥΩ]$/u
   end
@@ -278,6 +292,7 @@ module GreekStemmer
     ΟΝΤΑΙ|ΟΝΤΑΝ|ΟΝΤΟΥΣΑΝ|ΟΣ|ΟΣΑΣΤΑΝ|ΟΣΑΣΤΕ|ΟΣΟΥΝ|ΟΣΟΥΝΑ|ΟΤΑΝ|ΟΥ|ΟΥΜΑΙ|ΟΥΜΑΣΤΕ|
     ΟΥΝ|ΟΥΝΤΑΙ|ΟΥΝΤΑΝ|ΟΥΣ|ΟΥΣΑΝ|ΟΥΣΑΤΕ|Υ||ΥΑ|ΥΣ|Ω|ΩΝ|ΟΙΣ)$/ux) do |st, suffix|
       word = st
+      word << "Ο" if st =~ /^(ΣΠΟΡ)$/u && suffix != ''
     end
     word
   end

data/lib/greek_stemmer/version.rb

@@ -1,3 +1,3 @@
 module GreekStemmer
-  VERSION = "1.1.10"
+  VERSION = "1.2.0"
 end

data/spec/greek_stemmer_spec.rb

@@ -5,6 +5,8 @@ require "yaml"
 describe GreekStemmer do
   describe "#stem" do
     let(:words) { YAML.load_file('spec/fixtures/examples.yml') }
+    let(:config) { YAML.load_file('config/stemmer.yml') }
+
     it "stems words correctly" do
       words.each_pair do |word, stem|
         expect(described_class.stem(word)).to eq(stem)
@@ -16,5 +18,19 @@ describe GreekStemmer do
         expect(described_class.stem("englishΟΣ")).to eq("englishΟΣ")
       end
     end
+
+    context 'exceptions' do
+      it 'does not stem protected words' do
+        config['protected_words'].each do |word|
+          expect(described_class.stem(word)).to eq(word)
+        end
+      end
+
+      it 'correctly stems 0-level exceptions' do
+        config['step_0_exceptions'].each_pair do |word, stem|
+          expect(described_class.stem(word)).to eq(stem)
+        end
+      end
+    end
   end
 end

metadata

@@ -1,7 +1,7 @@
 --- !ruby/object:Gem::Specification
 name: greek_stemmer
 version: !ruby/object:Gem::Version
-  version: 1.1.10
+  version: 1.2.0
 platform: ruby
 authors:
 - Tasos Stathopoulos
@@ -9,7 +9,7 @@ authors:
 autorequire: 
 bindir: bin
 cert_chain: []
-date: 2016-07-27 00:00:00.000000000 Z
+date: 2018-08-06 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: bundler
@@ -110,7 +110,7 @@ required_rubygems_version: !ruby/object:Gem::Requirement
       version: '0'
 requirements: []
 rubyforge_project: 
-rubygems_version: 2.4.7
+rubygems_version: 2.7.6
 signing_key: 
 specification_version: 4
 summary: A simple Greek stemmer