keyphrase 0.1.3 → 0.2.0

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: 56611558acf8336a81d11dc0b6cd1168ed0c008f48822efed61741b2448f3a65
-  data.tar.gz: 610725d8f12dbda7d041160bd98a976732f7a748644808e73afcc91f954c114d
+  metadata.gz: 6bd137b3873f8a008fb32e9ba2b857fb0fccb94c4f8c0c98dd1a4773a3588ec4
+  data.tar.gz: 26cd3c7ed4f030b0efb30dd721278974ea84085c7532124fe8f998d9e38513dc
 SHA512:
-  metadata.gz: e996bfb9191c68a4df50b9ad52d4deaf553141c097d4e3172b9dae24246ef4098d47d8e67ef2beaa27acc6ef94e497ddb0a804307dd1d80b64cb740d9c8fb310
-  data.tar.gz: 826ae9a9d3d3f1c1ffbcb381c7be7b3f6ed8410b89846494cd490e5ecc0dfddccb74f59088ef70c3f4b4e07dd5e9ca2b4a497d3d1ec805eb11a0179753ecda54
+  metadata.gz: 81d251b04a8cd2885e344e5eda291ae58ed50593d354bce153982a804d36e579509ff2c02a7f536721b282f24b1884b36b55df276006a6517d6192412319a908
+  data.tar.gz: 83bf1c033007cad120f504d8a9fb5eedeb496171889f42408872950186f20f2ceb8a5dc7f49f0b402dfe91f9b61559cd7488f603508628dd32726b121789f018

data/README.md

@@ -25,18 +25,19 @@ require 'keyphrase'
 keyphrase = Keyphrase.new
 ```
 
-Use the Smart Stoplist:
+Use a custom stopword list:
 
 ```
-keyphrase.analyse "your text", stoplist: Keyphrase.stopwords[:en]
+keyphrase.analyse "your text", stopwords: %w{words to remove here}
 # → {"compatibility"=>1.0, "systems"=>1.0, "linear constraints"=>4.5, "set"=>2.0, "natural numbers"=>4.0, "criteria"=>1.0, "system"=>1.0, "linear diophantine equations"=>8.5, "strict inequations"=>4.0, "nonstrict inequations"=>4.0, "considered"=>1.5, "upper bounds"=>4.0, "components"=>1.0, "minimal set"=>4.666666666666666, "solutions"=>1.0, "algorithms"=>1.0, "construction"=>1.0, "minimal generating sets"=>8.666666666666666, "types"=>1.6666666666666667, "constructing"=>1.0, "minimal supporting set"=>7.666666666666666, "solving"=>1.0, "considered types"=>3.166666666666667, "mixed types"=>3.666666666666667}
 ```
 
-Use a custom stopword list:
+Use a stopword list for a language:
 
 ```
-keyphrase.analyse "your text", ["custom","stopword","list"]
+keyphrase.analyse "your text", lang: :kor
 ```
+See `lib/keyphrase/stoplist` for all supported languages.
 
 Shorthand usage:
 

data/lib/keyphrase/stoplist/afr.rb

@@ -0,0 +1,14 @@
+class Keyphrase
+  module Stoplist
+    class Afr
+      def self.stopwords
+        @@stopwords ||= %w{
+          'n aan af al as baie by daar dag dat die dit een ek
+          en gaan gesê haar het hom hulle hy in is jou jy kan
+          kom ma maar met my na nie om ons op saam sal se sien
+          so sy te toe uit van vir was wat ʼn
+        }
+      end
+    end
+  end
+end

data/lib/keyphrase/stoplist/aka.rb

@@ -0,0 +1,10 @@
+class Keyphrase
+  module Stoplist
+    class Aka
+      def self.stopwords
+        @@stopwords ||= %w{
+        }
+      end
+    end
+  end
+end

data/lib/keyphrase/stoplist/amh.rb

@@ -0,0 +1,10 @@
+class Keyphrase
+  module Stoplist
+    class Amh
+      def self.stopwords
+        @@stopwords ||= [
+        ]
+      end
+    end
+  end
+end

data/lib/keyphrase/stoplist/ara.rb

@@ -0,0 +1,490 @@
+class Keyphrase
+  module Stoplist
+    class Ara
+      def self.stopwords
+        @@stopwords ||= [
+    "،",
+    "آض",
+    "آمينَ",
+    "آه",
+    "آهاً",
+    "آي",
+    "أ",
+    "أب",
+    "أجل",
+    "أجمع",
+    "أخ",
+    "أخذ",
+    "أصبح",
+    "أضحى",
+    "أقبل",
+    "أقل",
+    "أكثر",
+    "ألا",
+    "أم",
+    "أما",
+    "أمامك",
+    "أمامكَ",
+    "أمسى",
+    "أمّا",
+    "أن",
+    "أنا",
+    "أنت",
+    "أنتم",
+    "أنتما",
+    "أنتن",
+    "أنتِ",
+    "أنشأ",
+    "أنّى",
+    "أو",
+    "أوشك",
+    "أولئك",
+    "أولئكم",
+    "أولاء",
+    "أولالك",
+    "أوّهْ",
+    "أي",
+    "أيا",
+    "أين",
+    "أينما",
+    "أيّ",
+    "أَنَّ",
+    "أََيُّ",
+    "أُفٍّ",
+    "إذ",
+    "إذا",
+    "إذاً",
+    "إذما",
+    "إذن",
+    "إلى",
+    "إليكم",
+    "إليكما",
+    "إليكنّ",
+    "إليكَ",
+    "إلَيْكَ",
+    "إلّا",
+    "إمّا",
+    "إن",
+    "إنّما",
+    "إي",
+    "إياك",
+    "إياكم",
+    "إياكما",
+    "إياكن",
+    "إيانا",
+    "إياه",
+    "إياها",
+    "إياهم",
+    "إياهما",
+    "إياهن",
+    "إياي",
+    "إيهٍ",
+    "إِنَّ",
+    "ا",
+    "ابتدأ",
+    "اثر",
+    "اجل",
+    "احد",
+    "اخرى",
+    "اخلولق",
+    "اذا",
+    "اربعة",
+    "ارتدّ",
+    "استحال",
+    "اطار",
+    "اعادة",
+    "اعلنت",
+    "اف",
+    "اكثر",
+    "اكد",
+    "الألاء",
+    "الألى",
+    "الا",
+    "الاخيرة",
+    "الان",
+    "الاول",
+    "الاولى",
+    "التى",
+    "التي",
+    "الثاني",
+    "الثانية",
+    "الذاتي",
+    "الذى",
+    "الذي",
+    "الذين",
+    "السابق",
+    "الف",
+    "اللائي",
+    "اللاتي",
+    "اللتان",
+    "اللتيا",
+    "اللتين",
+    "اللذان",
+    "اللذين",
+    "اللواتي",
+    "الماضي",
+    "المقبل",
+    "الوقت",
+    "الى",
+    "اليوم",
+    "اما",
+    "امام",
+    "امس",
+    "ان",
+    "انبرى",
+    "انقلب",
+    "انه",
+    "انها",
+    "او",
+    "اول",
+    "اي",
+    "ايار",
+    "ايام",
+    "ايضا",
+    "ب",
+    "بات",
+    "باسم",
+    "بان",
+    "بخٍ",
+    "برس",
+    "بسبب",
+    "بسّ",
+    "بشكل",
+    "بضع",
+    "بطآن",
+    "بعد",
+    "بعض",
+    "بك",
+    "بكم",
+    "بكما",
+    "بكن",
+    "بل",
+    "بلى",
+    "بما",
+    "بماذا",
+    "بمن",
+    "بن",
+    "بنا",
+    "به",
+    "بها",
+    "بي",
+    "بيد",
+    "بين",
+    "بَسْ",
+    "بَلْهَ",
+    "بِئْسَ",
+    "تانِ",
+    "تانِك",
+    "تبدّل",
+    "تجاه",
+    "تحوّل",
+    "تلقاء",
+    "تلك",
+    "تلكم",
+    "تلكما",
+    "تم",
+    "تينك",
+    "تَيْنِ",
+    "تِه",
+    "تِي",
+    "ثلاثة",
+    "ثم",
+    "ثمّ",
+    "ثمّة",
+    "ثُمَّ",
+    "جعل",
+    "جلل",
+    "جميع",
+    "جير",
+    "حار",
+    "حاشا",
+    "حاليا",
+    "حاي",
+    "حتى",
+    "حرى",
+    "حسب",
+    "حم",
+    "حوالى",
+    "حول",
+    "حيث",
+    "حيثما",
+    "حين",
+    "حيَّ",
+    "حَبَّذَا",
+    "حَتَّى",
+    "حَذارِ",
+    "خلا",
+    "خلال",
+    "دون",
+    "دونك",
+    "ذا",
+    "ذات",
+    "ذاك",
+    "ذانك",
+    "ذانِ",
+    "ذلك",
+    "ذلكم",
+    "ذلكما",
+    "ذلكن",
+    "ذو",
+    "ذوا",
+    "ذواتا",
+    "ذواتي",
+    "ذيت",
+    "ذينك",
+    "ذَيْنِ",
+    "ذِه",
+    "ذِي",
+    "راح",
+    "رجع",
+    "رويدك",
+    "ريث",
+    "رُبَّ",
+    "زيارة",
+    "سبحان",
+    "سرعان",
+    "سنة",
+    "سنوات",
+    "سوف",
+    "سوى",
+    "سَاءَ",
+    "سَاءَمَا",
+    "شبه",
+    "شخصا",
+    "شرع",
+    "شَتَّانَ",
+    "صار",
+    "صباح",
+    "صفر",
+    "صهٍ",
+    "صهْ",
+    "ضد",
+    "ضمن",
+    "طاق",
+    "طالما",
+    "طفق",
+    "طَق",
+    "ظلّ",
+    "عاد",
+    "عام",
+    "عاما",
+    "عامة",
+    "عدا",
+    "عدة",
+    "عدد",
+    "عدم",
+    "عسى",
+    "عشر",
+    "عشرة",
+    "علق",
+    "على",
+    "عليك",
+    "عليه",
+    "عليها",
+    "علًّ",
+    "عن",
+    "عند",
+    "عندما",
+    "عوض",
+    "عين",
+    "عَدَسْ",
+    "عَمَّا",
+    "غدا",
+    "غير",
+    "ـ",
+    "ف",
+    "فان",
+    "فلان",
+    "فو",
+    "فى",
+    "في",
+    "فيم",
+    "فيما",
+    "فيه",
+    "فيها",
+    "قال",
+    "قام",
+    "قبل",
+    "قد",
+    "قطّ",
+    "قلما",
+    "قوة",
+    "كأنّما",
+    "كأين",
+    "كأيّ",
+    "كأيّن",
+    "كاد",
+    "كان",
+    "كانت",
+    "كذا",
+    "كذلك",
+    "كرب",
+    "كل",
+    "كلا",
+    "كلاهما",
+    "كلتا",
+    "كلم",
+    "كليكما",
+    "كليهما",
+    "كلّما",
+    "كلَّا",
+    "كم",
+    "كما",
+    "كي",
+    "كيت",
+    "كيف",
+    "كيفما",
+    "كَأَنَّ",
+    "كِخ",
+    "لئن",
+    "لا",
+    "لات",
+    "لاسيما",
+    "لدن",
+    "لدى",
+    "لعمر",
+    "لقاء",
+    "لك",
+    "لكم",
+    "لكما",
+    "لكن",
+    "لكنَّما",
+    "لكي",
+    "لكيلا",
+    "للامم",
+    "لم",
+    "لما",
+    "لمّا",
+    "لن",
+    "لنا",
+    "له",
+    "لها",
+    "لو",
+    "لوكالة",
+    "لولا",
+    "لوما",
+    "لي",
+    "لَسْتَ",
+    "لَسْتُ",
+    "لَسْتُم",
+    "لَسْتُمَا",
+    "لَسْتُنَّ",
+    "لَسْتِ",
+    "لَسْنَ",
+    "لَعَلَّ",
+    "لَكِنَّ",
+    "لَيْتَ",
+    "لَيْسَ",
+    "لَيْسَا",
+    "لَيْسَتَا",
+    "لَيْسَتْ",
+    "لَيْسُوا",
+    "لَِسْنَا",
+    "ما",
+    "ماانفك",
+    "مابرح",
+    "مادام",
+    "ماذا",
+    "مازال",
+    "مافتئ",
+    "مايو",
+    "متى",
+    "مثل",
+    "مذ",
+    "مساء",
+    "مع",
+    "معاذ",
+    "مقابل",
+    "مكانكم",
+    "مكانكما",
+    "مكانكنّ",
+    "مكانَك",
+    "مليار",
+    "مليون",
+    "مما",
+    "ممن",
+    "من",
+    "منذ",
+    "منها",
+    "مه",
+    "مهما",
+    "مَنْ",
+    "مِن",
+    "نحن",
+    "نحو",
+    "نعم",
+    "نفس",
+    "نفسه",
+    "نهاية",
+    "نَخْ",
+    "نِعِمّا",
+    "نِعْمَ",
+    "ها",
+    "هاؤم",
+    "هاكَ",
+    "هاهنا",
+    "هبّ",
+    "هذا",
+    "هذه",
+    "هكذا",
+    "هل",
+    "هلمَّ",
+    "هلّا",
+    "هم",
+    "هما",
+    "هن",
+    "هنا",
+    "هناك",
+    "هنالك",
+    "هو",
+    "هي",
+    "هيا",
+    "هيت",
+    "هيّا",
+    "هَؤلاء",
+    "هَاتانِ",
+    "هَاتَيْنِ",
+    "هَاتِه",
+    "هَاتِي",
+    "هَجْ",
+    "هَذا",
+    "هَذانِ",
+    "هَذَيْنِ",
+    "هَذِه",
+    "هَذِي",
+    "هَيْهَاتَ",
+    "و",
+    "و6",
+    "وا",
+    "واحد",
+    "واضاف",
+    "واضافت",
+    "واكد",
+    "وان",
+    "واهاً",
+    "واوضح",
+    "وراءَك",
+    "وفي",
+    "وقال",
+    "وقالت",
+    "وقد",
+    "وقف",
+    "وكان",
+    "وكانت",
+    "ولا",
+    "ولم",
+    "ومن",
+    "وهو",
+    "وهي",
+    "ويكأنّ",
+    "وَيْ",
+    "وُشْكَانََ",
+    "يكون",
+    "يمكن",
+    "يوم",
+    "ّأيّان",
+]
+      end
+    end
+  end
+end