keyphrase 0.1.3 → 0.2.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (75) hide show
  1. checksums.yaml +4 -4
  2. data/README.md +5 -4
  3. data/lib/keyphrase/stoplist/afr.rb +14 -0
  4. data/lib/keyphrase/stoplist/aka.rb +10 -0
  5. data/lib/keyphrase/stoplist/amh.rb +10 -0
  6. data/lib/keyphrase/stoplist/ara.rb +490 -0
  7. data/lib/keyphrase/stoplist/aze.rb +175 -0
  8. data/lib/keyphrase/stoplist/bel.rb +11 -0
  9. data/lib/keyphrase/stoplist/ben.rb +408 -0
  10. data/lib/keyphrase/stoplist/bul.rb +528 -0
  11. data/lib/keyphrase/stoplist/cat.rb +711 -0
  12. data/lib/keyphrase/stoplist/ces.rb +560 -0
  13. data/lib/keyphrase/stoplist/cmn.rb +1119 -0
  14. data/lib/keyphrase/stoplist/dan.rb +25 -0
  15. data/lib/keyphrase/stoplist/deu.rb +631 -0
  16. data/lib/keyphrase/stoplist/ell.rb +275 -0
  17. data/lib/keyphrase/stoplist/eng.rb +2 -589
  18. data/lib/keyphrase/stoplist/epo.rb +183 -0
  19. data/lib/keyphrase/stoplist/est.rb +13 -0
  20. data/lib/keyphrase/stoplist/fin.rb +857 -0
  21. data/lib/keyphrase/stoplist/fra.rb +699 -0
  22. data/lib/keyphrase/stoplist/guj.rb +234 -0
  23. data/lib/keyphrase/stoplist/heb.rb +204 -0
  24. data/lib/keyphrase/stoplist/hin.rb +235 -0
  25. data/lib/keyphrase/stoplist/hrv.rb +25 -0
  26. data/lib/keyphrase/stoplist/hun.rb +1195 -0
  27. data/lib/keyphrase/stoplist/hye.rb +55 -0
  28. data/lib/keyphrase/stoplist/ind.rb +768 -0
  29. data/lib/keyphrase/stoplist/ita.rb +670 -0
  30. data/lib/keyphrase/stoplist/jav.rb +10 -0
  31. data/lib/keyphrase/stoplist/jpn.rb +144 -0
  32. data/lib/keyphrase/stoplist/kan.rb +92 -0
  33. data/lib/keyphrase/stoplist/kat.rb +383 -0
  34. data/lib/keyphrase/stoplist/khm.rb +245 -0
  35. data/lib/keyphrase/stoplist/kor.rb +610 -0
  36. data/lib/keyphrase/stoplist/lat.rb +14 -0
  37. data/lib/keyphrase/stoplist/lav.rb +171 -0
  38. data/lib/keyphrase/stoplist/lit.rb +484 -0
  39. data/lib/keyphrase/stoplist/mal.rb +11 -0
  40. data/lib/keyphrase/stoplist/mar.rb +109 -0
  41. data/lib/keyphrase/stoplist/mkd.rb +11 -0
  42. data/lib/keyphrase/stoplist/mya.rb +285 -0
  43. data/lib/keyphrase/stoplist/nep.rb +265 -0
  44. data/lib/keyphrase/stoplist/nld.rb +423 -0
  45. data/lib/keyphrase/stoplist/nob.rb +186 -0
  46. data/lib/keyphrase/stoplist/ori.rb +11 -0
  47. data/lib/keyphrase/stoplist/pan.rb +473 -0
  48. data/lib/keyphrase/stoplist/pes.rb +801 -0
  49. data/lib/keyphrase/stoplist/pol.rb +338 -0
  50. data/lib/keyphrase/stoplist/por.rb +570 -0
  51. data/lib/keyphrase/stoplist/ron.rb +444 -0
  52. data/lib/keyphrase/stoplist/rus.rb +569 -0
  53. data/lib/keyphrase/stoplist/sin.rb +10 -0
  54. data/lib/keyphrase/stoplist/slk.rb +428 -0
  55. data/lib/keyphrase/stoplist/slv.rb +456 -0
  56. data/lib/keyphrase/stoplist/sna.rb +11 -0
  57. data/lib/keyphrase/stoplist/spa.rb +731 -0
  58. data/lib/keyphrase/stoplist/srp.rb +11 -0
  59. data/lib/keyphrase/stoplist/swe.rb +428 -0
  60. data/lib/keyphrase/stoplist/tam.rb +135 -0
  61. data/lib/keyphrase/stoplist/tel.rb +10 -0
  62. data/lib/keyphrase/stoplist/tgl.rb +157 -0
  63. data/lib/keyphrase/stoplist/tha.rb +125 -0
  64. data/lib/keyphrase/stoplist/tuk.rb +11 -0
  65. data/lib/keyphrase/stoplist/tur.rb +514 -0
  66. data/lib/keyphrase/stoplist/ukr.rb +38 -0
  67. data/lib/keyphrase/stoplist/urd.rb +527 -0
  68. data/lib/keyphrase/stoplist/uzb.rb +10 -0
  69. data/lib/keyphrase/stoplist/vie.rb +655 -0
  70. data/lib/keyphrase/stoplist/yid.rb +204 -0
  71. data/lib/keyphrase/stoplist/zul.rb +39 -0
  72. data/lib/keyphrase/stoplist.rb +13 -10
  73. data/lib/keyphrase/version.rb +1 -1
  74. data/lib/keyphrase.rb +20 -12
  75. metadata +71 -3
data/lib/keyphrase/stoplist/epo.rb ADDED
@@ -0,0 +1,183 @@
1
+ class Keyphrase
2
+ module Stoplist
3
+ class Epo
4
+ def self.stopwords
5
+ @@stopwords ||= [
6
+ "adiaŭ",
7
+ "ajn",
8
+ "al",
9
+ "ankoraŭ",
10
+ "antaŭ",
11
+ "aŭ",
12
+ "bonan",
13
+ "bonvole",
14
+ "bonvolu",
15
+ "bv",
16
+ "ci",
17
+ "cia",
18
+ "cian",
19
+ "cin",
20
+ "d-ro",
21
+ "da",
22
+ "de",
23
+ "dek",
24
+ "deka",
25
+ "do",
26
+ "doktor'",
27
+ "doktoro",
28
+ "du",
29
+ "dua",
30
+ "dum",
31
+ "eble",
32
+ "ekz",
33
+ "ekzemple",
34
+ "en",
35
+ "estas",
36
+ "estis",
37
+ "estos",
38
+ "estu",
39
+ "estus",
40
+ "eĉ",
41
+ "f-no",
42
+ "feliĉan",
43
+ "for",
44
+ "fraŭlino",
45
+ "ha",
46
+ "havas",
47
+ "havis",
48
+ "havos",
49
+ "havu",
50
+ "havus",
51
+ "he",
52
+ "ho",
53
+ "hu",
54
+ "ili",
55
+ "ilia",
56
+ "ilian",
57
+ "ilin",
58
+ "inter",
59
+ "io",
60
+ "ion",
61
+ "iu",
62
+ "iujn",
63
+ "iun",
64
+ "ja",
65
+ "jam",
66
+ "je",
67
+ "jes",
68
+ "k",
69
+ "kaj",
70
+ "ke",
71
+ "kio",
72
+ "kion",
73
+ "kiu",
74
+ "kiujn",
75
+ "kiun",
76
+ "kvankam",
77
+ "kvar",
78
+ "kvara",
79
+ "kvazaŭ",
80
+ "kvin",
81
+ "kvina",
82
+ "la",
83
+ "li",
84
+ "lia",
85
+ "lian",
86
+ "lin",
87
+ "malantaŭ",
88
+ "male",
89
+ "malgraŭ",
90
+ "mem",
91
+ "mi",
92
+ "mia",
93
+ "mian",
94
+ "min",
95
+ "minus",
96
+ "naŭ",
97
+ "naŭa",
98
+ "ne",
99
+ "nek",
100
+ "nenio",
101
+ "nenion",
102
+ "neniu",
103
+ "neniun",
104
+ "nepre",
105
+ "ni",
106
+ "nia",
107
+ "nian",
108
+ "nin",
109
+ "nu",
110
+ "nun",
111
+ "nur",
112
+ "ok",
113
+ "oka",
114
+ "oni",
115
+ "onia",
116
+ "onian",
117
+ "onin",
118
+ "plej",
119
+ "pli",
120
+ "plu",
121
+ "plus",
122
+ "por",
123
+ "post",
124
+ "preter",
125
+ "s-no",
126
+ "s-ro",
127
+ "se",
128
+ "sed",
129
+ "sep",
130
+ "sepa",
131
+ "ses",
132
+ "sesa",
133
+ "si",
134
+ "sia",
135
+ "sian",
136
+ "sin",
137
+ "sinjor'",
138
+ "sinjorino",
139
+ "sinjoro",
140
+ "sub",
141
+ "super",
142
+ "supren",
143
+ "sur",
144
+ "tamen",
145
+ "tio",
146
+ "tion",
147
+ "tiu",
148
+ "tiujn",
149
+ "tiun",
150
+ "tra",
151
+ "tri",
152
+ "tria",
153
+ "tuj",
154
+ "tute",
155
+ "unu",
156
+ "unua",
157
+ "ve",
158
+ "verŝajne",
159
+ "vi",
160
+ "via",
161
+ "vian",
162
+ "vin",
163
+ "ĉi",
164
+ "ĉio",
165
+ "ĉion",
166
+ "ĉiu",
167
+ "ĉiujn",
168
+ "ĉiun",
169
+ "ĉu",
170
+ "ĝi",
171
+ "ĝia",
172
+ "ĝian",
173
+ "ĝin",
174
+ "ĝis",
175
+ "ĵus",
176
+ "ŝi",
177
+ "ŝia",
178
+ "ŝin",
179
+ ]
180
+ end
181
+ end
182
+ end
183
+ end
data/lib/keyphrase/stoplist/est.rb ADDED
@@ -0,0 +1,13 @@
1
+ class Keyphrase
2
+ module Stoplist
3
+ class Est
4
+ def self.stopwords
5
+ @@stopwords ||= [
6
+ "aga", "ei", "et", "ja", "jah", "kas", "kui", "kõik", "ma", "me", "mida", "midagi", "mind",
7
+ "minu", "mis", "mu", "mul", "mulle", "nad", "nii", "oled", "olen", "oli", "oma", "on", "pole",
8
+ "sa", "seda", "see", "selle", "siin", "siis", "ta", "te", "ära",
9
+ ]
10
+ end
11
+ end
12
+ end
13
+ end