keyphrase 0.1.2 → 0.2.0
Sign up to get free protection for your applications and to get access to all the features.
- checksums.yaml +4 -4
- data/README.md +5 -4
- data/lib/keyphrase/stoplist/afr.rb +14 -0
- data/lib/keyphrase/stoplist/aka.rb +10 -0
- data/lib/keyphrase/stoplist/amh.rb +10 -0
- data/lib/keyphrase/stoplist/ara.rb +490 -0
- data/lib/keyphrase/stoplist/aze.rb +175 -0
- data/lib/keyphrase/stoplist/bel.rb +11 -0
- data/lib/keyphrase/stoplist/ben.rb +408 -0
- data/lib/keyphrase/stoplist/bul.rb +528 -0
- data/lib/keyphrase/stoplist/cat.rb +711 -0
- data/lib/keyphrase/stoplist/ces.rb +560 -0
- data/lib/keyphrase/stoplist/cmn.rb +1119 -0
- data/lib/keyphrase/stoplist/dan.rb +25 -0
- data/lib/keyphrase/stoplist/deu.rb +631 -0
- data/lib/keyphrase/stoplist/ell.rb +275 -0
- data/lib/keyphrase/stoplist/eng.rb +2 -589
- data/lib/keyphrase/stoplist/epo.rb +183 -0
- data/lib/keyphrase/stoplist/est.rb +13 -0
- data/lib/keyphrase/stoplist/fin.rb +857 -0
- data/lib/keyphrase/stoplist/fra.rb +699 -0
- data/lib/keyphrase/stoplist/guj.rb +234 -0
- data/lib/keyphrase/stoplist/heb.rb +204 -0
- data/lib/keyphrase/stoplist/hin.rb +235 -0
- data/lib/keyphrase/stoplist/hrv.rb +25 -0
- data/lib/keyphrase/stoplist/hun.rb +1195 -0
- data/lib/keyphrase/stoplist/hye.rb +55 -0
- data/lib/keyphrase/stoplist/ind.rb +768 -0
- data/lib/keyphrase/stoplist/ita.rb +670 -0
- data/lib/keyphrase/stoplist/jav.rb +10 -0
- data/lib/keyphrase/stoplist/jpn.rb +144 -0
- data/lib/keyphrase/stoplist/kan.rb +92 -0
- data/lib/keyphrase/stoplist/kat.rb +383 -0
- data/lib/keyphrase/stoplist/khm.rb +245 -0
- data/lib/keyphrase/stoplist/kor.rb +610 -0
- data/lib/keyphrase/stoplist/lat.rb +14 -0
- data/lib/keyphrase/stoplist/lav.rb +171 -0
- data/lib/keyphrase/stoplist/lit.rb +484 -0
- data/lib/keyphrase/stoplist/mal.rb +11 -0
- data/lib/keyphrase/stoplist/mar.rb +109 -0
- data/lib/keyphrase/stoplist/mkd.rb +11 -0
- data/lib/keyphrase/stoplist/mya.rb +285 -0
- data/lib/keyphrase/stoplist/nep.rb +265 -0
- data/lib/keyphrase/stoplist/nld.rb +423 -0
- data/lib/keyphrase/stoplist/nob.rb +186 -0
- data/lib/keyphrase/stoplist/ori.rb +11 -0
- data/lib/keyphrase/stoplist/pan.rb +473 -0
- data/lib/keyphrase/stoplist/pes.rb +801 -0
- data/lib/keyphrase/stoplist/pol.rb +338 -0
- data/lib/keyphrase/stoplist/por.rb +570 -0
- data/lib/keyphrase/stoplist/ron.rb +444 -0
- data/lib/keyphrase/stoplist/rus.rb +569 -0
- data/lib/keyphrase/stoplist/sin.rb +10 -0
- data/lib/keyphrase/stoplist/slk.rb +428 -0
- data/lib/keyphrase/stoplist/slv.rb +456 -0
- data/lib/keyphrase/stoplist/sna.rb +11 -0
- data/lib/keyphrase/stoplist/spa.rb +731 -0
- data/lib/keyphrase/stoplist/srp.rb +11 -0
- data/lib/keyphrase/stoplist/swe.rb +428 -0
- data/lib/keyphrase/stoplist/tam.rb +135 -0
- data/lib/keyphrase/stoplist/tel.rb +10 -0
- data/lib/keyphrase/stoplist/tgl.rb +157 -0
- data/lib/keyphrase/stoplist/tha.rb +125 -0
- data/lib/keyphrase/stoplist/tuk.rb +11 -0
- data/lib/keyphrase/stoplist/tur.rb +514 -0
- data/lib/keyphrase/stoplist/ukr.rb +38 -0
- data/lib/keyphrase/stoplist/urd.rb +527 -0
- data/lib/keyphrase/stoplist/uzb.rb +10 -0
- data/lib/keyphrase/stoplist/vie.rb +655 -0
- data/lib/keyphrase/stoplist/yid.rb +204 -0
- data/lib/keyphrase/stoplist/zul.rb +39 -0
- data/lib/keyphrase/stoplist.rb +13 -10
- data/lib/keyphrase/version.rb +1 -1
- data/lib/keyphrase.rb +20 -12
- metadata +71 -3
@@ -0,0 +1,183 @@
|
|
1
|
+
class Keyphrase
|
2
|
+
module Stoplist
|
3
|
+
class Epo
|
4
|
+
def self.stopwords
|
5
|
+
@@stopwords ||= [
|
6
|
+
"adiaŭ",
|
7
|
+
"ajn",
|
8
|
+
"al",
|
9
|
+
"ankoraŭ",
|
10
|
+
"antaŭ",
|
11
|
+
"aŭ",
|
12
|
+
"bonan",
|
13
|
+
"bonvole",
|
14
|
+
"bonvolu",
|
15
|
+
"bv",
|
16
|
+
"ci",
|
17
|
+
"cia",
|
18
|
+
"cian",
|
19
|
+
"cin",
|
20
|
+
"d-ro",
|
21
|
+
"da",
|
22
|
+
"de",
|
23
|
+
"dek",
|
24
|
+
"deka",
|
25
|
+
"do",
|
26
|
+
"doktor'",
|
27
|
+
"doktoro",
|
28
|
+
"du",
|
29
|
+
"dua",
|
30
|
+
"dum",
|
31
|
+
"eble",
|
32
|
+
"ekz",
|
33
|
+
"ekzemple",
|
34
|
+
"en",
|
35
|
+
"estas",
|
36
|
+
"estis",
|
37
|
+
"estos",
|
38
|
+
"estu",
|
39
|
+
"estus",
|
40
|
+
"eĉ",
|
41
|
+
"f-no",
|
42
|
+
"feliĉan",
|
43
|
+
"for",
|
44
|
+
"fraŭlino",
|
45
|
+
"ha",
|
46
|
+
"havas",
|
47
|
+
"havis",
|
48
|
+
"havos",
|
49
|
+
"havu",
|
50
|
+
"havus",
|
51
|
+
"he",
|
52
|
+
"ho",
|
53
|
+
"hu",
|
54
|
+
"ili",
|
55
|
+
"ilia",
|
56
|
+
"ilian",
|
57
|
+
"ilin",
|
58
|
+
"inter",
|
59
|
+
"io",
|
60
|
+
"ion",
|
61
|
+
"iu",
|
62
|
+
"iujn",
|
63
|
+
"iun",
|
64
|
+
"ja",
|
65
|
+
"jam",
|
66
|
+
"je",
|
67
|
+
"jes",
|
68
|
+
"k",
|
69
|
+
"kaj",
|
70
|
+
"ke",
|
71
|
+
"kio",
|
72
|
+
"kion",
|
73
|
+
"kiu",
|
74
|
+
"kiujn",
|
75
|
+
"kiun",
|
76
|
+
"kvankam",
|
77
|
+
"kvar",
|
78
|
+
"kvara",
|
79
|
+
"kvazaŭ",
|
80
|
+
"kvin",
|
81
|
+
"kvina",
|
82
|
+
"la",
|
83
|
+
"li",
|
84
|
+
"lia",
|
85
|
+
"lian",
|
86
|
+
"lin",
|
87
|
+
"malantaŭ",
|
88
|
+
"male",
|
89
|
+
"malgraŭ",
|
90
|
+
"mem",
|
91
|
+
"mi",
|
92
|
+
"mia",
|
93
|
+
"mian",
|
94
|
+
"min",
|
95
|
+
"minus",
|
96
|
+
"naŭ",
|
97
|
+
"naŭa",
|
98
|
+
"ne",
|
99
|
+
"nek",
|
100
|
+
"nenio",
|
101
|
+
"nenion",
|
102
|
+
"neniu",
|
103
|
+
"neniun",
|
104
|
+
"nepre",
|
105
|
+
"ni",
|
106
|
+
"nia",
|
107
|
+
"nian",
|
108
|
+
"nin",
|
109
|
+
"nu",
|
110
|
+
"nun",
|
111
|
+
"nur",
|
112
|
+
"ok",
|
113
|
+
"oka",
|
114
|
+
"oni",
|
115
|
+
"onia",
|
116
|
+
"onian",
|
117
|
+
"onin",
|
118
|
+
"plej",
|
119
|
+
"pli",
|
120
|
+
"plu",
|
121
|
+
"plus",
|
122
|
+
"por",
|
123
|
+
"post",
|
124
|
+
"preter",
|
125
|
+
"s-no",
|
126
|
+
"s-ro",
|
127
|
+
"se",
|
128
|
+
"sed",
|
129
|
+
"sep",
|
130
|
+
"sepa",
|
131
|
+
"ses",
|
132
|
+
"sesa",
|
133
|
+
"si",
|
134
|
+
"sia",
|
135
|
+
"sian",
|
136
|
+
"sin",
|
137
|
+
"sinjor'",
|
138
|
+
"sinjorino",
|
139
|
+
"sinjoro",
|
140
|
+
"sub",
|
141
|
+
"super",
|
142
|
+
"supren",
|
143
|
+
"sur",
|
144
|
+
"tamen",
|
145
|
+
"tio",
|
146
|
+
"tion",
|
147
|
+
"tiu",
|
148
|
+
"tiujn",
|
149
|
+
"tiun",
|
150
|
+
"tra",
|
151
|
+
"tri",
|
152
|
+
"tria",
|
153
|
+
"tuj",
|
154
|
+
"tute",
|
155
|
+
"unu",
|
156
|
+
"unua",
|
157
|
+
"ve",
|
158
|
+
"verŝajne",
|
159
|
+
"vi",
|
160
|
+
"via",
|
161
|
+
"vian",
|
162
|
+
"vin",
|
163
|
+
"ĉi",
|
164
|
+
"ĉio",
|
165
|
+
"ĉion",
|
166
|
+
"ĉiu",
|
167
|
+
"ĉiujn",
|
168
|
+
"ĉiun",
|
169
|
+
"ĉu",
|
170
|
+
"ĝi",
|
171
|
+
"ĝia",
|
172
|
+
"ĝian",
|
173
|
+
"ĝin",
|
174
|
+
"ĝis",
|
175
|
+
"ĵus",
|
176
|
+
"ŝi",
|
177
|
+
"ŝia",
|
178
|
+
"ŝin",
|
179
|
+
]
|
180
|
+
end
|
181
|
+
end
|
182
|
+
end
|
183
|
+
end
|
@@ -0,0 +1,13 @@
|
|
1
|
+
class Keyphrase
|
2
|
+
module Stoplist
|
3
|
+
class Est
|
4
|
+
def self.stopwords
|
5
|
+
@@stopwords ||= [
|
6
|
+
"aga", "ei", "et", "ja", "jah", "kas", "kui", "kõik", "ma", "me", "mida", "midagi", "mind",
|
7
|
+
"minu", "mis", "mu", "mul", "mulle", "nad", "nii", "oled", "olen", "oli", "oma", "on", "pole",
|
8
|
+
"sa", "seda", "see", "selle", "siin", "siis", "ta", "te", "ära",
|
9
|
+
]
|
10
|
+
end
|
11
|
+
end
|
12
|
+
end
|
13
|
+
end
|