keyphrase 0.1.3 → 0.2.1
Sign up to get free protection for your applications and to get access to all the features.
- checksums.yaml +4 -4
- data/README.md +5 -4
- data/lib/keyphrase/stoplist/afr.rb +14 -0
- data/lib/keyphrase/stoplist/aka.rb +10 -0
- data/lib/keyphrase/stoplist/amh.rb +10 -0
- data/lib/keyphrase/stoplist/ara.rb +490 -0
- data/lib/keyphrase/stoplist/aze.rb +175 -0
- data/lib/keyphrase/stoplist/bel.rb +11 -0
- data/lib/keyphrase/stoplist/ben.rb +408 -0
- data/lib/keyphrase/stoplist/bul.rb +528 -0
- data/lib/keyphrase/stoplist/cat.rb +711 -0
- data/lib/keyphrase/stoplist/ces.rb +560 -0
- data/lib/keyphrase/stoplist/cmn.rb +1119 -0
- data/lib/keyphrase/stoplist/dan.rb +25 -0
- data/lib/keyphrase/stoplist/deu.rb +631 -0
- data/lib/keyphrase/stoplist/ell.rb +275 -0
- data/lib/keyphrase/stoplist/eng.rb +2 -591
- data/lib/keyphrase/stoplist/epo.rb +183 -0
- data/lib/keyphrase/stoplist/est.rb +13 -0
- data/lib/keyphrase/stoplist/fin.rb +857 -0
- data/lib/keyphrase/stoplist/fra.rb +699 -0
- data/lib/keyphrase/stoplist/guj.rb +234 -0
- data/lib/keyphrase/stoplist/heb.rb +204 -0
- data/lib/keyphrase/stoplist/hin.rb +235 -0
- data/lib/keyphrase/stoplist/hrv.rb +25 -0
- data/lib/keyphrase/stoplist/hun.rb +1195 -0
- data/lib/keyphrase/stoplist/hye.rb +55 -0
- data/lib/keyphrase/stoplist/ind.rb +768 -0
- data/lib/keyphrase/stoplist/ita.rb +670 -0
- data/lib/keyphrase/stoplist/jav.rb +10 -0
- data/lib/keyphrase/stoplist/jpn.rb +144 -0
- data/lib/keyphrase/stoplist/kan.rb +92 -0
- data/lib/keyphrase/stoplist/kat.rb +383 -0
- data/lib/keyphrase/stoplist/khm.rb +245 -0
- data/lib/keyphrase/stoplist/kor.rb +610 -0
- data/lib/keyphrase/stoplist/lat.rb +14 -0
- data/lib/keyphrase/stoplist/lav.rb +171 -0
- data/lib/keyphrase/stoplist/lit.rb +484 -0
- data/lib/keyphrase/stoplist/mal.rb +11 -0
- data/lib/keyphrase/stoplist/mar.rb +109 -0
- data/lib/keyphrase/stoplist/mkd.rb +11 -0
- data/lib/keyphrase/stoplist/mya.rb +285 -0
- data/lib/keyphrase/stoplist/nep.rb +265 -0
- data/lib/keyphrase/stoplist/nld.rb +423 -0
- data/lib/keyphrase/stoplist/nob.rb +186 -0
- data/lib/keyphrase/stoplist/ori.rb +11 -0
- data/lib/keyphrase/stoplist/pan.rb +462 -0
- data/lib/keyphrase/stoplist/pes.rb +801 -0
- data/lib/keyphrase/stoplist/pol.rb +338 -0
- data/lib/keyphrase/stoplist/por.rb +570 -0
- data/lib/keyphrase/stoplist/ron.rb +444 -0
- data/lib/keyphrase/stoplist/rus.rb +569 -0
- data/lib/keyphrase/stoplist/sin.rb +10 -0
- data/lib/keyphrase/stoplist/slk.rb +428 -0
- data/lib/keyphrase/stoplist/slv.rb +456 -0
- data/lib/keyphrase/stoplist/sna.rb +11 -0
- data/lib/keyphrase/stoplist/spa.rb +731 -0
- data/lib/keyphrase/stoplist/srp.rb +11 -0
- data/lib/keyphrase/stoplist/swe.rb +428 -0
- data/lib/keyphrase/stoplist/tam.rb +135 -0
- data/lib/keyphrase/stoplist/tel.rb +10 -0
- data/lib/keyphrase/stoplist/tgl.rb +157 -0
- data/lib/keyphrase/stoplist/tha.rb +125 -0
- data/lib/keyphrase/stoplist/tuk.rb +11 -0
- data/lib/keyphrase/stoplist/tur.rb +514 -0
- data/lib/keyphrase/stoplist/ukr.rb +38 -0
- data/lib/keyphrase/stoplist/urd.rb +527 -0
- data/lib/keyphrase/stoplist/uzb.rb +10 -0
- data/lib/keyphrase/stoplist/vie.rb +655 -0
- data/lib/keyphrase/stoplist/yid.rb +204 -0
- data/lib/keyphrase/stoplist/zul.rb +39 -0
- data/lib/keyphrase/stoplist.rb +13 -10
- data/lib/keyphrase/version.rb +1 -1
- data/lib/keyphrase.rb +20 -12
- metadata +71 -3
@@ -0,0 +1,428 @@
|
|
1
|
+
class Keyphrase
|
2
|
+
module Stoplist
|
3
|
+
class Swe
|
4
|
+
def self.stopwords
|
5
|
+
@@stopwords ||= [
|
6
|
+
"aderton",
|
7
|
+
"adertonde",
|
8
|
+
"adjö",
|
9
|
+
"aldrig",
|
10
|
+
"alla",
|
11
|
+
"allas",
|
12
|
+
"allt",
|
13
|
+
"alltid",
|
14
|
+
"alltså",
|
15
|
+
"andra",
|
16
|
+
"andras",
|
17
|
+
"annan",
|
18
|
+
"annat",
|
19
|
+
"artonde",
|
20
|
+
"artonn",
|
21
|
+
"att",
|
22
|
+
"av",
|
23
|
+
"bakom",
|
24
|
+
"bara",
|
25
|
+
"behöva",
|
26
|
+
"behövas",
|
27
|
+
"behövde",
|
28
|
+
"behövt",
|
29
|
+
"beslut",
|
30
|
+
"beslutat",
|
31
|
+
"beslutit",
|
32
|
+
"bland",
|
33
|
+
"blev",
|
34
|
+
"bli",
|
35
|
+
"blir",
|
36
|
+
"blivit",
|
37
|
+
"bort",
|
38
|
+
"borta",
|
39
|
+
"bra",
|
40
|
+
"bäst",
|
41
|
+
"bättre",
|
42
|
+
"båda",
|
43
|
+
"bådas",
|
44
|
+
"dag",
|
45
|
+
"dagar",
|
46
|
+
"dagarna",
|
47
|
+
"dagen",
|
48
|
+
"de",
|
49
|
+
"del",
|
50
|
+
"delen",
|
51
|
+
"dem",
|
52
|
+
"den",
|
53
|
+
"denna",
|
54
|
+
"deras",
|
55
|
+
"dess",
|
56
|
+
"dessa",
|
57
|
+
"det",
|
58
|
+
"detta",
|
59
|
+
"dig",
|
60
|
+
"din",
|
61
|
+
"dina",
|
62
|
+
"dit",
|
63
|
+
"ditt",
|
64
|
+
"dock",
|
65
|
+
"dom",
|
66
|
+
"du",
|
67
|
+
"där",
|
68
|
+
"därför",
|
69
|
+
"då",
|
70
|
+
"e",
|
71
|
+
"efter",
|
72
|
+
"eftersom",
|
73
|
+
"ej",
|
74
|
+
"elfte",
|
75
|
+
"eller",
|
76
|
+
"elva",
|
77
|
+
"emot",
|
78
|
+
"en",
|
79
|
+
"enkel",
|
80
|
+
"enkelt",
|
81
|
+
"enkla",
|
82
|
+
"enligt",
|
83
|
+
"ens",
|
84
|
+
"er",
|
85
|
+
"era",
|
86
|
+
"ers",
|
87
|
+
"ert",
|
88
|
+
"ett",
|
89
|
+
"ettusen",
|
90
|
+
"fanns",
|
91
|
+
"fem",
|
92
|
+
"femte",
|
93
|
+
"femtio",
|
94
|
+
"femtionde",
|
95
|
+
"femton",
|
96
|
+
"femtonde",
|
97
|
+
"fick",
|
98
|
+
"fin",
|
99
|
+
"finnas",
|
100
|
+
"finns",
|
101
|
+
"fjorton",
|
102
|
+
"fjortonde",
|
103
|
+
"fjärde",
|
104
|
+
"fler",
|
105
|
+
"flera",
|
106
|
+
"flesta",
|
107
|
+
"fram",
|
108
|
+
"framför",
|
109
|
+
"från",
|
110
|
+
"fyra",
|
111
|
+
"fyrtio",
|
112
|
+
"fyrtionde",
|
113
|
+
"få",
|
114
|
+
"får",
|
115
|
+
"fått",
|
116
|
+
"följande",
|
117
|
+
"för",
|
118
|
+
"före",
|
119
|
+
"förlåt",
|
120
|
+
"förra",
|
121
|
+
"första",
|
122
|
+
"genast",
|
123
|
+
"genom",
|
124
|
+
"gick",
|
125
|
+
"gjorde",
|
126
|
+
"gjort",
|
127
|
+
"god",
|
128
|
+
"goda",
|
129
|
+
"godare",
|
130
|
+
"godast",
|
131
|
+
"gott",
|
132
|
+
"gälla",
|
133
|
+
"gäller",
|
134
|
+
"gällt",
|
135
|
+
"gärna",
|
136
|
+
"gå",
|
137
|
+
"går",
|
138
|
+
"gått",
|
139
|
+
"gör",
|
140
|
+
"göra",
|
141
|
+
"ha",
|
142
|
+
"hade",
|
143
|
+
"haft",
|
144
|
+
"han",
|
145
|
+
"hans",
|
146
|
+
"har",
|
147
|
+
"heller",
|
148
|
+
"hellre",
|
149
|
+
"helst",
|
150
|
+
"helt",
|
151
|
+
"henne",
|
152
|
+
"hennes",
|
153
|
+
"hit",
|
154
|
+
"hon",
|
155
|
+
"honom",
|
156
|
+
"hundra",
|
157
|
+
"hundraen",
|
158
|
+
"hundraett",
|
159
|
+
"hur",
|
160
|
+
"här",
|
161
|
+
"hög",
|
162
|
+
"höger",
|
163
|
+
"högre",
|
164
|
+
"högst",
|
165
|
+
"i",
|
166
|
+
"ibland",
|
167
|
+
"icke",
|
168
|
+
"idag",
|
169
|
+
"igen",
|
170
|
+
"igår",
|
171
|
+
"imorgon",
|
172
|
+
"in",
|
173
|
+
"inför",
|
174
|
+
"inga",
|
175
|
+
"ingen",
|
176
|
+
"ingenting",
|
177
|
+
"inget",
|
178
|
+
"innan",
|
179
|
+
"inne",
|
180
|
+
"inom",
|
181
|
+
"inte",
|
182
|
+
"inuti",
|
183
|
+
"ja",
|
184
|
+
"jag",
|
185
|
+
"jo",
|
186
|
+
"ju",
|
187
|
+
"just",
|
188
|
+
"jämfört",
|
189
|
+
"kan",
|
190
|
+
"kanske",
|
191
|
+
"knappast",
|
192
|
+
"kom",
|
193
|
+
"komma",
|
194
|
+
"kommer",
|
195
|
+
"kommit",
|
196
|
+
"kr",
|
197
|
+
"kunde",
|
198
|
+
"kunna",
|
199
|
+
"kunnat",
|
200
|
+
"kvar",
|
201
|
+
"legat",
|
202
|
+
"ligga",
|
203
|
+
"ligger",
|
204
|
+
"lika",
|
205
|
+
"likställd",
|
206
|
+
"likställda",
|
207
|
+
"lilla",
|
208
|
+
"lite",
|
209
|
+
"liten",
|
210
|
+
"litet",
|
211
|
+
"länge",
|
212
|
+
"längre",
|
213
|
+
"längst",
|
214
|
+
"lätt",
|
215
|
+
"lättare",
|
216
|
+
"lättast",
|
217
|
+
"långsam",
|
218
|
+
"långsammare",
|
219
|
+
"långsammast",
|
220
|
+
"långsamt",
|
221
|
+
"långt",
|
222
|
+
"låt",
|
223
|
+
"man",
|
224
|
+
"med",
|
225
|
+
"mej",
|
226
|
+
"mellan",
|
227
|
+
"men",
|
228
|
+
"mer",
|
229
|
+
"mera",
|
230
|
+
"mest",
|
231
|
+
"mig",
|
232
|
+
"min",
|
233
|
+
"mina",
|
234
|
+
"mindre",
|
235
|
+
"minst",
|
236
|
+
"mitt",
|
237
|
+
"mittemot",
|
238
|
+
"mot",
|
239
|
+
"mycket",
|
240
|
+
"många",
|
241
|
+
"måste",
|
242
|
+
"möjlig",
|
243
|
+
"möjligen",
|
244
|
+
"möjligt",
|
245
|
+
"möjligtvis",
|
246
|
+
"ned",
|
247
|
+
"nederst",
|
248
|
+
"nedersta",
|
249
|
+
"nedre",
|
250
|
+
"nej",
|
251
|
+
"ner",
|
252
|
+
"ni",
|
253
|
+
"nio",
|
254
|
+
"nionde",
|
255
|
+
"nittio",
|
256
|
+
"nittionde",
|
257
|
+
"nitton",
|
258
|
+
"nittonde",
|
259
|
+
"nog",
|
260
|
+
"noll",
|
261
|
+
"nr",
|
262
|
+
"nu",
|
263
|
+
"nummer",
|
264
|
+
"när",
|
265
|
+
"nästa",
|
266
|
+
"någon",
|
267
|
+
"någonting",
|
268
|
+
"något",
|
269
|
+
"några",
|
270
|
+
"nån",
|
271
|
+
"nånting",
|
272
|
+
"nåt",
|
273
|
+
"nödvändig",
|
274
|
+
"nödvändiga",
|
275
|
+
"nödvändigt",
|
276
|
+
"nödvändigtvis",
|
277
|
+
"och",
|
278
|
+
"också",
|
279
|
+
"ofta",
|
280
|
+
"oftast",
|
281
|
+
"olika",
|
282
|
+
"olikt",
|
283
|
+
"om",
|
284
|
+
"oss",
|
285
|
+
"på",
|
286
|
+
"rakt",
|
287
|
+
"redan",
|
288
|
+
"rätt",
|
289
|
+
"sa",
|
290
|
+
"sade",
|
291
|
+
"sagt",
|
292
|
+
"samma",
|
293
|
+
"sedan",
|
294
|
+
"senare",
|
295
|
+
"senast",
|
296
|
+
"sent",
|
297
|
+
"sex",
|
298
|
+
"sextio",
|
299
|
+
"sextionde",
|
300
|
+
"sexton",
|
301
|
+
"sextonde",
|
302
|
+
"sig",
|
303
|
+
"sin",
|
304
|
+
"sina",
|
305
|
+
"sist",
|
306
|
+
"sista",
|
307
|
+
"siste",
|
308
|
+
"sitt",
|
309
|
+
"sitta",
|
310
|
+
"sju",
|
311
|
+
"sjunde",
|
312
|
+
"sjuttio",
|
313
|
+
"sjuttionde",
|
314
|
+
"sjutton",
|
315
|
+
"sjuttonde",
|
316
|
+
"själv",
|
317
|
+
"sjätte",
|
318
|
+
"ska",
|
319
|
+
"skall",
|
320
|
+
"skulle",
|
321
|
+
"slutligen",
|
322
|
+
"små",
|
323
|
+
"smått",
|
324
|
+
"snart",
|
325
|
+
"som",
|
326
|
+
"stor",
|
327
|
+
"stora",
|
328
|
+
"stort",
|
329
|
+
"större",
|
330
|
+
"störst",
|
331
|
+
"säga",
|
332
|
+
"säger",
|
333
|
+
"sämre",
|
334
|
+
"sämst",
|
335
|
+
"så",
|
336
|
+
"sådan",
|
337
|
+
"sådana",
|
338
|
+
"sådant",
|
339
|
+
"ta",
|
340
|
+
"tack",
|
341
|
+
"tar",
|
342
|
+
"tidig",
|
343
|
+
"tidigare",
|
344
|
+
"tidigast",
|
345
|
+
"tidigt",
|
346
|
+
"till",
|
347
|
+
"tills",
|
348
|
+
"tillsammans",
|
349
|
+
"tio",
|
350
|
+
"tionde",
|
351
|
+
"tjugo",
|
352
|
+
"tjugoen",
|
353
|
+
"tjugoett",
|
354
|
+
"tjugonde",
|
355
|
+
"tjugotre",
|
356
|
+
"tjugotvå",
|
357
|
+
"tjungo",
|
358
|
+
"tolfte",
|
359
|
+
"tolv",
|
360
|
+
"tre",
|
361
|
+
"tredje",
|
362
|
+
"trettio",
|
363
|
+
"trettionde",
|
364
|
+
"tretton",
|
365
|
+
"trettonde",
|
366
|
+
"två",
|
367
|
+
"tvåhundra",
|
368
|
+
"under",
|
369
|
+
"upp",
|
370
|
+
"ur",
|
371
|
+
"ursäkt",
|
372
|
+
"ut",
|
373
|
+
"utan",
|
374
|
+
"utanför",
|
375
|
+
"ute",
|
376
|
+
"va",
|
377
|
+
"vad",
|
378
|
+
"var",
|
379
|
+
"vara",
|
380
|
+
"varför",
|
381
|
+
"varifrån",
|
382
|
+
"varit",
|
383
|
+
"varje",
|
384
|
+
"varken",
|
385
|
+
"vars",
|
386
|
+
"varsågod",
|
387
|
+
"vart",
|
388
|
+
"vem",
|
389
|
+
"vems",
|
390
|
+
"verkligen",
|
391
|
+
"vi",
|
392
|
+
"vid",
|
393
|
+
"vidare",
|
394
|
+
"viktig",
|
395
|
+
"viktigare",
|
396
|
+
"viktigast",
|
397
|
+
"viktigt",
|
398
|
+
"vilka",
|
399
|
+
"vilkas",
|
400
|
+
"vilken",
|
401
|
+
"vilket",
|
402
|
+
"vill",
|
403
|
+
"väl",
|
404
|
+
"vänster",
|
405
|
+
"vänstra",
|
406
|
+
"värre",
|
407
|
+
"vår",
|
408
|
+
"våra",
|
409
|
+
"vårt",
|
410
|
+
"än",
|
411
|
+
"ännu",
|
412
|
+
"är",
|
413
|
+
"även",
|
414
|
+
"åt",
|
415
|
+
"åtminstone",
|
416
|
+
"åtta",
|
417
|
+
"åttio",
|
418
|
+
"åttionde",
|
419
|
+
"åttonde",
|
420
|
+
"över",
|
421
|
+
"övermorgon",
|
422
|
+
"överst",
|
423
|
+
"övre",
|
424
|
+
]
|
425
|
+
end
|
426
|
+
end
|
427
|
+
end
|
428
|
+
end
|
@@ -0,0 +1,135 @@
|
|
1
|
+
class Keyphrase
|
2
|
+
module Stoplist
|
3
|
+
class Tam
|
4
|
+
def self.stopwords
|
5
|
+
@@stopwords ||= [
|
6
|
+
"ஒரு",
|
7
|
+
"என்று",
|
8
|
+
"மற்றும்",
|
9
|
+
"இந்த",
|
10
|
+
"இது",
|
11
|
+
"என்ற",
|
12
|
+
"கொண்டு",
|
13
|
+
"என்பது",
|
14
|
+
"பல",
|
15
|
+
"ஆகும்",
|
16
|
+
"அல்லது",
|
17
|
+
"அவர்",
|
18
|
+
"நான்",
|
19
|
+
"உள்ள",
|
20
|
+
"அந்த",
|
21
|
+
"இவர்",
|
22
|
+
"என",
|
23
|
+
"முதல்",
|
24
|
+
"என்ன",
|
25
|
+
"இருந்து",
|
26
|
+
"சில",
|
27
|
+
"என்",
|
28
|
+
"போன்ற",
|
29
|
+
"வேண்டும்",
|
30
|
+
"வந்து",
|
31
|
+
"இதன்",
|
32
|
+
"அது",
|
33
|
+
"அவன்",
|
34
|
+
"தான்",
|
35
|
+
"பலரும்",
|
36
|
+
"என்னும்",
|
37
|
+
"மேலும்",
|
38
|
+
"பின்னர்",
|
39
|
+
"கொண்ட",
|
40
|
+
"இருக்கும்",
|
41
|
+
"தனது",
|
42
|
+
"உள்ளது",
|
43
|
+
"போது",
|
44
|
+
"என்றும்",
|
45
|
+
"அதன்",
|
46
|
+
"தன்",
|
47
|
+
"பிறகு",
|
48
|
+
"அவர்கள்",
|
49
|
+
"வரை",
|
50
|
+
"அவள்",
|
51
|
+
"நீ",
|
52
|
+
"ஆகிய",
|
53
|
+
"இருந்தது",
|
54
|
+
"உள்ளன",
|
55
|
+
"வந்த",
|
56
|
+
"இருந்த",
|
57
|
+
"மிகவும்",
|
58
|
+
"இங்கு",
|
59
|
+
"மீது",
|
60
|
+
"ஓர்",
|
61
|
+
"இவை",
|
62
|
+
"இந்தக்",
|
63
|
+
"பற்றி",
|
64
|
+
"வரும்",
|
65
|
+
"வேறு",
|
66
|
+
"இரு",
|
67
|
+
"இதில்",
|
68
|
+
"போல்",
|
69
|
+
"இப்போது",
|
70
|
+
"அவரது",
|
71
|
+
"மட்டும்",
|
72
|
+
"இந்தப்",
|
73
|
+
"எனும்",
|
74
|
+
"மேல்",
|
75
|
+
"பின்",
|
76
|
+
"சேர்ந்த",
|
77
|
+
"ஆகியோர்",
|
78
|
+
"எனக்கு",
|
79
|
+
"இன்னும்",
|
80
|
+
"அந்தப்",
|
81
|
+
"அன்று",
|
82
|
+
"ஒரே",
|
83
|
+
"மிக",
|
84
|
+
"அங்கு",
|
85
|
+
"பல்வேறு",
|
86
|
+
"விட்டு",
|
87
|
+
"பெரும்",
|
88
|
+
"அதை",
|
89
|
+
"பற்றிய",
|
90
|
+
"உன்",
|
91
|
+
"அதிக",
|
92
|
+
"அந்தக்",
|
93
|
+
"பேர்",
|
94
|
+
"இதனால்",
|
95
|
+
"அவை",
|
96
|
+
"அதே",
|
97
|
+
"ஏன்",
|
98
|
+
"முறை",
|
99
|
+
"யார்",
|
100
|
+
"என்பதை",
|
101
|
+
"எல்லாம்",
|
102
|
+
"மட்டுமே",
|
103
|
+
"இங்கே",
|
104
|
+
"அங்கே",
|
105
|
+
"இடம்",
|
106
|
+
"இடத்தில்",
|
107
|
+
"அதில்",
|
108
|
+
"நாம்",
|
109
|
+
"அதற்கு",
|
110
|
+
"எனவே",
|
111
|
+
"பிற",
|
112
|
+
"சிறு",
|
113
|
+
"மற்ற",
|
114
|
+
"விட",
|
115
|
+
"எந்த",
|
116
|
+
"எனவும்",
|
117
|
+
"எனப்படும்",
|
118
|
+
"எனினும்",
|
119
|
+
"அடுத்த",
|
120
|
+
"இதனை",
|
121
|
+
"இதை",
|
122
|
+
"கொள்ள",
|
123
|
+
"இந்தத்",
|
124
|
+
"இதற்கு",
|
125
|
+
"அதனால்",
|
126
|
+
"தவிர",
|
127
|
+
"போல",
|
128
|
+
"வரையில்",
|
129
|
+
"சற்று",
|
130
|
+
"எனக்",
|
131
|
+
]
|
132
|
+
end
|
133
|
+
end
|
134
|
+
end
|
135
|
+
end
|