keyphrase 0.1.3 → 0.2.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (75) hide show
  1. checksums.yaml +4 -4
  2. data/README.md +5 -4
  3. data/lib/keyphrase/stoplist/afr.rb +14 -0
  4. data/lib/keyphrase/stoplist/aka.rb +10 -0
  5. data/lib/keyphrase/stoplist/amh.rb +10 -0
  6. data/lib/keyphrase/stoplist/ara.rb +490 -0
  7. data/lib/keyphrase/stoplist/aze.rb +175 -0
  8. data/lib/keyphrase/stoplist/bel.rb +11 -0
  9. data/lib/keyphrase/stoplist/ben.rb +408 -0
  10. data/lib/keyphrase/stoplist/bul.rb +528 -0
  11. data/lib/keyphrase/stoplist/cat.rb +711 -0
  12. data/lib/keyphrase/stoplist/ces.rb +560 -0
  13. data/lib/keyphrase/stoplist/cmn.rb +1119 -0
  14. data/lib/keyphrase/stoplist/dan.rb +25 -0
  15. data/lib/keyphrase/stoplist/deu.rb +631 -0
  16. data/lib/keyphrase/stoplist/ell.rb +275 -0
  17. data/lib/keyphrase/stoplist/eng.rb +2 -589
  18. data/lib/keyphrase/stoplist/epo.rb +183 -0
  19. data/lib/keyphrase/stoplist/est.rb +13 -0
  20. data/lib/keyphrase/stoplist/fin.rb +857 -0
  21. data/lib/keyphrase/stoplist/fra.rb +699 -0
  22. data/lib/keyphrase/stoplist/guj.rb +234 -0
  23. data/lib/keyphrase/stoplist/heb.rb +204 -0
  24. data/lib/keyphrase/stoplist/hin.rb +235 -0
  25. data/lib/keyphrase/stoplist/hrv.rb +25 -0
  26. data/lib/keyphrase/stoplist/hun.rb +1195 -0
  27. data/lib/keyphrase/stoplist/hye.rb +55 -0
  28. data/lib/keyphrase/stoplist/ind.rb +768 -0
  29. data/lib/keyphrase/stoplist/ita.rb +670 -0
  30. data/lib/keyphrase/stoplist/jav.rb +10 -0
  31. data/lib/keyphrase/stoplist/jpn.rb +144 -0
  32. data/lib/keyphrase/stoplist/kan.rb +92 -0
  33. data/lib/keyphrase/stoplist/kat.rb +383 -0
  34. data/lib/keyphrase/stoplist/khm.rb +245 -0
  35. data/lib/keyphrase/stoplist/kor.rb +610 -0
  36. data/lib/keyphrase/stoplist/lat.rb +14 -0
  37. data/lib/keyphrase/stoplist/lav.rb +171 -0
  38. data/lib/keyphrase/stoplist/lit.rb +484 -0
  39. data/lib/keyphrase/stoplist/mal.rb +11 -0
  40. data/lib/keyphrase/stoplist/mar.rb +109 -0
  41. data/lib/keyphrase/stoplist/mkd.rb +11 -0
  42. data/lib/keyphrase/stoplist/mya.rb +285 -0
  43. data/lib/keyphrase/stoplist/nep.rb +265 -0
  44. data/lib/keyphrase/stoplist/nld.rb +423 -0
  45. data/lib/keyphrase/stoplist/nob.rb +186 -0
  46. data/lib/keyphrase/stoplist/ori.rb +11 -0
  47. data/lib/keyphrase/stoplist/pan.rb +473 -0
  48. data/lib/keyphrase/stoplist/pes.rb +801 -0
  49. data/lib/keyphrase/stoplist/pol.rb +338 -0
  50. data/lib/keyphrase/stoplist/por.rb +570 -0
  51. data/lib/keyphrase/stoplist/ron.rb +444 -0
  52. data/lib/keyphrase/stoplist/rus.rb +569 -0
  53. data/lib/keyphrase/stoplist/sin.rb +10 -0
  54. data/lib/keyphrase/stoplist/slk.rb +428 -0
  55. data/lib/keyphrase/stoplist/slv.rb +456 -0
  56. data/lib/keyphrase/stoplist/sna.rb +11 -0
  57. data/lib/keyphrase/stoplist/spa.rb +731 -0
  58. data/lib/keyphrase/stoplist/srp.rb +11 -0
  59. data/lib/keyphrase/stoplist/swe.rb +428 -0
  60. data/lib/keyphrase/stoplist/tam.rb +135 -0
  61. data/lib/keyphrase/stoplist/tel.rb +10 -0
  62. data/lib/keyphrase/stoplist/tgl.rb +157 -0
  63. data/lib/keyphrase/stoplist/tha.rb +125 -0
  64. data/lib/keyphrase/stoplist/tuk.rb +11 -0
  65. data/lib/keyphrase/stoplist/tur.rb +514 -0
  66. data/lib/keyphrase/stoplist/ukr.rb +38 -0
  67. data/lib/keyphrase/stoplist/urd.rb +527 -0
  68. data/lib/keyphrase/stoplist/uzb.rb +10 -0
  69. data/lib/keyphrase/stoplist/vie.rb +655 -0
  70. data/lib/keyphrase/stoplist/yid.rb +204 -0
  71. data/lib/keyphrase/stoplist/zul.rb +39 -0
  72. data/lib/keyphrase/stoplist.rb +13 -10
  73. data/lib/keyphrase/version.rb +1 -1
  74. data/lib/keyphrase.rb +20 -12
  75. metadata +71 -3
@@ -0,0 +1,171 @@
1
+ class Keyphrase
2
+ module Stoplist
3
+ class Lav
4
+ def self.stopwords
5
+ @@stopwords ||= [
6
+ "aiz",
7
+ "ap",
8
+ "apakš",
9
+ "apakšpus",
10
+ "ar",
11
+ "arī",
12
+ "augšpus",
13
+ "bet",
14
+ "bez",
15
+ "bija",
16
+ "biji",
17
+ "biju",
18
+ "bijām",
19
+ "bijāt",
20
+ "būs",
21
+ "būsi",
22
+ "būsiet",
23
+ "būsim",
24
+ "būt",
25
+ "būšu",
26
+ "caur",
27
+ "diemžēl",
28
+ "diezin",
29
+ "droši",
30
+ "dēļ",
31
+ "esam",
32
+ "esat",
33
+ "esi",
34
+ "esmu",
35
+ "gan",
36
+ "gar",
37
+ "iekam",
38
+ "iekams",
39
+ "iekām",
40
+ "iekāms",
41
+ "iekš",
42
+ "iekšpus",
43
+ "ik",
44
+ "ir",
45
+ "it",
46
+ "itin",
47
+ "iz",
48
+ "ja",
49
+ "jau",
50
+ "jeb",
51
+ "jebšu",
52
+ "jel",
53
+ "jo",
54
+ "jā",
55
+ "ka",
56
+ "kamēr",
57
+ "kaut",
58
+ "kolīdz",
59
+ "kopš",
60
+ "kā",
61
+ "kļuva",
62
+ "kļuvi",
63
+ "kļuvu",
64
+ "kļuvām",
65
+ "kļuvāt",
66
+ "kļūs",
67
+ "kļūsi",
68
+ "kļūsiet",
69
+ "kļūsim",
70
+ "kļūst",
71
+ "kļūstam",
72
+ "kļūstat",
73
+ "kļūsti",
74
+ "kļūstu",
75
+ "kļūt",
76
+ "kļūšu",
77
+ "labad",
78
+ "lai",
79
+ "lejpus",
80
+ "līdz",
81
+ "līdzko",
82
+ "ne",
83
+ "nebūt",
84
+ "nedz",
85
+ "nekā",
86
+ "nevis",
87
+ "nezin",
88
+ "no",
89
+ "nu",
90
+ "nē",
91
+ "otrpus",
92
+ "pa",
93
+ "par",
94
+ "pat",
95
+ "pie",
96
+ "pirms",
97
+ "pret",
98
+ "priekš",
99
+ "pār",
100
+ "pēc",
101
+ "starp",
102
+ "tad",
103
+ "tak",
104
+ "tapi",
105
+ "taps",
106
+ "tapsi",
107
+ "tapsiet",
108
+ "tapsim",
109
+ "tapt",
110
+ "tapāt",
111
+ "tapšu",
112
+ "taču",
113
+ "te",
114
+ "tiec",
115
+ "tiek",
116
+ "tiekam",
117
+ "tiekat",
118
+ "tieku",
119
+ "tik",
120
+ "tika",
121
+ "tikai",
122
+ "tiki",
123
+ "tikko",
124
+ "tiklab",
125
+ "tiklīdz",
126
+ "tiks",
127
+ "tiksiet",
128
+ "tiksim",
129
+ "tikt",
130
+ "tiku",
131
+ "tikvien",
132
+ "tikām",
133
+ "tikāt",
134
+ "tikšu",
135
+ "tomēr",
136
+ "topat",
137
+ "turpretim",
138
+ "turpretī",
139
+ "tā",
140
+ "tādēļ",
141
+ "tālab",
142
+ "tāpēc",
143
+ "un",
144
+ "uz",
145
+ "vai",
146
+ "var",
147
+ "varat",
148
+ "varēja",
149
+ "varēji",
150
+ "varēju",
151
+ "varējām",
152
+ "varējāt",
153
+ "varēs",
154
+ "varēsi",
155
+ "varēsiet",
156
+ "varēsim",
157
+ "varēt",
158
+ "varēšu",
159
+ "vien",
160
+ "virs",
161
+ "virspus",
162
+ "vis",
163
+ "viņpus",
164
+ "zem",
165
+ "ārpus",
166
+ "šaipus",
167
+ ]
168
+ end
169
+ end
170
+ end
171
+ end
@@ -0,0 +1,484 @@
1
+ class Keyphrase
2
+ module Stoplist
3
+ class Lit
4
+ def self.stopwords
5
+ @@stopwords ||= [
6
+ "abi",
7
+ "abidvi",
8
+ "abiejose",
9
+ "abiejuose",
10
+ "abiejø",
11
+ "abiem",
12
+ "abigaliai",
13
+ "abipus",
14
+ "abu",
15
+ "abudu",
16
+ "ai",
17
+ "ana",
18
+ "anaiptol",
19
+ "anaisiais",
20
+ "anajai",
21
+ "anajam",
22
+ "anajame",
23
+ "anapus",
24
+ "anas",
25
+ "anasai",
26
+ "anasis",
27
+ "anei",
28
+ "aniedvi",
29
+ "anieji",
30
+ "aniesiems",
31
+ "anoji",
32
+ "anojo",
33
+ "anojoje",
34
+ "anokia",
35
+ "anoks",
36
+ "anosiomis",
37
+ "anosioms",
38
+ "anosios",
39
+ "anosiose",
40
+ "anot",
41
+ "ant",
42
+ "antai",
43
+ "anuodu",
44
+ "anuoju",
45
+ "anuosiuose",
46
+ "anuosius",
47
+ "anàja",
48
+ "anàjà",
49
+ "anàjá",
50
+ "anàsias",
51
+ "anøjø",
52
+ "apie",
53
+ "aplink",
54
+ "ar",
55
+ "arba",
56
+ "argi",
57
+ "arti",
58
+ "aukðèiau",
59
+ "að",
60
+ "be",
61
+ "bei",
62
+ "beje",
63
+ "bemaþ",
64
+ "bent",
65
+ "bet",
66
+ "betgi",
67
+ "beveik",
68
+ "dar",
69
+ "dargi",
70
+ "daugmaþ",
71
+ "deja",
72
+ "dëka",
73
+ "dël",
74
+ "dëlei",
75
+ "dëlto",
76
+ "ech",
77
+ "et",
78
+ "gal",
79
+ "galbût",
80
+ "galgi",
81
+ "gan",
82
+ "gana",
83
+ "gi",
84
+ "greta",
85
+ "idant",
86
+ "iki",
87
+ "ir",
88
+ "irgi",
89
+ "it",
90
+ "itin",
91
+ "ið",
92
+ "iðilgai",
93
+ "iðvis",
94
+ "jaisiais",
95
+ "jajai",
96
+ "jajam",
97
+ "jajame",
98
+ "jei",
99
+ "jeigu",
100
+ "ji",
101
+ "jiedu",
102
+ "jiedvi",
103
+ "jieji",
104
+ "jiesiems",
105
+ "jinai",
106
+ "jis",
107
+ "jisai",
108
+ "jog",
109
+ "joji",
110
+ "jojo",
111
+ "jojoje",
112
+ "jokia",
113
+ "joks",
114
+ "josiomis",
115
+ "josioms",
116
+ "josios",
117
+ "josiose",
118
+ "judu",
119
+ "judvi",
120
+ "juk",
121
+ "jumis",
122
+ "jums",
123
+ "jumyse",
124
+ "juodu",
125
+ "juoju",
126
+ "juosiuose",
127
+ "juosius",
128
+ "jus",
129
+ "jàja",
130
+ "jàjà",
131
+ "jàsias",
132
+ "jájá",
133
+ "jøjø",
134
+ "jûs",
135
+ "jûsiðkis",
136
+ "jûsiðkë",
137
+ "jûsø",
138
+ "kad",
139
+ "kada",
140
+ "kadangi",
141
+ "kai",
142
+ "kaip",
143
+ "kaipgi",
144
+ "kas",
145
+ "katra",
146
+ "katras",
147
+ "katriedvi",
148
+ "katruodu",
149
+ "kaþin",
150
+ "kaþkas",
151
+ "kaþkatra",
152
+ "kaþkatras",
153
+ "kaþkokia",
154
+ "kaþkoks",
155
+ "kaþkuri",
156
+ "kaþkuris",
157
+ "kiaurai",
158
+ "kiek",
159
+ "kiekvienas",
160
+ "kieno",
161
+ "kita",
162
+ "kitas",
163
+ "kitokia",
164
+ "kitoks",
165
+ "kodël",
166
+ "kokia",
167
+ "koks",
168
+ "kol",
169
+ "kolei",
170
+ "kone",
171
+ "kuomet",
172
+ "kur",
173
+ "kurgi",
174
+ "kuri",
175
+ "kuriedvi",
176
+ "kuris",
177
+ "kuriuodu",
178
+ "lai",
179
+ "lig",
180
+ "ligi",
181
+ "link",
182
+ "lyg",
183
+ "man",
184
+ "manaisiais",
185
+ "manajai",
186
+ "manajam",
187
+ "manajame",
188
+ "manas",
189
+ "manasai",
190
+ "manasis",
191
+ "mane",
192
+ "manieji",
193
+ "maniesiems",
194
+ "manim",
195
+ "manimi",
196
+ "maniðkis",
197
+ "maniðkë",
198
+ "mano",
199
+ "manoji",
200
+ "manojo",
201
+ "manojoje",
202
+ "manosiomis",
203
+ "manosioms",
204
+ "manosios",
205
+ "manosiose",
206
+ "manuoju",
207
+ "manuosiuose",
208
+ "manuosius",
209
+ "manyje",
210
+ "manàja",
211
+ "manàjà",
212
+ "manàjá",
213
+ "manàsias",
214
+ "manæs",
215
+ "manøjø",
216
+ "mat",
217
+ "maþdaug",
218
+ "maþne",
219
+ "mes",
220
+ "mudu",
221
+ "mudvi",
222
+ "mumis",
223
+ "mums",
224
+ "mumyse",
225
+ "mus",
226
+ "mûsiðkis",
227
+ "mûsiðkë",
228
+ "mûsø",
229
+ "na",
230
+ "nagi",
231
+ "ne",
232
+ "nebe",
233
+ "nebent",
234
+ "negi",
235
+ "negu",
236
+ "nei",
237
+ "nejau",
238
+ "nejaugi",
239
+ "nekaip",
240
+ "nelyginant",
241
+ "nes",
242
+ "net",
243
+ "netgi",
244
+ "netoli",
245
+ "neva",
246
+ "nors",
247
+ "nuo",
248
+ "në",
249
+ "o",
250
+ "ogi",
251
+ "oi",
252
+ "paeiliui",
253
+ "pagal",
254
+ "pakeliui",
255
+ "palaipsniui",
256
+ "palei",
257
+ "pas",
258
+ "pasak",
259
+ "paskos",
260
+ "paskui",
261
+ "paskum",
262
+ "pat",
263
+ "pati",
264
+ "patiems",
265
+ "paties",
266
+ "pats",
267
+ "patys",
268
+ "patá",
269
+ "paèiais",
270
+ "paèiam",
271
+ "paèiame",
272
+ "paèiu",
273
+ "paèiuose",
274
+ "paèius",
275
+ "paèiø",
276
+ "per",
277
+ "pernelyg",
278
+ "pirm",
279
+ "pirma",
280
+ "pirmiau",
281
+ "po",
282
+ "prie",
283
+ "prieð",
284
+ "prieðais",
285
+ "pro",
286
+ "pusiau",
287
+ "rasi",
288
+ "rodos",
289
+ "sau",
290
+ "savaisiais",
291
+ "savajai",
292
+ "savajam",
293
+ "savajame",
294
+ "savas",
295
+ "savasai",
296
+ "savasis",
297
+ "save",
298
+ "savieji",
299
+ "saviesiems",
300
+ "savimi",
301
+ "saviðkis",
302
+ "saviðkë",
303
+ "savo",
304
+ "savoji",
305
+ "savojo",
306
+ "savojoje",
307
+ "savosiomis",
308
+ "savosioms",
309
+ "savosios",
310
+ "savosiose",
311
+ "savuoju",
312
+ "savuosiuose",
313
+ "savuosius",
314
+ "savyje",
315
+ "savàja",
316
+ "savàjà",
317
+ "savàjá",
318
+ "savàsias",
319
+ "savæs",
320
+ "savøjø",
321
+ "skersai",
322
+ "skradþiai",
323
+ "staèiai",
324
+ "su",
325
+ "sulig",
326
+ "ta",
327
+ "tad",
328
+ "tai",
329
+ "taigi",
330
+ "taip",
331
+ "taipogi",
332
+ "taisiais",
333
+ "tajai",
334
+ "tajam",
335
+ "tajame",
336
+ "tamsta",
337
+ "tarp",
338
+ "tarsi",
339
+ "tartum",
340
+ "tarytum",
341
+ "tas",
342
+ "tasai",
343
+ "tau",
344
+ "tavaisiais",
345
+ "tavajai",
346
+ "tavajam",
347
+ "tavajame",
348
+ "tavas",
349
+ "tavasai",
350
+ "tavasis",
351
+ "tave",
352
+ "tavieji",
353
+ "taviesiems",
354
+ "tavimi",
355
+ "taviðkis",
356
+ "taviðkë",
357
+ "tavo",
358
+ "tavoji",
359
+ "tavojo",
360
+ "tavojoje",
361
+ "tavosiomis",
362
+ "tavosioms",
363
+ "tavosios",
364
+ "tavosiose",
365
+ "tavuoju",
366
+ "tavuosiuose",
367
+ "tavuosius",
368
+ "tavyje",
369
+ "tavàja",
370
+ "tavàjà",
371
+ "tavàjá",
372
+ "tavàsias",
373
+ "tavæs",
374
+ "tavøjø",
375
+ "taèiau",
376
+ "te",
377
+ "tegu",
378
+ "tegul",
379
+ "tiedvi",
380
+ "tieji",
381
+ "ties",
382
+ "tiesiems",
383
+ "tiesiog",
384
+ "tik",
385
+ "tikriausiai",
386
+ "tiktai",
387
+ "toji",
388
+ "tojo",
389
+ "tojoje",
390
+ "tokia",
391
+ "toks",
392
+ "tol",
393
+ "tolei",
394
+ "toliau",
395
+ "tosiomis",
396
+ "tosioms",
397
+ "tosios",
398
+ "tosiose",
399
+ "tu",
400
+ "tuodu",
401
+ "tuoju",
402
+ "tuosiuose",
403
+ "tuosius",
404
+ "turbût",
405
+ "tàja",
406
+ "tàjà",
407
+ "tàjá",
408
+ "tàsias",
409
+ "tøjø",
410
+ "tûlas",
411
+ "uþ",
412
+ "uþtat",
413
+ "uþvis",
414
+ "va",
415
+ "vai",
416
+ "viduj",
417
+ "vidury",
418
+ "vien",
419
+ "vienas",
420
+ "vienokia",
421
+ "vienoks",
422
+ "vietoj",
423
+ "virð",
424
+ "virðuj",
425
+ "virðum",
426
+ "vis",
427
+ "vis dëlto",
428
+ "visa",
429
+ "visas",
430
+ "visgi",
431
+ "visokia",
432
+ "visoks",
433
+ "vos",
434
+ "vël",
435
+ "vëlgi",
436
+ "ypaè",
437
+ "á",
438
+ "ákypai",
439
+ "ástriþai",
440
+ "ðalia",
441
+ "ðe",
442
+ "ði",
443
+ "ðiaisiais",
444
+ "ðiajai",
445
+ "ðiajam",
446
+ "ðiajame",
447
+ "ðiapus",
448
+ "ðiedvi",
449
+ "ðieji",
450
+ "ðiesiems",
451
+ "ðioji",
452
+ "ðiojo",
453
+ "ðiojoje",
454
+ "ðiokia",
455
+ "ðioks",
456
+ "ðiosiomis",
457
+ "ðiosioms",
458
+ "ðiosios",
459
+ "ðiosiose",
460
+ "ðis",
461
+ "ðisai",
462
+ "ðit",
463
+ "ðita",
464
+ "ðitas",
465
+ "ðitiedvi",
466
+ "ðitokia",
467
+ "ðitoks",
468
+ "ðituodu",
469
+ "ðiuodu",
470
+ "ðiuoju",
471
+ "ðiuosiuose",
472
+ "ðiuosius",
473
+ "ðiàja",
474
+ "ðiàjà",
475
+ "ðiàsias",
476
+ "ðiøjø",
477
+ "ðtai",
478
+ "ðájá",
479
+ "þemiau",
480
+ ]
481
+ end
482
+ end
483
+ end
484
+ end
@@ -0,0 +1,11 @@
1
+ class Keyphrase
2
+ module Stoplist
3
+ class Mal
4
+ def self.stopwords
5
+ @@stopwords ||= [
6
+
7
+ ]
8
+ end
9
+ end
10
+ end
11
+ end