keyphrase 0.1.3 → 0.2.1
Sign up to get free protection for your applications and to get access to all the features.
- checksums.yaml +4 -4
- data/README.md +5 -4
- data/lib/keyphrase/stoplist/afr.rb +14 -0
- data/lib/keyphrase/stoplist/aka.rb +10 -0
- data/lib/keyphrase/stoplist/amh.rb +10 -0
- data/lib/keyphrase/stoplist/ara.rb +490 -0
- data/lib/keyphrase/stoplist/aze.rb +175 -0
- data/lib/keyphrase/stoplist/bel.rb +11 -0
- data/lib/keyphrase/stoplist/ben.rb +408 -0
- data/lib/keyphrase/stoplist/bul.rb +528 -0
- data/lib/keyphrase/stoplist/cat.rb +711 -0
- data/lib/keyphrase/stoplist/ces.rb +560 -0
- data/lib/keyphrase/stoplist/cmn.rb +1119 -0
- data/lib/keyphrase/stoplist/dan.rb +25 -0
- data/lib/keyphrase/stoplist/deu.rb +631 -0
- data/lib/keyphrase/stoplist/ell.rb +275 -0
- data/lib/keyphrase/stoplist/eng.rb +2 -591
- data/lib/keyphrase/stoplist/epo.rb +183 -0
- data/lib/keyphrase/stoplist/est.rb +13 -0
- data/lib/keyphrase/stoplist/fin.rb +857 -0
- data/lib/keyphrase/stoplist/fra.rb +699 -0
- data/lib/keyphrase/stoplist/guj.rb +234 -0
- data/lib/keyphrase/stoplist/heb.rb +204 -0
- data/lib/keyphrase/stoplist/hin.rb +235 -0
- data/lib/keyphrase/stoplist/hrv.rb +25 -0
- data/lib/keyphrase/stoplist/hun.rb +1195 -0
- data/lib/keyphrase/stoplist/hye.rb +55 -0
- data/lib/keyphrase/stoplist/ind.rb +768 -0
- data/lib/keyphrase/stoplist/ita.rb +670 -0
- data/lib/keyphrase/stoplist/jav.rb +10 -0
- data/lib/keyphrase/stoplist/jpn.rb +144 -0
- data/lib/keyphrase/stoplist/kan.rb +92 -0
- data/lib/keyphrase/stoplist/kat.rb +383 -0
- data/lib/keyphrase/stoplist/khm.rb +245 -0
- data/lib/keyphrase/stoplist/kor.rb +610 -0
- data/lib/keyphrase/stoplist/lat.rb +14 -0
- data/lib/keyphrase/stoplist/lav.rb +171 -0
- data/lib/keyphrase/stoplist/lit.rb +484 -0
- data/lib/keyphrase/stoplist/mal.rb +11 -0
- data/lib/keyphrase/stoplist/mar.rb +109 -0
- data/lib/keyphrase/stoplist/mkd.rb +11 -0
- data/lib/keyphrase/stoplist/mya.rb +285 -0
- data/lib/keyphrase/stoplist/nep.rb +265 -0
- data/lib/keyphrase/stoplist/nld.rb +423 -0
- data/lib/keyphrase/stoplist/nob.rb +186 -0
- data/lib/keyphrase/stoplist/ori.rb +11 -0
- data/lib/keyphrase/stoplist/pan.rb +462 -0
- data/lib/keyphrase/stoplist/pes.rb +801 -0
- data/lib/keyphrase/stoplist/pol.rb +338 -0
- data/lib/keyphrase/stoplist/por.rb +570 -0
- data/lib/keyphrase/stoplist/ron.rb +444 -0
- data/lib/keyphrase/stoplist/rus.rb +569 -0
- data/lib/keyphrase/stoplist/sin.rb +10 -0
- data/lib/keyphrase/stoplist/slk.rb +428 -0
- data/lib/keyphrase/stoplist/slv.rb +456 -0
- data/lib/keyphrase/stoplist/sna.rb +11 -0
- data/lib/keyphrase/stoplist/spa.rb +731 -0
- data/lib/keyphrase/stoplist/srp.rb +11 -0
- data/lib/keyphrase/stoplist/swe.rb +428 -0
- data/lib/keyphrase/stoplist/tam.rb +135 -0
- data/lib/keyphrase/stoplist/tel.rb +10 -0
- data/lib/keyphrase/stoplist/tgl.rb +157 -0
- data/lib/keyphrase/stoplist/tha.rb +125 -0
- data/lib/keyphrase/stoplist/tuk.rb +11 -0
- data/lib/keyphrase/stoplist/tur.rb +514 -0
- data/lib/keyphrase/stoplist/ukr.rb +38 -0
- data/lib/keyphrase/stoplist/urd.rb +527 -0
- data/lib/keyphrase/stoplist/uzb.rb +10 -0
- data/lib/keyphrase/stoplist/vie.rb +655 -0
- data/lib/keyphrase/stoplist/yid.rb +204 -0
- data/lib/keyphrase/stoplist/zul.rb +39 -0
- data/lib/keyphrase/stoplist.rb +13 -10
- data/lib/keyphrase/version.rb +1 -1
- data/lib/keyphrase.rb +20 -12
- metadata +71 -3
@@ -0,0 +1,569 @@
|
|
1
|
+
class Keyphrase
|
2
|
+
module Stoplist
|
3
|
+
class Rus
|
4
|
+
def self.stopwords
|
5
|
+
@@stopwords ||= [
|
6
|
+
"c",
|
7
|
+
"а",
|
8
|
+
"алло",
|
9
|
+
"без",
|
10
|
+
"белый",
|
11
|
+
"близко",
|
12
|
+
"более",
|
13
|
+
"больше",
|
14
|
+
"большой",
|
15
|
+
"будем",
|
16
|
+
"будет",
|
17
|
+
"будете",
|
18
|
+
"будешь",
|
19
|
+
"будто",
|
20
|
+
"буду",
|
21
|
+
"будут",
|
22
|
+
"будь",
|
23
|
+
"бы",
|
24
|
+
"бывает",
|
25
|
+
"бывь",
|
26
|
+
"был",
|
27
|
+
"была",
|
28
|
+
"были",
|
29
|
+
"было",
|
30
|
+
"быть",
|
31
|
+
"в",
|
32
|
+
"важная",
|
33
|
+
"важное",
|
34
|
+
"важные",
|
35
|
+
"важный",
|
36
|
+
"вам",
|
37
|
+
"вами",
|
38
|
+
"вас",
|
39
|
+
"ваш",
|
40
|
+
"ваша",
|
41
|
+
"ваше",
|
42
|
+
"ваши",
|
43
|
+
"вверх",
|
44
|
+
"вдали",
|
45
|
+
"вдруг",
|
46
|
+
"ведь",
|
47
|
+
"везде",
|
48
|
+
"вернуться",
|
49
|
+
"весь",
|
50
|
+
"вечер",
|
51
|
+
"взгляд",
|
52
|
+
"взять",
|
53
|
+
"вид",
|
54
|
+
"видел",
|
55
|
+
"видеть",
|
56
|
+
"вместе",
|
57
|
+
"вне",
|
58
|
+
"вниз",
|
59
|
+
"внизу",
|
60
|
+
"во",
|
61
|
+
"вода",
|
62
|
+
"война",
|
63
|
+
"вокруг",
|
64
|
+
"вон",
|
65
|
+
"вообще",
|
66
|
+
"вопрос",
|
67
|
+
"восемнадцатый",
|
68
|
+
"восемнадцать",
|
69
|
+
"восемь",
|
70
|
+
"восьмой",
|
71
|
+
"вот",
|
72
|
+
"впрочем",
|
73
|
+
"времени",
|
74
|
+
"время",
|
75
|
+
"все",
|
76
|
+
"все еще",
|
77
|
+
"всегда",
|
78
|
+
"всего",
|
79
|
+
"всем",
|
80
|
+
"всеми",
|
81
|
+
"всему",
|
82
|
+
"всех",
|
83
|
+
"всею",
|
84
|
+
"всю",
|
85
|
+
"всюду",
|
86
|
+
"вся",
|
87
|
+
"всё",
|
88
|
+
"второй",
|
89
|
+
"вы",
|
90
|
+
"выйти",
|
91
|
+
"г",
|
92
|
+
"где",
|
93
|
+
"главный",
|
94
|
+
"глаз",
|
95
|
+
"говорил",
|
96
|
+
"говорит",
|
97
|
+
"говорить",
|
98
|
+
"год",
|
99
|
+
"года",
|
100
|
+
"году",
|
101
|
+
"голова",
|
102
|
+
"голос",
|
103
|
+
"город",
|
104
|
+
"да",
|
105
|
+
"давать",
|
106
|
+
"давно",
|
107
|
+
"даже",
|
108
|
+
"далекий",
|
109
|
+
"далеко",
|
110
|
+
"дальше",
|
111
|
+
"даром",
|
112
|
+
"дать",
|
113
|
+
"два",
|
114
|
+
"двадцатый",
|
115
|
+
"двадцать",
|
116
|
+
"две",
|
117
|
+
"двенадцатый",
|
118
|
+
"двенадцать",
|
119
|
+
"дверь",
|
120
|
+
"двух",
|
121
|
+
"девятнадцатый",
|
122
|
+
"девятнадцать",
|
123
|
+
"девятый",
|
124
|
+
"девять",
|
125
|
+
"действительно",
|
126
|
+
"дел",
|
127
|
+
"делал",
|
128
|
+
"делать",
|
129
|
+
"делаю",
|
130
|
+
"дело",
|
131
|
+
"день",
|
132
|
+
"деньги",
|
133
|
+
"десятый",
|
134
|
+
"десять",
|
135
|
+
"для",
|
136
|
+
"до",
|
137
|
+
"довольно",
|
138
|
+
"долго",
|
139
|
+
"должен",
|
140
|
+
"должно",
|
141
|
+
"должный",
|
142
|
+
"дом",
|
143
|
+
"дорога",
|
144
|
+
"друг",
|
145
|
+
"другая",
|
146
|
+
"другие",
|
147
|
+
"других",
|
148
|
+
"друго",
|
149
|
+
"другое",
|
150
|
+
"другой",
|
151
|
+
"думать",
|
152
|
+
"душа",
|
153
|
+
"е",
|
154
|
+
"его",
|
155
|
+
"ее",
|
156
|
+
"ей",
|
157
|
+
"ему",
|
158
|
+
"если",
|
159
|
+
"есть",
|
160
|
+
"еще",
|
161
|
+
"ещё",
|
162
|
+
"ею",
|
163
|
+
"её",
|
164
|
+
"ж",
|
165
|
+
"ждать",
|
166
|
+
"же",
|
167
|
+
"жена",
|
168
|
+
"женщина",
|
169
|
+
"жизнь",
|
170
|
+
"жить",
|
171
|
+
"за",
|
172
|
+
"занят",
|
173
|
+
"занята",
|
174
|
+
"занято",
|
175
|
+
"заняты",
|
176
|
+
"затем",
|
177
|
+
"зато",
|
178
|
+
"зачем",
|
179
|
+
"здесь",
|
180
|
+
"земля",
|
181
|
+
"знать",
|
182
|
+
"значит",
|
183
|
+
"значить",
|
184
|
+
"и",
|
185
|
+
"иди",
|
186
|
+
"идти",
|
187
|
+
"из",
|
188
|
+
"или",
|
189
|
+
"им",
|
190
|
+
"имеет",
|
191
|
+
"имел",
|
192
|
+
"именно",
|
193
|
+
"иметь",
|
194
|
+
"ими",
|
195
|
+
"имя",
|
196
|
+
"иногда",
|
197
|
+
"их",
|
198
|
+
"к",
|
199
|
+
"каждая",
|
200
|
+
"каждое",
|
201
|
+
"каждые",
|
202
|
+
"каждый",
|
203
|
+
"кажется",
|
204
|
+
"казаться",
|
205
|
+
"как",
|
206
|
+
"какая",
|
207
|
+
"какой",
|
208
|
+
"кем",
|
209
|
+
"книга",
|
210
|
+
"когда",
|
211
|
+
"кого",
|
212
|
+
"ком",
|
213
|
+
"комната",
|
214
|
+
"кому",
|
215
|
+
"конец",
|
216
|
+
"конечно",
|
217
|
+
"которая",
|
218
|
+
"которого",
|
219
|
+
"которой",
|
220
|
+
"которые",
|
221
|
+
"который",
|
222
|
+
"которых",
|
223
|
+
"кроме",
|
224
|
+
"кругом",
|
225
|
+
"кто",
|
226
|
+
"куда",
|
227
|
+
"лежать",
|
228
|
+
"лет",
|
229
|
+
"ли",
|
230
|
+
"лицо",
|
231
|
+
"лишь",
|
232
|
+
"лучше",
|
233
|
+
"любить",
|
234
|
+
"люди",
|
235
|
+
"м",
|
236
|
+
"маленький",
|
237
|
+
"мало",
|
238
|
+
"мать",
|
239
|
+
"машина",
|
240
|
+
"между",
|
241
|
+
"меля",
|
242
|
+
"менее",
|
243
|
+
"меньше",
|
244
|
+
"меня",
|
245
|
+
"место",
|
246
|
+
"миллионов",
|
247
|
+
"мимо",
|
248
|
+
"минута",
|
249
|
+
"мир",
|
250
|
+
"мира",
|
251
|
+
"мне",
|
252
|
+
"много",
|
253
|
+
"многочисленная",
|
254
|
+
"многочисленное",
|
255
|
+
"многочисленные",
|
256
|
+
"многочисленный",
|
257
|
+
"мной",
|
258
|
+
"мною",
|
259
|
+
"мог",
|
260
|
+
"могу",
|
261
|
+
"могут",
|
262
|
+
"мож",
|
263
|
+
"может",
|
264
|
+
"может быть",
|
265
|
+
"можно",
|
266
|
+
"можхо",
|
267
|
+
"мои",
|
268
|
+
"мой",
|
269
|
+
"мор",
|
270
|
+
"москва",
|
271
|
+
"мочь",
|
272
|
+
"моя",
|
273
|
+
"моё",
|
274
|
+
"мы",
|
275
|
+
"на",
|
276
|
+
"наверху",
|
277
|
+
"над",
|
278
|
+
"надо",
|
279
|
+
"назад",
|
280
|
+
"наиболее",
|
281
|
+
"найти",
|
282
|
+
"наконец",
|
283
|
+
"нам",
|
284
|
+
"нами",
|
285
|
+
"народ",
|
286
|
+
"нас",
|
287
|
+
"начала",
|
288
|
+
"начать",
|
289
|
+
"наш",
|
290
|
+
"наша",
|
291
|
+
"наше",
|
292
|
+
"наши",
|
293
|
+
"не",
|
294
|
+
"него",
|
295
|
+
"недавно",
|
296
|
+
"недалеко",
|
297
|
+
"нее",
|
298
|
+
"ней",
|
299
|
+
"некоторый",
|
300
|
+
"нельзя",
|
301
|
+
"нем",
|
302
|
+
"немного",
|
303
|
+
"нему",
|
304
|
+
"непрерывно",
|
305
|
+
"нередко",
|
306
|
+
"несколько",
|
307
|
+
"нет",
|
308
|
+
"нею",
|
309
|
+
"неё",
|
310
|
+
"ни",
|
311
|
+
"нибудь",
|
312
|
+
"ниже",
|
313
|
+
"низко",
|
314
|
+
"никакой",
|
315
|
+
"никогда",
|
316
|
+
"никто",
|
317
|
+
"никуда",
|
318
|
+
"ним",
|
319
|
+
"ними",
|
320
|
+
"них",
|
321
|
+
"ничего",
|
322
|
+
"ничто",
|
323
|
+
"но",
|
324
|
+
"новый",
|
325
|
+
"нога",
|
326
|
+
"ночь",
|
327
|
+
"ну",
|
328
|
+
"нужно",
|
329
|
+
"нужный",
|
330
|
+
"нх",
|
331
|
+
"о",
|
332
|
+
"об",
|
333
|
+
"оба",
|
334
|
+
"обычно",
|
335
|
+
"один",
|
336
|
+
"одиннадцатый",
|
337
|
+
"одиннадцать",
|
338
|
+
"однажды",
|
339
|
+
"однако",
|
340
|
+
"одного",
|
341
|
+
"одной",
|
342
|
+
"оказаться",
|
343
|
+
"окно",
|
344
|
+
"около",
|
345
|
+
"он",
|
346
|
+
"она",
|
347
|
+
"они",
|
348
|
+
"оно",
|
349
|
+
"опять",
|
350
|
+
"особенно",
|
351
|
+
"остаться",
|
352
|
+
"от",
|
353
|
+
"ответить",
|
354
|
+
"отец",
|
355
|
+
"откуда",
|
356
|
+
"отовсюду",
|
357
|
+
"отсюда",
|
358
|
+
"очень",
|
359
|
+
"первый",
|
360
|
+
"перед",
|
361
|
+
"писать",
|
362
|
+
"плечо",
|
363
|
+
"по",
|
364
|
+
"под",
|
365
|
+
"подойди",
|
366
|
+
"подумать",
|
367
|
+
"пожалуйста",
|
368
|
+
"позже",
|
369
|
+
"пойти",
|
370
|
+
"пока",
|
371
|
+
"пол",
|
372
|
+
"получить",
|
373
|
+
"помнить",
|
374
|
+
"понимать",
|
375
|
+
"понять",
|
376
|
+
"пор",
|
377
|
+
"пора",
|
378
|
+
"после",
|
379
|
+
"последний",
|
380
|
+
"посмотреть",
|
381
|
+
"посреди",
|
382
|
+
"потом",
|
383
|
+
"потому",
|
384
|
+
"почему",
|
385
|
+
"почти",
|
386
|
+
"правда",
|
387
|
+
"прекрасно",
|
388
|
+
"при",
|
389
|
+
"про",
|
390
|
+
"просто",
|
391
|
+
"против",
|
392
|
+
"процентов",
|
393
|
+
"путь",
|
394
|
+
"пятнадцатый",
|
395
|
+
"пятнадцать",
|
396
|
+
"пятый",
|
397
|
+
"пять",
|
398
|
+
"работа",
|
399
|
+
"работать",
|
400
|
+
"раз",
|
401
|
+
"разве",
|
402
|
+
"рано",
|
403
|
+
"раньше",
|
404
|
+
"ребенок",
|
405
|
+
"решить",
|
406
|
+
"россия",
|
407
|
+
"рука",
|
408
|
+
"русский",
|
409
|
+
"ряд",
|
410
|
+
"рядом",
|
411
|
+
"с",
|
412
|
+
"с кем",
|
413
|
+
"сам",
|
414
|
+
"сама",
|
415
|
+
"сами",
|
416
|
+
"самим",
|
417
|
+
"самими",
|
418
|
+
"самих",
|
419
|
+
"само",
|
420
|
+
"самого",
|
421
|
+
"самой",
|
422
|
+
"самом",
|
423
|
+
"самому",
|
424
|
+
"саму",
|
425
|
+
"самый",
|
426
|
+
"свет",
|
427
|
+
"свое",
|
428
|
+
"своего",
|
429
|
+
"своей",
|
430
|
+
"свои",
|
431
|
+
"своих",
|
432
|
+
"свой",
|
433
|
+
"свою",
|
434
|
+
"сделать",
|
435
|
+
"сеаой",
|
436
|
+
"себе",
|
437
|
+
"себя",
|
438
|
+
"сегодня",
|
439
|
+
"седьмой",
|
440
|
+
"сейчас",
|
441
|
+
"семнадцатый",
|
442
|
+
"семнадцать",
|
443
|
+
"семь",
|
444
|
+
"сидеть",
|
445
|
+
"сила",
|
446
|
+
"сих",
|
447
|
+
"сказал",
|
448
|
+
"сказала",
|
449
|
+
"сказать",
|
450
|
+
"сколько",
|
451
|
+
"слишком",
|
452
|
+
"слово",
|
453
|
+
"случай",
|
454
|
+
"смотреть",
|
455
|
+
"сначала",
|
456
|
+
"снова",
|
457
|
+
"со",
|
458
|
+
"собой",
|
459
|
+
"собою",
|
460
|
+
"советский",
|
461
|
+
"совсем",
|
462
|
+
"спасибо",
|
463
|
+
"спросить",
|
464
|
+
"сразу",
|
465
|
+
"стал",
|
466
|
+
"старый",
|
467
|
+
"стать",
|
468
|
+
"стол",
|
469
|
+
"сторона",
|
470
|
+
"стоять",
|
471
|
+
"страна",
|
472
|
+
"суть",
|
473
|
+
"считать",
|
474
|
+
"т",
|
475
|
+
"та",
|
476
|
+
"так",
|
477
|
+
"такая",
|
478
|
+
"также",
|
479
|
+
"таки",
|
480
|
+
"такие",
|
481
|
+
"такое",
|
482
|
+
"такой",
|
483
|
+
"там",
|
484
|
+
"твои",
|
485
|
+
"твой",
|
486
|
+
"твоя",
|
487
|
+
"твоё",
|
488
|
+
"те",
|
489
|
+
"тебе",
|
490
|
+
"тебя",
|
491
|
+
"тем",
|
492
|
+
"теми",
|
493
|
+
"теперь",
|
494
|
+
"тех",
|
495
|
+
"то",
|
496
|
+
"тобой",
|
497
|
+
"тобою",
|
498
|
+
"товарищ",
|
499
|
+
"тогда",
|
500
|
+
"того",
|
501
|
+
"тоже",
|
502
|
+
"только",
|
503
|
+
"том",
|
504
|
+
"тому",
|
505
|
+
"тот",
|
506
|
+
"тою",
|
507
|
+
"третий",
|
508
|
+
"три",
|
509
|
+
"тринадцатый",
|
510
|
+
"тринадцать",
|
511
|
+
"ту",
|
512
|
+
"туда",
|
513
|
+
"тут",
|
514
|
+
"ты",
|
515
|
+
"тысяч",
|
516
|
+
"у",
|
517
|
+
"увидеть",
|
518
|
+
"уж",
|
519
|
+
"уже",
|
520
|
+
"улица",
|
521
|
+
"уметь",
|
522
|
+
"утро",
|
523
|
+
"хороший",
|
524
|
+
"хорошо",
|
525
|
+
"хотел бы",
|
526
|
+
"хотеть",
|
527
|
+
"хоть",
|
528
|
+
"хотя",
|
529
|
+
"хочешь",
|
530
|
+
"час",
|
531
|
+
"часто",
|
532
|
+
"часть",
|
533
|
+
"чаще",
|
534
|
+
"чего",
|
535
|
+
"человек",
|
536
|
+
"чем",
|
537
|
+
"чему",
|
538
|
+
"через",
|
539
|
+
"четвертый",
|
540
|
+
"четыре",
|
541
|
+
"четырнадцатый",
|
542
|
+
"четырнадцать",
|
543
|
+
"что",
|
544
|
+
"чтоб",
|
545
|
+
"чтобы",
|
546
|
+
"чуть",
|
547
|
+
"шестнадцатый",
|
548
|
+
"шестнадцать",
|
549
|
+
"шестой",
|
550
|
+
"шесть",
|
551
|
+
"эта",
|
552
|
+
"эти",
|
553
|
+
"этим",
|
554
|
+
"этими",
|
555
|
+
"этих",
|
556
|
+
"это",
|
557
|
+
"этого",
|
558
|
+
"этой",
|
559
|
+
"этом",
|
560
|
+
"этому",
|
561
|
+
"этот",
|
562
|
+
"эту",
|
563
|
+
"я",
|
564
|
+
"являюсь",
|
565
|
+
]
|
566
|
+
end
|
567
|
+
end
|
568
|
+
end
|
569
|
+
end
|