keyphrase 0.1.3 → 0.2.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (75) hide show
  1. checksums.yaml +4 -4
  2. data/README.md +5 -4
  3. data/lib/keyphrase/stoplist/afr.rb +14 -0
  4. data/lib/keyphrase/stoplist/aka.rb +10 -0
  5. data/lib/keyphrase/stoplist/amh.rb +10 -0
  6. data/lib/keyphrase/stoplist/ara.rb +490 -0
  7. data/lib/keyphrase/stoplist/aze.rb +175 -0
  8. data/lib/keyphrase/stoplist/bel.rb +11 -0
  9. data/lib/keyphrase/stoplist/ben.rb +408 -0
  10. data/lib/keyphrase/stoplist/bul.rb +528 -0
  11. data/lib/keyphrase/stoplist/cat.rb +711 -0
  12. data/lib/keyphrase/stoplist/ces.rb +560 -0
  13. data/lib/keyphrase/stoplist/cmn.rb +1119 -0
  14. data/lib/keyphrase/stoplist/dan.rb +25 -0
  15. data/lib/keyphrase/stoplist/deu.rb +631 -0
  16. data/lib/keyphrase/stoplist/ell.rb +275 -0
  17. data/lib/keyphrase/stoplist/eng.rb +2 -589
  18. data/lib/keyphrase/stoplist/epo.rb +183 -0
  19. data/lib/keyphrase/stoplist/est.rb +13 -0
  20. data/lib/keyphrase/stoplist/fin.rb +857 -0
  21. data/lib/keyphrase/stoplist/fra.rb +699 -0
  22. data/lib/keyphrase/stoplist/guj.rb +234 -0
  23. data/lib/keyphrase/stoplist/heb.rb +204 -0
  24. data/lib/keyphrase/stoplist/hin.rb +235 -0
  25. data/lib/keyphrase/stoplist/hrv.rb +25 -0
  26. data/lib/keyphrase/stoplist/hun.rb +1195 -0
  27. data/lib/keyphrase/stoplist/hye.rb +55 -0
  28. data/lib/keyphrase/stoplist/ind.rb +768 -0
  29. data/lib/keyphrase/stoplist/ita.rb +670 -0
  30. data/lib/keyphrase/stoplist/jav.rb +10 -0
  31. data/lib/keyphrase/stoplist/jpn.rb +144 -0
  32. data/lib/keyphrase/stoplist/kan.rb +92 -0
  33. data/lib/keyphrase/stoplist/kat.rb +383 -0
  34. data/lib/keyphrase/stoplist/khm.rb +245 -0
  35. data/lib/keyphrase/stoplist/kor.rb +610 -0
  36. data/lib/keyphrase/stoplist/lat.rb +14 -0
  37. data/lib/keyphrase/stoplist/lav.rb +171 -0
  38. data/lib/keyphrase/stoplist/lit.rb +484 -0
  39. data/lib/keyphrase/stoplist/mal.rb +11 -0
  40. data/lib/keyphrase/stoplist/mar.rb +109 -0
  41. data/lib/keyphrase/stoplist/mkd.rb +11 -0
  42. data/lib/keyphrase/stoplist/mya.rb +285 -0
  43. data/lib/keyphrase/stoplist/nep.rb +265 -0
  44. data/lib/keyphrase/stoplist/nld.rb +423 -0
  45. data/lib/keyphrase/stoplist/nob.rb +186 -0
  46. data/lib/keyphrase/stoplist/ori.rb +11 -0
  47. data/lib/keyphrase/stoplist/pan.rb +473 -0
  48. data/lib/keyphrase/stoplist/pes.rb +801 -0
  49. data/lib/keyphrase/stoplist/pol.rb +338 -0
  50. data/lib/keyphrase/stoplist/por.rb +570 -0
  51. data/lib/keyphrase/stoplist/ron.rb +444 -0
  52. data/lib/keyphrase/stoplist/rus.rb +569 -0
  53. data/lib/keyphrase/stoplist/sin.rb +10 -0
  54. data/lib/keyphrase/stoplist/slk.rb +428 -0
  55. data/lib/keyphrase/stoplist/slv.rb +456 -0
  56. data/lib/keyphrase/stoplist/sna.rb +11 -0
  57. data/lib/keyphrase/stoplist/spa.rb +731 -0
  58. data/lib/keyphrase/stoplist/srp.rb +11 -0
  59. data/lib/keyphrase/stoplist/swe.rb +428 -0
  60. data/lib/keyphrase/stoplist/tam.rb +135 -0
  61. data/lib/keyphrase/stoplist/tel.rb +10 -0
  62. data/lib/keyphrase/stoplist/tgl.rb +157 -0
  63. data/lib/keyphrase/stoplist/tha.rb +125 -0
  64. data/lib/keyphrase/stoplist/tuk.rb +11 -0
  65. data/lib/keyphrase/stoplist/tur.rb +514 -0
  66. data/lib/keyphrase/stoplist/ukr.rb +38 -0
  67. data/lib/keyphrase/stoplist/urd.rb +527 -0
  68. data/lib/keyphrase/stoplist/uzb.rb +10 -0
  69. data/lib/keyphrase/stoplist/vie.rb +655 -0
  70. data/lib/keyphrase/stoplist/yid.rb +204 -0
  71. data/lib/keyphrase/stoplist/zul.rb +39 -0
  72. data/lib/keyphrase/stoplist.rb +13 -10
  73. data/lib/keyphrase/version.rb +1 -1
  74. data/lib/keyphrase.rb +20 -12
  75. metadata +71 -3
@@ -0,0 +1,569 @@
1
+ class Keyphrase
2
+ module Stoplist
3
+ class Rus
4
+ def self.stopwords
5
+ @@stopwords ||= [
6
+ "c",
7
+ "а",
8
+ "алло",
9
+ "без",
10
+ "белый",
11
+ "близко",
12
+ "более",
13
+ "больше",
14
+ "большой",
15
+ "будем",
16
+ "будет",
17
+ "будете",
18
+ "будешь",
19
+ "будто",
20
+ "буду",
21
+ "будут",
22
+ "будь",
23
+ "бы",
24
+ "бывает",
25
+ "бывь",
26
+ "был",
27
+ "была",
28
+ "были",
29
+ "было",
30
+ "быть",
31
+ "в",
32
+ "важная",
33
+ "важное",
34
+ "важные",
35
+ "важный",
36
+ "вам",
37
+ "вами",
38
+ "вас",
39
+ "ваш",
40
+ "ваша",
41
+ "ваше",
42
+ "ваши",
43
+ "вверх",
44
+ "вдали",
45
+ "вдруг",
46
+ "ведь",
47
+ "везде",
48
+ "вернуться",
49
+ "весь",
50
+ "вечер",
51
+ "взгляд",
52
+ "взять",
53
+ "вид",
54
+ "видел",
55
+ "видеть",
56
+ "вместе",
57
+ "вне",
58
+ "вниз",
59
+ "внизу",
60
+ "во",
61
+ "вода",
62
+ "война",
63
+ "вокруг",
64
+ "вон",
65
+ "вообще",
66
+ "вопрос",
67
+ "восемнадцатый",
68
+ "восемнадцать",
69
+ "восемь",
70
+ "восьмой",
71
+ "вот",
72
+ "впрочем",
73
+ "времени",
74
+ "время",
75
+ "все",
76
+ "все еще",
77
+ "всегда",
78
+ "всего",
79
+ "всем",
80
+ "всеми",
81
+ "всему",
82
+ "всех",
83
+ "всею",
84
+ "всю",
85
+ "всюду",
86
+ "вся",
87
+ "всё",
88
+ "второй",
89
+ "вы",
90
+ "выйти",
91
+ "г",
92
+ "где",
93
+ "главный",
94
+ "глаз",
95
+ "говорил",
96
+ "говорит",
97
+ "говорить",
98
+ "год",
99
+ "года",
100
+ "году",
101
+ "голова",
102
+ "голос",
103
+ "город",
104
+ "да",
105
+ "давать",
106
+ "давно",
107
+ "даже",
108
+ "далекий",
109
+ "далеко",
110
+ "дальше",
111
+ "даром",
112
+ "дать",
113
+ "два",
114
+ "двадцатый",
115
+ "двадцать",
116
+ "две",
117
+ "двенадцатый",
118
+ "двенадцать",
119
+ "дверь",
120
+ "двух",
121
+ "девятнадцатый",
122
+ "девятнадцать",
123
+ "девятый",
124
+ "девять",
125
+ "действительно",
126
+ "дел",
127
+ "делал",
128
+ "делать",
129
+ "делаю",
130
+ "дело",
131
+ "день",
132
+ "деньги",
133
+ "десятый",
134
+ "десять",
135
+ "для",
136
+ "до",
137
+ "довольно",
138
+ "долго",
139
+ "должен",
140
+ "должно",
141
+ "должный",
142
+ "дом",
143
+ "дорога",
144
+ "друг",
145
+ "другая",
146
+ "другие",
147
+ "других",
148
+ "друго",
149
+ "другое",
150
+ "другой",
151
+ "думать",
152
+ "душа",
153
+ "е",
154
+ "его",
155
+ "ее",
156
+ "ей",
157
+ "ему",
158
+ "если",
159
+ "есть",
160
+ "еще",
161
+ "ещё",
162
+ "ею",
163
+ "её",
164
+ "ж",
165
+ "ждать",
166
+ "же",
167
+ "жена",
168
+ "женщина",
169
+ "жизнь",
170
+ "жить",
171
+ "за",
172
+ "занят",
173
+ "занята",
174
+ "занято",
175
+ "заняты",
176
+ "затем",
177
+ "зато",
178
+ "зачем",
179
+ "здесь",
180
+ "земля",
181
+ "знать",
182
+ "значит",
183
+ "значить",
184
+ "и",
185
+ "иди",
186
+ "идти",
187
+ "из",
188
+ "или",
189
+ "им",
190
+ "имеет",
191
+ "имел",
192
+ "именно",
193
+ "иметь",
194
+ "ими",
195
+ "имя",
196
+ "иногда",
197
+ "их",
198
+ "к",
199
+ "каждая",
200
+ "каждое",
201
+ "каждые",
202
+ "каждый",
203
+ "кажется",
204
+ "казаться",
205
+ "как",
206
+ "какая",
207
+ "какой",
208
+ "кем",
209
+ "книга",
210
+ "когда",
211
+ "кого",
212
+ "ком",
213
+ "комната",
214
+ "кому",
215
+ "конец",
216
+ "конечно",
217
+ "которая",
218
+ "которого",
219
+ "которой",
220
+ "которые",
221
+ "который",
222
+ "которых",
223
+ "кроме",
224
+ "кругом",
225
+ "кто",
226
+ "куда",
227
+ "лежать",
228
+ "лет",
229
+ "ли",
230
+ "лицо",
231
+ "лишь",
232
+ "лучше",
233
+ "любить",
234
+ "люди",
235
+ "м",
236
+ "маленький",
237
+ "мало",
238
+ "мать",
239
+ "машина",
240
+ "между",
241
+ "меля",
242
+ "менее",
243
+ "меньше",
244
+ "меня",
245
+ "место",
246
+ "миллионов",
247
+ "мимо",
248
+ "минута",
249
+ "мир",
250
+ "мира",
251
+ "мне",
252
+ "много",
253
+ "многочисленная",
254
+ "многочисленное",
255
+ "многочисленные",
256
+ "многочисленный",
257
+ "мной",
258
+ "мною",
259
+ "мог",
260
+ "могу",
261
+ "могут",
262
+ "мож",
263
+ "может",
264
+ "может быть",
265
+ "можно",
266
+ "можхо",
267
+ "мои",
268
+ "мой",
269
+ "мор",
270
+ "москва",
271
+ "мочь",
272
+ "моя",
273
+ "моё",
274
+ "мы",
275
+ "на",
276
+ "наверху",
277
+ "над",
278
+ "надо",
279
+ "назад",
280
+ "наиболее",
281
+ "найти",
282
+ "наконец",
283
+ "нам",
284
+ "нами",
285
+ "народ",
286
+ "нас",
287
+ "начала",
288
+ "начать",
289
+ "наш",
290
+ "наша",
291
+ "наше",
292
+ "наши",
293
+ "не",
294
+ "него",
295
+ "недавно",
296
+ "недалеко",
297
+ "нее",
298
+ "ней",
299
+ "некоторый",
300
+ "нельзя",
301
+ "нем",
302
+ "немного",
303
+ "нему",
304
+ "непрерывно",
305
+ "нередко",
306
+ "несколько",
307
+ "нет",
308
+ "нею",
309
+ "неё",
310
+ "ни",
311
+ "нибудь",
312
+ "ниже",
313
+ "низко",
314
+ "никакой",
315
+ "никогда",
316
+ "никто",
317
+ "никуда",
318
+ "ним",
319
+ "ними",
320
+ "них",
321
+ "ничего",
322
+ "ничто",
323
+ "но",
324
+ "новый",
325
+ "нога",
326
+ "ночь",
327
+ "ну",
328
+ "нужно",
329
+ "нужный",
330
+ "нх",
331
+ "о",
332
+ "об",
333
+ "оба",
334
+ "обычно",
335
+ "один",
336
+ "одиннадцатый",
337
+ "одиннадцать",
338
+ "однажды",
339
+ "однако",
340
+ "одного",
341
+ "одной",
342
+ "оказаться",
343
+ "окно",
344
+ "около",
345
+ "он",
346
+ "она",
347
+ "они",
348
+ "оно",
349
+ "опять",
350
+ "особенно",
351
+ "остаться",
352
+ "от",
353
+ "ответить",
354
+ "отец",
355
+ "откуда",
356
+ "отовсюду",
357
+ "отсюда",
358
+ "очень",
359
+ "первый",
360
+ "перед",
361
+ "писать",
362
+ "плечо",
363
+ "по",
364
+ "под",
365
+ "подойди",
366
+ "подумать",
367
+ "пожалуйста",
368
+ "позже",
369
+ "пойти",
370
+ "пока",
371
+ "пол",
372
+ "получить",
373
+ "помнить",
374
+ "понимать",
375
+ "понять",
376
+ "пор",
377
+ "пора",
378
+ "после",
379
+ "последний",
380
+ "посмотреть",
381
+ "посреди",
382
+ "потом",
383
+ "потому",
384
+ "почему",
385
+ "почти",
386
+ "правда",
387
+ "прекрасно",
388
+ "при",
389
+ "про",
390
+ "просто",
391
+ "против",
392
+ "процентов",
393
+ "путь",
394
+ "пятнадцатый",
395
+ "пятнадцать",
396
+ "пятый",
397
+ "пять",
398
+ "работа",
399
+ "работать",
400
+ "раз",
401
+ "разве",
402
+ "рано",
403
+ "раньше",
404
+ "ребенок",
405
+ "решить",
406
+ "россия",
407
+ "рука",
408
+ "русский",
409
+ "ряд",
410
+ "рядом",
411
+ "с",
412
+ "с кем",
413
+ "сам",
414
+ "сама",
415
+ "сами",
416
+ "самим",
417
+ "самими",
418
+ "самих",
419
+ "само",
420
+ "самого",
421
+ "самой",
422
+ "самом",
423
+ "самому",
424
+ "саму",
425
+ "самый",
426
+ "свет",
427
+ "свое",
428
+ "своего",
429
+ "своей",
430
+ "свои",
431
+ "своих",
432
+ "свой",
433
+ "свою",
434
+ "сделать",
435
+ "сеаой",
436
+ "себе",
437
+ "себя",
438
+ "сегодня",
439
+ "седьмой",
440
+ "сейчас",
441
+ "семнадцатый",
442
+ "семнадцать",
443
+ "семь",
444
+ "сидеть",
445
+ "сила",
446
+ "сих",
447
+ "сказал",
448
+ "сказала",
449
+ "сказать",
450
+ "сколько",
451
+ "слишком",
452
+ "слово",
453
+ "случай",
454
+ "смотреть",
455
+ "сначала",
456
+ "снова",
457
+ "со",
458
+ "собой",
459
+ "собою",
460
+ "советский",
461
+ "совсем",
462
+ "спасибо",
463
+ "спросить",
464
+ "сразу",
465
+ "стал",
466
+ "старый",
467
+ "стать",
468
+ "стол",
469
+ "сторона",
470
+ "стоять",
471
+ "страна",
472
+ "суть",
473
+ "считать",
474
+ "т",
475
+ "та",
476
+ "так",
477
+ "такая",
478
+ "также",
479
+ "таки",
480
+ "такие",
481
+ "такое",
482
+ "такой",
483
+ "там",
484
+ "твои",
485
+ "твой",
486
+ "твоя",
487
+ "твоё",
488
+ "те",
489
+ "тебе",
490
+ "тебя",
491
+ "тем",
492
+ "теми",
493
+ "теперь",
494
+ "тех",
495
+ "то",
496
+ "тобой",
497
+ "тобою",
498
+ "товарищ",
499
+ "тогда",
500
+ "того",
501
+ "тоже",
502
+ "только",
503
+ "том",
504
+ "тому",
505
+ "тот",
506
+ "тою",
507
+ "третий",
508
+ "три",
509
+ "тринадцатый",
510
+ "тринадцать",
511
+ "ту",
512
+ "туда",
513
+ "тут",
514
+ "ты",
515
+ "тысяч",
516
+ "у",
517
+ "увидеть",
518
+ "уж",
519
+ "уже",
520
+ "улица",
521
+ "уметь",
522
+ "утро",
523
+ "хороший",
524
+ "хорошо",
525
+ "хотел бы",
526
+ "хотеть",
527
+ "хоть",
528
+ "хотя",
529
+ "хочешь",
530
+ "час",
531
+ "часто",
532
+ "часть",
533
+ "чаще",
534
+ "чего",
535
+ "человек",
536
+ "чем",
537
+ "чему",
538
+ "через",
539
+ "четвертый",
540
+ "четыре",
541
+ "четырнадцатый",
542
+ "четырнадцать",
543
+ "что",
544
+ "чтоб",
545
+ "чтобы",
546
+ "чуть",
547
+ "шестнадцатый",
548
+ "шестнадцать",
549
+ "шестой",
550
+ "шесть",
551
+ "эта",
552
+ "эти",
553
+ "этим",
554
+ "этими",
555
+ "этих",
556
+ "это",
557
+ "этого",
558
+ "этой",
559
+ "этом",
560
+ "этому",
561
+ "этот",
562
+ "эту",
563
+ "я",
564
+ "являюсь",
565
+ ]
566
+ end
567
+ end
568
+ end
569
+ end
@@ -0,0 +1,10 @@
1
+ class Keyphrase
2
+ module Stoplist
3
+ class Sin
4
+ def self.stopwords
5
+ @@stopwords ||= [
6
+ ]
7
+ end
8
+ end
9
+ end
10
+ end