keyphrase 0.1.3 → 0.2.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (75) hide show
  1. checksums.yaml +4 -4
  2. data/README.md +5 -4
  3. data/lib/keyphrase/stoplist/afr.rb +14 -0
  4. data/lib/keyphrase/stoplist/aka.rb +10 -0
  5. data/lib/keyphrase/stoplist/amh.rb +10 -0
  6. data/lib/keyphrase/stoplist/ara.rb +490 -0
  7. data/lib/keyphrase/stoplist/aze.rb +175 -0
  8. data/lib/keyphrase/stoplist/bel.rb +11 -0
  9. data/lib/keyphrase/stoplist/ben.rb +408 -0
  10. data/lib/keyphrase/stoplist/bul.rb +528 -0
  11. data/lib/keyphrase/stoplist/cat.rb +711 -0
  12. data/lib/keyphrase/stoplist/ces.rb +560 -0
  13. data/lib/keyphrase/stoplist/cmn.rb +1119 -0
  14. data/lib/keyphrase/stoplist/dan.rb +25 -0
  15. data/lib/keyphrase/stoplist/deu.rb +631 -0
  16. data/lib/keyphrase/stoplist/ell.rb +275 -0
  17. data/lib/keyphrase/stoplist/eng.rb +2 -589
  18. data/lib/keyphrase/stoplist/epo.rb +183 -0
  19. data/lib/keyphrase/stoplist/est.rb +13 -0
  20. data/lib/keyphrase/stoplist/fin.rb +857 -0
  21. data/lib/keyphrase/stoplist/fra.rb +699 -0
  22. data/lib/keyphrase/stoplist/guj.rb +234 -0
  23. data/lib/keyphrase/stoplist/heb.rb +204 -0
  24. data/lib/keyphrase/stoplist/hin.rb +235 -0
  25. data/lib/keyphrase/stoplist/hrv.rb +25 -0
  26. data/lib/keyphrase/stoplist/hun.rb +1195 -0
  27. data/lib/keyphrase/stoplist/hye.rb +55 -0
  28. data/lib/keyphrase/stoplist/ind.rb +768 -0
  29. data/lib/keyphrase/stoplist/ita.rb +670 -0
  30. data/lib/keyphrase/stoplist/jav.rb +10 -0
  31. data/lib/keyphrase/stoplist/jpn.rb +144 -0
  32. data/lib/keyphrase/stoplist/kan.rb +92 -0
  33. data/lib/keyphrase/stoplist/kat.rb +383 -0
  34. data/lib/keyphrase/stoplist/khm.rb +245 -0
  35. data/lib/keyphrase/stoplist/kor.rb +610 -0
  36. data/lib/keyphrase/stoplist/lat.rb +14 -0
  37. data/lib/keyphrase/stoplist/lav.rb +171 -0
  38. data/lib/keyphrase/stoplist/lit.rb +484 -0
  39. data/lib/keyphrase/stoplist/mal.rb +11 -0
  40. data/lib/keyphrase/stoplist/mar.rb +109 -0
  41. data/lib/keyphrase/stoplist/mkd.rb +11 -0
  42. data/lib/keyphrase/stoplist/mya.rb +285 -0
  43. data/lib/keyphrase/stoplist/nep.rb +265 -0
  44. data/lib/keyphrase/stoplist/nld.rb +423 -0
  45. data/lib/keyphrase/stoplist/nob.rb +186 -0
  46. data/lib/keyphrase/stoplist/ori.rb +11 -0
  47. data/lib/keyphrase/stoplist/pan.rb +473 -0
  48. data/lib/keyphrase/stoplist/pes.rb +801 -0
  49. data/lib/keyphrase/stoplist/pol.rb +338 -0
  50. data/lib/keyphrase/stoplist/por.rb +570 -0
  51. data/lib/keyphrase/stoplist/ron.rb +444 -0
  52. data/lib/keyphrase/stoplist/rus.rb +569 -0
  53. data/lib/keyphrase/stoplist/sin.rb +10 -0
  54. data/lib/keyphrase/stoplist/slk.rb +428 -0
  55. data/lib/keyphrase/stoplist/slv.rb +456 -0
  56. data/lib/keyphrase/stoplist/sna.rb +11 -0
  57. data/lib/keyphrase/stoplist/spa.rb +731 -0
  58. data/lib/keyphrase/stoplist/srp.rb +11 -0
  59. data/lib/keyphrase/stoplist/swe.rb +428 -0
  60. data/lib/keyphrase/stoplist/tam.rb +135 -0
  61. data/lib/keyphrase/stoplist/tel.rb +10 -0
  62. data/lib/keyphrase/stoplist/tgl.rb +157 -0
  63. data/lib/keyphrase/stoplist/tha.rb +125 -0
  64. data/lib/keyphrase/stoplist/tuk.rb +11 -0
  65. data/lib/keyphrase/stoplist/tur.rb +514 -0
  66. data/lib/keyphrase/stoplist/ukr.rb +38 -0
  67. data/lib/keyphrase/stoplist/urd.rb +527 -0
  68. data/lib/keyphrase/stoplist/uzb.rb +10 -0
  69. data/lib/keyphrase/stoplist/vie.rb +655 -0
  70. data/lib/keyphrase/stoplist/yid.rb +204 -0
  71. data/lib/keyphrase/stoplist/zul.rb +39 -0
  72. data/lib/keyphrase/stoplist.rb +13 -10
  73. data/lib/keyphrase/version.rb +1 -1
  74. data/lib/keyphrase.rb +20 -12
  75. metadata +71 -3
data/lib/keyphrase/stoplist/urd.rb ADDED
@@ -0,0 +1,527 @@
1
+ class Keyphrase
2
+ module Stoplist
3
+ class Urd
4
+ def self.stopwords
5
+ @@stopwords ||= [
6
+ "آئی",
7
+ "آئے",
8
+ "آج",
9
+ "آخر",
10
+ "آخرکبر",
11
+ "آدهی",
12
+ "آًب",
13
+ "آٹھ",
14
+ "آیب",
15
+ "اة",
16
+ "اخبزت",
17
+ "اختتبم",
18
+ "ادھر",
19
+ "ارد",
20
+ "اردگرد",
21
+ "ارکبى",
22
+ "اش",
23
+ "اضتعوبل",
24
+ "اضتعوبلات",
25
+ "اضطرذ",
26
+ "اضکب",
27
+ "اضکی",
28
+ "اضکے",
29
+ "اطراف",
30
+ "اغیب",
31
+ "افراد",
32
+ "الگ",
33
+ "اور",
34
+ "اوًچب",
35
+ "اوًچبئی",
36
+ "اوًچی",
37
+ "اوًچے",
38
+ "اى",
39
+ "اً",
40
+ "اًذر",
41
+ "اًہیں",
42
+ "اٹھبًب",
43
+ "اپٌب",
44
+ "اپٌے",
45
+ "اچھب",
46
+ "اچھی",
47
+ "اچھے",
48
+ "اکثر",
49
+ "اکٹھب",
50
+ "اکٹھی",
51
+ "اکٹھے",
52
+ "اکیلا",
53
+ "اکیلی",
54
+ "اکیلے",
55
+ "اگرچہ",
56
+ "اہن",
57
+ "ایطے",
58
+ "ایک",
59
+ "ب",
60
+ "ت",
61
+ "تبزٍ",
62
+ "تت",
63
+ "تر",
64
+ "ترتیت",
65
+ "تریي",
66
+ "تعذاد",
67
+ "تن",
68
+ "تو",
69
+ "توبم",
70
+ "توہی",
71
+ "توہیں",
72
+ "تٌہب",
73
+ "تک",
74
+ "تھب",
75
+ "تھوڑا",
76
+ "تھوڑی",
77
+ "تھوڑے",
78
+ "تھی",
79
+ "تھے",
80
+ "تیي",
81
+ "ثب",
82
+ "ثبئیں",
83
+ "ثبترتیت",
84
+ "ثبری",
85
+ "ثبرے",
86
+ "ثبعث",
87
+ "ثبلا",
88
+ "ثبلترتیت",
89
+ "ثبہر",
90
+ "ثدبئے",
91
+ "ثرآں",
92
+ "ثراں",
93
+ "ثرش",
94
+ "ثعذ",
95
+ "ثغیر",
96
+ "ثلٌذ",
97
+ "ثلٌذوثبلا",
98
+ "ثلکہ",
99
+ "ثي",
100
+ "ثٌب",
101
+ "ثٌبرہب",
102
+ "ثٌبرہی",
103
+ "ثٌبرہے",
104
+ "ثٌبًب",
105
+ "ثٌذ",
106
+ "ثٌذکرو",
107
+ "ثٌذکرًب",
108
+ "ثٌذی",
109
+ "ثڑا",
110
+ "ثڑوں",
111
+ "ثڑی",
112
+ "ثڑے",
113
+ "ثھر",
114
+ "ثھرا",
115
+ "ثھراہوا",
116
+ "ثھرپور",
117
+ "ثھی",
118
+ "ثہت",
119
+ "ثہتر",
120
+ "ثہتری",
121
+ "ثہتریي",
122
+ "ثیچ",
123
+ "ج",
124
+ "خب",
125
+ "خبرہب",
126
+ "خبرہی",
127
+ "خبرہے",
128
+ "خبهوظ",
129
+ "خبًب",
130
+ "خبًتب",
131
+ "خبًتی",
132
+ "خبًتے",
133
+ "خبًٌب",
134
+ "خت",
135
+ "ختن",
136
+ "خجکہ",
137
+ "خص",
138
+ "خططرذ",
139
+ "خلذی",
140
+ "خو",
141
+ "خواى",
142
+ "خوًہی",
143
+ "خوکہ",
144
+ "خٌبة",
145
+ "خگہ",
146
+ "خگہوں",
147
+ "خگہیں",
148
+ "خیطب",
149
+ "خیطبکہ",
150
+ "در",
151
+ "درخبت",
152
+ "درخہ",
153
+ "درخے",
154
+ "درزقیقت",
155
+ "درضت",
156
+ "دش",
157
+ "دفعہ",
158
+ "دلچطپ",
159
+ "دلچطپی",
160
+ "دلچطپیبں",
161
+ "دو",
162
+ "دور",
163
+ "دوراى",
164
+ "دوضرا",
165
+ "دوضروں",
166
+ "دوضری",
167
+ "دوضرے",
168
+ "دوًوں",
169
+ "دکھبئیں",
170
+ "دکھبتب",
171
+ "دکھبتی",
172
+ "دکھبتے",
173
+ "دکھبو",
174
+ "دکھبًب",
175
+ "دکھبیب",
176
+ "دی",
177
+ "دیب",
178
+ "دیتب",
179
+ "دیتی",
180
+ "دیتے",
181
+ "دیر",
182
+ "دیٌب",
183
+ "دیکھو",
184
+ "دیکھٌب",
185
+ "دیکھی",
186
+ "دیکھیں",
187
+ "دے",
188
+ "ر",
189
+ "راضتوں",
190
+ "راضتہ",
191
+ "راضتے",
192
+ "رریعہ",
193
+ "رریعے",
194
+ "رکي",
195
+ "رکھ",
196
+ "رکھب",
197
+ "رکھتب",
198
+ "رکھتبہوں",
199
+ "رکھتی",
200
+ "رکھتے",
201
+ "رکھی",
202
+ "رکھے",
203
+ "رہب",
204
+ "رہی",
205
+ "رہے",
206
+ "ز",
207
+ "زبصل",
208
+ "زبضر",
209
+ "زبل",
210
+ "زبلات",
211
+ "زبلیہ",
212
+ "زصوں",
213
+ "زصہ",
214
+ "زصے",
215
+ "زقبئق",
216
+ "زقیتیں",
217
+ "زقیقت",
218
+ "زکن",
219
+ "زکویہ",
220
+ "زیبدٍ",
221
+ "صبف",
222
+ "صسیر",
223
+ "صفر",
224
+ "صورت",
225
+ "صورتسبل",
226
+ "صورتوں",
227
+ "صورتیں",
228
+ "ض",
229
+ "ضبت",
230
+ "ضبتھ",
231
+ "ضبدٍ",
232
+ "ضبرا",
233
+ "ضبرے",
234
+ "ضبل",
235
+ "ضبلوں",
236
+ "ضت",
237
+ "ضرور",
238
+ "ضرورت",
239
+ "ضروری",
240
+ "ضلطلہ",
241
+ "ضوچ",
242
+ "ضوچب",
243
+ "ضوچتب",
244
+ "ضوچتی",
245
+ "ضوچتے",
246
+ "ضوچو",
247
+ "ضوچٌب",
248
+ "ضوچی",
249
+ "ضوچیں",
250
+ "ضکب",
251
+ "ضکتب",
252
+ "ضکتی",
253
+ "ضکتے",
254
+ "ضکٌب",
255
+ "ضکی",
256
+ "ضکے",
257
+ "ضیذھب",
258
+ "ضیذھی",
259
+ "ضیذھے",
260
+ "ضیکٌڈ",
261
+ "ضے",
262
+ "طرف",
263
+ "طریق",
264
+ "طریقوں",
265
+ "طریقہ",
266
+ "طریقے",
267
+ "طور",
268
+ "طورپر",
269
+ "ظبہر",
270
+ "ع",
271
+ "عذد",
272
+ "عظین",
273
+ "علاقوں",
274
+ "علاقہ",
275
+ "علاقے",
276
+ "علاوٍ",
277
+ "عووهی",
278
+ "غبیذ",
279
+ "غخص",
280
+ "غذ",
281
+ "غروع",
282
+ "غروعبت",
283
+ "غے",
284
+ "فرد",
285
+ "فی",
286
+ "ق",
287
+ "قجل",
288
+ "قجیلہ",
289
+ "قطن",
290
+ "لئے",
291
+ "لا",
292
+ "لازهی",
293
+ "لو",
294
+ "لوجب",
295
+ "لوجی",
296
+ "لوجے",
297
+ "لوسبت",
298
+ "لوسہ",
299
+ "لوگ",
300
+ "لوگوں",
301
+ "لڑکپي",
302
+ "لگتب",
303
+ "لگتی",
304
+ "لگتے",
305
+ "لگٌب",
306
+ "لگی",
307
+ "لگیں",
308
+ "لگے",
309
+ "لی",
310
+ "لیب",
311
+ "لیٌب",
312
+ "لیں",
313
+ "لے",
314
+ "ه",
315
+ "هتعلق",
316
+ "هختلف",
317
+ "هسترم",
318
+ "هسترهہ",
319
+ "هسطوش",
320
+ "هسیذ",
321
+ "هطئلہ",
322
+ "هطئلے",
323
+ "هطبئل",
324
+ "هطتعول",
325
+ "هطلق",
326
+ "هعلوم",
327
+ "هػتول",
328
+ "هلا",
329
+ "هوکي",
330
+ "هوکٌبت",
331
+ "هوکٌہ",
332
+ "هٌبضت",
333
+ "هڑا",
334
+ "هڑًب",
335
+ "هڑے",
336
+ "هکول",
337
+ "هگر",
338
+ "هہرثبى",
339
+ "هیرا",
340
+ "هیری",
341
+ "هیرے",
342
+ "هیں",
343
+ "و",
344
+ "وار",
345
+ "والے",
346
+ "وٍ",
347
+ "ًئی",
348
+ "ًئے",
349
+ "ًب",
350
+ "ًبپطٌذ",
351
+ "ًبگسیر",
352
+ "ًطجت",
353
+ "ًقطہ",
354
+ "ًو",
355
+ "ًوخواى",
356
+ "ًکبلٌب",
357
+ "ًکتہ",
358
+ "ًہ",
359
+ "ًہیں",
360
+ "ًیب",
361
+ "ًے",
362
+ "ٓ آش",
363
+ "ٹھیک",
364
+ "پبئے",
365
+ "پبش",
366
+ "پبًب",
367
+ "پبًچ",
368
+ "پر",
369
+ "پراًب",
370
+ "پطٌذ",
371
+ "پل",
372
+ "پورا",
373
+ "پوچھب",
374
+ "پوچھتب",
375
+ "پوچھتی",
376
+ "پوچھتے",
377
+ "پوچھو",
378
+ "پوچھوں",
379
+ "پوچھٌب",
380
+ "پوچھیں",
381
+ "پچھلا",
382
+ "پھر",
383
+ "پہلا",
384
+ "پہلی",
385
+ "پہلےضی",
386
+ "پہلےضے",
387
+ "پہلےضےہی",
388
+ "پیع",
389
+ "چبر",
390
+ "چبہب",
391
+ "چبہٌب",
392
+ "چبہے",
393
+ "چلا",
394
+ "چلو",
395
+ "چلیں",
396
+ "چلے",
397
+ "چکب",
398
+ "چکی",
399
+ "چکیں",
400
+ "چکے",
401
+ "چھوٹب",
402
+ "چھوٹوں",
403
+ "چھوٹی",
404
+ "چھوٹے",
405
+ "چھہ",
406
+ "چیسیں",
407
+ "ڈھوًڈا",
408
+ "ڈھوًڈلیب",
409
+ "ڈھوًڈو",
410
+ "ڈھوًڈًب",
411
+ "ڈھوًڈی",
412
+ "ڈھوًڈیں",
413
+ "ک",
414
+ "کئی",
415
+ "کئے",
416
+ "کب",
417
+ "کبفی",
418
+ "کبم",
419
+ "کت",
420
+ "کجھی",
421
+ "کرا",
422
+ "کرتب",
423
+ "کرتبہوں",
424
+ "کرتی",
425
+ "کرتے",
426
+ "کرتےہو",
427
+ "کررہب",
428
+ "کررہی",
429
+ "کررہے",
430
+ "کرو",
431
+ "کرًب",
432
+ "کریں",
433
+ "کرے",
434
+ "کطی",
435
+ "کل",
436
+ "کن",
437
+ "کوئی",
438
+ "کوتر",
439
+ "کورا",
440
+ "کوروں",
441
+ "کورٍ",
442
+ "کورے",
443
+ "کوطي",
444
+ "کوى",
445
+ "کوًطب",
446
+ "کوًطی",
447
+ "کوًطے",
448
+ "کھولا",
449
+ "کھولو",
450
+ "کھولٌب",
451
+ "کھولی",
452
+ "کھولیں",
453
+ "کھولے",
454
+ "کہ",
455
+ "کہب",
456
+ "کہتب",
457
+ "کہتی",
458
+ "کہتے",
459
+ "کہو",
460
+ "کہوں",
461
+ "کہٌب",
462
+ "کہی",
463
+ "کہیں",
464
+ "کہے",
465
+ "کی",
466
+ "کیب",
467
+ "کیطب",
468
+ "کیطرف",
469
+ "کیطے",
470
+ "کیلئے",
471
+ "کیوًکہ",
472
+ "کیوں",
473
+ "کیے",
474
+ "کے",
475
+ "کےثعذ",
476
+ "کےرریعے",
477
+ "گئی",
478
+ "گئے",
479
+ "گب",
480
+ "گرد",
481
+ "گروٍ",
482
+ "گروپ",
483
+ "گروہوں",
484
+ "گٌتی",
485
+ "گی",
486
+ "گیب",
487
+ "گے",
488
+ "ہر",
489
+ "ہن",
490
+ "ہو",
491
+ "ہوئی",
492
+ "ہوئے",
493
+ "ہوا",
494
+ "ہوبرا",
495
+ "ہوبری",
496
+ "ہوبرے",
497
+ "ہوتب",
498
+ "ہوتی",
499
+ "ہوتے",
500
+ "ہورہب",
501
+ "ہورہی",
502
+ "ہورہے",
503
+ "ہوضکتب",
504
+ "ہوضکتی",
505
+ "ہوضکتے",
506
+ "ہوًب",
507
+ "ہوًی",
508
+ "ہوًے",
509
+ "ہوچکب",
510
+ "ہوچکی",
511
+ "ہوچکے",
512
+ "ہوگئی",
513
+ "ہوگئے",
514
+ "ہوگیب",
515
+ "ہوں",
516
+ "ہی",
517
+ "ہیں",
518
+ "ہے",
519
+ "ی",
520
+ "یقیٌی",
521
+ "یہ",
522
+ "یہبں",
523
+ ]
524
+ end
525
+ end
526
+ end
527
+ end
data/lib/keyphrase/stoplist/uzb.rb ADDED
@@ -0,0 +1,10 @@
1
+ class Keyphrase
2
+ module Stoplist
3
+ class Uzb
4
+ def self.stopwords
5
+ @@stopwords ||= [
6
+ ]
7
+ end
8
+ end
9
+ end
10
+ end