keyphrase 0.1.3 → 0.2.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (75) hide show
  1. checksums.yaml +4 -4
  2. data/README.md +5 -4
  3. data/lib/keyphrase/stoplist/afr.rb +14 -0
  4. data/lib/keyphrase/stoplist/aka.rb +10 -0
  5. data/lib/keyphrase/stoplist/amh.rb +10 -0
  6. data/lib/keyphrase/stoplist/ara.rb +490 -0
  7. data/lib/keyphrase/stoplist/aze.rb +175 -0
  8. data/lib/keyphrase/stoplist/bel.rb +11 -0
  9. data/lib/keyphrase/stoplist/ben.rb +408 -0
  10. data/lib/keyphrase/stoplist/bul.rb +528 -0
  11. data/lib/keyphrase/stoplist/cat.rb +711 -0
  12. data/lib/keyphrase/stoplist/ces.rb +560 -0
  13. data/lib/keyphrase/stoplist/cmn.rb +1119 -0
  14. data/lib/keyphrase/stoplist/dan.rb +25 -0
  15. data/lib/keyphrase/stoplist/deu.rb +631 -0
  16. data/lib/keyphrase/stoplist/ell.rb +275 -0
  17. data/lib/keyphrase/stoplist/eng.rb +2 -589
  18. data/lib/keyphrase/stoplist/epo.rb +183 -0
  19. data/lib/keyphrase/stoplist/est.rb +13 -0
  20. data/lib/keyphrase/stoplist/fin.rb +857 -0
  21. data/lib/keyphrase/stoplist/fra.rb +699 -0
  22. data/lib/keyphrase/stoplist/guj.rb +234 -0
  23. data/lib/keyphrase/stoplist/heb.rb +204 -0
  24. data/lib/keyphrase/stoplist/hin.rb +235 -0
  25. data/lib/keyphrase/stoplist/hrv.rb +25 -0
  26. data/lib/keyphrase/stoplist/hun.rb +1195 -0
  27. data/lib/keyphrase/stoplist/hye.rb +55 -0
  28. data/lib/keyphrase/stoplist/ind.rb +768 -0
  29. data/lib/keyphrase/stoplist/ita.rb +670 -0
  30. data/lib/keyphrase/stoplist/jav.rb +10 -0
  31. data/lib/keyphrase/stoplist/jpn.rb +144 -0
  32. data/lib/keyphrase/stoplist/kan.rb +92 -0
  33. data/lib/keyphrase/stoplist/kat.rb +383 -0
  34. data/lib/keyphrase/stoplist/khm.rb +245 -0
  35. data/lib/keyphrase/stoplist/kor.rb +610 -0
  36. data/lib/keyphrase/stoplist/lat.rb +14 -0
  37. data/lib/keyphrase/stoplist/lav.rb +171 -0
  38. data/lib/keyphrase/stoplist/lit.rb +484 -0
  39. data/lib/keyphrase/stoplist/mal.rb +11 -0
  40. data/lib/keyphrase/stoplist/mar.rb +109 -0
  41. data/lib/keyphrase/stoplist/mkd.rb +11 -0
  42. data/lib/keyphrase/stoplist/mya.rb +285 -0
  43. data/lib/keyphrase/stoplist/nep.rb +265 -0
  44. data/lib/keyphrase/stoplist/nld.rb +423 -0
  45. data/lib/keyphrase/stoplist/nob.rb +186 -0
  46. data/lib/keyphrase/stoplist/ori.rb +11 -0
  47. data/lib/keyphrase/stoplist/pan.rb +473 -0
  48. data/lib/keyphrase/stoplist/pes.rb +801 -0
  49. data/lib/keyphrase/stoplist/pol.rb +338 -0
  50. data/lib/keyphrase/stoplist/por.rb +570 -0
  51. data/lib/keyphrase/stoplist/ron.rb +444 -0
  52. data/lib/keyphrase/stoplist/rus.rb +569 -0
  53. data/lib/keyphrase/stoplist/sin.rb +10 -0
  54. data/lib/keyphrase/stoplist/slk.rb +428 -0
  55. data/lib/keyphrase/stoplist/slv.rb +456 -0
  56. data/lib/keyphrase/stoplist/sna.rb +11 -0
  57. data/lib/keyphrase/stoplist/spa.rb +731 -0
  58. data/lib/keyphrase/stoplist/srp.rb +11 -0
  59. data/lib/keyphrase/stoplist/swe.rb +428 -0
  60. data/lib/keyphrase/stoplist/tam.rb +135 -0
  61. data/lib/keyphrase/stoplist/tel.rb +10 -0
  62. data/lib/keyphrase/stoplist/tgl.rb +157 -0
  63. data/lib/keyphrase/stoplist/tha.rb +125 -0
  64. data/lib/keyphrase/stoplist/tuk.rb +11 -0
  65. data/lib/keyphrase/stoplist/tur.rb +514 -0
  66. data/lib/keyphrase/stoplist/ukr.rb +38 -0
  67. data/lib/keyphrase/stoplist/urd.rb +527 -0
  68. data/lib/keyphrase/stoplist/uzb.rb +10 -0
  69. data/lib/keyphrase/stoplist/vie.rb +655 -0
  70. data/lib/keyphrase/stoplist/yid.rb +204 -0
  71. data/lib/keyphrase/stoplist/zul.rb +39 -0
  72. data/lib/keyphrase/stoplist.rb +13 -10
  73. data/lib/keyphrase/version.rb +1 -1
  74. data/lib/keyphrase.rb +20 -12
  75. metadata +71 -3
@@ -0,0 +1,11 @@
1
+ class Keyphrase
2
+ module Stoplist
3
+ class Srp
4
+ def self.stopwords
5
+ @@stopwords ||= [
6
+
7
+ ]
8
+ end
9
+ end
10
+ end
11
+ end
@@ -0,0 +1,428 @@
1
+ class Keyphrase
2
+ module Stoplist
3
+ class Swe
4
+ def self.stopwords
5
+ @@stopwords ||= [
6
+ "aderton",
7
+ "adertonde",
8
+ "adjö",
9
+ "aldrig",
10
+ "alla",
11
+ "allas",
12
+ "allt",
13
+ "alltid",
14
+ "alltså",
15
+ "andra",
16
+ "andras",
17
+ "annan",
18
+ "annat",
19
+ "artonde",
20
+ "artonn",
21
+ "att",
22
+ "av",
23
+ "bakom",
24
+ "bara",
25
+ "behöva",
26
+ "behövas",
27
+ "behövde",
28
+ "behövt",
29
+ "beslut",
30
+ "beslutat",
31
+ "beslutit",
32
+ "bland",
33
+ "blev",
34
+ "bli",
35
+ "blir",
36
+ "blivit",
37
+ "bort",
38
+ "borta",
39
+ "bra",
40
+ "bäst",
41
+ "bättre",
42
+ "båda",
43
+ "bådas",
44
+ "dag",
45
+ "dagar",
46
+ "dagarna",
47
+ "dagen",
48
+ "de",
49
+ "del",
50
+ "delen",
51
+ "dem",
52
+ "den",
53
+ "denna",
54
+ "deras",
55
+ "dess",
56
+ "dessa",
57
+ "det",
58
+ "detta",
59
+ "dig",
60
+ "din",
61
+ "dina",
62
+ "dit",
63
+ "ditt",
64
+ "dock",
65
+ "dom",
66
+ "du",
67
+ "där",
68
+ "därför",
69
+ "då",
70
+ "e",
71
+ "efter",
72
+ "eftersom",
73
+ "ej",
74
+ "elfte",
75
+ "eller",
76
+ "elva",
77
+ "emot",
78
+ "en",
79
+ "enkel",
80
+ "enkelt",
81
+ "enkla",
82
+ "enligt",
83
+ "ens",
84
+ "er",
85
+ "era",
86
+ "ers",
87
+ "ert",
88
+ "ett",
89
+ "ettusen",
90
+ "fanns",
91
+ "fem",
92
+ "femte",
93
+ "femtio",
94
+ "femtionde",
95
+ "femton",
96
+ "femtonde",
97
+ "fick",
98
+ "fin",
99
+ "finnas",
100
+ "finns",
101
+ "fjorton",
102
+ "fjortonde",
103
+ "fjärde",
104
+ "fler",
105
+ "flera",
106
+ "flesta",
107
+ "fram",
108
+ "framför",
109
+ "från",
110
+ "fyra",
111
+ "fyrtio",
112
+ "fyrtionde",
113
+ "få",
114
+ "får",
115
+ "fått",
116
+ "följande",
117
+ "för",
118
+ "före",
119
+ "förlåt",
120
+ "förra",
121
+ "första",
122
+ "genast",
123
+ "genom",
124
+ "gick",
125
+ "gjorde",
126
+ "gjort",
127
+ "god",
128
+ "goda",
129
+ "godare",
130
+ "godast",
131
+ "gott",
132
+ "gälla",
133
+ "gäller",
134
+ "gällt",
135
+ "gärna",
136
+ "gå",
137
+ "går",
138
+ "gått",
139
+ "gör",
140
+ "göra",
141
+ "ha",
142
+ "hade",
143
+ "haft",
144
+ "han",
145
+ "hans",
146
+ "har",
147
+ "heller",
148
+ "hellre",
149
+ "helst",
150
+ "helt",
151
+ "henne",
152
+ "hennes",
153
+ "hit",
154
+ "hon",
155
+ "honom",
156
+ "hundra",
157
+ "hundraen",
158
+ "hundraett",
159
+ "hur",
160
+ "här",
161
+ "hög",
162
+ "höger",
163
+ "högre",
164
+ "högst",
165
+ "i",
166
+ "ibland",
167
+ "icke",
168
+ "idag",
169
+ "igen",
170
+ "igår",
171
+ "imorgon",
172
+ "in",
173
+ "inför",
174
+ "inga",
175
+ "ingen",
176
+ "ingenting",
177
+ "inget",
178
+ "innan",
179
+ "inne",
180
+ "inom",
181
+ "inte",
182
+ "inuti",
183
+ "ja",
184
+ "jag",
185
+ "jo",
186
+ "ju",
187
+ "just",
188
+ "jämfört",
189
+ "kan",
190
+ "kanske",
191
+ "knappast",
192
+ "kom",
193
+ "komma",
194
+ "kommer",
195
+ "kommit",
196
+ "kr",
197
+ "kunde",
198
+ "kunna",
199
+ "kunnat",
200
+ "kvar",
201
+ "legat",
202
+ "ligga",
203
+ "ligger",
204
+ "lika",
205
+ "likställd",
206
+ "likställda",
207
+ "lilla",
208
+ "lite",
209
+ "liten",
210
+ "litet",
211
+ "länge",
212
+ "längre",
213
+ "längst",
214
+ "lätt",
215
+ "lättare",
216
+ "lättast",
217
+ "långsam",
218
+ "långsammare",
219
+ "långsammast",
220
+ "långsamt",
221
+ "långt",
222
+ "låt",
223
+ "man",
224
+ "med",
225
+ "mej",
226
+ "mellan",
227
+ "men",
228
+ "mer",
229
+ "mera",
230
+ "mest",
231
+ "mig",
232
+ "min",
233
+ "mina",
234
+ "mindre",
235
+ "minst",
236
+ "mitt",
237
+ "mittemot",
238
+ "mot",
239
+ "mycket",
240
+ "många",
241
+ "måste",
242
+ "möjlig",
243
+ "möjligen",
244
+ "möjligt",
245
+ "möjligtvis",
246
+ "ned",
247
+ "nederst",
248
+ "nedersta",
249
+ "nedre",
250
+ "nej",
251
+ "ner",
252
+ "ni",
253
+ "nio",
254
+ "nionde",
255
+ "nittio",
256
+ "nittionde",
257
+ "nitton",
258
+ "nittonde",
259
+ "nog",
260
+ "noll",
261
+ "nr",
262
+ "nu",
263
+ "nummer",
264
+ "när",
265
+ "nästa",
266
+ "någon",
267
+ "någonting",
268
+ "något",
269
+ "några",
270
+ "nån",
271
+ "nånting",
272
+ "nåt",
273
+ "nödvändig",
274
+ "nödvändiga",
275
+ "nödvändigt",
276
+ "nödvändigtvis",
277
+ "och",
278
+ "också",
279
+ "ofta",
280
+ "oftast",
281
+ "olika",
282
+ "olikt",
283
+ "om",
284
+ "oss",
285
+ "på",
286
+ "rakt",
287
+ "redan",
288
+ "rätt",
289
+ "sa",
290
+ "sade",
291
+ "sagt",
292
+ "samma",
293
+ "sedan",
294
+ "senare",
295
+ "senast",
296
+ "sent",
297
+ "sex",
298
+ "sextio",
299
+ "sextionde",
300
+ "sexton",
301
+ "sextonde",
302
+ "sig",
303
+ "sin",
304
+ "sina",
305
+ "sist",
306
+ "sista",
307
+ "siste",
308
+ "sitt",
309
+ "sitta",
310
+ "sju",
311
+ "sjunde",
312
+ "sjuttio",
313
+ "sjuttionde",
314
+ "sjutton",
315
+ "sjuttonde",
316
+ "själv",
317
+ "sjätte",
318
+ "ska",
319
+ "skall",
320
+ "skulle",
321
+ "slutligen",
322
+ "små",
323
+ "smått",
324
+ "snart",
325
+ "som",
326
+ "stor",
327
+ "stora",
328
+ "stort",
329
+ "större",
330
+ "störst",
331
+ "säga",
332
+ "säger",
333
+ "sämre",
334
+ "sämst",
335
+ "så",
336
+ "sådan",
337
+ "sådana",
338
+ "sådant",
339
+ "ta",
340
+ "tack",
341
+ "tar",
342
+ "tidig",
343
+ "tidigare",
344
+ "tidigast",
345
+ "tidigt",
346
+ "till",
347
+ "tills",
348
+ "tillsammans",
349
+ "tio",
350
+ "tionde",
351
+ "tjugo",
352
+ "tjugoen",
353
+ "tjugoett",
354
+ "tjugonde",
355
+ "tjugotre",
356
+ "tjugotvå",
357
+ "tjungo",
358
+ "tolfte",
359
+ "tolv",
360
+ "tre",
361
+ "tredje",
362
+ "trettio",
363
+ "trettionde",
364
+ "tretton",
365
+ "trettonde",
366
+ "två",
367
+ "tvåhundra",
368
+ "under",
369
+ "upp",
370
+ "ur",
371
+ "ursäkt",
372
+ "ut",
373
+ "utan",
374
+ "utanför",
375
+ "ute",
376
+ "va",
377
+ "vad",
378
+ "var",
379
+ "vara",
380
+ "varför",
381
+ "varifrån",
382
+ "varit",
383
+ "varje",
384
+ "varken",
385
+ "vars",
386
+ "varsågod",
387
+ "vart",
388
+ "vem",
389
+ "vems",
390
+ "verkligen",
391
+ "vi",
392
+ "vid",
393
+ "vidare",
394
+ "viktig",
395
+ "viktigare",
396
+ "viktigast",
397
+ "viktigt",
398
+ "vilka",
399
+ "vilkas",
400
+ "vilken",
401
+ "vilket",
402
+ "vill",
403
+ "väl",
404
+ "vänster",
405
+ "vänstra",
406
+ "värre",
407
+ "vår",
408
+ "våra",
409
+ "vårt",
410
+ "än",
411
+ "ännu",
412
+ "är",
413
+ "även",
414
+ "åt",
415
+ "åtminstone",
416
+ "åtta",
417
+ "åttio",
418
+ "åttionde",
419
+ "åttonde",
420
+ "över",
421
+ "övermorgon",
422
+ "överst",
423
+ "övre",
424
+ ]
425
+ end
426
+ end
427
+ end
428
+ end
@@ -0,0 +1,135 @@
1
+ class Keyphrase
2
+ module Stoplist
3
+ class Tam
4
+ def self.stopwords
5
+ @@stopwords ||= [
6
+ "ஒரு",
7
+ "என்று",
8
+ "மற்றும்",
9
+ "இந்த",
10
+ "இது",
11
+ "என்ற",
12
+ "கொண்டு",
13
+ "என்பது",
14
+ "பல",
15
+ "ஆகும்",
16
+ "அல்லது",
17
+ "அவர்",
18
+ "நான்",
19
+ "உள்ள",
20
+ "அந்த",
21
+ "இவர்",
22
+ "என",
23
+ "முதல்",
24
+ "என்ன",
25
+ "இருந்து",
26
+ "சில",
27
+ "என்",
28
+ "போன்ற",
29
+ "வேண்டும்",
30
+ "வந்து",
31
+ "இதன்",
32
+ "அது",
33
+ "அவன்",
34
+ "தான்",
35
+ "பலரும்",
36
+ "என்னும்",
37
+ "மேலும்",
38
+ "பின்னர்",
39
+ "கொண்ட",
40
+ "இருக்கும்",
41
+ "தனது",
42
+ "உள்ளது",
43
+ "போது",
44
+ "என்றும்",
45
+ "அதன்",
46
+ "தன்",
47
+ "பிறகு",
48
+ "அவர்கள்",
49
+ "வரை",
50
+ "அவள்",
51
+ "நீ",
52
+ "ஆகிய",
53
+ "இருந்தது",
54
+ "உள்ளன",
55
+ "வந்த",
56
+ "இருந்த",
57
+ "மிகவும்",
58
+ "இங்கு",
59
+ "மீது",
60
+ "ஓர்",
61
+ "இவை",
62
+ "இந்தக்",
63
+ "பற்றி",
64
+ "வரும்",
65
+ "வேறு",
66
+ "இரு",
67
+ "இதில்",
68
+ "போல்",
69
+ "இப்போது",
70
+ "அவரது",
71
+ "மட்டும்",
72
+ "இந்தப்",
73
+ "எனும்",
74
+ "மேல்",
75
+ "பின்",
76
+ "சேர்ந்த",
77
+ "ஆகியோர்",
78
+ "எனக்கு",
79
+ "இன்னும்",
80
+ "அந்தப்",
81
+ "அன்று",
82
+ "ஒரே",
83
+ "மிக",
84
+ "அங்கு",
85
+ "பல்வேறு",
86
+ "விட்டு",
87
+ "பெரும்",
88
+ "அதை",
89
+ "பற்றிய",
90
+ "உன்",
91
+ "அதிக",
92
+ "அந்தக்",
93
+ "பேர்",
94
+ "இதனால்",
95
+ "அவை",
96
+ "அதே",
97
+ "ஏன்",
98
+ "முறை",
99
+ "யார்",
100
+ "என்பதை",
101
+ "எல்லாம்",
102
+ "மட்டுமே",
103
+ "இங்கே",
104
+ "அங்கே",
105
+ "இடம்",
106
+ "இடத்தில்",
107
+ "அதில்",
108
+ "நாம்",
109
+ "அதற்கு",
110
+ "எனவே",
111
+ "பிற",
112
+ "சிறு",
113
+ "மற்ற",
114
+ "விட",
115
+ "எந்த",
116
+ "எனவும்",
117
+ "எனப்படும்",
118
+ "எனினும்",
119
+ "அடுத்த",
120
+ "இதனை",
121
+ "இதை",
122
+ "கொள்ள",
123
+ "இந்தத்",
124
+ "இதற்கு",
125
+ "அதனால்",
126
+ "தவிர",
127
+ "போல",
128
+ "வரையில்",
129
+ "சற்று",
130
+ "எனக்",
131
+ ]
132
+ end
133
+ end
134
+ end
135
+ end
@@ -0,0 +1,10 @@
1
+ class Keyphrase
2
+ module Stoplist
3
+ class Tel
4
+ def self.stopwords
5
+ @@stopwords ||= [
6
+ ]
7
+ end
8
+ end
9
+ end
10
+ end