stemmers 0.0.1

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (74) hide show
  1. checksums.yaml +7 -0
  2. data/.rubocop.yml +13 -0
  3. data/CHANGELOG.md +5 -0
  4. data/CODE_OF_CONDUCT.md +132 -0
  5. data/Cargo.lock +547 -0
  6. data/Cargo.toml +7 -0
  7. data/LICENSE.txt +21 -0
  8. data/README.md +113 -0
  9. data/Rakefile +23 -0
  10. data/ext/stemmers/Cargo.toml +16 -0
  11. data/ext/stemmers/extconf.rb +6 -0
  12. data/ext/stemmers/src/lib.rs +105 -0
  13. data/lib/stemmers/stopwords/af.json +53 -0
  14. data/lib/stemmers/stopwords/ar.json +482 -0
  15. data/lib/stemmers/stopwords/bg.json +261 -0
  16. data/lib/stemmers/stopwords/bn.json +400 -0
  17. data/lib/stemmers/stopwords/br.json +1205 -0
  18. data/lib/stemmers/stopwords/ca.json +280 -0
  19. data/lib/stemmers/stopwords/cs.json +425 -0
  20. data/lib/stemmers/stopwords/da.json +172 -0
  21. data/lib/stemmers/stopwords/de.json +622 -0
  22. data/lib/stemmers/stopwords/el.json +849 -0
  23. data/lib/stemmers/stopwords/en.json +1300 -0
  24. data/lib/stemmers/stopwords/eo.json +175 -0
  25. data/lib/stemmers/stopwords/es.json +734 -0
  26. data/lib/stemmers/stopwords/et.json +37 -0
  27. data/lib/stemmers/stopwords/eu.json +100 -0
  28. data/lib/stemmers/stopwords/fa.json +801 -0
  29. data/lib/stemmers/stopwords/fi.json +849 -0
  30. data/lib/stemmers/stopwords/fr.json +693 -0
  31. data/lib/stemmers/stopwords/ga.json +111 -0
  32. data/lib/stemmers/stopwords/gl.json +162 -0
  33. data/lib/stemmers/stopwords/gu.json +226 -0
  34. data/lib/stemmers/stopwords/ha.json +41 -0
  35. data/lib/stemmers/stopwords/he.json +196 -0
  36. data/lib/stemmers/stopwords/hi.json +227 -0
  37. data/lib/stemmers/stopwords/hr.json +181 -0
  38. data/lib/stemmers/stopwords/hu.json +791 -0
  39. data/lib/stemmers/stopwords/hy.json +47 -0
  40. data/lib/stemmers/stopwords/id.json +760 -0
  41. data/lib/stemmers/stopwords/it.json +634 -0
  42. data/lib/stemmers/stopwords/ja.json +136 -0
  43. data/lib/stemmers/stopwords/ko.json +681 -0
  44. data/lib/stemmers/stopwords/ku.json +64 -0
  45. data/lib/stemmers/stopwords/la.json +51 -0
  46. data/lib/stemmers/stopwords/lt.json +476 -0
  47. data/lib/stemmers/stopwords/lv.json +163 -0
  48. data/lib/stemmers/stopwords/mr.json +101 -0
  49. data/lib/stemmers/stopwords/ms.json +477 -0
  50. data/lib/stemmers/stopwords/nl.json +415 -0
  51. data/lib/stemmers/stopwords/no.json +223 -0
  52. data/lib/stemmers/stopwords/pl.json +331 -0
  53. data/lib/stemmers/stopwords/pt.json +562 -0
  54. data/lib/stemmers/stopwords/ro.json +436 -0
  55. data/lib/stemmers/stopwords/ru.json +561 -0
  56. data/lib/stemmers/stopwords/sk.json +420 -0
  57. data/lib/stemmers/stopwords/sl.json +448 -0
  58. data/lib/stemmers/stopwords/so.json +32 -0
  59. data/lib/stemmers/stopwords/st.json +33 -0
  60. data/lib/stemmers/stopwords/sv.json +420 -0
  61. data/lib/stemmers/stopwords/sw.json +76 -0
  62. data/lib/stemmers/stopwords/th.json +118 -0
  63. data/lib/stemmers/stopwords/tl.json +149 -0
  64. data/lib/stemmers/stopwords/tr.json +506 -0
  65. data/lib/stemmers/stopwords/uk.json +75 -0
  66. data/lib/stemmers/stopwords/ur.json +519 -0
  67. data/lib/stemmers/stopwords/vi.json +647 -0
  68. data/lib/stemmers/stopwords/yo.json +62 -0
  69. data/lib/stemmers/stopwords/zh.json +796 -0
  70. data/lib/stemmers/stopwords/zu.json +31 -0
  71. data/lib/stemmers/version.rb +5 -0
  72. data/lib/stemmers.rb +91 -0
  73. data/sig/stemmers.rbs +4 -0
  74. metadata +131 -0
@@ -0,0 +1,149 @@
1
+ [
2
+ "akin",
3
+ "aking",
4
+ "ako",
5
+ "alin",
6
+ "am",
7
+ "amin",
8
+ "aming",
9
+ "ang",
10
+ "ano",
11
+ "anumang",
12
+ "apat",
13
+ "at",
14
+ "atin",
15
+ "ating",
16
+ "ay",
17
+ "bababa",
18
+ "bago",
19
+ "bakit",
20
+ "bawat",
21
+ "bilang",
22
+ "dahil",
23
+ "dalawa",
24
+ "dapat",
25
+ "din",
26
+ "dito",
27
+ "doon",
28
+ "gagawin",
29
+ "gayunman",
30
+ "ginagawa",
31
+ "ginawa",
32
+ "ginawang",
33
+ "gumawa",
34
+ "gusto",
35
+ "habang",
36
+ "hanggang",
37
+ "hindi",
38
+ "huwag",
39
+ "iba",
40
+ "ibaba",
41
+ "ibabaw",
42
+ "ibig",
43
+ "ikaw",
44
+ "ilagay",
45
+ "ilalim",
46
+ "ilan",
47
+ "inyong",
48
+ "isa",
49
+ "isang",
50
+ "itaas",
51
+ "ito",
52
+ "iyo",
53
+ "iyon",
54
+ "iyong",
55
+ "ka",
56
+ "kahit",
57
+ "kailangan",
58
+ "kailanman",
59
+ "kami",
60
+ "kanila",
61
+ "kanilang",
62
+ "kanino",
63
+ "kanya",
64
+ "kanyang",
65
+ "kapag",
66
+ "kapwa",
67
+ "karamihan",
68
+ "katiyakan",
69
+ "katulad",
70
+ "kaya",
71
+ "kaysa",
72
+ "ko",
73
+ "kong",
74
+ "kulang",
75
+ "kumuha",
76
+ "kung",
77
+ "laban",
78
+ "lahat",
79
+ "lamang",
80
+ "likod",
81
+ "lima",
82
+ "maaari",
83
+ "maaaring",
84
+ "maging",
85
+ "mahusay",
86
+ "makita",
87
+ "marami",
88
+ "marapat",
89
+ "masyado",
90
+ "may",
91
+ "mayroon",
92
+ "mga",
93
+ "minsan",
94
+ "mismo",
95
+ "mula",
96
+ "muli",
97
+ "na",
98
+ "nabanggit",
99
+ "naging",
100
+ "nagkaroon",
101
+ "nais",
102
+ "nakita",
103
+ "namin",
104
+ "napaka",
105
+ "narito",
106
+ "nasaan",
107
+ "ng",
108
+ "ngayon",
109
+ "ni",
110
+ "nila",
111
+ "nilang",
112
+ "nito",
113
+ "niya",
114
+ "niyang",
115
+ "noon",
116
+ "o",
117
+ "pa",
118
+ "paano",
119
+ "pababa",
120
+ "paggawa",
121
+ "pagitan",
122
+ "pagkakaroon",
123
+ "pagkatapos",
124
+ "palabas",
125
+ "pamamagitan",
126
+ "panahon",
127
+ "pangalawa",
128
+ "para",
129
+ "paraan",
130
+ "pareho",
131
+ "pataas",
132
+ "pero",
133
+ "pumunta",
134
+ "pumupunta",
135
+ "sa",
136
+ "saan",
137
+ "sabi",
138
+ "sabihin",
139
+ "sarili",
140
+ "sila",
141
+ "sino",
142
+ "siya",
143
+ "tatlo",
144
+ "tayo",
145
+ "tulad",
146
+ "tungkol",
147
+ "una",
148
+ "walang"
149
+ ]
@@ -0,0 +1,506 @@
1
+ [
2
+ "acaba",
3
+ "acep",
4
+ "adamakıllı",
5
+ "adeta",
6
+ "ait",
7
+ "altmýþ",
8
+ "altmış",
9
+ "altý",
10
+ "altı",
11
+ "ama",
12
+ "amma",
13
+ "anca",
14
+ "ancak",
15
+ "arada",
16
+ "artýk",
17
+ "aslında",
18
+ "aynen",
19
+ "ayrıca",
20
+ "az",
21
+ "açıkça",
22
+ "açıkçası",
23
+ "bana",
24
+ "bari",
25
+ "bazen",
26
+ "bazý",
27
+ "bazı",
28
+ "başkası",
29
+ "baţka",
30
+ "belki",
31
+ "ben",
32
+ "benden",
33
+ "beni",
34
+ "benim",
35
+ "beri",
36
+ "beriki",
37
+ "beþ",
38
+ "beş",
39
+ "beţ",
40
+ "bilcümle",
41
+ "bile",
42
+ "bin",
43
+ "binaen",
44
+ "binaenaleyh",
45
+ "bir",
46
+ "biraz",
47
+ "birazdan",
48
+ "birbiri",
49
+ "birden",
50
+ "birdenbire",
51
+ "biri",
52
+ "birice",
53
+ "birileri",
54
+ "birisi",
55
+ "birkaç",
56
+ "birkaçı",
57
+ "birkez",
58
+ "birlikte",
59
+ "birçok",
60
+ "birçoğu",
61
+ "birþey",
62
+ "birþeyi",
63
+ "birşey",
64
+ "birşeyi",
65
+ "birţey",
66
+ "bitevi",
67
+ "biteviye",
68
+ "bittabi",
69
+ "biz",
70
+ "bizatihi",
71
+ "bizce",
72
+ "bizcileyin",
73
+ "bizden",
74
+ "bize",
75
+ "bizi",
76
+ "bizim",
77
+ "bizimki",
78
+ "bizzat",
79
+ "boşuna",
80
+ "bu",
81
+ "buna",
82
+ "bunda",
83
+ "bundan",
84
+ "bunlar",
85
+ "bunları",
86
+ "bunların",
87
+ "bunu",
88
+ "bunun",
89
+ "buracıkta",
90
+ "burada",
91
+ "buradan",
92
+ "burası",
93
+ "böyle",
94
+ "böylece",
95
+ "böylecene",
96
+ "böylelikle",
97
+ "böylemesine",
98
+ "böylesine",
99
+ "büsbütün",
100
+ "bütün",
101
+ "cuk",
102
+ "cümlesi",
103
+ "da",
104
+ "daha",
105
+ "dahi",
106
+ "dahil",
107
+ "dahilen",
108
+ "daima",
109
+ "dair",
110
+ "dayanarak",
111
+ "de",
112
+ "defa",
113
+ "dek",
114
+ "demin",
115
+ "demincek",
116
+ "deminden",
117
+ "denli",
118
+ "derakap",
119
+ "derhal",
120
+ "derken",
121
+ "deđil",
122
+ "değil",
123
+ "değin",
124
+ "diye",
125
+ "diđer",
126
+ "diğer",
127
+ "diğeri",
128
+ "doksan",
129
+ "dokuz",
130
+ "dolayı",
131
+ "dolayısıyla",
132
+ "doğru",
133
+ "dört",
134
+ "edecek",
135
+ "eden",
136
+ "ederek",
137
+ "edilecek",
138
+ "ediliyor",
139
+ "edilmesi",
140
+ "ediyor",
141
+ "elbet",
142
+ "elbette",
143
+ "elli",
144
+ "emme",
145
+ "en",
146
+ "enikonu",
147
+ "epey",
148
+ "epeyce",
149
+ "epeyi",
150
+ "esasen",
151
+ "esnasında",
152
+ "etmesi",
153
+ "etraflı",
154
+ "etraflıca",
155
+ "etti",
156
+ "ettiği",
157
+ "ettiğini",
158
+ "evleviyetle",
159
+ "evvel",
160
+ "evvela",
161
+ "evvelce",
162
+ "evvelden",
163
+ "evvelemirde",
164
+ "evveli",
165
+ "eđer",
166
+ "eğer",
167
+ "fakat",
168
+ "filanca",
169
+ "gah",
170
+ "gayet",
171
+ "gayetle",
172
+ "gayri",
173
+ "gayrı",
174
+ "gelgelelim",
175
+ "gene",
176
+ "gerek",
177
+ "gerçi",
178
+ "geçende",
179
+ "geçenlerde",
180
+ "gibi",
181
+ "gibilerden",
182
+ "gibisinden",
183
+ "gine",
184
+ "göre",
185
+ "gırla",
186
+ "hakeza",
187
+ "halbuki",
188
+ "halen",
189
+ "halihazırda",
190
+ "haliyle",
191
+ "handiyse",
192
+ "hangi",
193
+ "hangisi",
194
+ "hani",
195
+ "hariç",
196
+ "hasebiyle",
197
+ "hasılı",
198
+ "hatta",
199
+ "hele",
200
+ "hem",
201
+ "henüz",
202
+ "hep",
203
+ "hepsi",
204
+ "her",
205
+ "herhangi",
206
+ "herkes",
207
+ "herkesin",
208
+ "hiç",
209
+ "hiçbir",
210
+ "hiçbiri",
211
+ "hoş",
212
+ "hulasaten",
213
+ "iken",
214
+ "iki",
215
+ "ila",
216
+ "ile",
217
+ "ilen",
218
+ "ilgili",
219
+ "ilk",
220
+ "illa",
221
+ "illaki",
222
+ "imdi",
223
+ "indinde",
224
+ "inen",
225
+ "insermi",
226
+ "ise",
227
+ "ister",
228
+ "itibaren",
229
+ "itibariyle",
230
+ "itibarıyla",
231
+ "iyi",
232
+ "iyice",
233
+ "iyicene",
234
+ "için",
235
+ "iş",
236
+ "işte",
237
+ "iţte",
238
+ "kadar",
239
+ "kaffesi",
240
+ "kah",
241
+ "kala",
242
+ "kanýmca",
243
+ "karşın",
244
+ "katrilyon",
245
+ "kaynak",
246
+ "kaçı",
247
+ "kelli",
248
+ "kendi",
249
+ "kendilerine",
250
+ "kendini",
251
+ "kendisi",
252
+ "kendisine",
253
+ "kendisini",
254
+ "kere",
255
+ "kez",
256
+ "keza",
257
+ "kezalik",
258
+ "keşke",
259
+ "keţke",
260
+ "ki",
261
+ "kim",
262
+ "kimden",
263
+ "kime",
264
+ "kimi",
265
+ "kimisi",
266
+ "kimse",
267
+ "kimsecik",
268
+ "kimsecikler",
269
+ "külliyen",
270
+ "kýrk",
271
+ "kýsaca",
272
+ "kırk",
273
+ "kısaca",
274
+ "lakin",
275
+ "leh",
276
+ "lütfen",
277
+ "maada",
278
+ "madem",
279
+ "mademki",
280
+ "mamafih",
281
+ "mebni",
282
+ "međer",
283
+ "meğer",
284
+ "meğerki",
285
+ "meğerse",
286
+ "milyar",
287
+ "milyon",
288
+ "mu",
289
+ "mü",
290
+ "mý",
291
+ "mı",
292
+ "nasýl",
293
+ "nasıl",
294
+ "nasılsa",
295
+ "nazaran",
296
+ "naşi",
297
+ "ne",
298
+ "neden",
299
+ "nedeniyle",
300
+ "nedenle",
301
+ "nedense",
302
+ "nerde",
303
+ "nerden",
304
+ "nerdeyse",
305
+ "nere",
306
+ "nerede",
307
+ "nereden",
308
+ "neredeyse",
309
+ "neresi",
310
+ "nereye",
311
+ "netekim",
312
+ "neye",
313
+ "neyi",
314
+ "neyse",
315
+ "nice",
316
+ "nihayet",
317
+ "nihayetinde",
318
+ "nitekim",
319
+ "niye",
320
+ "niçin",
321
+ "o",
322
+ "olan",
323
+ "olarak",
324
+ "oldu",
325
+ "olduklarını",
326
+ "oldukça",
327
+ "olduğu",
328
+ "olduğunu",
329
+ "olmadı",
330
+ "olmadığı",
331
+ "olmak",
332
+ "olması",
333
+ "olmayan",
334
+ "olmaz",
335
+ "olsa",
336
+ "olsun",
337
+ "olup",
338
+ "olur",
339
+ "olursa",
340
+ "oluyor",
341
+ "on",
342
+ "ona",
343
+ "onca",
344
+ "onculayın",
345
+ "onda",
346
+ "ondan",
347
+ "onlar",
348
+ "onlardan",
349
+ "onlari",
350
+ "onlarýn",
351
+ "onları",
352
+ "onların",
353
+ "onu",
354
+ "onun",
355
+ "oracık",
356
+ "oracıkta",
357
+ "orada",
358
+ "oradan",
359
+ "oranca",
360
+ "oranla",
361
+ "oraya",
362
+ "otuz",
363
+ "oysa",
364
+ "oysaki",
365
+ "pek",
366
+ "pekala",
367
+ "peki",
368
+ "pekçe",
369
+ "peyderpey",
370
+ "rağmen",
371
+ "sadece",
372
+ "sahi",
373
+ "sahiden",
374
+ "sana",
375
+ "sanki",
376
+ "sekiz",
377
+ "seksen",
378
+ "sen",
379
+ "senden",
380
+ "seni",
381
+ "senin",
382
+ "siz",
383
+ "sizden",
384
+ "sizi",
385
+ "sizin",
386
+ "sonra",
387
+ "sonradan",
388
+ "sonraları",
389
+ "sonunda",
390
+ "tabii",
391
+ "tam",
392
+ "tamam",
393
+ "tamamen",
394
+ "tamamıyla",
395
+ "tarafından",
396
+ "tek",
397
+ "trilyon",
398
+ "tüm",
399
+ "var",
400
+ "vardı",
401
+ "vasıtasıyla",
402
+ "ve",
403
+ "velev",
404
+ "velhasıl",
405
+ "velhasılıkelam",
406
+ "veya",
407
+ "veyahut",
408
+ "ya",
409
+ "yahut",
410
+ "yakinen",
411
+ "yakında",
412
+ "yakından",
413
+ "yakınlarda",
414
+ "yalnız",
415
+ "yalnızca",
416
+ "yani",
417
+ "yapacak",
418
+ "yapmak",
419
+ "yaptı",
420
+ "yaptıkları",
421
+ "yaptığı",
422
+ "yaptığını",
423
+ "yapılan",
424
+ "yapılması",
425
+ "yapıyor",
426
+ "yedi",
427
+ "yeniden",
428
+ "yenilerde",
429
+ "yerine",
430
+ "yetmiþ",
431
+ "yetmiş",
432
+ "yetmiţ",
433
+ "yine",
434
+ "yirmi",
435
+ "yok",
436
+ "yoksa",
437
+ "yoluyla",
438
+ "yüz",
439
+ "yüzünden",
440
+ "zarfında",
441
+ "zaten",
442
+ "zati",
443
+ "zira",
444
+ "çabuk",
445
+ "çabukça",
446
+ "çeşitli",
447
+ "çok",
448
+ "çokları",
449
+ "çoklarınca",
450
+ "çokluk",
451
+ "çoklukla",
452
+ "çokça",
453
+ "çoğu",
454
+ "çoğun",
455
+ "çoğunca",
456
+ "çoğunlukla",
457
+ "çünkü",
458
+ "öbür",
459
+ "öbürkü",
460
+ "öbürü",
461
+ "önce",
462
+ "önceden",
463
+ "önceleri",
464
+ "öncelikle",
465
+ "öteki",
466
+ "ötekisi",
467
+ "öyle",
468
+ "öylece",
469
+ "öylelikle",
470
+ "öylemesine",
471
+ "öz",
472
+ "üzere",
473
+ "üç",
474
+ "þey",
475
+ "þeyden",
476
+ "þeyi",
477
+ "þeyler",
478
+ "þu",
479
+ "þuna",
480
+ "þunda",
481
+ "þundan",
482
+ "þunu",
483
+ "şayet",
484
+ "şey",
485
+ "şeyden",
486
+ "şeyi",
487
+ "şeyler",
488
+ "şu",
489
+ "şuna",
490
+ "şuncacık",
491
+ "şunda",
492
+ "şundan",
493
+ "şunlar",
494
+ "şunları",
495
+ "şunu",
496
+ "şunun",
497
+ "şura",
498
+ "şuracık",
499
+ "şuracıkta",
500
+ "şurası",
501
+ "şöyle",
502
+ "ţayet",
503
+ "ţimdi",
504
+ "ţu",
505
+ "ţöyle"
506
+ ]
@@ -0,0 +1,75 @@
1
+ [
2
+ "авжеж",
3
+ "адже",
4
+ "але",
5
+ "б",
6
+ "без",
7
+ "був",
8
+ "була",
9
+ "були",
10
+ "було",
11
+ "бути",
12
+ "більш",
13
+ "вам",
14
+ "вас",
15
+ "весь",
16
+ "вздовж",
17
+ "ви",
18
+ "вниз",
19
+ "внизу",
20
+ "вона",
21
+ "вони",
22
+ "воно",
23
+ "все",
24
+ "всередині",
25
+ "всіх",
26
+ "від",
27
+ "він",
28
+ "да",
29
+ "давай",
30
+ "давати",
31
+ "де",
32
+ "дещо",
33
+ "для",
34
+ "до",
35
+ "з",
36
+ "завжди",
37
+ "замість",
38
+ "й",
39
+ "коли",
40
+ "ледве",
41
+ "майже",
42
+ "ми",
43
+ "навколо",
44
+ "навіть",
45
+ "нам",
46
+ "от",
47
+ "отже",
48
+ "отож",
49
+ "поза",
50
+ "про",
51
+ "під",
52
+ "та",
53
+ "так",
54
+ "такий",
55
+ "також",
56
+ "те",
57
+ "ти",
58
+ "тобто",
59
+ "тож",
60
+ "тощо",
61
+ "хоча",
62
+ "це",
63
+ "цей",
64
+ "чи",
65
+ "чого",
66
+ "що",
67
+ "як",
68
+ "який",
69
+ "якої",
70
+ "є",
71
+ "із",
72
+ "інших",
73
+ "їх",
74
+ "її"
75
+ ]