stemmers 0.0.1

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (74) hide show
  1. checksums.yaml +7 -0
  2. data/.rubocop.yml +13 -0
  3. data/CHANGELOG.md +5 -0
  4. data/CODE_OF_CONDUCT.md +132 -0
  5. data/Cargo.lock +547 -0
  6. data/Cargo.toml +7 -0
  7. data/LICENSE.txt +21 -0
  8. data/README.md +113 -0
  9. data/Rakefile +23 -0
  10. data/ext/stemmers/Cargo.toml +16 -0
  11. data/ext/stemmers/extconf.rb +6 -0
  12. data/ext/stemmers/src/lib.rs +105 -0
  13. data/lib/stemmers/stopwords/af.json +53 -0
  14. data/lib/stemmers/stopwords/ar.json +482 -0
  15. data/lib/stemmers/stopwords/bg.json +261 -0
  16. data/lib/stemmers/stopwords/bn.json +400 -0
  17. data/lib/stemmers/stopwords/br.json +1205 -0
  18. data/lib/stemmers/stopwords/ca.json +280 -0
  19. data/lib/stemmers/stopwords/cs.json +425 -0
  20. data/lib/stemmers/stopwords/da.json +172 -0
  21. data/lib/stemmers/stopwords/de.json +622 -0
  22. data/lib/stemmers/stopwords/el.json +849 -0
  23. data/lib/stemmers/stopwords/en.json +1300 -0
  24. data/lib/stemmers/stopwords/eo.json +175 -0
  25. data/lib/stemmers/stopwords/es.json +734 -0
  26. data/lib/stemmers/stopwords/et.json +37 -0
  27. data/lib/stemmers/stopwords/eu.json +100 -0
  28. data/lib/stemmers/stopwords/fa.json +801 -0
  29. data/lib/stemmers/stopwords/fi.json +849 -0
  30. data/lib/stemmers/stopwords/fr.json +693 -0
  31. data/lib/stemmers/stopwords/ga.json +111 -0
  32. data/lib/stemmers/stopwords/gl.json +162 -0
  33. data/lib/stemmers/stopwords/gu.json +226 -0
  34. data/lib/stemmers/stopwords/ha.json +41 -0
  35. data/lib/stemmers/stopwords/he.json +196 -0
  36. data/lib/stemmers/stopwords/hi.json +227 -0
  37. data/lib/stemmers/stopwords/hr.json +181 -0
  38. data/lib/stemmers/stopwords/hu.json +791 -0
  39. data/lib/stemmers/stopwords/hy.json +47 -0
  40. data/lib/stemmers/stopwords/id.json +760 -0
  41. data/lib/stemmers/stopwords/it.json +634 -0
  42. data/lib/stemmers/stopwords/ja.json +136 -0
  43. data/lib/stemmers/stopwords/ko.json +681 -0
  44. data/lib/stemmers/stopwords/ku.json +64 -0
  45. data/lib/stemmers/stopwords/la.json +51 -0
  46. data/lib/stemmers/stopwords/lt.json +476 -0
  47. data/lib/stemmers/stopwords/lv.json +163 -0
  48. data/lib/stemmers/stopwords/mr.json +101 -0
  49. data/lib/stemmers/stopwords/ms.json +477 -0
  50. data/lib/stemmers/stopwords/nl.json +415 -0
  51. data/lib/stemmers/stopwords/no.json +223 -0
  52. data/lib/stemmers/stopwords/pl.json +331 -0
  53. data/lib/stemmers/stopwords/pt.json +562 -0
  54. data/lib/stemmers/stopwords/ro.json +436 -0
  55. data/lib/stemmers/stopwords/ru.json +561 -0
  56. data/lib/stemmers/stopwords/sk.json +420 -0
  57. data/lib/stemmers/stopwords/sl.json +448 -0
  58. data/lib/stemmers/stopwords/so.json +32 -0
  59. data/lib/stemmers/stopwords/st.json +33 -0
  60. data/lib/stemmers/stopwords/sv.json +420 -0
  61. data/lib/stemmers/stopwords/sw.json +76 -0
  62. data/lib/stemmers/stopwords/th.json +118 -0
  63. data/lib/stemmers/stopwords/tl.json +149 -0
  64. data/lib/stemmers/stopwords/tr.json +506 -0
  65. data/lib/stemmers/stopwords/uk.json +75 -0
  66. data/lib/stemmers/stopwords/ur.json +519 -0
  67. data/lib/stemmers/stopwords/vi.json +647 -0
  68. data/lib/stemmers/stopwords/yo.json +62 -0
  69. data/lib/stemmers/stopwords/zh.json +796 -0
  70. data/lib/stemmers/stopwords/zu.json +31 -0
  71. data/lib/stemmers/version.rb +5 -0
  72. data/lib/stemmers.rb +91 -0
  73. data/sig/stemmers.rbs +4 -0
  74. metadata +131 -0
@@ -0,0 +1,415 @@
1
+ [
2
+ "aan",
3
+ "aangaande",
4
+ "aangezien",
5
+ "achte",
6
+ "achter",
7
+ "achterna",
8
+ "af",
9
+ "afgelopen",
10
+ "al",
11
+ "aldaar",
12
+ "aldus",
13
+ "alhoewel",
14
+ "alias",
15
+ "alle",
16
+ "allebei",
17
+ "alleen",
18
+ "alles",
19
+ "als",
20
+ "alsnog",
21
+ "altijd",
22
+ "altoos",
23
+ "ander",
24
+ "andere",
25
+ "anders",
26
+ "anderszins",
27
+ "beetje",
28
+ "behalve",
29
+ "behoudens",
30
+ "beide",
31
+ "beiden",
32
+ "ben",
33
+ "beneden",
34
+ "bent",
35
+ "bepaald",
36
+ "betreffende",
37
+ "bij",
38
+ "bijna",
39
+ "bijv",
40
+ "binnen",
41
+ "binnenin",
42
+ "blijkbaar",
43
+ "blijken",
44
+ "boven",
45
+ "bovenal",
46
+ "bovendien",
47
+ "bovengenoemd",
48
+ "bovenstaand",
49
+ "bovenvermeld",
50
+ "buiten",
51
+ "bv",
52
+ "daar",
53
+ "daardoor",
54
+ "daarheen",
55
+ "daarin",
56
+ "daarna",
57
+ "daarnet",
58
+ "daarom",
59
+ "daarop",
60
+ "daaruit",
61
+ "daarvanlangs",
62
+ "dan",
63
+ "dat",
64
+ "de",
65
+ "deden",
66
+ "deed",
67
+ "der",
68
+ "derde",
69
+ "derhalve",
70
+ "dertig",
71
+ "deze",
72
+ "dhr",
73
+ "die",
74
+ "dikwijls",
75
+ "dit",
76
+ "doch",
77
+ "doe",
78
+ "doen",
79
+ "doet",
80
+ "door",
81
+ "doorgaand",
82
+ "drie",
83
+ "duizend",
84
+ "dus",
85
+ "echter",
86
+ "een",
87
+ "eens",
88
+ "eer",
89
+ "eerdat",
90
+ "eerder",
91
+ "eerlang",
92
+ "eerst",
93
+ "eerste",
94
+ "eigen",
95
+ "eigenlijk",
96
+ "elk",
97
+ "elke",
98
+ "en",
99
+ "enig",
100
+ "enige",
101
+ "enigszins",
102
+ "enkel",
103
+ "er",
104
+ "erdoor",
105
+ "erg",
106
+ "ergens",
107
+ "etc",
108
+ "etcetera",
109
+ "even",
110
+ "eveneens",
111
+ "evenwel",
112
+ "gauw",
113
+ "ge",
114
+ "gedurende",
115
+ "geen",
116
+ "gehad",
117
+ "gekund",
118
+ "geleden",
119
+ "gelijk",
120
+ "gemoeten",
121
+ "gemogen",
122
+ "genoeg",
123
+ "geweest",
124
+ "gewoon",
125
+ "gewoonweg",
126
+ "haar",
127
+ "haarzelf",
128
+ "had",
129
+ "hadden",
130
+ "hare",
131
+ "heb",
132
+ "hebben",
133
+ "hebt",
134
+ "hedden",
135
+ "heeft",
136
+ "heel",
137
+ "hem",
138
+ "hemzelf",
139
+ "hen",
140
+ "het",
141
+ "hetzelfde",
142
+ "hier",
143
+ "hierbeneden",
144
+ "hierboven",
145
+ "hierin",
146
+ "hierna",
147
+ "hierom",
148
+ "hij",
149
+ "hijzelf",
150
+ "hoe",
151
+ "hoewel",
152
+ "honderd",
153
+ "hun",
154
+ "hunne",
155
+ "ieder",
156
+ "iedere",
157
+ "iedereen",
158
+ "iemand",
159
+ "iets",
160
+ "ik",
161
+ "ikzelf",
162
+ "in",
163
+ "inderdaad",
164
+ "inmiddels",
165
+ "intussen",
166
+ "inzake",
167
+ "is",
168
+ "ja",
169
+ "je",
170
+ "jezelf",
171
+ "jij",
172
+ "jijzelf",
173
+ "jou",
174
+ "jouw",
175
+ "jouwe",
176
+ "juist",
177
+ "jullie",
178
+ "kan",
179
+ "klaar",
180
+ "kon",
181
+ "konden",
182
+ "krachtens",
183
+ "kun",
184
+ "kunnen",
185
+ "kunt",
186
+ "laatst",
187
+ "later",
188
+ "liever",
189
+ "lijken",
190
+ "lijkt",
191
+ "maak",
192
+ "maakt",
193
+ "maakte",
194
+ "maakten",
195
+ "maar",
196
+ "mag",
197
+ "maken",
198
+ "me",
199
+ "meer",
200
+ "meest",
201
+ "meestal",
202
+ "men",
203
+ "met",
204
+ "mevr",
205
+ "mezelf",
206
+ "mij",
207
+ "mijn",
208
+ "mijnent",
209
+ "mijner",
210
+ "mijzelf",
211
+ "minder",
212
+ "miss",
213
+ "misschien",
214
+ "missen",
215
+ "mits",
216
+ "mocht",
217
+ "mochten",
218
+ "moest",
219
+ "moesten",
220
+ "moet",
221
+ "moeten",
222
+ "mogen",
223
+ "mr",
224
+ "mrs",
225
+ "mw",
226
+ "na",
227
+ "naar",
228
+ "nadat",
229
+ "nam",
230
+ "namelijk",
231
+ "nee",
232
+ "neem",
233
+ "negen",
234
+ "nemen",
235
+ "nergens",
236
+ "net",
237
+ "niemand",
238
+ "niet",
239
+ "niets",
240
+ "niks",
241
+ "noch",
242
+ "nochtans",
243
+ "nog",
244
+ "nogal",
245
+ "nooit",
246
+ "nu",
247
+ "nv",
248
+ "of",
249
+ "ofschoon",
250
+ "om",
251
+ "omdat",
252
+ "omhoog",
253
+ "omlaag",
254
+ "omstreeks",
255
+ "omtrent",
256
+ "omver",
257
+ "ondanks",
258
+ "onder",
259
+ "ondertussen",
260
+ "ongeveer",
261
+ "ons",
262
+ "onszelf",
263
+ "onze",
264
+ "onzeker",
265
+ "ooit",
266
+ "ook",
267
+ "op",
268
+ "opnieuw",
269
+ "opzij",
270
+ "over",
271
+ "overal",
272
+ "overeind",
273
+ "overige",
274
+ "overigens",
275
+ "paar",
276
+ "pas",
277
+ "per",
278
+ "precies",
279
+ "recent",
280
+ "redelijk",
281
+ "reeds",
282
+ "rond",
283
+ "rondom",
284
+ "samen",
285
+ "sedert",
286
+ "sinds",
287
+ "sindsdien",
288
+ "slechts",
289
+ "sommige",
290
+ "spoedig",
291
+ "steeds",
292
+ "tamelijk",
293
+ "te",
294
+ "tegen",
295
+ "tegenover",
296
+ "tenzij",
297
+ "terwijl",
298
+ "thans",
299
+ "tien",
300
+ "tiende",
301
+ "tijdens",
302
+ "tja",
303
+ "toch",
304
+ "toe",
305
+ "toen",
306
+ "toenmaals",
307
+ "toenmalig",
308
+ "tot",
309
+ "totdat",
310
+ "tussen",
311
+ "twee",
312
+ "tweede",
313
+ "u",
314
+ "uit",
315
+ "uitgezonderd",
316
+ "uw",
317
+ "vaak",
318
+ "vaakwat",
319
+ "van",
320
+ "vanaf",
321
+ "vandaan",
322
+ "vanuit",
323
+ "vanwege",
324
+ "veel",
325
+ "veeleer",
326
+ "veertig",
327
+ "verder",
328
+ "verscheidene",
329
+ "verschillende",
330
+ "vervolgens",
331
+ "via",
332
+ "vier",
333
+ "vierde",
334
+ "vijf",
335
+ "vijfde",
336
+ "vijftig",
337
+ "vol",
338
+ "volgend",
339
+ "volgens",
340
+ "voor",
341
+ "vooraf",
342
+ "vooral",
343
+ "vooralsnog",
344
+ "voorbij",
345
+ "voordat",
346
+ "voordezen",
347
+ "voordien",
348
+ "voorheen",
349
+ "voorop",
350
+ "voorts",
351
+ "vooruit",
352
+ "vrij",
353
+ "vroeg",
354
+ "waar",
355
+ "waarom",
356
+ "waarschijnlijk",
357
+ "wanneer",
358
+ "want",
359
+ "waren",
360
+ "was",
361
+ "wat",
362
+ "we",
363
+ "wederom",
364
+ "weer",
365
+ "weg",
366
+ "wegens",
367
+ "weinig",
368
+ "wel",
369
+ "weldra",
370
+ "welk",
371
+ "welke",
372
+ "werd",
373
+ "werden",
374
+ "werder",
375
+ "wezen",
376
+ "whatever",
377
+ "wie",
378
+ "wiens",
379
+ "wier",
380
+ "wij",
381
+ "wijzelf",
382
+ "wil",
383
+ "wilden",
384
+ "willen",
385
+ "word",
386
+ "worden",
387
+ "wordt",
388
+ "zal",
389
+ "ze",
390
+ "zei",
391
+ "zeker",
392
+ "zelf",
393
+ "zelfde",
394
+ "zelfs",
395
+ "zes",
396
+ "zeven",
397
+ "zich",
398
+ "zichzelf",
399
+ "zij",
400
+ "zijn",
401
+ "zijne",
402
+ "zijzelf",
403
+ "zo",
404
+ "zoals",
405
+ "zodat",
406
+ "zodra",
407
+ "zonder",
408
+ "zou",
409
+ "zouden",
410
+ "zowat",
411
+ "zulk",
412
+ "zulke",
413
+ "zullen",
414
+ "zult"
415
+ ]
@@ -0,0 +1,223 @@
1
+ [
2
+ "alle",
3
+ "andre",
4
+ "arbeid",
5
+ "at",
6
+ "av",
7
+ "bare",
8
+ "begge",
9
+ "ble",
10
+ "blei",
11
+ "bli",
12
+ "blir",
13
+ "blitt",
14
+ "bort",
15
+ "bra",
16
+ "bruke",
17
+ "både",
18
+ "båe",
19
+ "da",
20
+ "de",
21
+ "deg",
22
+ "dei",
23
+ "deim",
24
+ "deira",
25
+ "deires",
26
+ "dem",
27
+ "den",
28
+ "denne",
29
+ "der",
30
+ "dere",
31
+ "deres",
32
+ "det",
33
+ "dette",
34
+ "di",
35
+ "din",
36
+ "disse",
37
+ "ditt",
38
+ "du",
39
+ "dykk",
40
+ "dykkar",
41
+ "då",
42
+ "eg",
43
+ "ein",
44
+ "eit",
45
+ "eitt",
46
+ "eller",
47
+ "elles",
48
+ "en",
49
+ "ene",
50
+ "eneste",
51
+ "enhver",
52
+ "enn",
53
+ "er",
54
+ "et",
55
+ "ett",
56
+ "etter",
57
+ "folk",
58
+ "for",
59
+ "fordi",
60
+ "forsûke",
61
+ "fra",
62
+ "få",
63
+ "før",
64
+ "fûr",
65
+ "fûrst",
66
+ "gjorde",
67
+ "gjûre",
68
+ "god",
69
+ "gå",
70
+ "ha",
71
+ "hadde",
72
+ "han",
73
+ "hans",
74
+ "har",
75
+ "hennar",
76
+ "henne",
77
+ "hennes",
78
+ "her",
79
+ "hjå",
80
+ "ho",
81
+ "hoe",
82
+ "honom",
83
+ "hoss",
84
+ "hossen",
85
+ "hun",
86
+ "hva",
87
+ "hvem",
88
+ "hver",
89
+ "hvilke",
90
+ "hvilken",
91
+ "hvis",
92
+ "hvor",
93
+ "hvordan",
94
+ "hvorfor",
95
+ "i",
96
+ "ikke",
97
+ "ikkje",
98
+ "ingen",
99
+ "ingi",
100
+ "inkje",
101
+ "inn",
102
+ "innen",
103
+ "inni",
104
+ "ja",
105
+ "jeg",
106
+ "kan",
107
+ "kom",
108
+ "korleis",
109
+ "korso",
110
+ "kun",
111
+ "kunne",
112
+ "kva",
113
+ "kvar",
114
+ "kvarhelst",
115
+ "kven",
116
+ "kvi",
117
+ "kvifor",
118
+ "lage",
119
+ "lang",
120
+ "lik",
121
+ "like",
122
+ "makt",
123
+ "man",
124
+ "mange",
125
+ "me",
126
+ "med",
127
+ "medan",
128
+ "meg",
129
+ "meget",
130
+ "mellom",
131
+ "men",
132
+ "mens",
133
+ "mer",
134
+ "mest",
135
+ "mi",
136
+ "min",
137
+ "mine",
138
+ "mitt",
139
+ "mot",
140
+ "mye",
141
+ "mykje",
142
+ "må",
143
+ "måte",
144
+ "navn",
145
+ "ned",
146
+ "nei",
147
+ "no",
148
+ "noe",
149
+ "noen",
150
+ "noka",
151
+ "noko",
152
+ "nokon",
153
+ "nokor",
154
+ "nokre",
155
+ "ny",
156
+ "nå",
157
+ "når",
158
+ "og",
159
+ "også",
160
+ "om",
161
+ "opp",
162
+ "oss",
163
+ "over",
164
+ "part",
165
+ "punkt",
166
+ "på",
167
+ "rett",
168
+ "riktig",
169
+ "samme",
170
+ "sant",
171
+ "seg",
172
+ "selv",
173
+ "si",
174
+ "sia",
175
+ "sidan",
176
+ "siden",
177
+ "sin",
178
+ "sine",
179
+ "sist",
180
+ "sitt",
181
+ "sjøl",
182
+ "skal",
183
+ "skulle",
184
+ "slik",
185
+ "slutt",
186
+ "so",
187
+ "som",
188
+ "somme",
189
+ "somt",
190
+ "start",
191
+ "stille",
192
+ "så",
193
+ "sånn",
194
+ "tid",
195
+ "til",
196
+ "tilbake",
197
+ "tilstand",
198
+ "um",
199
+ "under",
200
+ "upp",
201
+ "ut",
202
+ "uten",
203
+ "var",
204
+ "vart",
205
+ "varte",
206
+ "ved",
207
+ "verdi",
208
+ "vere",
209
+ "verte",
210
+ "vi",
211
+ "vil",
212
+ "ville",
213
+ "vite",
214
+ "vore",
215
+ "vors",
216
+ "vort",
217
+ "vår",
218
+ "være",
219
+ "vært",
220
+ "vöre",
221
+ "vört",
222
+ "å"
223
+ ]