stemmers 0.0.1
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- checksums.yaml +7 -0
- data/.rubocop.yml +13 -0
- data/CHANGELOG.md +5 -0
- data/CODE_OF_CONDUCT.md +132 -0
- data/Cargo.lock +547 -0
- data/Cargo.toml +7 -0
- data/LICENSE.txt +21 -0
- data/README.md +113 -0
- data/Rakefile +23 -0
- data/ext/stemmers/Cargo.toml +16 -0
- data/ext/stemmers/extconf.rb +6 -0
- data/ext/stemmers/src/lib.rs +105 -0
- data/lib/stemmers/stopwords/af.json +53 -0
- data/lib/stemmers/stopwords/ar.json +482 -0
- data/lib/stemmers/stopwords/bg.json +261 -0
- data/lib/stemmers/stopwords/bn.json +400 -0
- data/lib/stemmers/stopwords/br.json +1205 -0
- data/lib/stemmers/stopwords/ca.json +280 -0
- data/lib/stemmers/stopwords/cs.json +425 -0
- data/lib/stemmers/stopwords/da.json +172 -0
- data/lib/stemmers/stopwords/de.json +622 -0
- data/lib/stemmers/stopwords/el.json +849 -0
- data/lib/stemmers/stopwords/en.json +1300 -0
- data/lib/stemmers/stopwords/eo.json +175 -0
- data/lib/stemmers/stopwords/es.json +734 -0
- data/lib/stemmers/stopwords/et.json +37 -0
- data/lib/stemmers/stopwords/eu.json +100 -0
- data/lib/stemmers/stopwords/fa.json +801 -0
- data/lib/stemmers/stopwords/fi.json +849 -0
- data/lib/stemmers/stopwords/fr.json +693 -0
- data/lib/stemmers/stopwords/ga.json +111 -0
- data/lib/stemmers/stopwords/gl.json +162 -0
- data/lib/stemmers/stopwords/gu.json +226 -0
- data/lib/stemmers/stopwords/ha.json +41 -0
- data/lib/stemmers/stopwords/he.json +196 -0
- data/lib/stemmers/stopwords/hi.json +227 -0
- data/lib/stemmers/stopwords/hr.json +181 -0
- data/lib/stemmers/stopwords/hu.json +791 -0
- data/lib/stemmers/stopwords/hy.json +47 -0
- data/lib/stemmers/stopwords/id.json +760 -0
- data/lib/stemmers/stopwords/it.json +634 -0
- data/lib/stemmers/stopwords/ja.json +136 -0
- data/lib/stemmers/stopwords/ko.json +681 -0
- data/lib/stemmers/stopwords/ku.json +64 -0
- data/lib/stemmers/stopwords/la.json +51 -0
- data/lib/stemmers/stopwords/lt.json +476 -0
- data/lib/stemmers/stopwords/lv.json +163 -0
- data/lib/stemmers/stopwords/mr.json +101 -0
- data/lib/stemmers/stopwords/ms.json +477 -0
- data/lib/stemmers/stopwords/nl.json +415 -0
- data/lib/stemmers/stopwords/no.json +223 -0
- data/lib/stemmers/stopwords/pl.json +331 -0
- data/lib/stemmers/stopwords/pt.json +562 -0
- data/lib/stemmers/stopwords/ro.json +436 -0
- data/lib/stemmers/stopwords/ru.json +561 -0
- data/lib/stemmers/stopwords/sk.json +420 -0
- data/lib/stemmers/stopwords/sl.json +448 -0
- data/lib/stemmers/stopwords/so.json +32 -0
- data/lib/stemmers/stopwords/st.json +33 -0
- data/lib/stemmers/stopwords/sv.json +420 -0
- data/lib/stemmers/stopwords/sw.json +76 -0
- data/lib/stemmers/stopwords/th.json +118 -0
- data/lib/stemmers/stopwords/tl.json +149 -0
- data/lib/stemmers/stopwords/tr.json +506 -0
- data/lib/stemmers/stopwords/uk.json +75 -0
- data/lib/stemmers/stopwords/ur.json +519 -0
- data/lib/stemmers/stopwords/vi.json +647 -0
- data/lib/stemmers/stopwords/yo.json +62 -0
- data/lib/stemmers/stopwords/zh.json +796 -0
- data/lib/stemmers/stopwords/zu.json +31 -0
- data/lib/stemmers/version.rb +5 -0
- data/lib/stemmers.rb +91 -0
- data/sig/stemmers.rbs +4 -0
- metadata +131 -0
@@ -0,0 +1,111 @@
|
|
1
|
+
[
|
2
|
+
"a",
|
3
|
+
"ach",
|
4
|
+
"ag",
|
5
|
+
"agus",
|
6
|
+
"an",
|
7
|
+
"aon",
|
8
|
+
"ar",
|
9
|
+
"arna",
|
10
|
+
"as",
|
11
|
+
"b'",
|
12
|
+
"ba",
|
13
|
+
"beirt",
|
14
|
+
"bhúr",
|
15
|
+
"caoga",
|
16
|
+
"ceathair",
|
17
|
+
"ceathrar",
|
18
|
+
"chomh",
|
19
|
+
"chtó",
|
20
|
+
"chuig",
|
21
|
+
"chun",
|
22
|
+
"cois",
|
23
|
+
"céad",
|
24
|
+
"cúig",
|
25
|
+
"cúigear",
|
26
|
+
"d'",
|
27
|
+
"daichead",
|
28
|
+
"dar",
|
29
|
+
"de",
|
30
|
+
"deich",
|
31
|
+
"deichniúr",
|
32
|
+
"den",
|
33
|
+
"dhá",
|
34
|
+
"do",
|
35
|
+
"don",
|
36
|
+
"dtí",
|
37
|
+
"dá",
|
38
|
+
"dár",
|
39
|
+
"dó",
|
40
|
+
"faoi",
|
41
|
+
"faoin",
|
42
|
+
"faoina",
|
43
|
+
"faoinár",
|
44
|
+
"fara",
|
45
|
+
"fiche",
|
46
|
+
"gach",
|
47
|
+
"gan",
|
48
|
+
"go",
|
49
|
+
"gur",
|
50
|
+
"haon",
|
51
|
+
"hocht",
|
52
|
+
"i",
|
53
|
+
"iad",
|
54
|
+
"idir",
|
55
|
+
"in",
|
56
|
+
"ina",
|
57
|
+
"ins",
|
58
|
+
"inár",
|
59
|
+
"is",
|
60
|
+
"le",
|
61
|
+
"leis",
|
62
|
+
"lena",
|
63
|
+
"lenár",
|
64
|
+
"m'",
|
65
|
+
"mar",
|
66
|
+
"mo",
|
67
|
+
"mé",
|
68
|
+
"na",
|
69
|
+
"nach",
|
70
|
+
"naoi",
|
71
|
+
"naonúr",
|
72
|
+
"ná",
|
73
|
+
"ní",
|
74
|
+
"níor",
|
75
|
+
"nó",
|
76
|
+
"nócha",
|
77
|
+
"ocht",
|
78
|
+
"ochtar",
|
79
|
+
"os",
|
80
|
+
"roimh",
|
81
|
+
"sa",
|
82
|
+
"seacht",
|
83
|
+
"seachtar",
|
84
|
+
"seachtó",
|
85
|
+
"seasca",
|
86
|
+
"seisear",
|
87
|
+
"siad",
|
88
|
+
"sibh",
|
89
|
+
"sinn",
|
90
|
+
"sna",
|
91
|
+
"sé",
|
92
|
+
"sí",
|
93
|
+
"tar",
|
94
|
+
"thar",
|
95
|
+
"thú",
|
96
|
+
"triúr",
|
97
|
+
"trí",
|
98
|
+
"trína",
|
99
|
+
"trínár",
|
100
|
+
"tríocha",
|
101
|
+
"tú",
|
102
|
+
"um",
|
103
|
+
"ár",
|
104
|
+
"é",
|
105
|
+
"éis",
|
106
|
+
"í",
|
107
|
+
"ó",
|
108
|
+
"ón",
|
109
|
+
"óna",
|
110
|
+
"ónár"
|
111
|
+
]
|
@@ -0,0 +1,162 @@
|
|
1
|
+
[
|
2
|
+
"a",
|
3
|
+
"alí",
|
4
|
+
"ao",
|
5
|
+
"aos",
|
6
|
+
"aquel",
|
7
|
+
"aquela",
|
8
|
+
"aquelas",
|
9
|
+
"aqueles",
|
10
|
+
"aquilo",
|
11
|
+
"aquí",
|
12
|
+
"as",
|
13
|
+
"así",
|
14
|
+
"aínda",
|
15
|
+
"ben",
|
16
|
+
"cando",
|
17
|
+
"che",
|
18
|
+
"co",
|
19
|
+
"coa",
|
20
|
+
"coas",
|
21
|
+
"comigo",
|
22
|
+
"con",
|
23
|
+
"connosco",
|
24
|
+
"contigo",
|
25
|
+
"convosco",
|
26
|
+
"cos",
|
27
|
+
"cun",
|
28
|
+
"cunha",
|
29
|
+
"cunhas",
|
30
|
+
"cuns",
|
31
|
+
"da",
|
32
|
+
"dalgunha",
|
33
|
+
"dalgunhas",
|
34
|
+
"dalgún",
|
35
|
+
"dalgúns",
|
36
|
+
"das",
|
37
|
+
"de",
|
38
|
+
"del",
|
39
|
+
"dela",
|
40
|
+
"delas",
|
41
|
+
"deles",
|
42
|
+
"desde",
|
43
|
+
"deste",
|
44
|
+
"do",
|
45
|
+
"dos",
|
46
|
+
"dun",
|
47
|
+
"dunha",
|
48
|
+
"dunhas",
|
49
|
+
"duns",
|
50
|
+
"e",
|
51
|
+
"el",
|
52
|
+
"ela",
|
53
|
+
"elas",
|
54
|
+
"eles",
|
55
|
+
"en",
|
56
|
+
"era",
|
57
|
+
"eran",
|
58
|
+
"esa",
|
59
|
+
"esas",
|
60
|
+
"ese",
|
61
|
+
"eses",
|
62
|
+
"esta",
|
63
|
+
"estaba",
|
64
|
+
"estar",
|
65
|
+
"este",
|
66
|
+
"estes",
|
67
|
+
"estiven",
|
68
|
+
"estou",
|
69
|
+
"está",
|
70
|
+
"están",
|
71
|
+
"eu",
|
72
|
+
"facer",
|
73
|
+
"foi",
|
74
|
+
"foron",
|
75
|
+
"fun",
|
76
|
+
"había",
|
77
|
+
"hai",
|
78
|
+
"iso",
|
79
|
+
"isto",
|
80
|
+
"la",
|
81
|
+
"las",
|
82
|
+
"lle",
|
83
|
+
"lles",
|
84
|
+
"lo",
|
85
|
+
"los",
|
86
|
+
"mais",
|
87
|
+
"me",
|
88
|
+
"meu",
|
89
|
+
"meus",
|
90
|
+
"min",
|
91
|
+
"miña",
|
92
|
+
"miñas",
|
93
|
+
"moi",
|
94
|
+
"na",
|
95
|
+
"nas",
|
96
|
+
"neste",
|
97
|
+
"nin",
|
98
|
+
"no",
|
99
|
+
"non",
|
100
|
+
"nos",
|
101
|
+
"nosa",
|
102
|
+
"nosas",
|
103
|
+
"noso",
|
104
|
+
"nosos",
|
105
|
+
"nun",
|
106
|
+
"nunha",
|
107
|
+
"nunhas",
|
108
|
+
"nuns",
|
109
|
+
"nós",
|
110
|
+
"o",
|
111
|
+
"os",
|
112
|
+
"ou",
|
113
|
+
"para",
|
114
|
+
"pero",
|
115
|
+
"pode",
|
116
|
+
"pois",
|
117
|
+
"pola",
|
118
|
+
"polas",
|
119
|
+
"polo",
|
120
|
+
"polos",
|
121
|
+
"por",
|
122
|
+
"que",
|
123
|
+
"se",
|
124
|
+
"senón",
|
125
|
+
"ser",
|
126
|
+
"seu",
|
127
|
+
"seus",
|
128
|
+
"sexa",
|
129
|
+
"sido",
|
130
|
+
"sobre",
|
131
|
+
"súa",
|
132
|
+
"súas",
|
133
|
+
"tamén",
|
134
|
+
"tan",
|
135
|
+
"te",
|
136
|
+
"ten",
|
137
|
+
"ter",
|
138
|
+
"teu",
|
139
|
+
"teus",
|
140
|
+
"teñen",
|
141
|
+
"teño",
|
142
|
+
"ti",
|
143
|
+
"tido",
|
144
|
+
"tiven",
|
145
|
+
"tiña",
|
146
|
+
"túa",
|
147
|
+
"túas",
|
148
|
+
"un",
|
149
|
+
"unha",
|
150
|
+
"unhas",
|
151
|
+
"uns",
|
152
|
+
"vos",
|
153
|
+
"vosa",
|
154
|
+
"vosas",
|
155
|
+
"voso",
|
156
|
+
"vosos",
|
157
|
+
"vós",
|
158
|
+
"á",
|
159
|
+
"é",
|
160
|
+
"ó",
|
161
|
+
"ós"
|
162
|
+
]
|
@@ -0,0 +1,226 @@
|
|
1
|
+
[
|
2
|
+
"અંગે",
|
3
|
+
"અંદર",
|
4
|
+
"અથવા",
|
5
|
+
"અને",
|
6
|
+
"અમને",
|
7
|
+
"અમારું",
|
8
|
+
"અમે",
|
9
|
+
"અહીં",
|
10
|
+
"આ",
|
11
|
+
"આગળ",
|
12
|
+
"આથી",
|
13
|
+
"આનું",
|
14
|
+
"આને",
|
15
|
+
"આપણને",
|
16
|
+
"આપણું",
|
17
|
+
"આપણે",
|
18
|
+
"આપી",
|
19
|
+
"આર",
|
20
|
+
"આવી",
|
21
|
+
"આવે",
|
22
|
+
"ઉપર",
|
23
|
+
"ઉભા",
|
24
|
+
"ઊંચે",
|
25
|
+
"ઊભું",
|
26
|
+
"એ",
|
27
|
+
"એક",
|
28
|
+
"એન",
|
29
|
+
"એના",
|
30
|
+
"એનાં",
|
31
|
+
"એની",
|
32
|
+
"એનું",
|
33
|
+
"એને",
|
34
|
+
"એનો",
|
35
|
+
"એમ",
|
36
|
+
"એવા",
|
37
|
+
"એવાં",
|
38
|
+
"એવી",
|
39
|
+
"એવું",
|
40
|
+
"એવો",
|
41
|
+
"ઓછું",
|
42
|
+
"કંઈક",
|
43
|
+
"કઈ",
|
44
|
+
"કયું",
|
45
|
+
"કયો",
|
46
|
+
"કરતાં",
|
47
|
+
"કરવું",
|
48
|
+
"કરી",
|
49
|
+
"કરીએ",
|
50
|
+
"કરું",
|
51
|
+
"કરે",
|
52
|
+
"કરેલું",
|
53
|
+
"કર્યા",
|
54
|
+
"કર્યાં",
|
55
|
+
"કર્યું",
|
56
|
+
"કર્યો",
|
57
|
+
"કાંઈ",
|
58
|
+
"કે",
|
59
|
+
"કેટલું",
|
60
|
+
"કેમ",
|
61
|
+
"કેવી",
|
62
|
+
"કેવું",
|
63
|
+
"કોઈ",
|
64
|
+
"કોઈક",
|
65
|
+
"કોણ",
|
66
|
+
"કોણે",
|
67
|
+
"કોને",
|
68
|
+
"ક્યાં",
|
69
|
+
"ક્યારે",
|
70
|
+
"ખૂબ",
|
71
|
+
"ગઈ",
|
72
|
+
"ગયા",
|
73
|
+
"ગયાં",
|
74
|
+
"ગયું",
|
75
|
+
"ગયો",
|
76
|
+
"ઘણું",
|
77
|
+
"છ",
|
78
|
+
"છતાં",
|
79
|
+
"છીએ",
|
80
|
+
"છું",
|
81
|
+
"છે",
|
82
|
+
"છેક",
|
83
|
+
"છો",
|
84
|
+
"જ",
|
85
|
+
"જાય",
|
86
|
+
"જી",
|
87
|
+
"જે",
|
88
|
+
"જેટલું",
|
89
|
+
"જેને",
|
90
|
+
"જેમ",
|
91
|
+
"જેવી",
|
92
|
+
"જેવું",
|
93
|
+
"જેવો",
|
94
|
+
"જો",
|
95
|
+
"જોઈએ",
|
96
|
+
"જ્યાં",
|
97
|
+
"જ્યારે",
|
98
|
+
"ઝાઝું",
|
99
|
+
"તને",
|
100
|
+
"તમને",
|
101
|
+
"તમારું",
|
102
|
+
"તમે",
|
103
|
+
"તા",
|
104
|
+
"તારાથી",
|
105
|
+
"તારામાં",
|
106
|
+
"તારું",
|
107
|
+
"તું",
|
108
|
+
"તે",
|
109
|
+
"તેં",
|
110
|
+
"તેઓ",
|
111
|
+
"તેણે",
|
112
|
+
"તેથી",
|
113
|
+
"તેના",
|
114
|
+
"તેની",
|
115
|
+
"તેનું",
|
116
|
+
"તેને",
|
117
|
+
"તેમ",
|
118
|
+
"તેમનું",
|
119
|
+
"તેમને",
|
120
|
+
"તેવી",
|
121
|
+
"તેવું",
|
122
|
+
"તો",
|
123
|
+
"ત્યાં",
|
124
|
+
"ત્યારે",
|
125
|
+
"થઇ",
|
126
|
+
"થઈ",
|
127
|
+
"થઈએ",
|
128
|
+
"થતા",
|
129
|
+
"થતાં",
|
130
|
+
"થતી",
|
131
|
+
"થતું",
|
132
|
+
"થતો",
|
133
|
+
"થયા",
|
134
|
+
"થયાં",
|
135
|
+
"થયું",
|
136
|
+
"થયેલું",
|
137
|
+
"થયો",
|
138
|
+
"થવું",
|
139
|
+
"થાઉં",
|
140
|
+
"થાઓ",
|
141
|
+
"થાય",
|
142
|
+
"થી",
|
143
|
+
"થોડું",
|
144
|
+
"દરેક",
|
145
|
+
"ન",
|
146
|
+
"નં",
|
147
|
+
"નં.",
|
148
|
+
"નથી",
|
149
|
+
"નહિ",
|
150
|
+
"નહી",
|
151
|
+
"નહીં",
|
152
|
+
"ના",
|
153
|
+
"ની",
|
154
|
+
"નીચે",
|
155
|
+
"નું",
|
156
|
+
"ને",
|
157
|
+
"નો",
|
158
|
+
"પછી",
|
159
|
+
"પણ",
|
160
|
+
"પર",
|
161
|
+
"પરંતુ",
|
162
|
+
"પહેલાં",
|
163
|
+
"પાછળ",
|
164
|
+
"પાસે",
|
165
|
+
"પોતાનું",
|
166
|
+
"પ્રત્યેક",
|
167
|
+
"ફક્ત",
|
168
|
+
"ફરી",
|
169
|
+
"ફરીથી",
|
170
|
+
"બંને",
|
171
|
+
"બધા",
|
172
|
+
"બધું",
|
173
|
+
"બની",
|
174
|
+
"બહાર",
|
175
|
+
"બહુ",
|
176
|
+
"બાદ",
|
177
|
+
"બે",
|
178
|
+
"મને",
|
179
|
+
"મા",
|
180
|
+
"માં",
|
181
|
+
"માટે",
|
182
|
+
"માત્ર",
|
183
|
+
"મારું",
|
184
|
+
"મી",
|
185
|
+
"મૂકવું",
|
186
|
+
"મૂકી",
|
187
|
+
"મૂક્યા",
|
188
|
+
"મૂક્યાં",
|
189
|
+
"મૂક્યું",
|
190
|
+
"મેં",
|
191
|
+
"રહી",
|
192
|
+
"રહે",
|
193
|
+
"રહેવું",
|
194
|
+
"રહ્યા",
|
195
|
+
"રહ્યાં",
|
196
|
+
"રહ્યો",
|
197
|
+
"રીતે",
|
198
|
+
"રૂ.",
|
199
|
+
"રૂા",
|
200
|
+
"લેતા",
|
201
|
+
"લેતું",
|
202
|
+
"લેવા",
|
203
|
+
"વગેરે",
|
204
|
+
"વધુ",
|
205
|
+
"શકે",
|
206
|
+
"શા",
|
207
|
+
"શું",
|
208
|
+
"સરખું",
|
209
|
+
"સામે",
|
210
|
+
"સુધી",
|
211
|
+
"હતા",
|
212
|
+
"હતાં",
|
213
|
+
"હતી",
|
214
|
+
"હતું",
|
215
|
+
"હવે",
|
216
|
+
"હશે",
|
217
|
+
"હશો",
|
218
|
+
"હા",
|
219
|
+
"હું",
|
220
|
+
"હો",
|
221
|
+
"હોઈ",
|
222
|
+
"હોઈશ",
|
223
|
+
"હોઈશું",
|
224
|
+
"હોય",
|
225
|
+
"હોવા"
|
226
|
+
]
|
@@ -0,0 +1,41 @@
|
|
1
|
+
[
|
2
|
+
"a",
|
3
|
+
"amma",
|
4
|
+
"ba",
|
5
|
+
"ban",
|
6
|
+
"ce",
|
7
|
+
"cikin",
|
8
|
+
"da",
|
9
|
+
"don",
|
10
|
+
"ga",
|
11
|
+
"in",
|
12
|
+
"ina",
|
13
|
+
"ita",
|
14
|
+
"ji",
|
15
|
+
"ka",
|
16
|
+
"ko",
|
17
|
+
"kuma",
|
18
|
+
"lokacin",
|
19
|
+
"ma",
|
20
|
+
"mai",
|
21
|
+
"na",
|
22
|
+
"ne",
|
23
|
+
"ni",
|
24
|
+
"sai",
|
25
|
+
"shi",
|
26
|
+
"su",
|
27
|
+
"suka",
|
28
|
+
"sun",
|
29
|
+
"ta",
|
30
|
+
"tafi",
|
31
|
+
"take",
|
32
|
+
"tana",
|
33
|
+
"wani",
|
34
|
+
"wannan",
|
35
|
+
"wata",
|
36
|
+
"ya",
|
37
|
+
"yake",
|
38
|
+
"yana",
|
39
|
+
"yi",
|
40
|
+
"za"
|
41
|
+
]
|