scylla 0.9.3 → 1.0.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -0,0 +1,400 @@
1
+ _ 24576
2
+ о 8103
3
+ и 6409
4
+ е 6278
5
+ а 5618
6
+ с 5525
7
+ н 5070
8
+ р 4464
9
+ т 4300
10
+ в 3880
11
+ л 3007
12
+ к 2447
13
+ д 2169
14
+ п 2016
15
+ м 1962
16
+ я 1666
17
+ у 1649
18
+ и_ 1585
19
+ ст 1470
20
+ ы 1460
21
+ _в 1379
22
+ _п 1334
23
+ е_ 1249
24
+ _с 1227
25
+ з 1203
26
+ г 1184
27
+ а_ 1138
28
+ ос 1072
29
+ о_ 1050
30
+ й 1045
31
+ в_ 1024
32
+ ро 1013
33
+ но 998
34
+ я_ 972
35
+ б 953
36
+ на 952
37
+ ч 945
38
+ ь 941
39
+ ра 937
40
+ ов 888
41
+ _р 887
42
+ _и 885
43
+ ен 875
44
+ х 852
45
+ ни 813
46
+ ко 810
47
+ _н 778
48
+ й_ 735
49
+ _о 734
50
+ _в_ 722
51
+ ре 699
52
+ го 684
53
+ пр 667
54
+ ск 664
55
+ по 655
56
+ ны 648
57
+ ан 628
58
+ од 618
59
+ то 617
60
+ ер 613
61
+ сс 606
62
+ во 606
63
+ _пр 570
64
+ ли 563
65
+ х_ 548
66
+ те 544
67
+ ле 541
68
+ _к 541
69
+ ес 540
70
+ м_ 539
71
+ ол 528
72
+ _на 521
73
+ ж 517
74
+ _по 507
75
+ ве 505
76
+   499
77
+ ор 494
78
+ ел 492
79
+ _и_ 491
80
+ та 490
81
+ ль 484
82
+ ц 473
83
+ ти 461
84
+ си 457
85
+ тв 453
86
+ ва 452
87
+ ри 444
88
+ _д 436
89
+ ал 433
90
+ да 426
91
+ ит 423
92
+ ой 420
93
+ ю 418
94
+ _г 416
95
+ _т 415
96
+ ка 410
97
+ не 409
98
+ ств 405
99
+ ие 403
100
+ т_ 403
101
+ ет 401
102
+ ед 400
103
+ _м 386
104
+ ии 386
105
+ ог 382
106
+ рос 379
107
+ де 379
108
+ от 378
109
+ нн 378
110
+ об 377
111
+ ом 370
112
+ ки 370
113
+ че 369
114
+ ост 368
115
+ ии_ 367
116
+ ы_ 366
117
+ ия 366
118
+ ь_ 361
119
+ он 358
120
+ со 357
121
+ _ро 356
122
+ ас 355
123
+ ло 354
124
+ ш 351
125
+ ой_ 350
126
+ сси 347
127
+ ми 342
128
+ ат 342
129
+ тр 340
130
+ ар 338
131
+ _  331
132
+ осс 330
133
+ ав 329
134
+ ени 326
135
+ ла 324
136
+ ин 324
137
+ ме 320
138
+ ие_ 320
139
+ за 315
140
+ на_ 311
141
+ ия_ 309
142
+ ско 303
143
+ го_ 300
144
+ _го 297
145
+ _а 294
146
+ ф 294
147
+ аз 292
148
+ до 291
149
+ _у 286
150
+ _со 282
151
+ _з 281
152
+ ий 281
153
+ — 280
154
+ ис 279
155
+ ых 275
156
+ _б 275
157
+ ци 270
158
+ ся 270
159
+ —_ 267
160
+ ру 266
161
+ у_ 263
162
+ им 262
163
+ ых_ 261
164
+ ем 260
165
+ ьн 258
166
+ льн 258
167
+ ил 258
168
+ с_ 257
169
+ ак 256
170
+ ого 255
171
+ ви 252
172
+ тс 245
173
+ ая 241
174
+ пе 240
175
+ ич 239
176
+ из 237
177
+ ся_ 236
178
+ щ 234
179
+ енн 232
180
+ ая_ 231
181
+ _ч 230
182
+ ест 225
183
+ ста 224
184
+ ани 224
185
+ ое 224
186
+  —_ 220
187
+  — 220
188
+ _ст 219
189
+ ик 218
190
+ ски 218
191
+ ть 218
192
+ ние 216
193
+ ов_ 216
194
+ про 216
195
+ ова 215
196
+ вл 215
197
+ к_ 214
198
+ бо 214
199
+ ля 211
200
+ се 208
201
+ ей 208
202
+ _об 206
203
+ ус 202
204
+ н_ 202
205
+ _во 198
206
+ _за 198
207
+ ди 198
208
+ _ра 198
209
+ _ко 197
210
+ их 197
211
+ тел 197
212
+ ных 196
213
+ дн 196
214
+ вы 193
215
+ чес 192
216
+ йс 192
217
+ сти 190
218
+ ча 189
219
+ раз 189
220
+ ек 189
221
+ лен 188
222
+ тор 186
223
+ ом_ 186
224
+ э 185
225
+ сл 184
226
+ год 182
227
+ ю_ 182
228
+ ли_ 180
229
+ су 180
230
+ ния 179
231
+ мо 178
232
+ при 178
233
+ нно 178
234
+ ир 177
235
+ пол 176
236
+ иче 173
237
+ пре 173
238
+ ев 172
239
+ их_ 171
240
+ ё 170
241
+ но_ 170
242
+ стр 169
243
+ же 169
244
+ ма 167
245
+ сп 165
246
+ ам 165
247
+ _ре 164
248
+ ть_ 164
249
+ ми_ 161
250
+ тся 161
251
+ _с_ 160
252
+ чи 159
253
+ рс 159
254
+ ые_ 159
255
+ тра 159
256
+ ые 159
257
+ ий_ 158
258
+ уд 158
259
+ сто 158
260
+ _э 157
261
+ нос 157
262
+ еск 156
263
+ ред 156
264
+ кт 156
265
+ ель 155
266
+ кон 155
267
+ _ф 154
268
+ нны 152
269
+ ое_ 152
270
+ » 151
271
+ ым 151
272
+ _не 149
273
+ _« 149
274
+ аль 149
275
+ ту 149
276
+ ок 149
277
+ « 149
278
+ сии 148
279
+ пер 148
280
+ тве 147
281
+ ван 147
282
+ »_ 146
283
+ йск 146
284
+ л_ 145
285
+ ной 144
286
+ нов 144
287
+ ите 144
288
+ бы 143
289
+ вн 142
290
+ ет_ 142
291
+ кой 142
292
+ етс 142
293
+ _от 141
294
+ ив 140
295
+ тво 140
296
+ ран 138
297
+ ду 138
298
+ аци 138
299
+ аст 138
300
+ ац 138
301
+ ны_ 138
302
+ _до 137
303
+ ове 136
304
+ нт 135
305
+ _пе 135
306
+ ги 135
307
+ ьно 134
308
+ ей_ 133
309
+ ров 133
310
+  _ 132
311
+ ад 131
312
+ ср 130
313
+ нс 130
314
+ тн 129
315
+ ера 129
316
+ бр 129
317
+ ио 128
318
+ тер 128
319
+ _а_ 127
320
+ ло_ 127
321
+ ти_ 127
322
+ зн 126
323
+ хо 126
324
+ сь 126
325
+ ным 125
326
+ зо 124
327
+ сть 124
328
+ одн 123
329
+ ее 123
330
+ _ _ 123
331
+ д_ 121
332
+ ийс 121
333
+ оз 120
334
+ _те 120
335
+ ода 120
336
+ ты 119
337
+ ще 119
338
+ да_ 119
339
+ _е 119
340
+ ног 119
341
+ вен 118
342
+ ач 118
343
+ р_ 118
344
+ сь_ 118
345
+ еде 117
346
+ ные 116
347
+ осу 116
348
+ па 116
349
+ _бы 115
350
+ кр 114
351
+ еле 114
352
+ оро 112
353
+ сий 112
354
+ ла_ 112
355
+ зв 111
356
+ ыл 111
357
+ оп 111
358
+ ур 110
359
+ фе 110
360
+ рст 110
361
+ _л 109
362
+ ез 109
363
+ арс 109
364
+ ате 108
365
+ _ру 108
366
+ _из 108
367
+ дер 107
368
+ ае 107
369
+ ше 107
370
+ уда 107
371
+ дар 106
372
+ бл 106
373
+ оло 106
374
+ рав 105
375
+ суд 105
376
+ ере 105
377
+ сле 105
378
+ был 104
379
+ по_ 104
380
+ ки_ 104
381
+ са 103
382
+ пос 103
383
+ гр 102
384
+ ции 102
385
+ гос 102
386
+ ах 102
387
+ во_ 102
388
+ вс 102
389
+ _ме 101
390
+ му 101
391
+ _ка 101
392
+ оль 100
393
+ ном 100
394
+ род 100
395
+ вля 100
396
+ рн 100
397
+ _де 99
398
+ бол 99
399
+ ег 99
400
+ пра 98
@@ -0,0 +1,400 @@
1
+ _ 7370
2
+ a 1923
3
+ o 1917
4
+ e 1653
5
+ n 1417
6
+ s 1212
7
+ v 1099
8
+ i 1068
9
+ r 1004
10
+ t 961
11
+ k 907
12
+ l 799
13
+ a_ 781
14
+ d 681
15
+ p 648
16
+ m 576
17
+ _s 515
18
+ u 498
19
+ c 468
20
+ j 455
21
+ h 436
22
+ á 419
23
+ z 410
24
+ _p 396
25
+ e_ 374
26
+ ov 370
27
+ _v 340
28
+ o_ 334
29
+ y 333
30
+ _n 328
31
+ na 319
32
+ st 283
33
+ en 279
34
+ _a 263
35
+ sk 262
36
+ lo 256
37
+ u_ 254
38
+ b 239
39
+ _na 237
40
+ po 237
41
+ í 235
42
+ v_ 230
43
+ č 224
44
+ ý 217
45
+ ko 213
46
+ ro 209
47
+ ve 201
48
+ š 201
49
+ ne 198
50
+ é 192
51
+ ú 191
52
+ ch 187
53
+ sl 187
54
+ _po 185
55
+ ie 183
56
+ i_ 181
57
+ _r 180
58
+ pr 177
59
+ _a_ 176
60
+ _k 170
61
+ na_ 168
62
+ y_ 167
63
+ od 164
64
+ _o 162
65
+ ia 162
66
+ re 159
67
+ _m 158
68
+ m_ 155
69
+ ra 155
70
+ to 154
71
+ va 154
72
+ _z 151
73
+ ns 149
74
+ lov 146
75
+ la 146
76
+ nsk 145
77
+ aj 145
78
+ an 143
79
+ ho 143
80
+ _d 143
81
+ _pr 141
82
+ _sl 138
83
+ slo 138
84
+ or 137
85
+ ove 136
86
+ je 135
87
+ ni 133
88
+ é_ 131
89
+ at 131
90
+ _v_ 130
91
+ _t 130
92
+ ven 130
93
+ _j 128
94
+ ž 127
95
+ om 126
96
+ ed 125
97
+ ens 124
98
+ ok 123
99
+ h_ 122
100
+ te 121
101
+ ch_ 118
102
+ ku 114
103
+ ta 114
104
+ á_ 112
105
+ me 109
106
+ ri 109
107
+ _ro 107
108
+ ej 106
109
+ le 106
110
+ do 106
111
+ in 105
112
+ je_ 103
113
+ tr 103
114
+ al 100
115
+ vo 100
116
+ os 98
117
+ _je 97
118
+ ku_ 96
119
+ ná 96
120
+ ú_ 95
121
+ sa 94
122
+ né 92
123
+ er 92
124
+ ad 90
125
+ mi 90
126
+ no 90
127
+ es 89
128
+ ia_ 89
129
+ el 89
130
+ _sa 89
131
+ li 89
132
+ dn 89
133
+ j_ 88
134
+ av 88
135
+ ov_ 87
136
+ ti 86
137
+ ka 83
138
+ ľ 83
139
+ as 81
140
+ ol 80
141
+ í_ 79
142
+ sa_ 79
143
+ ob 79
144
+ ný 78
145
+ ho_ 78
146
+ ie_ 77
147
+ d_ 77
148
+ né_ 75
149
+ ce 75
150
+ om_ 75
151
+ de 75
152
+ naj 74
153
+ ci 74
154
+ ic 74
155
+ tu 73
156
+ ne_ 72
157
+ _h 71
158
+ _st 71
159
+ ko_ 70
160
+ em 70
161
+ ky 70
162
+ ých 69
163
+ _do 69
164
+ ýc 69
165
+ ej_ 67
166
+ sta 67
167
+ g 67
168
+ za 66
169
+ rok 65
170
+ _b 65
171
+ sko 63
172
+ ý_ 63
173
+ pre 63
174
+ pa 63
175
+ ke 61
176
+ zi 61
177
+ vy 60
178
+ vi 60
179
+ ck 60
180
+ is 59
181
+ ši 59
182
+ ka_ 58
183
+ ac 57
184
+ ť 57
185
+ k_ 57
186
+ et 57
187
+ ma 56
188
+ ky_ 56
189
+ dz 55
190
+ kr 55
191
+ ou 55
192
+ tv 55
193
+ oč 55
194
+ ost 55
195
+ _č 54
196
+ s_ 54
197
+ _c 54
198
+ di 53
199
+ ar 53
200
+ lo_ 53
201
+ kt 52
202
+ ak 52
203
+ tn 51
204
+ ou_ 49
205
+ ký 49
206
+ mo 49
207
+ nt 49
208
+ sp 49
209
+ tor 49
210
+ jú 49
211
+ _i 48
212
+ eľ 48
213
+ _me 47
214
+ bo 47
215
+ oku 47
216
+ pod 47
217
+ sú 47
218
+ by 46
219
+ vý 46
220
+ am 46
221
+ _ú 46
222
+ jú_ 45
223
+ _sú 45
224
+ oz 45
225
+ on 45
226
+ _ob 44
227
+ ého 44
228
+ it 44
229
+ éh 44
230
+ sku 44
231
+ _š 44
232
+ pri 44
233
+ z_ 44
234
+ ova 44
235
+ va_ 43
236
+ ik 43
237
+ ác 43
238
+ _vy 43
239
+ ani 43
240
+ r_ 43
241
+ ná_ 42
242
+ ot 42
243
+ od_ 42
244
+ vn 42
245
+ _ko 42
246
+ si 42
247
+ ád 41
248
+ l_ 41
249
+ ek 41
250
+ ní 41
251
+ zn 41
252
+ rie 41
253
+ ké 41
254
+ _u 40
255
+ ál 40
256
+ _od 40
257
+ il 40
258
+ hl 39
259
+ rá 39
260
+ čn 39
261
+ t_ 39
262
+ mi_ 39
263
+ _za 39
264
+ so 39
265
+ zá 38
266
+ či 38
267
+ tá 38
268
+ teľ 38
269
+ uj 38
270
+ ick 38
271
+ _s_ 38
272
+ ča 37
273
+ ate 37
274
+ eh 37
275
+ _z_ 37
276
+ la_ 37
277
+ _ce 37
278
+ kto 37
279
+ ým 37
280
+ rí 37
281
+ ny 37
282
+ str 36
283
+ nýc 36
284
+ ent 36
285
+ _e 36
286
+ nej 36
287
+ ska 36
288
+ est 36
289
+ rn 36
290
+ má 35
291
+ ev 35
292
+ ó 35
293
+ _ma 35
294
+ iac 35
295
+ red 35
296
+ _vý 35
297
+ kl 34
298
+ _sp 34
299
+ spo 34
300
+ ár 34
301
+ odn 34
302
+ ep 34
303
+ da 33
304
+ _ne 33
305
+ stv 33
306
+ roz 33
307
+ stu 33
308
+ ži 33
309
+ van 33
310
+ _kt 33
311
+ pl 33
312
+ ä 33
313
+ št 32
314
+ jš 32
315
+ _l 32
316
+ lá 32
317
+ sti 32
318
+ oh 32
319
+ dne 32
320
+ f 31
321
+ _pa 31
322
+ čas 31
323
+ _zá 31
324
+ lav 31
325
+ kej 31
326
+ yv 31
327
+ až 31
328
+ oby 30
329
+ rov 30
330
+ sto 30
331
+ olo 30
332
+ eb 30
333
+ če 30
334
+ ajú 30
335
+ ys 30
336
+ át 30
337
+ _vo 30
338
+ há 30
339
+ _re 30
340
+ ze 30
341
+ eho 30
342
+ ez 30
343
+ _te 30
344
+ kon 29
345
+ ký_ 29
346
+ ší 29
347
+ kov 29
348
+ hla 29
349
+ ô 29
350
+ ejš 29
351
+ ajv 29
352
+ jv 29
353
+ se 29
354
+ tre 28
355
+ vod 28
356
+ ln 28
357
+ _ná 28
358
+ nie 28
359
+ ti_ 28
360
+ kom 28
361
+ že 28
362
+ zem 28
363
+ op 28
364
+ ec 28
365
+ ba 28
366
+ dy_ 28
367
+ dy 28
368
+ vat 28
369
+ up 28
370
+ ast 28
371
+ ká 28
372
+ šie 28
373
+ to_ 28
374
+ tu_ 27
375
+ byv 27
376
+ _bo 27
377
+ sla 27
378
+ ský 27
379
+ ran 27
380
+ rs 27
381
+ sú_ 27
382
+ oj 27
383
+ ť_ 27
384
+ yva 27
385
+ ske 27
386
+ ým_ 26
387
+ ádz 26
388
+ vá 26
389
+ tup 26
390
+ oc 26
391
+ hr 26
392
+ kra 25
393
+ rat 25
394
+ oko 25
395
+ ca 25
396
+ áv 25
397
+ tov 25
398
+ chá 25
399
+ med 25
400
+ ny_ 25