scylla 0.9.3 → 1.0.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -0,0 +1,400 @@
1
+ _ 19492
2
+ ا 5786
3
+ ی 3765
4
+ ر 3442
5
+ ن 2941
6
+ د 2618
7
+ ه 2259
8
+ و 2161
9
+ م 1835
10
+ ت 1706
11
+ ب 1523
12
+ _ا 1376
13
+ س 1320
14
+ ی_ 1305
15
+ ان 1199
16
+ ن_ 1171
17
+ ه_ 1088
18
+ _ب 1046
19
+ ش 1008
20
+ ر_ 979
21
+ ای 967
22
+ ل 909
23
+ ز 903
24
+ ک 857
25
+ _د 825
26
+ د_ 794
27
+ را 736
28
+ ان_ 716
29
+ _م 708
30
+ _و 642
31
+ و_ 584
32
+ ت_ 568
33
+ ‌ 544
34
+ ار 541
35
+ ، 539
36
+ ،_ 536
37
+ در 522
38
+ _و_ 521
39
+ ا_ 474
40
+ _در 468
41
+ خ 464
42
+ _ای 457
43
+ _ک 453
44
+ از 448
45
+ ز_ 440
46
+ در_ 435
47
+ یر 429
48
+ ق 428
49
+ گ 427
50
+ ست 420
51
+ ف 410
52
+ _س 408
53
+ _ت 405
54
+ ران 401
55
+ ند 385
56
+ به 382
57
+ ها 375
58
+ از_ 370
59
+ یا 369
60
+ _ن 365
61
+ _به 362
62
+ به_ 357
63
+ می 356
64
+ ین 354
65
+ _از 353
66
+ ج 352
67
+ اس 349
68
+ ری 349
69
+ پ 341
70
+ _ش 334
71
+ ع 331
72
+ ایر 325
73
+ یرا 314
74
+ _ر 308
75
+ ام 306
76
+ ای_ 301
77
+ ل_ 301
78
+ ود 291
79
+ نی 290
80
+ ین_ 289
81
+ ور 280
82
+ با 279
83
+ ما 277
84
+ م_ 276
85
+ _پ 271
86
+ دا 263
87
+ ح 252
88
+ آ 250
89
+ ال 249
90
+ ند_ 249
91
+ اد 238
92
+ ده 238
93
+ سا 238
94
+ _ه 232
95
+ ست_ 228
96
+ رد 225
97
+ است 221
98
+ تا 221
99
+ _آ 214
100
+ _می 213
101
+ های 212
102
+ وا 212
103
+ که 212
104
+ بر 210
105
+ _، 203
106
+ _،_ 203
107
+ که_ 199
108
+ _که 197
109
+ نا 195
110
+ ه‌ 187
111
+ _اس 185
112
+ دی 184
113
+ ۱ 179
114
+ _با 176
115
+ ‌ه 176
116
+ ود_ 175
117
+ ‌ها 175
118
+ ص 174
119
+ ی‌ 173
120
+ _سا 172
121
+ تر 168
122
+ _بر 166
123
+ ط 166
124
+ سی 165
125
+ _خ 165
126
+ دو 163
127
+ _ق 163
128
+ _ی 160
129
+ _ج 160
130
+ اه 159
131
+ یان 157
132
+ نی_ 156
133
+ دن 155
134
+ ش_ 154
135
+ شد 154
136
+ ۰ 152
137
+ ار_ 151
138
+ لا 150
139
+ شا 148
140
+ بو 148
141
+ چ 146
142
+ انی 146
143
+ رو 145
144
+ ال_ 144
145
+ _گ 142
146
+ ره 140
147
+ می‌ 140
148
+ لی 138
149
+ _را 137
150
+ تی 137
151
+ نو 135
152
+ _ف 135
153
+ یل 134
154
+ _ح 131
155
+ را_ 130
156
+ _تا 129
157
+ _بو 127
158
+ _۱ 127
159
+ ‌ا 127
160
+ این 125
161
+ ری_ 125
162
+ وی 123
163
+ بود 123
164
+ _دو 123
165
+ _شد 122
166
+ مان 122
167
+ _ز 121
168
+ اری 121
169
+ ون 118
170
+ ده_ 116
171
+ ام_ 115
172
+ بی 113
173
+ ه‌ا 112
174
+ ته 112
175
+ دند 111
176
+ ۳ 111
177
+ ۲ 110
178
+ رس 110
179
+ فت 110
180
+ _دا 110
181
+ هم 110
182
+ ید 109
183
+ اب 107
184
+ سال 106
185
+ مر 106
186
+ هر 104
187
+ شت 104
188
+ گر 102
189
+ یک 102
190
+ نه 101
191
+ ات 101
192
+ سل 100
193
+ مد 99
194
+ ب_ 96
195
+ وم 96
196
+ شو 95
197
+ یش 95
198
+ _ع 95
199
+ خا 94
200
+ مو 94
201
+ دار 93
202
+ غ 93
203
+ آن 93
204
+ فر 93
205
+ _آن 92
206
+ مت 92
207
+ کی 92
208
+ پا 90
209
+ پی 89
210
+ ها_ 88
211
+ سر 87
212
+ کو 87
213
+ خو 86
214
+ کر 85
215
+ زی 85
216
+ اش 84
217
+ شی 84
218
+ رد_ 83
219
+ مه 83
220
+ او 83
221
+ نگ 82
222
+ نام 82
223
+ رت 82
224
+ ۵ 81
225
+ بر_ 81
226
+ _چ 81
227
+ _خو 81
228
+ _فر 79
229
+ شد_ 79
230
+ _پی 79
231
+ خت 79
232
+ س_ 78
233
+ با_ 78
234
+ ول 78
235
+ یی 77
236
+ یم 77
237
+ رز 77
238
+ گا 76
239
+ هن 76
240
+ _نا 75
241
+ زم 75
242
+ ۸ 74
243
+ _هم 74
244
+ قا 74
245
+ _پا 73
246
+ اد_ 73
247
+ کرد 70
248
+ _یا 69
249
+ ک_ 69
250
+ زا 68
251
+ ات_ 68
252
+ پس 68
253
+ مع 68
254
+ ‌اس 68
255
+ اخ 68
256
+ تا_ 67
257
+ ده‌ 67
258
+ کا 67
259
+ ن، 67
260
+ ن،_ 67
261
+ اف 67
262
+ _مر 67
263
+ تو 67
264
+ ایی 67
265
+ ق_ 67
266
+ _کر 67
267
+ دی_ 66
268
+ ته_ 66
269
+ یت 66
270
+ جا 66
271
+ شاه 66
272
+ رف 65
273
+ لی_ 65
274
+ ۷ 65
275
+ گی 64
276
+ ۰_ 64
277
+ ن‌ 63
278
+ » 63
279
+ _« 63
280
+ کن 63
281
+ ستا 63
282
+ « 63
283
+ ی،_ 62
284
+ ی، 62
285
+ کش 62
286
+ ور_ 61
287
+ تی_ 61
288
+ _ص 61
289
+ رک 60
290
+ _سر 60
291
+ می_ 60
292
+ رب 60
293
+ د،_ 59
294
+ رش 59
295
+ ‌ش 59
296
+ یخ 59
297
+ _پس 59
298
+ د، 59
299
+ نش 59
300
+ هٔ 58
301
+ هٔ_ 58
302
+ من 58
303
+ مل 58
304
+ _یک 58
305
+ تان 58
306
+ تن 58
307
+ ٔ 58
308
+ ذ 58
309
+ ٔ_ 58
310
+ ۹ 58
311
+ _کش 57
312
+ تار 57
313
+ ۱۳ 56
314
+ _۲ 55
315
+ رین 55
316
+ _ام 55
317
+ یه 55
318
+ یر_ 55
319
+ یی_ 54
320
+ _ما 54
321
+ دور 54
322
+ ی‌ش 54
323
+ ریخ 54
324
+ جم 54
325
+ یز 54
326
+ رگ 54
327
+ _شا 53
328
+ زن 53
329
+ اند 53
330
+ »_ 53
331
+ تری 53
332
+ اخت 52
333
+ _نی 52
334
+ وان 52
335
+ ید_ 52
336
+ وس 51
337
+ حک 51
338
+ مت_ 51
339
+ ه‌ه 51
340
+ وره 51
341
+ یل_ 51
342
+ شه 51
343
+ یو 51
344
+ ارا 51
345
+ کی_ 51
346
+ جه 51
347
+ شده 50
348
+ رای 50
349
+ ارد 50
350
+ ره_ 50
351
+ تم 50
352
+ یش_ 50
353
+ شم 50
354
+ اه_ 50
355
+ فا 50
356
+ ۶ 49
357
+ _خا 49
358
+ هی 49
359
+ _حک 49
360
+ خ_ 49
361
+ رم 49
362
+ _۱۳ 49
363
+ _او 49
364
+ رسی 49
365
+ ان، 49
366
+ اق 49
367
+ ریا 48
368
+ ومت 48
369
+ نوا 48
370
+ دود 48
371
+ شک 48
372
+ آن_ 48
373
+ _بی 48
374
+ نیا 47
375
+ _ط 47
376
+ کوم 47
377
+ _سل 47
378
+ ۴ 47
379
+ سی_ 47
380
+ برا 47
381
+ _گر 47
382
+ چن 47
383
+ سیا 46
384
+ پس_ 46
385
+ حکو 46
386
+ امی 46
387
+ _دی 46
388
+ شود 46
389
+ _رو 46
390
+ قو 46
391
+ _غ 45
392
+ ف_ 45
393
+ گو 45
394
+ له 45
395
+ وی_ 45
396
+ _تر 45
397
+ تر_ 44
398
+ _رس 44
399
+ خان 44
400
+ _مع 44
@@ -0,0 +1,400 @@
1
+ _ 22532
2
+ a 5637
3
+ i 5625
4
+ o 5339
5
+ e 4970
6
+ n 3896
7
+ z 3690
8
+ w 3632
9
+ r 3252
10
+ s 3088
11
+ t 2692
12
+ c 2689
13
+ y 2488
14
+ p 2380
15
+ k 2321
16
+ d 1945
17
+ l 1696
18
+ _p 1642
19
+ m 1594
20
+ j 1580
21
+ u 1556
22
+ ie 1536
23
+ a_ 1497
24
+ _w 1466
25
+ e_ 1390
26
+ i_ 1302
27
+ ni 1210
28
+ ł 1196
29
+ po 1101
30
+ w_ 989
31
+ _po 857
32
+ o_ 852
33
+ st 848
34
+ na 847
35
+ g 831
36
+ ow 778
37
+ h 770
38
+ _s 761
39
+ y_ 751
40
+ _z 737
41
+ cz 714
42
+ ch 705
43
+ ze 689
44
+ _i 684
45
+ ó 684
46
+ _w_ 679
47
+ ą 675
48
+ _n 670
49
+ b 663
50
+ rz 638
51
+ ę 630
52
+ ra 624
53
+ _o 620
54
+ pr 577
55
+ an 571
56
+ wi 567
57
+ wa 561
58
+ ie_ 557
59
+ m_ 538
60
+ ol 532
61
+ ro 519
62
+ ki 518
63
+ nie 515
64
+ _d 494
65
+ _na 491
66
+ _r 490
67
+ za 489
68
+ _k 488
69
+ zy 488
70
+ h_ 488
71
+ ch_ 488
72
+ mi 485
73
+ _t 484
74
+ sk 479
75
+ ta 479
76
+ ia 466
77
+ ej 461
78
+ sz 460
79
+ _pr 459
80
+ u_ 455
81
+ _i_ 447
82
+ ś 438
83
+ yc 435
84
+ od 433
85
+ pol 420
86
+ _m 416
87
+ ar 415
88
+ z_ 400
89
+ or 396
90
+ ż 393
91
+ on 391
92
+ dz 390
93
+ li 387
94
+ ny 385
95
+ ko 365
96
+ ła 363
97
+ ty 360
98
+ na_ 359
99
+ ne 359
100
+ re 358
101
+ en 355
102
+ wy 352
103
+ rze 350
104
+ ów 350
105
+ do 349
106
+ ac 347
107
+ ą_ 346
108
+ ic 341
109
+ je 339
110
+ j_ 338
111
+ ci 333
112
+ ls 330
113
+ ał 327
114
+ er 327
115
+ no 324
116
+ ię 323
117
+ ka 322
118
+ te 318
119
+ zn 317
120
+ ej_ 316
121
+ si 315
122
+ at 314
123
+ ols 313
124
+ os 311
125
+ to 310
126
+ prz 305
127
+ aj 302
128
+ em 297
129
+ ad 295
130
+ ski 286
131
+ ych 283
132
+ wo 283
133
+ zi 279
134
+ eg 278
135
+ ę_ 277
136
+ ów_ 275
137
+ es 270
138
+ wie 266
139
+ ło 256
140
+ _j 255
141
+ al 254
142
+ sta 254
143
+ go 252
144
+ _c 249
145
+ owa 248
146
+ _za 245
147
+ lsk 237
148
+ in 236
149
+ ec 235
150
+ dzi 234
151
+ la 232
152
+ f 232
153
+ _l 230
154
+ ani 229
155
+ _g 227
156
+ czn 227
157
+ ym 225
158
+ ak 223
159
+ ce 222
160
+ tu 217
161
+ ia_ 217
162
+ le 215
163
+ _do 211
164
+ aw 209
165
+ _wy 209
166
+ ws 208
167
+ t_ 207
168
+ _a 206
169
+ ki_ 205
170
+ ne_ 204
171
+ ku 204
172
+ kie 202
173
+ _u 202
174
+ ok 199
175
+ oś 198
176
+ we 198
177
+ dn 196
178
+ tr 196
179
+ _z_ 196
180
+ go_ 195
181
+ ego 194
182
+ zo 193
183
+ ed 192
184
+ tw 192
185
+ iej 192
186
+ ek 190
187
+ ys 190
188
+ as 190
189
+ się 189
190
+ d_ 188
191
+ ją 187
192
+ _b 187
193
+ kr 186
194
+ _si 185
195
+ el 184
196
+ pa 183
197
+ sp 180
198
+ _je 179
199
+ oz 178
200
+ nia 178
201
+ cy 178
202
+ ez 176
203
+ ma 174
204
+ io 173
205
+ _ro 173
206
+ cj 173
207
+ ię_ 170
208
+ kt 169
209
+ ń 168
210
+ ści 168
211
+ śc 168
212
+ ln 168
213
+ em_ 167
214
+ ry 167
215
+ az 167
216
+ ła_ 163
217
+ ł_ 162
218
+ ob 161
219
+ _wi 160
220
+ nyc 158
221
+ da 157
222
+ sc 156
223
+ ku_ 156
224
+ _st 155
225
+ icz 154
226
+ am 152
227
+ op 152
228
+ de 151
229
+ rzy 150
230
+ _ko 150
231
+ k_ 149
232
+ ier 148
233
+ ym_ 147
234
+ _mi 147
235
+ by 147
236
+ it 146
237
+ wan 146
238
+ ły 144
239
+ do_ 144
240
+ ce_ 143
241
+ pi 142
242
+ ka_ 141
243
+ mie 140
244
+ ró 140
245
+ ny_ 137
246
+ zie 137
247
+ ąc 137
248
+ _pa 136
249
+ ach 135
250
+ wn 133
251
+ _in 133
252
+ eni 133
253
+ cze 133
254
+ wa_ 132
255
+ is 132
256
+ zw 131
257
+ ja 131
258
+ oł 131
259
+ ii 130
260
+ ośc 130
261
+ mi_ 130
262
+ gr 129
263
+ – 129
264
+ pow 129
265
+ nt 128
266
+ om 128
267
+ oc 128
268
+ _ni 128
269
+ _od 127
270
+ –_ 127
271
+ _– 127
272
+ _cz 127
273
+ _–_ 127
274
+ zy_ 125
275
+ ze_ 125
276
+ uj 124
277
+ ły_ 123
278
+ nic 122
279
+ ur 122
280
+ tó 121
281
+ ru 121
282
+ owe 121
283
+ n_ 120
284
+ owi 120
285
+ dni 118
286
+ _te 118
287
+ ńs 117
288
+ lo 117
289
+ stw 116
290
+ ci_ 116
291
+ ska 116
292
+ ło_ 115
293
+ ała 115
294
+ pod 114
295
+ _e 113
296
+ st_ 112
297
+ je_ 112
298
+ _ś 112
299
+ est 112
300
+ ć 111
301
+ _ty 111
302
+ fi 111
303
+ że 110
304
+ yw 109
305
+ ć_ 109
306
+ raz 108
307
+ ór 107
308
+ js 107
309
+ ył 107
310
+ _f 106
311
+ ii_ 106
312
+ _ma 106
313
+ x 106
314
+ ud 105
315
+ mo 105
316
+ _kr 105
317
+ _dz 105
318
+ ań 105
319
+ ycz 104
320
+ _re 104
321
+ naj 103
322
+ un 103
323
+ szy 103
324
+ tyc 103
325
+ spo 103
326
+ zą 103
327
+ s_ 102
328
+ yn 102
329
+ pra 102
330
+ ost 101
331
+ ik 100
332
+ sce 100
333
+ ga 100
334
+ lic 99
335
+ _or 98
336
+ ami 97
337
+ ona 97
338
+ oli 97
339
+ sze 97
340
+ yk 96
341
+ oj 96
342
+ dow 96
343
+ kra 95
344
+ ji 95
345
+ ora 95
346
+ ji_ 95
347
+ ią 95
348
+ owy 95
349
+ któ 94
350
+ od_ 94
351
+ _ob 94
352
+ ają 94
353
+ iem 93
354
+ az_ 93
355
+ cy_ 92
356
+ tn 91
357
+ zne 91
358
+ aln 91
359
+ _ok 91
360
+ roz 90
361
+ yt 90
362
+ kow 90
363
+ im 90
364
+ rt 90
365
+ to_ 89
366
+ nk 89
367
+ za_ 89
368
+ ot 89
369
+ ją_ 88
370
+ nym 88
371
+ ran 88
372
+ ew 88
373
+ iel 88
374
+ czy 87
375
+ lu 87
376
+ tór 87
377
+ jes 87
378
+ se 86
379
+ jn 86
380
+ _by 86
381
+ rs 86
382
+ ańs 86
383
+ ił 86
384
+ lsc 85
385
+ ńst 85
386
+ ast 85
387
+ adz 85
388
+ jąc 85
389
+ cie 85
390
+ lit 85
391
+ _sp 85
392
+ _li 84
393
+ ks 84
394
+ il 84
395
+ ho 84
396
+ _kt 84
397
+ ład 84
398
+ pie 83
399
+ zna 83
400
+ eż 82