scylla 0.9.3 → 1.0.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- _ 24710
2
- i 7783
3
- e 7431
4
- a 6854
5
- o 5363
6
- l 5148
7
- n 4683
8
- t 4338
9
- r 3691
10
- e_ 2982
11
- s 2762
12
- d 2657
13
- c 2588
14
- a_ 2580
15
- i_ 2256
16
- o_ 1871
17
- p 1841
18
- _d 1761
19
- u 1698
20
- m 1453
21
- l_ 1392
22
- _i 1280
1
+ _ 25018
2
+ i 7890
3
+ e 7568
4
+ a 6866
5
+ o 5447
6
+ l 5169
7
+ n 4735
8
+ t 4383
9
+ r 3741
10
+ e_ 3023
11
+ s 2828
12
+ d 2654
13
+ c 2619
14
+ a_ 2556
15
+ i_ 2309
16
+ o_ 1909
17
+ p 1868
18
+ _d 1766
19
+ u 1736
20
+ m 1497
21
+ l_ 1419
22
+ _i 1292
23
23
  on 1109
24
- _a 1078
25
- al 1077
26
- _s 1076
27
- _c 1066
28
- el 1023
29
- _e 983
30
- g 949
31
- de 921
32
- co 908
33
- ta 888
34
- _p 887
24
+ _s 1098
25
+ _a 1095
26
+ al 1081
27
+ _c 1073
28
+ el 1027
29
+ _e 1005
30
+ g 964
31
+ de 933
32
+ co 915
33
+ ta 900
34
+ _p 899
35
+ ri 894
35
36
  _l 887
36
- la 882
37
- ri 873
38
- en 840
39
- v 822
40
- li 814
41
- an 811
42
- di 800
43
- ll 800
44
- ti 792
45
- nt 789
46
- in 786
47
- ne 773
48
- te 768
49
- er 754
50
- _de 747
51
- la_ 718
52
- it 711
53
- no 698
54
- re 692
55
- ra 678
56
- to 657
57
- at 649
58
- _e_ 628
59
- le 627
60
- f 618
61
- io 617
62
- del 609
63
- z 601
64
- _di 590
65
- or 584
66
- ia 580
67
- il 560
68
- ell 548
69
- st 548
70
- _n 538
71
- ic 538
72
- _co 532
73
- si 506
74
- di_ 499
75
- le_ 499
76
- ni 488
77
- no_ 483
78
- me 482
79
- ar 473
80
- ent 468
81
- n_ 464
82
- na 458
83
- es 457
84
- tr 453
85
- to_ 440
86
- ca 440
87
- ol 434
88
- se 428
89
- tt 418
90
- _in 409
91
- _m 408
92
- el_ 401
93
- po 392
94
- il_ 384
95
- is 384
96
- pe 382
97
- _la 382
37
+ la 876
38
+ en 849
39
+ an 839
40
+ v 828
41
+ li 817
42
+ nt 811
43
+ di 802
44
+ te 788
45
+ in 787
46
+ ne 787
47
+ ll 784
48
+ ti 777
49
+ _de 757
50
+ er 757
51
+ la_ 715
52
+ no 707
53
+ it 706
54
+ re 699
55
+ ra 688
56
+ to 665
57
+ io 644
58
+ le 638
59
+ at 632
60
+ _e_ 632
61
+ del 616
62
+ z 608
63
+ f 603
64
+ or 599
65
+ _di 589
66
+ ia 575
67
+ il 571
68
+ st 558
69
+ _n 541
70
+ si 538
71
+ ell 535
72
+ ic 534
73
+ _co 530
74
+ le_ 505
75
+ di_ 503
76
+ ni 502
77
+ me 499
78
+ no_ 485
79
+ ar 477
80
+ es 473
81
+ ent 473
82
+ n_ 467
83
+ tr 459
84
+ na 456
85
+ to_ 450
86
+ ol 439
87
+ ca 438
88
+ se 423
89
+ tt 420
90
+ _m 418
91
+ el_ 414
92
+ _in 411
93
+ po 407
94
+ is 400
95
+ _r 400
96
+ pe 387
97
+ il_ 385
98
+ _la 381
98
99
  _il 380
99
- ro 379
100
- _r 378
101
- 374
102
- h 373
103
- da 370
104
- pr 369
105
- ion 364
106
- te_ 363
107
- ci 360
108
- ali 359
109
- ne_ 353
110
- lla 350
111
- con 347
100
+ ion 377
101
+ h 377
102
+ ro 376
103
+ te_ 365
104
+ ne_ 363
105
+ pr 362
106
+ ali 358
107
+ da 357
108
+ ci 355
109
+ b 350
110
+ con 344
112
111
  ti_ 344
113
- b 343
114
- re_ 341
115
- so 331
112
+ re_ 342
113
+ lla 333
114
+ so 333
116
115
  _t 331
117
- ita 324
118
- zi 322
119
- un 320
120
- _al 319
121
- _ne 314
122
- ch 312
123
- ma 304
124
- ia_ 295
125
- pa 290
126
- nd 288
127
- _f 286
128
- ta_ 284
129
- om 284
130
- _u 283
131
- tal 281
132
- li_ 280
133
- nel 276
134
- do 273
135
- nte 266
136
- lo 265
137
- _da 263
138
- rt 260
139
- zio 259
140
- _pr 256
141
- he 250
142
- one 249
143
- che 248
144
- lia 247
145
- vi 245
146
- he_ 242
147
- per 242
148
- _l_ 241
149
- im 240
150
- os 239
151
- ni_ 235
152
- ve 234
153
- _g 233
154
- _un 230
155
- _se 229
156
- ce 227
157
- si_ 225
158
- _it 223
159
- men 221
160
- tu 219
161
- op 219
162
- et 218
163
- ono 214
164
- mi 211
165
- ur 209
116
+ _ne 328
117
+ zi 327
118
+ ita 323
119
+ un 323
120
+ _al 320
121
+ ch 318
122
+ ma 302
123
+ pa 296
124
+ om 296
125
+ _u 291
126
+ tal 285
127
+ _f 284
128
+ ia_ 284
129
+ nd 279
130
+ ta_ 277
131
+ li_ 277
132
+ nel 274
133
+ nte 273
134
+ do 270
135
+ lo 267
136
+ rt 265
137
+ zio 265
138
+ he 257
139
+ one 256
140
+ che 255
141
+ _da 253
142
+ _pr 252
143
+ ni_ 251
144
+ im 250
145
+ he_ 247
146
+ lia 244
147
+ _l_ 242
148
+ os 242
149
+ ce 241
150
+ vi 241
151
+ per 238
152
+ ve 237
153
+ _g 236
154
+ si_ 236
155
+ _un 235
156
+ et 234
157
+ mi 232
158
+ _se 228
159
+ tu 225
160
+ ono 224
161
+ men 222
162
+ _it 221
163
+ ur 221
164
+ op 220
165
+ va 211
166
+ iv 209
166
167
  na_ 209
167
- iv 208
168
- all 207
169
- in_ 206
170
- va 205
171
- sc 198
172
- ec 198
173
- gi 196
174
- fi 196
175
- ll_ 196
176
- ale 195
177
- _v 194
178
- eg 194
179
- ss 194
180
- ie 193
181
- ica 187
182
- _si 187
183
- _o 186
184
- ca_ 186
185
- ra_ 185
186
- _pe 183
187
- pi 183
188
- sti 179
189
- az 178
190
- lo_ 176
191
- _ri 176
192
- azi 175
193
- _ch 175
194
- as 171
195
- su 171
196
- ist 171
197
- nti 169
198
- mo 168
199
- ano 167
200
- _so 165
201
- lt 164
202
- ori 164
203
- tra 164
204
- ato 163
205
- com 162
206
- mp 161
207
- _pa 161
208
- ter 160
209
- lle 159
210
- q 158
211
- qu 158
212
- _po 156
168
+ ec 207
169
+ ss 207
170
+ in_ 204
171
+ ale 203
172
+ gi 202
173
+ ll_ 202
174
+ sc 201
175
+ all 201
176
+ _si 200
177
+ ie 197
178
+ _v 196
179
+ eg 195
180
+ _o 193
181
+ fi 190
182
+ pi 190
183
+ az 187
184
+ ra_ 187
185
+ ica 186
186
+ _ri 185
187
+ azi 184
188
+ ca_ 183
189
+ sti 182
190
+ lo_ 180
191
+ ist 179
192
+ _ch 177
193
+ _pe 177
194
+ su 175
195
+ ano 173
196
+ as 172
197
+ _so 171
198
+ nti 170
199
+ ori 169
200
+ _pa 169
201
+ mp 169
202
+ mo 167
203
+ tra 167
204
+ com 165
205
+ lt 165
206
+ ter 164
207
+ ato 164
208
+ _po 163
209
+ q 156
210
+ qu 156
211
+ al_ 155
213
212
  _le 155
214
- _a_ 154
215
- al_ 152
216
- tor 151
217
- ati 150
218
- ian 150
219
- nc 149
220
- ri_ 149
221
- ant 149
222
- za 148
223
- _su 146
213
+ lle 155
214
+ ian 153
215
+ _a_ 153
216
+ _i_ 152
217
+ tor 152
218
+ ri_ 151
219
+ è 151
220
+ è_ 151
221
+ _su 151
222
+ ant 151
223
+ _è_ 150
224
+ _è 150
225
+ em 148
226
+ ui 148
227
+ ati 147
228
+ ico 147
224
229
  ue 146
225
- _i_ 145
226
- ico 144
227
- d_ 144
230
+ am 145
231
+ d_ 145
232
+ nc 145
228
233
  gl 144
229
- gli 143
230
- ui 143
231
- 142
232
- è_ 142
233
- �_ 142
234
- è 142
235
- _� 141
236
- _è 141
237
- am 140
238
- col 140
234
+ sp 144
235
+ za 144
236
+ ett 143
237
+ col 143
238
+ gli 142
239
239
  do_ 139
240
- ua 139
241
- em 138
242
- dal 137
243
- tic 137
244
- sp 136
245
- nn 136
246
- ett 135
247
- 135
248
- _st 135
249
- on_ 134
250
- ut 133
251
- sa 132
252
- à 132
253
- �_ 132
254
- à_ 132
255
- _ca 131
256
- pre 131
257
- nta 129
258
- _qu 129
259
- _q 129
260
- ag 129
261
- oni 128
240
+ ua 138
241
+ _st 138
242
+ nn 137
243
+ à_ 135
244
+ pre 135
245
+ ut 135
246
+ à 135
247
+ io_ 135
248
+ _ca 134
249
+ nta 133
250
+ tic 133
251
+ oni 132
252
+ _an 132
253
+ me_ 131
254
+ sa 131
255
+ nz 130
256
+ ed 129
262
257
  cu 128
263
- ed 128
264
- ndo 128
265
- io_ 128
266
- r_ 127
267
- rat 127
268
- nz 127
258
+ dal 128
259
+ on_ 128
260
+ ag 128
261
+ _q 127
262
+ _qu 127
269
263
  pp 126
270
- ov 126
271
- ad 126
272
- att 126
273
- me_ 125
274
- art 125
275
- eco 124
276
- _tr 123
277
- _an 121
278
- ran 121
264
+ eco 126
265
+ ndo 125
266
+ ad 125
267
+ rat 124
268
+ att 123
269
+ _tr 121
270
+ ot 121
279
271
  fo 120
280
- pro 119
281
- ond 118
282
- eri 116
283
- olo 116
284
- t� 115
285
- _ma 115
286
- tto 115
287
- ap 115
288
- 114
289
- gu 114
290
- ge 114
291
- sta 114
292
- da_ 112
293
- ot 112
294
- ntr 111
295
- er_ 111
296
- iz 111
297
- est 109
298
- _re 108
299
- gr 108
300
- oc 108
301
- cc 107
302
- res 107
303
- ort 106
304
- ese 106
305
- nto 105
306
- par 105
307
- ess 104
308
- du 104
309
- _me 103
310
- ome 103
311
- ito 103
312
- tat 103
313
- _es 103
314
- _mo 101
315
- _no 101
272
+ olo 120
273
+ art 120
274
+ ran 120
275
+ ge 119
276
+ ov 119
277
+ ap 119
278
+ r_ 118
279
+ oc 118
280
+ ntr 117
281
+ sta 116
282
+ 115
283
+ tà_ 115
284
+ ond 115
285
+ _me 115
286
+ cc 114
287
+ eri 114
288
+ da_ 114
289
+ ort 112
290
+ tto 112
291
+ gu 112
292
+ gr 112
293
+ _re 111
294
+ ess 110
295
+ par 110
296
+ pro 110
297
+ ito 110
298
+ nto 109
299
+ _ma 109
300
+ ese 108
301
+ ome 108
302
+ _es 108
303
+ un_ 106
304
+ res 106
305
+ est 105
306
+ iz 105
307
+ _te 105
308
+ ari 105
309
+ er_ 105
310
+ co_ 105
311
+ tat 104
312
+ ro_ 103
313
+ ei 103
314
+ du 103
315
+ tan 102
316
316
  id 101
317
- un_ 101
318
- ric 100
319
- co_ 100
320
- _te 99
321
- ata 99
322
- ari 99
323
- se_ 98
317
+ por 100
318
+ str 99
319
+ ric 99
320
+ ost 98
321
+ son 98
322
+ ma_ 98
323
+ _pi 97
324
+ ani 97
325
+ se_ 97
326
+ rio 97
327
+ era 97
324
328
  ura 97
325
- tan 97
326
- so_ 97
327
- ici 97
328
- rr 97
329
- pri 97
330
- oli 96
331
- era 95
332
- za_ 95
333
- ro_ 95
334
- ma_ 95
335
- ei 95
336
- sec 94
337
- ost 94
338
- rio 94
339
- str 94
340
- bi 94
341
- son 94
342
- og 94
343
- av 93
344
- ann 93
345
- ir 93
346
- od 93
347
- are 92
348
- _fi 92
349
- vo 92
350
- ani 91
351
- _pi 91
352
- por 91
353
- tri 90
354
- ont 89
355
- ig 89
356
- ei_ 89
329
+ _mo 97
330
+ ei_ 97
331
+ rr 96
332
+ so_ 96
333
+ _no 96
334
+ og 96
335
+ pri 95
336
+ ann 95
337
+ ig 94
338
+ ata 94
339
+ oli 93
340
+ are 93
341
+ ici 93
342
+ sec 92
343
+ av 92
344
+ bi 92
345
+ od 91
346
+ tte 91
347
+ rd 91
348
+ ul 91
349
+ vo 91
350
+ za_ 91
351
+ cen 90
352
+ _fi 90
353
+ ir 89
354
+ tri 89
355
+ uo 89
356
+ ris 89
357
357
  ona 88
358
- rs 88
359
- tte 87
360
- rd 87
361
- tre 87
362
- ul 87
363
- rm 86
364
- _ar 86
365
- nal 85
366
- rti 84
367
- gio 84
368
- cen 84
369
- ver 83
370
- ope 83
371
- _fo 83
372
- nza 83
358
+ nal 88
359
+ tre 88
360
+ lu 87
361
+ ont 87
362
+ ola 86
363
+ gg 86
364
+ gio 86
365
+ ssi 86
366
+ ope 85
367
+ gra 85
368
+ int 85
369
+ ili 85
370
+ enz 84
373
371
  ini 83
374
- nu 82
375
- uo 82
376
- x 82
377
- gg 82
378
- ssi 81
379
- ola 81
380
- ris 81
381
- gra 80
382
- enz 80
383
- ste 79
384
- opo 79
372
+ nza 83
373
+ ev 82
374
+ _ar 82
375
+ rit 82
376
+ rm 82
377
+ _fo 82
378
+ rn 81
379
+ rs 81
380
+ x 81
381
+ opo 81
382
+ ver 80
383
+ una 80
384
+ nu 80
385
+ _b 79
385
386
  pol 79
386
- ili 79
387
387
  _do 79
388
- lu 79
389
- una 78
390
- i� 78
391
- rit 78
392
- _b 78
393
- _ci 77
394
- ene 77
395
- ina 76
396
- rop 76
397
- tta 76
398
- ien 76
399
- _vi 75
400
- ff 75
388
+ tta 78
389
+ ste 78
390
+ us 76
391
+ rti 76
392
+ ana 76
393
+ rim 75
394
+ _ci 75
395
+ ore 74
396
+ tur 74
397
+ ien 74
398
+ tro 74
399
+ eu 74
400
+ app 74