scylla 0.9.3 → 1.0.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- _ 27956
2
- e 10117
3
- s 5737
4
- a 5337
5
- n 5222
6
- t 4948
7
- i 4796
8
- r 4535
9
- l 4225
10
- e_ 3894
11
- u 3647
12
- o 3476
13
- s_ 3170
14
- d 2874
15
- p 2710
16
- 2652
17
- _d 2221
18
- c 2183
19
- _l 2102
20
- es 1987
21
- m 1908
22
- t_ 1887
23
- é 1737
24
- 1737
25
- es_ 1571
26
- de 1483
27
- _p 1432
28
- le 1421
29
- en 1396
30
- _e 1379
31
- _de 1269
32
- on 1183
33
- nt 1160
34
- an 1070
35
- n_ 1037
36
- re 976
37
- f 916
38
- la 912
39
- de_ 875
40
- a_ 836
41
- _s 828
42
- ti 805
43
- _le 802
44
- _c 801
45
- _a 796
46
- is 792
47
- _la 748
48
- la_ 726
49
- ra 720
50
- 713
51
- 712
52
- 712
53
- nt_ 707
54
- g 705
55
- le_ 702
56
- �� 678
57
- 678
58
- 678
59
- v 664
60
- ent 660
61
- et 638
62
- _f 625
63
- ar 597
64
- ce 592
65
- u_ 587
66
- pa 583
67
- q 576
68
- te 575
69
- et_ 564
70
- it 563
71
- qu 562
72
- ai 557
73
- me 551
74
- _m 550
75
- _� 546
76
- r_ 546
77
- in 544
78
- se 542
79
- ns 538
80
- ur 536
81
- _et 532
82
- ne 509
83
- les 499
84
- ue 485
85
- st 478
86
- er 475
87
- au 472
88
- b 467
89
- _pa 463
90
- _en 462
91
- co 461
92
- io 451
93
- nc 444
94
- ran 438
95
- ri 437
96
- tr 433
97
- ion 431
98
- ou 422
99
- at 422
100
- _r 415
101
- re_ 412
102
- ie 406
103
- eu 404
104
- r� 403
105
- par 397
106
- en_ 394
107
- des 388
108
- 387
109
- on_ 385
110
- li 383
111
- fr 382
112
- al 380
113
- po 379
114
- ta 378
115
- l� 376
116
- l� 376
117
- ns_ 374
118
- _l� 374
119
- ce_ 368
120
- _t 367
121
- pr 365
122
- un 364
123
- ro 362
124
- em 361
125
- _fr 361
126
- _co 349
1
+ _ 28586
2
+ e 10327
3
+ s 5870
4
+ a 5422
5
+ n 5335
6
+ t 5043
7
+ i 4889
8
+ r 4631
9
+ l 4323
10
+ e_ 3992
11
+ u 3708
12
+ o 3568
13
+ s_ 3244
14
+ d 2939
15
+ p 2738
16
+ _d 2283
17
+ c 2226
18
+ _l 2164
19
+ es 2030
20
+ m 1956
21
+ t_ 1929
22
+ é 1766
23
+ es_ 1606
24
+ de 1536
25
+ _p 1456
26
+ le 1453
27
+ en 1414
28
+ _e 1403
29
+ _de 1317
30
+ on 1231
31
+ nt 1188
32
+ an 1085
33
+ n_ 1067
34
+ re 986
35
+ la 933
36
+ f 927
37
+ de_ 914
38
+ _s 853
39
+ a_ 848
40
+ _le 827
41
+ ti 825
42
+ _c 818
43
+ _a 806
44
+ is 800
45
+ _la 764
46
+ la_ 741
47
+ le_ 731
48
+ ra 729
49
+ nt_ 726
50
+ g 724
51
+ 679
52
+ v 679
53
+ ent 667
54
+ et 650
55
+ _f 637
56
+ ar 615
57
+ ce 600
58
+ u_ 597
59
+ pa 590
60
+ te 587
61
+ q 582
62
+ et_ 575
63
+ r_ 569
64
+ it 569
65
+ qu 568
66
+ me 567
67
+ _m 566
68
+ ai 556
69
+ in 553
70
+ ns 549
71
+ ur 545
72
+ _et 544
73
+ se 541
74
+ ne 522
75
+ les 497
76
+ er 493
77
+ st 490
78
+ au 487
79
+ ue 487
80
+ b 479
81
+ io 472
82
+ _pa 471
83
+ co 471
84
+ _en 469
85
+ ion 452
86
+ nc 448
87
+ tr 445
88
+ ran 441
89
+ ri 441
90
+ at 437
91
+ ou 431
92
+ ie 430
93
+ _r 424
94
+ re_ 417
95
+ eu 405
96
+ par 404
97
+ on_ 403
98
+ des 400
99
+ en_ 399
100
+ fr 390
101
+ li 387
102
+ ta 386
103
+ al 386
104
+ ns_ 385
105
+ po 385
106
+ l’ 375
107
+ _l’ 373
108
+ _t 373
109
+ em 373
110
+ ce_ 371
111
+ pr 371
112
+ ro 370
113
+ un 369
114
+ _fr 367
115
+ h 362
116
+ tio 356
117
+ _co 356
127
118
  que 349
128
- fra 345
129
- ne_ 343
130
- h 343
131
- or 342
132
- tio 339
133
- rt 327
134
- oi 326
135
- �_ 326
136
- à 319
137
- à_ 319
138
- so 318
139
- du 316
140
- nce 312
141
- x 312
142
- is_ 310
143
- 309
144
- 307
145
- anc 306
146
- _au 292
147
- est 292
148
- el 289
149
- us 289
150
- _n 288
151
- p_ 288
152
- si 286
153
- _u 284
154
- om 282
155
- ue_ 282
156
- �_ 280
157
- pl 280
158
- é_ 280
159
- ll 276
160
- nd 276
161
- ma 276
162
- n� 276
119
+ fra 349
120
+ or 347
121
+ ne_ 344
122
+ so 337
123
+ rt 333
124
+ oi 328
125
+ à_ 326
126
+ à 326
127
+ du 318
128
+ 317
129
+ nce 315
130
+ is_ 315
131
+ 313
132
+ _à_ 313
133
+ anc 309
134
+ x 308
135
+ est 299
136
+ si 299
137
+ _au 298
138
+ _n 298
139
+ el 291
140
+ us 290
141
+ om 288
142
+ _u 286
143
+ p_ 285
144
+ pl 284
145
+ ll 284
146
+ ue_ 284
147
+ nd 282
148
+ é_ 281
149
+ ma 281
150
+ ui 280
163
151
  è 275
164
- 275
165
- ui 272
166
- ir 267
167
- t� 266
168
- _un 266
169
- _pr 262
170
- ée 258
171
- �e 258
172
- _du 257
173
- men 256
174
- lu 255
175
- du_ 252
176
- ati 252
177
- _so 250
178
- ont 246
179
- ve 245
180
- st_ 245
181
- _qu 244
152
+ _pr 269
153
+ _un 268
154
+ ée 264
155
+ ir 263
156
+ ati 262
157
+ men 261
158
+ lu 259
159
+ _du 259
160
+ _so 258
161
+ ont 257
162
+ du_ 254
163
+ st_ 250
164
+ ve 249
165
+ mi 249
166
+ rs 246
182
167
  _q 244
183
- mi 241
184
- 239
185
- és 238
186
- �s 238
187
- ci 235
188
- di 234
189
- rs 231
190
- i_ 230
191
- ut 227
192
- mo 227
193
- _o 226
194
- _es 223
195
- ss 222
168
+ _qu 244
169
+ és 240
170
+ ci 239
171
+ i_ 239
172
+ 236
173
+ di 235
174
+ ut 232
175
+ _es 230
176
+ mo 229
177
+ ss 229
178
+ _o 227
179
+ ant 223
180
+ 220
181
+ pe 218
196
182
  eur 217
197
- ais 217
198
- 215
199
- ant 214
200
- pe 211
201
- res 208
202
- con 207
203
- au_ 206
204
- ct 205
205
- lle 204
206
- _po 203
207
- il 202
208
- ux 199
209
- iq 198
183
+ ais 214
184
+ au_ 212
185
+ con 211
186
+ lle 210
187
+ res 209
188
+ _po 208
189
+ l_ 205
190
+ ct 204
191
+ il 201
192
+ iqu 200
193
+ iq 200
194
+ na 199
195
+ te_ 198
210
196
  ep 198
211
- iqu 198
212
- na 197
213
- d 196
214
- d� 196
215
- _pl 196
216
- te_ 195
217
- da 194
218
- x_ 193
219
- _i 193
220
- y 191
221
- nn 191
222
- _d� 191
223
- ar_ 189
224
- ol 189
225
- l_ 188
226
- _se 186
227
- rs_ 185
228
- to 184
229
- no 183
230
- lo 183
231
- me_ 183
232
- ons 182
233
- son 181
234
- ur_ 178
235
- ux_ 178
236
- pp 177
237
- eme 177
238
- ec 175
239
- us_ 174
197
+ ux 197
198
+ _pl 197
199
+ d 197
200
+ son 197
201
+ nn 196
202
+ da 195
203
+ y 195
204
+ ol 195
205
+ rs_ 194
206
+ x_ 192
207
+ _d’ 192
208
+ ar_ 191
209
+ ons 191
210
+ lo 191
211
+ _i 190
212
+ me_ 189
213
+ _se 187
214
+ to 187
215
+ no 186
216
+ ur_ 185
217
+ ch 182
218
+ eme 180
219
+ ec 178
220
+ tre 178
221
+ ux_ 177
222
+ _re 176
223
+ us_ 175
224
+ vi 175
240
225
  ans 174
241
- mp 173
242
- _re 173
243
- d� 173
244
- tre 172
245
- vi 171
246
- ire 171
226
+ _mo 172
227
+ pp 172
228
+ pu 172
229
+ ic 172
230
+ mp 171
231
+ 170
247
232
  lus 170
248
- _mo 169
249
- art 168
250
- pu 167
251
- une 166
252
- ale 165
253
- 165
254
- plu 164
255
- un_ 164
256
- ic 164
257
- _ma 164
258
- ch 163
259
- _v 162
260
- i� 162
233
+ art 170
234
+ _ma 167
235
+ ire 166
236
+ un_ 166
237
+ ale 166
238
+ _v 165
239
+ plu 165
240
+ une 164
241
+ op 162
242
+ ét 161
261
243
  gr 161
262
- �t 159
263
- ét 159
244
+ _g 159
245
+ _ce 158
264
246
  dan 158
265
- ac 158
266
- op 157
267
- tu 156
268
- se_ 156
269
- sa 155
270
- _ce 155
271
- _g 153
272
- ul 150
273
- �a 149
274
- ��a 149
275
- mm 148
276
- 148
277
- fi 147
278
- sp 144
279
- _d� 144
280
- ts 144
281
- im 144
282
- �s_ 143
283
- j 142
284
- _r� 142
285
- ts_ 139
247
+ se_ 157
248
+ ul 157
249
+ ac 154
250
+ sa 154
251
+ j 153
252
+ mm 153
253
+ ’a 151
254
+ tu 151
255
+ 151
256
+ fi 149
257
+ im 148
258
+ ts 147
259
+ és_ 143
260
+ as 143
261
+ ts_ 142
262
+ sp 142
263
+ _dé 141
264
+ it_ 141
286
265
  _da 138
287
- it_ 138
288
- bl 137
289
- ge 136
290
- 135
291
- as 135
292
- ell 135
293
- rti 134
266
+ su 138
267
+ rti 137
268
+ té_ 136
269
+ bl 136
270
+ er_ 135
271
+ ge 135
272
+ ell 134
294
273
  ise 134
295
- 132
296
- ç 132
297
- m� 131
298
- our 130
299
- ér 129
300
- ia 129
301
- �r 129
302
- su 128
303
- ag 128
304
- _no 128
305
- 126
306
- �e_ 125
307
- �a 124
308
- ��e 124
309
- er_ 124
274
+ _ré 134
275
+ ér 133
276
+ our 133
277
+ ç 133
278
+ ia 133
279
+ _no 131
280
+ ag 130
281
+ ntr 128
282
+ ien 127
283
+ 127
284
+ ée_ 125
285
+ nça 124
310
286
  ça 124
311
- e 124
312
- ntr 124
313
- an� 124
314
- ien 123
315
- pp_ 123
316
- �ai 121
317
- pr� 121
318
- iv 120
319
- ort 118
320
- ni 118
321
- s� 117
287
+ e 124
288
+ anç 123
289
+ ni 122
290
+ pp_ 122
291
+ iv 122
292
+ çai 121
293
+ ort 121
294
+ com 119
295
+ rr 117
322
296
  aux 116
323
- rr 116
324
- ond 115
325
- com 114
326
- ins 112
327
- �_ 112
328
- ui_ 112
329
- ��_ 112
330
- _tr 110
331
- tra 110
332
- ca 109
333
- 109
334
- ain 109
335
- qui 106
297
+ ond 116
298
+ ui_ 115
299
+ ins 113
300
+ tra 112
301
+ _tr 112
302
+ ain 111
303
+ _pe 110
304
+ ’_ 110
305
+ ées 109
306
+ 108
307
+ ie_ 108
308
+ qui 108
309
+ ses 107
310
+ _su 107
311
+ ca 107
312
+ mb 107
336
313
  ine 106
337
- ses 105
338
- do 103
339
- �es 103
314
+ _b 105
315
+ do 105
316
+ _di 104
317
+ éc 104
318
+ ig 104
319
+ d_ 104
320
+ br 104
321
+ fa 103
322
+ mme 103
340
323
  ect 103
341
- ap 103
342
- _pe 103
343
- ie_ 103
344
- mb 102
345
- d_ 102
346
- _di 102
347
- mme 101
348
- ép 101
349
- _su 101
350
- �p 101
351
- éc 100
352
- fa 100
353
- �c 100
354
- ig 100
355
- sé 99
356
- _b 98
357
- cu 98
358
- br 98
359
- mai 97
360
- fo 97
361
- uv 97
362
- ot 97
363
- air 97
324
+ nne 102
325
+ uv 101
326
+ ap 101
327
+ ot 101
328
+ 101
329
+ rés 100
330
+ ép 100
331
+ fo 100
332
+ cu 99
333
+ uis 99
334
+ mai 98
335
+ _j 98
336
+ lit 98
364
337
  _te 97
365
- ter 97
366
- lit 96
338
+ ter 96
339
+ urs 96
340
+ ris 96
367
341
  id 95
368
- uis 95
369
- ris 94
370
- it� 94
371
- nne 94
372
- urs 93
342
+ ill 95
343
+ oc 95
344
+ cti 94
345
+ air 94
346
+ ité 93
347
+ bre 93
348
+ ues 93
349
+ ier 93
350
+ gi 93
351
+ l’_ 92
373
352
  iti 92
374
- _in 91
375
- oc 91
376
- oir 91
377
- cti 91
378
- vo 90
379
- ill 90
353
+ por 91
354
+ nte 90
380
355
  mon 90
381
- �� 89
382
- por 89
356
+ pro 90
357
+ tan 90
358
+ hi 90
359
+ _in 90
360
+ vo 89
361
+ oir 89
362
+ ouv 89
383
363
  av 89
384
- ��� 89
385
- pro 89
386
- nte 89
387
- ues 89
388
- bre 88
389
- ure 88
364
+ va 88
390
365
  nom 88
391
- gi 87
392
- tan 87
393
- _do 86
394
- _j 86
395
- ouv 85
396
- va 84
397
- �g 84
398
- ist 84
399
- _an 84
400
- _m� 84
366
+ _si 88
367
+ pré 88
368
+ ist 87
369
+ tie 87
370
+ _do 87
371
+ ys 86
372
+ onn 85
373
+ _an 85
374
+ 84
375
+ ois 84
376
+ _fa 84
377
+ ers 84
378
+ ure 84
379
+ ég 83
380
+ rop 83
381
+ nts 83
382
+ ga 83
383
+ tes 83
384
+ in_ 82
385
+ nde 82
386
+ and 81
387
+ omm 81
388
+ _to 81
389
+ ay 81
390
+ tat 81
391
+ mbr 81
392
+ pri 81
393
+ rm 80
394
+ pui 80
395
+ pou 80
396
+ _ou 80
397
+ eux 79
398
+ ial 79
399
+ gra 79
400
+ ass 79