scylla 0.9.3 → 1.0.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- _ 27956
2
- e 10117
3
- s 5737
4
- a 5337
5
- n 5222
6
- t 4948
7
- i 4796
8
- r 4535
9
- l 4225
10
- e_ 3894
11
- u 3647
12
- o 3476
13
- s_ 3170
14
- d 2874
15
- p 2710
16
- 2652
17
- _d 2221
18
- c 2183
19
- _l 2102
20
- es 1987
21
- m 1908
22
- t_ 1887
23
- é 1737
24
- 1737
25
- es_ 1571
26
- de 1483
27
- _p 1432
28
- le 1421
29
- en 1396
30
- _e 1379
31
- _de 1269
32
- on 1183
33
- nt 1160
34
- an 1070
35
- n_ 1037
36
- re 976
37
- f 916
38
- la 912
39
- de_ 875
40
- a_ 836
41
- _s 828
42
- ti 805
43
- _le 802
44
- _c 801
45
- _a 796
46
- is 792
47
- _la 748
48
- la_ 726
49
- ra 720
50
- 713
51
- 712
52
- 712
53
- nt_ 707
54
- g 705
55
- le_ 702
56
- �� 678
57
- 678
58
- 678
59
- v 664
60
- ent 660
61
- et 638
62
- _f 625
63
- ar 597
64
- ce 592
65
- u_ 587
66
- pa 583
67
- q 576
68
- te 575
69
- et_ 564
70
- it 563
71
- qu 562
72
- ai 557
73
- me 551
74
- _m 550
75
- _� 546
76
- r_ 546
77
- in 544
78
- se 542
79
- ns 538
80
- ur 536
81
- _et 532
82
- ne 509
83
- les 499
84
- ue 485
85
- st 478
86
- er 475
87
- au 472
88
- b 467
89
- _pa 463
90
- _en 462
91
- co 461
92
- io 451
93
- nc 444
94
- ran 438
95
- ri 437
96
- tr 433
97
- ion 431
98
- ou 422
99
- at 422
100
- _r 415
101
- re_ 412
102
- ie 406
103
- eu 404
104
- r� 403
105
- par 397
106
- en_ 394
107
- des 388
108
- 387
109
- on_ 385
110
- li 383
111
- fr 382
112
- al 380
113
- po 379
114
- ta 378
115
- l� 376
116
- l� 376
117
- ns_ 374
118
- _l� 374
119
- ce_ 368
120
- _t 367
121
- pr 365
122
- un 364
123
- ro 362
124
- em 361
125
- _fr 361
126
- _co 349
1
+ _ 28586
2
+ e 10327
3
+ s 5870
4
+ a 5422
5
+ n 5335
6
+ t 5043
7
+ i 4889
8
+ r 4631
9
+ l 4323
10
+ e_ 3992
11
+ u 3708
12
+ o 3568
13
+ s_ 3244
14
+ d 2939
15
+ p 2738
16
+ _d 2283
17
+ c 2226
18
+ _l 2164
19
+ es 2030
20
+ m 1956
21
+ t_ 1929
22
+ é 1766
23
+ es_ 1606
24
+ de 1536
25
+ _p 1456
26
+ le 1453
27
+ en 1414
28
+ _e 1403
29
+ _de 1317
30
+ on 1231
31
+ nt 1188
32
+ an 1085
33
+ n_ 1067
34
+ re 986
35
+ la 933
36
+ f 927
37
+ de_ 914
38
+ _s 853
39
+ a_ 848
40
+ _le 827
41
+ ti 825
42
+ _c 818
43
+ _a 806
44
+ is 800
45
+ _la 764
46
+ la_ 741
47
+ le_ 731
48
+ ra 729
49
+ nt_ 726
50
+ g 724
51
+ 679
52
+ v 679
53
+ ent 667
54
+ et 650
55
+ _f 637
56
+ ar 615
57
+ ce 600
58
+ u_ 597
59
+ pa 590
60
+ te 587
61
+ q 582
62
+ et_ 575
63
+ r_ 569
64
+ it 569
65
+ qu 568
66
+ me 567
67
+ _m 566
68
+ ai 556
69
+ in 553
70
+ ns 549
71
+ ur 545
72
+ _et 544
73
+ se 541
74
+ ne 522
75
+ les 497
76
+ er 493
77
+ st 490
78
+ au 487
79
+ ue 487
80
+ b 479
81
+ io 472
82
+ _pa 471
83
+ co 471
84
+ _en 469
85
+ ion 452
86
+ nc 448
87
+ tr 445
88
+ ran 441
89
+ ri 441
90
+ at 437
91
+ ou 431
92
+ ie 430
93
+ _r 424
94
+ re_ 417
95
+ eu 405
96
+ par 404
97
+ on_ 403
98
+ des 400
99
+ en_ 399
100
+ fr 390
101
+ li 387
102
+ ta 386
103
+ al 386
104
+ ns_ 385
105
+ po 385
106
+ l’ 375
107
+ _l’ 373
108
+ _t 373
109
+ em 373
110
+ ce_ 371
111
+ pr 371
112
+ ro 370
113
+ un 369
114
+ _fr 367
115
+ h 362
116
+ tio 356
117
+ _co 356
127
118
  que 349
128
- fra 345
129
- ne_ 343
130
- h 343
131
- or 342
132
- tio 339
133
- rt 327
134
- oi 326
135
- �_ 326
136
- à 319
137
- à_ 319
138
- so 318
139
- du 316
140
- nce 312
141
- x 312
142
- is_ 310
143
- 309
144
- 307
145
- anc 306
146
- _au 292
147
- est 292
148
- el 289
149
- us 289
150
- _n 288
151
- p_ 288
152
- si 286
153
- _u 284
154
- om 282
155
- ue_ 282
156
- �_ 280
157
- pl 280
158
- é_ 280
159
- ll 276
160
- nd 276
161
- ma 276
162
- n� 276
119
+ fra 349
120
+ or 347
121
+ ne_ 344
122
+ so 337
123
+ rt 333
124
+ oi 328
125
+ à_ 326
126
+ à 326
127
+ du 318
128
+ 317
129
+ nce 315
130
+ is_ 315
131
+ 313
132
+ _à_ 313
133
+ anc 309
134
+ x 308
135
+ est 299
136
+ si 299
137
+ _au 298
138
+ _n 298
139
+ el 291
140
+ us 290
141
+ om 288
142
+ _u 286
143
+ p_ 285
144
+ pl 284
145
+ ll 284
146
+ ue_ 284
147
+ nd 282
148
+ é_ 281
149
+ ma 281
150
+ ui 280
163
151
  è 275
164
- 275
165
- ui 272
166
- ir 267
167
- t� 266
168
- _un 266
169
- _pr 262
170
- ée 258
171
- �e 258
172
- _du 257
173
- men 256
174
- lu 255
175
- du_ 252
176
- ati 252
177
- _so 250
178
- ont 246
179
- ve 245
180
- st_ 245
181
- _qu 244
152
+ _pr 269
153
+ _un 268
154
+ ée 264
155
+ ir 263
156
+ ati 262
157
+ men 261
158
+ lu 259
159
+ _du 259
160
+ _so 258
161
+ ont 257
162
+ du_ 254
163
+ st_ 250
164
+ ve 249
165
+ mi 249
166
+ rs 246
182
167
  _q 244
183
- mi 241
184
- 239
185
- és 238
186
- �s 238
187
- ci 235
188
- di 234
189
- rs 231
190
- i_ 230
191
- ut 227
192
- mo 227
193
- _o 226
194
- _es 223
195
- ss 222
168
+ _qu 244
169
+ és 240
170
+ ci 239
171
+ i_ 239
172
+ 236
173
+ di 235
174
+ ut 232
175
+ _es 230
176
+ mo 229
177
+ ss 229
178
+ _o 227
179
+ ant 223
180
+ 220
181
+ pe 218
196
182
  eur 217
197
- ais 217
198
- 215
199
- ant 214
200
- pe 211
201
- res 208
202
- con 207
203
- au_ 206
204
- ct 205
205
- lle 204
206
- _po 203
207
- il 202
208
- ux 199
209
- iq 198
183
+ ais 214
184
+ au_ 212
185
+ con 211
186
+ lle 210
187
+ res 209
188
+ _po 208
189
+ l_ 205
190
+ ct 204
191
+ il 201
192
+ iqu 200
193
+ iq 200
194
+ na 199
195
+ te_ 198
210
196
  ep 198
211
- iqu 198
212
- na 197
213
- d 196
214
- d� 196
215
- _pl 196
216
- te_ 195
217
- da 194
218
- x_ 193
219
- _i 193
220
- y 191
221
- nn 191
222
- _d� 191
223
- ar_ 189
224
- ol 189
225
- l_ 188
226
- _se 186
227
- rs_ 185
228
- to 184
229
- no 183
230
- lo 183
231
- me_ 183
232
- ons 182
233
- son 181
234
- ur_ 178
235
- ux_ 178
236
- pp 177
237
- eme 177
238
- ec 175
239
- us_ 174
197
+ ux 197
198
+ _pl 197
199
+ d 197
200
+ son 197
201
+ nn 196
202
+ da 195
203
+ y 195
204
+ ol 195
205
+ rs_ 194
206
+ x_ 192
207
+ _d’ 192
208
+ ar_ 191
209
+ ons 191
210
+ lo 191
211
+ _i 190
212
+ me_ 189
213
+ _se 187
214
+ to 187
215
+ no 186
216
+ ur_ 185
217
+ ch 182
218
+ eme 180
219
+ ec 178
220
+ tre 178
221
+ ux_ 177
222
+ _re 176
223
+ us_ 175
224
+ vi 175
240
225
  ans 174
241
- mp 173
242
- _re 173
243
- d� 173
244
- tre 172
245
- vi 171
246
- ire 171
226
+ _mo 172
227
+ pp 172
228
+ pu 172
229
+ ic 172
230
+ mp 171
231
+ 170
247
232
  lus 170
248
- _mo 169
249
- art 168
250
- pu 167
251
- une 166
252
- ale 165
253
- 165
254
- plu 164
255
- un_ 164
256
- ic 164
257
- _ma 164
258
- ch 163
259
- _v 162
260
- i� 162
233
+ art 170
234
+ _ma 167
235
+ ire 166
236
+ un_ 166
237
+ ale 166
238
+ _v 165
239
+ plu 165
240
+ une 164
241
+ op 162
242
+ ét 161
261
243
  gr 161
262
- �t 159
263
- ét 159
244
+ _g 159
245
+ _ce 158
264
246
  dan 158
265
- ac 158
266
- op 157
267
- tu 156
268
- se_ 156
269
- sa 155
270
- _ce 155
271
- _g 153
272
- ul 150
273
- �a 149
274
- ��a 149
275
- mm 148
276
- 148
277
- fi 147
278
- sp 144
279
- _d� 144
280
- ts 144
281
- im 144
282
- �s_ 143
283
- j 142
284
- _r� 142
285
- ts_ 139
247
+ se_ 157
248
+ ul 157
249
+ ac 154
250
+ sa 154
251
+ j 153
252
+ mm 153
253
+ ’a 151
254
+ tu 151
255
+ 151
256
+ fi 149
257
+ im 148
258
+ ts 147
259
+ és_ 143
260
+ as 143
261
+ ts_ 142
262
+ sp 142
263
+ _dé 141
264
+ it_ 141
286
265
  _da 138
287
- it_ 138
288
- bl 137
289
- ge 136
290
- 135
291
- as 135
292
- ell 135
293
- rti 134
266
+ su 138
267
+ rti 137
268
+ té_ 136
269
+ bl 136
270
+ er_ 135
271
+ ge 135
272
+ ell 134
294
273
  ise 134
295
- 132
296
- ç 132
297
- m� 131
298
- our 130
299
- ér 129
300
- ia 129
301
- �r 129
302
- su 128
303
- ag 128
304
- _no 128
305
- 126
306
- �e_ 125
307
- �a 124
308
- ��e 124
309
- er_ 124
274
+ _ré 134
275
+ ér 133
276
+ our 133
277
+ ç 133
278
+ ia 133
279
+ _no 131
280
+ ag 130
281
+ ntr 128
282
+ ien 127
283
+ 127
284
+ ée_ 125
285
+ nça 124
310
286
  ça 124
311
- e 124
312
- ntr 124
313
- an� 124
314
- ien 123
315
- pp_ 123
316
- �ai 121
317
- pr� 121
318
- iv 120
319
- ort 118
320
- ni 118
321
- s� 117
287
+ e 124
288
+ anç 123
289
+ ni 122
290
+ pp_ 122
291
+ iv 122
292
+ çai 121
293
+ ort 121
294
+ com 119
295
+ rr 117
322
296
  aux 116
323
- rr 116
324
- ond 115
325
- com 114
326
- ins 112
327
- �_ 112
328
- ui_ 112
329
- ��_ 112
330
- _tr 110
331
- tra 110
332
- ca 109
333
- 109
334
- ain 109
335
- qui 106
297
+ ond 116
298
+ ui_ 115
299
+ ins 113
300
+ tra 112
301
+ _tr 112
302
+ ain 111
303
+ _pe 110
304
+ ’_ 110
305
+ ées 109
306
+ 108
307
+ ie_ 108
308
+ qui 108
309
+ ses 107
310
+ _su 107
311
+ ca 107
312
+ mb 107
336
313
  ine 106
337
- ses 105
338
- do 103
339
- �es 103
314
+ _b 105
315
+ do 105
316
+ _di 104
317
+ éc 104
318
+ ig 104
319
+ d_ 104
320
+ br 104
321
+ fa 103
322
+ mme 103
340
323
  ect 103
341
- ap 103
342
- _pe 103
343
- ie_ 103
344
- mb 102
345
- d_ 102
346
- _di 102
347
- mme 101
348
- ép 101
349
- _su 101
350
- �p 101
351
- éc 100
352
- fa 100
353
- �c 100
354
- ig 100
355
- sé 99
356
- _b 98
357
- cu 98
358
- br 98
359
- mai 97
360
- fo 97
361
- uv 97
362
- ot 97
363
- air 97
324
+ nne 102
325
+ uv 101
326
+ ap 101
327
+ ot 101
328
+ 101
329
+ rés 100
330
+ ép 100
331
+ fo 100
332
+ cu 99
333
+ uis 99
334
+ mai 98
335
+ _j 98
336
+ lit 98
364
337
  _te 97
365
- ter 97
366
- lit 96
338
+ ter 96
339
+ urs 96
340
+ ris 96
367
341
  id 95
368
- uis 95
369
- ris 94
370
- it� 94
371
- nne 94
372
- urs 93
342
+ ill 95
343
+ oc 95
344
+ cti 94
345
+ air 94
346
+ ité 93
347
+ bre 93
348
+ ues 93
349
+ ier 93
350
+ gi 93
351
+ l’_ 92
373
352
  iti 92
374
- _in 91
375
- oc 91
376
- oir 91
377
- cti 91
378
- vo 90
379
- ill 90
353
+ por 91
354
+ nte 90
380
355
  mon 90
381
- �� 89
382
- por 89
356
+ pro 90
357
+ tan 90
358
+ hi 90
359
+ _in 90
360
+ vo 89
361
+ oir 89
362
+ ouv 89
383
363
  av 89
384
- ��� 89
385
- pro 89
386
- nte 89
387
- ues 89
388
- bre 88
389
- ure 88
364
+ va 88
390
365
  nom 88
391
- gi 87
392
- tan 87
393
- _do 86
394
- _j 86
395
- ouv 85
396
- va 84
397
- �g 84
398
- ist 84
399
- _an 84
400
- _m� 84
366
+ _si 88
367
+ pré 88
368
+ ist 87
369
+ tie 87
370
+ _do 87
371
+ ys 86
372
+ onn 85
373
+ _an 85
374
+ 84
375
+ ois 84
376
+ _fa 84
377
+ ers 84
378
+ ure 84
379
+ ég 83
380
+ rop 83
381
+ nts 83
382
+ ga 83
383
+ tes 83
384
+ in_ 82
385
+ nde 82
386
+ and 81
387
+ omm 81
388
+ _to 81
389
+ ay 81
390
+ tat 81
391
+ mbr 81
392
+ pri 81
393
+ rm 80
394
+ pui 80
395
+ pou 80
396
+ _ou 80
397
+ eux 79
398
+ ial 79
399
+ gra 79
400
+ ass 79