scylla 0.9.3 → 1.2.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (86) hide show
  1. checksums.yaml +7 -0
  2. data/README.rdoc +3 -12
  3. data/bin/scylla +1 -1
  4. data/lib/scylla/classifier.rb +3 -2
  5. data/lib/scylla/generator.rb +11 -4
  6. data/lib/scylla/lms/arabic.lm +400 -400
  7. data/lib/scylla/lms/bulgarian.lm +400 -400
  8. data/lib/scylla/lms/catalan.lm +400 -400
  9. data/lib/scylla/lms/chinese.lm +395 -395
  10. data/lib/scylla/lms/czech.lm +397 -397
  11. data/lib/scylla/lms/danish.lm +372 -372
  12. data/lib/scylla/lms/dutch.lm +382 -382
  13. data/lib/scylla/lms/english.lm +378 -378
  14. data/lib/scylla/lms/finnish.lm +388 -388
  15. data/lib/scylla/lms/french.lm +392 -392
  16. data/lib/scylla/lms/german.lm +396 -396
  17. data/lib/scylla/lms/greek.lm +400 -400
  18. data/lib/scylla/lms/hebrew.lm +400 -400
  19. data/lib/scylla/lms/hindi.lm +399 -399
  20. data/lib/scylla/lms/icelandic.lm +225 -225
  21. data/lib/scylla/lms/indonesian.lm +391 -391
  22. data/lib/scylla/lms/italian.lm +382 -382
  23. data/lib/scylla/lms/japanese.lm +400 -400
  24. data/lib/scylla/lms/kannada.lm +392 -392
  25. data/lib/scylla/lms/korean.lm +391 -391
  26. data/lib/scylla/lms/marathi.lm +388 -388
  27. data/lib/scylla/lms/norwegian.lm +375 -375
  28. data/lib/scylla/lms/persian.lm +399 -399
  29. data/lib/scylla/lms/polish.lm +399 -399
  30. data/lib/scylla/lms/portuguese.lm +390 -390
  31. data/lib/scylla/lms/romanian.lm +353 -353
  32. data/lib/scylla/lms/russian.lm +400 -400
  33. data/lib/scylla/lms/slovak.lm +361 -361
  34. data/lib/scylla/lms/slovenian.lm +273 -273
  35. data/lib/scylla/lms/spanish.lm +371 -371
  36. data/lib/scylla/lms/swedish.lm +400 -400
  37. data/lib/scylla/lms/tagalog.lm +295 -295
  38. data/lib/scylla/lms/thai.lm +400 -400
  39. data/lib/scylla/lms/turkish.lm +377 -377
  40. data/lib/scylla/lms/vietnamese.lm +400 -400
  41. data/lib/scylla/lms/welsh.lm +311 -311
  42. data/lib/scylla/loader.rb +1 -1
  43. data/test/classifier_test.rb +6 -4
  44. data/test/fixtures/lms/arabic.lm +400 -0
  45. data/test/fixtures/lms/bulgarian.lm +400 -0
  46. data/test/fixtures/lms/catalan.lm +400 -0
  47. data/test/fixtures/lms/chinese.lm +400 -0
  48. data/test/fixtures/lms/czech.lm +400 -0
  49. data/test/fixtures/lms/danish.lm +399 -399
  50. data/test/fixtures/lms/dutch.lm +400 -0
  51. data/test/fixtures/lms/english.lm +400 -400
  52. data/test/fixtures/lms/finnish.lm +400 -0
  53. data/test/fixtures/lms/french.lm +397 -397
  54. data/test/fixtures/lms/german.lm +400 -400
  55. data/test/fixtures/lms/greek.lm +400 -0
  56. data/test/fixtures/lms/hebrew.lm +400 -0
  57. data/test/fixtures/lms/hindi.lm +400 -400
  58. data/test/fixtures/lms/icelandic.lm +400 -0
  59. data/test/fixtures/lms/indonesian.lm +400 -0
  60. data/test/fixtures/lms/italian.lm +400 -400
  61. data/test/fixtures/lms/japanese.lm +400 -400
  62. data/test/fixtures/lms/kannada.lm +400 -0
  63. data/test/fixtures/lms/korean.lm +400 -0
  64. data/test/fixtures/lms/marathi.lm +400 -0
  65. data/test/fixtures/lms/norwegian.lm +399 -399
  66. data/test/fixtures/lms/persian.lm +400 -0
  67. data/test/fixtures/lms/polish.lm +400 -0
  68. data/test/fixtures/lms/portuguese.lm +400 -0
  69. data/test/fixtures/lms/romanian.lm +400 -0
  70. data/test/fixtures/lms/russian.lm +400 -0
  71. data/test/fixtures/lms/slovak.lm +400 -0
  72. data/test/fixtures/lms/slovenian.lm +400 -0
  73. data/test/fixtures/lms/spanish.lm +400 -400
  74. data/test/fixtures/lms/swedish.lm +400 -0
  75. data/test/fixtures/lms/tagalog.lm +400 -0
  76. data/test/fixtures/lms/thai.lm +400 -0
  77. data/test/fixtures/lms/turkish.lm +400 -0
  78. data/test/fixtures/lms/vietnamese.lm +400 -0
  79. data/test/fixtures/lms/welsh.lm +400 -0
  80. data/test/fixtures/test_languages/japanese +149 -67
  81. data/test/generator_test.rb +2 -44
  82. data/test/helper.rb +3 -3
  83. data/test/language_test.rb +6 -2
  84. data/test/loader_test.rb +2 -2
  85. data/test/scylla_test.rb +7 -7
  86. metadata +144 -95
@@ -1,400 +1,400 @@
1
- _ 27956
2
- e 10117
3
- s 5737
4
- a 5337
5
- n 5222
6
- t 4948
7
- i 4796
8
- r 4535
9
- l 4225
10
- e_ 3894
11
- u 3647
12
- o 3476
13
- s_ 3170
14
- d 2874
15
- p 2710
16
- 2652
17
- _d 2221
18
- c 2183
19
- _l 2102
20
- es 1987
21
- m 1908
22
- t_ 1887
23
- é 1737
24
- 1737
25
- es_ 1571
26
- de 1483
27
- _p 1432
28
- le 1421
29
- en 1396
30
- _e 1379
31
- _de 1269
32
- on 1183
33
- nt 1160
34
- an 1070
35
- n_ 1037
36
- re 976
37
- f 916
38
- la 912
39
- de_ 875
40
- a_ 836
41
- _s 828
42
- ti 805
43
- _le 802
44
- _c 801
45
- _a 796
46
- is 792
47
- _la 748
48
- la_ 726
49
- ra 720
50
- 713
51
- 712
52
- 712
53
- nt_ 707
54
- g 705
55
- le_ 702
56
- �� 678
57
- 678
58
- 678
59
- v 664
60
- ent 660
61
- et 638
62
- _f 625
63
- ar 597
64
- ce 592
65
- u_ 587
66
- pa 583
67
- q 576
68
- te 575
69
- et_ 564
70
- it 563
71
- qu 562
72
- ai 557
73
- me 551
74
- _m 550
75
- _� 546
76
- r_ 546
77
- in 544
78
- se 542
79
- ns 538
80
- ur 536
81
- _et 532
82
- ne 509
83
- les 499
84
- ue 485
85
- st 478
86
- er 475
87
- au 472
88
- b 467
89
- _pa 463
90
- _en 462
91
- co 461
92
- io 451
93
- nc 444
94
- ran 438
95
- ri 437
96
- tr 433
97
- ion 431
98
- ou 422
99
- at 422
100
- _r 415
101
- re_ 412
102
- ie 406
103
- eu 404
104
- r� 403
105
- par 397
106
- en_ 394
107
- des 388
108
- 387
109
- on_ 385
110
- li 383
111
- fr 382
112
- al 380
113
- po 379
114
- ta 378
115
- l� 376
116
- l� 376
117
- ns_ 374
118
- _l� 374
119
- ce_ 368
120
- _t 367
121
- pr 365
122
- un 364
123
- ro 362
124
- em 361
125
- _fr 361
126
- _co 349
127
- que 349
128
- fra 345
129
- ne_ 343
130
- h 343
131
- or 342
132
- tio 339
133
- rt 327
134
- oi 326
135
- �_ 326
136
- à 319
137
- à_ 319
138
- so 318
139
- du 316
140
- nce 312
141
- x 312
142
- is_ 310
143
- 309
144
- 307
145
- anc 306
146
- _au 292
147
- est 292
148
- el 289
149
- us 289
150
- _n 288
151
- p_ 288
152
- si 286
153
- _u 284
154
- om 282
155
- ue_ 282
156
- �_ 280
157
- pl 280
158
- é_ 280
159
- ll 276
160
- nd 276
161
- ma 276
162
- n� 276
163
- è 275
164
- 275
165
- ui 272
166
- ir 267
167
- t� 266
168
- _un 266
169
- _pr 262
170
- ée 258
171
- �e 258
172
- _du 257
173
- men 256
174
- lu 255
175
- du_ 252
176
- ati 252
177
- _so 250
178
- ont 246
179
- ve 245
180
- st_ 245
181
- _qu 244
182
- _q 244
183
- mi 241
184
- 239
185
- és 238
186
- �s 238
187
- ci 235
188
- di 234
189
- rs 231
190
- i_ 230
191
- ut 227
192
- mo 227
193
- _o 226
194
- _es 223
195
- ss 222
196
- eur 217
197
- ais 217
198
- 215
199
- ant 214
200
- pe 211
201
- res 208
202
- con 207
203
- au_ 206
204
- ct 205
205
- lle 204
206
- _po 203
207
- il 202
208
- ux 199
209
- iq 198
210
- ep 198
211
- iqu 198
212
- na 197
213
- d� 196
214
- d� 196
215
- _pl 196
216
- te_ 195
217
- da 194
218
- x_ 193
219
- _i 193
220
- y 191
221
- nn 191
222
- _d� 191
223
- ar_ 189
224
- ol 189
225
- l_ 188
226
- _se 186
227
- rs_ 185
228
- to 184
229
- no 183
230
- lo 183
231
- me_ 183
232
- ons 182
233
- son 181
234
- ur_ 178
235
- ux_ 178
236
- pp 177
237
- eme 177
238
- ec 175
239
- us_ 174
240
- ans 174
241
- mp 173
242
- _re 173
243
- d� 173
244
- tre 172
245
- vi 171
246
- ire 171
247
- lus 170
248
- _mo 169
249
- art 168
250
- pu 167
1
+ _ 28636
2
+ e 10430
3
+ s 5914
4
+ a 5472
5
+ n 5393
6
+ t 5099
7
+ i 4932
8
+ r 4670
9
+ l 4370
10
+ e_ 4092
11
+ u 3743
12
+ o 3605
13
+ s_ 3324
14
+ d 2983
15
+ p 2365
16
+ _d 2316
17
+ c 2240
18
+ _l 2186
19
+ es 2042
20
+ m 1966
21
+ t_ 1954
22
+ é 1786
23
+ es_ 1643
24
+ de 1560
25
+ le 1460
26
+ en 1426
27
+ _e 1411
28
+ _p 1353
29
+ _de 1337
30
+ on 1239
31
+ nt 1203
32
+ an 1102
33
+ n_ 1076
34
+ re 992
35
+ la 939
36
+ f 939
37
+ de_ 933
38
+ _s 865
39
+ a_ 853
40
+ _le 833
41
+ ti 828
42
+ _c 820
43
+ _a 809
44
+ is 802
45
+ _la 770
46
+ la_ 745
47
+ nt_ 741
48
+ le_ 740
49
+ g 739
50
+ ra 735
51
+ v 685
52
+ 682
53
+ ent 672
54
+ et 657
55
+ _f 646
56
+ ar 619
57
+ te 606
58
+ u_ 605
59
+ ce 602
60
+ pa 592
61
+ r_ 586
62
+ et_ 580
63
+ q 579
64
+ it 576
65
+ me 569
66
+ _m 569
67
+ qu 565
68
+ in 561
69
+ ai 560
70
+ ur 555
71
+ ns 553
72
+ _et 550
73
+ se 548
74
+ ne 530
75
+ les 500
76
+ er 498
77
+ au 492
78
+ st 491
79
+ ue 487
80
+ b 485
81
+ io 476
82
+ co 475
83
+ _pa 471
84
+ _en 470
85
+ ion 456
86
+ nc 453
87
+ tr 445
88
+ ran 444
89
+ ri 443
90
+ at 443
91
+ ou 438
92
+ ie 435
93
+ _r 430
94
+ re_ 427
95
+ eu 413
96
+ on_ 408
97
+ des 406
98
+ par 406
99
+ en_ 399
100
+ li 397
101
+ ta 393
102
+ fr 392
103
+ ns_ 389
104
+ al 389
105
+ po 389
106
+ ce_ 378
107
+ l’ 377
108
+ _l’ 375
109
+ _t 375
110
+ em 375
111
+ ro 375
112
+ un 373
113
+ h 372
114
+ pr 372
115
+ _fr 368
116
+ _co 358
117
+ tio 357
118
+ ne_ 356
119
+ fra 351
120
+ or 350
121
+ que 346
122
+ so 341
123
+ rt 334
124
+ oi 333
125
+ à_ 330
126
+ à 330
127
+ du 322
128
+ 319
129
+ nce 318
130
+ is_ 317
131
+ _à_ 316
132
+ 316
133
+ anc 312
134
+ x 311
135
+ si 303
136
+ est 300
137
+ el 298
138
+ _n 297
139
+ _au 296
140
+ us 293
141
+ _u 291
142
+ ll 291
143
+ om 290
144
+ ue_ 289
145
+ é_ 289
146
+ nd 287
147
+ pl 286
148
+ ma 283
149
+ ui 278
150
+ è 278
151
+ _pr 273
152
+ _un 272
153
+ ée 267
154
+ ati 264
155
+ men 263
156
+ ir 263
157
+ _du 263
158
+ _so 262
159
+ lu 262
160
+ du_ 259
161
+ ont 257
162
+ ve 252
163
+ mi 249
164
+ st_ 249
165
+ rs 247
166
+ _qu 245
167
+ _q 245
168
+ i_ 243
169
+ és 241
170
+ ci 241
171
+ 237
172
+ ut 235
173
+ di 235
174
+ mo 232
175
+ _o 231
176
+ ant 230
177
+ _es 229
178
+ ss 228
179
+ 226
180
+ eur 223
181
+ pe 220
182
+ ais 215
183
+ l_ 215
184
+ au_ 213
185
+ lle 212
186
+ con 212
187
+ _po 211
188
+ res 209
189
+ te_ 209
190
+ na 205
191
+ ct 204
192
+ il 203
193
+ da 203
194
+ ux 200
195
+ x_ 199
196
+ iqu 199
197
+ iq 199
198
+ nn 199
199
+ son 198
200
+ _pl 198
201
+ y 198
202
+ d’ 198
203
+ rs_ 197
204
+ ol 197
205
+ ons 194
206
+ _d’ 193
207
+ me_ 193
208
+ _se 192
209
+ ur_ 192
210
+ ar_ 192
211
+ lo 191
212
+ _i 189
213
+ to 187
214
+ no 186
215
+ ch 185
216
+ ux_ 184
217
+ eme 182
218
+ _re 179
219
+ ec 179
220
+ tre 177
221
+ us_ 177
222
+ vi 176
223
+ ans 175
224
+ _mo 173
225
+ ic 173
226
+ pu 172
227
+ 171
228
+ mp 171
229
+ lus 171
230
+ art 170
231
+ _ma 168
232
+ un_ 168
233
+ plu 166
234
+ ire 166
251
235
  une 166
236
+ _v 165
252
237
  ale 165
253
- 165
254
- plu 164
255
- un_ 164
256
- ic 164
257
- _ma 164
258
- ch 163
259
- _v 162
260
- i� 162
238
+ se_ 164
239
+ ét 164
240
+ op 164
241
+ dan 161
261
242
  gr 161
262
- �t 159
263
- ét 159
264
- dan 158
265
- ac 158
266
- op 157
267
- tu 156
268
- se_ 156
269
- sa 155
270
- _ce 155
271
- _g 153
272
- ul 150
273
- �a 149
274
- ��a 149
275
- mm 148
276
- 148
277
- fi 147
278
- sp 144
279
- _d 144
280
- ts 144
281
- im 144
282
- �s_ 143
283
- j 142
284
- _r� 142
285
- ts_ 139
286
- _da 138
287
- it_ 138
288
- bl 137
289
- ge 136
290
- 135
291
- as 135
292
- ell 135
293
- rti 134
294
- ise 134
295
- 132
296
- ç 132
297
- m� 131
298
- our 130
299
- ér 129
300
- ia 129
301
- �r 129
302
- su 128
303
- ag 128
304
- _no 128
305
- 126
306
- �e_ 125
307
- �a 124
308
- ��e 124
309
- er_ 124
310
- ça 124
311
- �e 124
312
- ntr 124
313
- an� 124
314
- ien 123
315
- pp_ 123
316
- �ai 121
317
- pr� 121
318
- iv 120
319
- ort 118
320
- ni 118
321
- s� 117
322
- aux 116
323
- rr 116
324
- ond 115
325
- com 114
326
- ins 112
327
- �_ 112
328
- ui_ 112
329
- ��_ 112
330
- _tr 110
331
- tra 110
243
+ _g 160
244
+ ul 159
245
+ _ce 157
246
+ j 154
247
+ tu 153
248
+ ac 153
249
+ sa 153
250
+ mm 153
251
+ 153
252
+ ts 152
253
+ fi 151
254
+ ts_ 151
255
+ a 151
256
+ im 150
257
+ és_ 150
258
+ it_ 146
259
+ er_ 144
260
+ _dé 142
261
+ _da 142
262
+ as 141
263
+ su 139
264
+ ep 139
265
+ té_ 138
266
+ bl 138
267
+ ge 138
268
+ our 137
269
+ _ré 136
270
+ ell 136
271
+ ise 136
272
+ rti 135
273
+ ç 134
274
+ ér 134
275
+ ag 132
276
+ ia 132
277
+ _no 131
278
+ ée_ 131
279
+ ien 128
280
+ 128
281
+ ntr 127
282
+ ’e 125
283
+ nça 125
284
+ ça 125
285
+ anç 124
286
+ ni 124
287
+ iv 123
288
+ çai 122
289
+ ort 122
290
+ com 121
291
+ ond 119
292
+ aux 119
293
+ rr 117
294
+ ui_ 116
295
+ ’_ 115
296
+ ins 113
297
+ tra 112
298
+ _tr 112
299
+ _pe 111
300
+ ain 111
301
+ 110
302
+ ées 109
303
+ ie_ 109
332
304
  ca 109
333
- 109
334
- ain 109
335
- qui 106
336
- ine 106
337
- ses 105
338
- do 103
339
- �es 103
305
+ mb 108
306
+ d_ 108
307
+ ig 108
308
+ ine 108
309
+ _su 107
310
+ ses 107
311
+ qui 107
312
+ do 105
313
+ _b 105
314
+ éc 105
315
+ br 105
316
+ _di 104
317
+ nne 104
318
+ fo 104
340
319
  ect 103
341
- ap 103
342
- _pe 103
343
- ie_ 103
344
- mb 102
345
- d_ 102
346
- _di 102
347
- mme 101
348
- ép 101
349
- _su 101
350
- �p 101
351
- éc 100
352
- fa 100
353
- �c 100
354
- ig 100
355
- sé 99
356
- _b 98
320
+ mme 103
321
+ fa 103
322
+ ot 103
323
+ 101
324
+ ap 101
325
+ uv 100
326
+ rés 100
327
+ _te 99
328
+ _j 98
329
+ ter 98
330
+ mai 98
357
331
  cu 98
358
- br 98
359
- mai 97
360
- fo 97
361
- uv 97
362
- ot 97
363
- air 97
364
- _te 97
365
- ter 97
366
- lit 96
367
- id 95
368
- uis 95
369
- ris 94
370
- it� 94
371
- nne 94
372
- urs 93
373
- iti 92
374
- _in 91
375
- oc 91
376
- oir 91
377
- cti 91
378
- vo 90
379
- ill 90
380
- mon 90
381
- �� 89
382
- por 89
332
+ urs 97
333
+ ill 97
334
+ lit 97
335
+ l’_ 97
336
+ oc 96
337
+ id 96
338
+ ép 96
339
+ tan 96
340
+ uis 96
341
+ ris 96
342
+ gi 96
343
+ bre 94
344
+ ité 94
345
+ air 94
346
+ ier 94
347
+ cti 94
348
+ ues 93
349
+ nte 93
350
+ pro 92
351
+ por 92
352
+ hi 92
353
+ iti 91
354
+ mon 91
355
+ sp 91
356
+ _in 90
357
+ _si 90
358
+ va 89
383
359
  av 89
384
- ��� 89
385
- pro 89
386
- nte 89
387
- ues 89
388
- bre 88
389
- ure 88
360
+ vo 88
361
+ oir 88
362
+ pré 88
390
363
  nom 88
391
- gi 87
392
- tan 87
393
- _do 86
394
- _j 86
395
- ouv 85
396
- va 84
397
- �g 84
398
- ist 84
399
- _an 84
400
- _m� 84
364
+ tie 88
365
+ ouv 88
366
+ onn 87
367
+ _do 87
368
+ ist 87
369
+ nts 86
370
+ ys 86
371
+ ois 86
372
+ _an 85
373
+ ég 85
374
+ ure 84
375
+ rop 84
376
+ mé 84
377
+ nde 84
378
+ in_ 84
379
+ _fa 84
380
+ ers 84
381
+ pou 83
382
+ ay 83
383
+ ga 83
384
+ tes 83
385
+ èr 82
386
+ ère 82
387
+ and 82
388
+ _ou 82
389
+ mbr 82
390
+ rm 81
391
+ _fo 81
392
+ pri 81
393
+ omm 81
394
+ tat 81
395
+ _to 81
396
+ gra 79
397
+ _h 79
398
+ ha 79
399
+ nes 79
400
+ eux 79