scylla 0.9.3 → 1.2.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (86) hide show
  1. checksums.yaml +7 -0
  2. data/README.rdoc +3 -12
  3. data/bin/scylla +1 -1
  4. data/lib/scylla/classifier.rb +3 -2
  5. data/lib/scylla/generator.rb +11 -4
  6. data/lib/scylla/lms/arabic.lm +400 -400
  7. data/lib/scylla/lms/bulgarian.lm +400 -400
  8. data/lib/scylla/lms/catalan.lm +400 -400
  9. data/lib/scylla/lms/chinese.lm +395 -395
  10. data/lib/scylla/lms/czech.lm +397 -397
  11. data/lib/scylla/lms/danish.lm +372 -372
  12. data/lib/scylla/lms/dutch.lm +382 -382
  13. data/lib/scylla/lms/english.lm +378 -378
  14. data/lib/scylla/lms/finnish.lm +388 -388
  15. data/lib/scylla/lms/french.lm +392 -392
  16. data/lib/scylla/lms/german.lm +396 -396
  17. data/lib/scylla/lms/greek.lm +400 -400
  18. data/lib/scylla/lms/hebrew.lm +400 -400
  19. data/lib/scylla/lms/hindi.lm +399 -399
  20. data/lib/scylla/lms/icelandic.lm +225 -225
  21. data/lib/scylla/lms/indonesian.lm +391 -391
  22. data/lib/scylla/lms/italian.lm +382 -382
  23. data/lib/scylla/lms/japanese.lm +400 -400
  24. data/lib/scylla/lms/kannada.lm +392 -392
  25. data/lib/scylla/lms/korean.lm +391 -391
  26. data/lib/scylla/lms/marathi.lm +388 -388
  27. data/lib/scylla/lms/norwegian.lm +375 -375
  28. data/lib/scylla/lms/persian.lm +399 -399
  29. data/lib/scylla/lms/polish.lm +399 -399
  30. data/lib/scylla/lms/portuguese.lm +390 -390
  31. data/lib/scylla/lms/romanian.lm +353 -353
  32. data/lib/scylla/lms/russian.lm +400 -400
  33. data/lib/scylla/lms/slovak.lm +361 -361
  34. data/lib/scylla/lms/slovenian.lm +273 -273
  35. data/lib/scylla/lms/spanish.lm +371 -371
  36. data/lib/scylla/lms/swedish.lm +400 -400
  37. data/lib/scylla/lms/tagalog.lm +295 -295
  38. data/lib/scylla/lms/thai.lm +400 -400
  39. data/lib/scylla/lms/turkish.lm +377 -377
  40. data/lib/scylla/lms/vietnamese.lm +400 -400
  41. data/lib/scylla/lms/welsh.lm +311 -311
  42. data/lib/scylla/loader.rb +1 -1
  43. data/test/classifier_test.rb +6 -4
  44. data/test/fixtures/lms/arabic.lm +400 -0
  45. data/test/fixtures/lms/bulgarian.lm +400 -0
  46. data/test/fixtures/lms/catalan.lm +400 -0
  47. data/test/fixtures/lms/chinese.lm +400 -0
  48. data/test/fixtures/lms/czech.lm +400 -0
  49. data/test/fixtures/lms/danish.lm +399 -399
  50. data/test/fixtures/lms/dutch.lm +400 -0
  51. data/test/fixtures/lms/english.lm +400 -400
  52. data/test/fixtures/lms/finnish.lm +400 -0
  53. data/test/fixtures/lms/french.lm +397 -397
  54. data/test/fixtures/lms/german.lm +400 -400
  55. data/test/fixtures/lms/greek.lm +400 -0
  56. data/test/fixtures/lms/hebrew.lm +400 -0
  57. data/test/fixtures/lms/hindi.lm +400 -400
  58. data/test/fixtures/lms/icelandic.lm +400 -0
  59. data/test/fixtures/lms/indonesian.lm +400 -0
  60. data/test/fixtures/lms/italian.lm +400 -400
  61. data/test/fixtures/lms/japanese.lm +400 -400
  62. data/test/fixtures/lms/kannada.lm +400 -0
  63. data/test/fixtures/lms/korean.lm +400 -0
  64. data/test/fixtures/lms/marathi.lm +400 -0
  65. data/test/fixtures/lms/norwegian.lm +399 -399
  66. data/test/fixtures/lms/persian.lm +400 -0
  67. data/test/fixtures/lms/polish.lm +400 -0
  68. data/test/fixtures/lms/portuguese.lm +400 -0
  69. data/test/fixtures/lms/romanian.lm +400 -0
  70. data/test/fixtures/lms/russian.lm +400 -0
  71. data/test/fixtures/lms/slovak.lm +400 -0
  72. data/test/fixtures/lms/slovenian.lm +400 -0
  73. data/test/fixtures/lms/spanish.lm +400 -400
  74. data/test/fixtures/lms/swedish.lm +400 -0
  75. data/test/fixtures/lms/tagalog.lm +400 -0
  76. data/test/fixtures/lms/thai.lm +400 -0
  77. data/test/fixtures/lms/turkish.lm +400 -0
  78. data/test/fixtures/lms/vietnamese.lm +400 -0
  79. data/test/fixtures/lms/welsh.lm +400 -0
  80. data/test/fixtures/test_languages/japanese +149 -67
  81. data/test/generator_test.rb +2 -44
  82. data/test/helper.rb +3 -3
  83. data/test/language_test.rb +6 -2
  84. data/test/loader_test.rb +2 -2
  85. data/test/scylla_test.rb +7 -7
  86. metadata +144 -95
@@ -1,400 +1,400 @@
1
- _ 24710
2
- i 7783
3
- e 7431
4
- a 6854
5
- o 5363
6
- l 5148
7
- n 4683
8
- t 4338
9
- r 3691
10
- e_ 2982
11
- s 2762
12
- d 2657
13
- c 2588
14
- a_ 2580
15
- i_ 2256
16
- o_ 1871
17
- p 1841
18
- _d 1761
19
- u 1698
20
- m 1453
21
- l_ 1392
22
- _i 1280
23
- on 1109
24
- _a 1078
25
- al 1077
26
- _s 1076
27
- _c 1066
28
- el 1023
29
- _e 983
30
- g 949
31
- de 921
32
- co 908
33
- ta 888
34
- _p 887
35
- _l 887
36
- la 882
37
- ri 873
38
- en 840
39
- v 822
40
- li 814
41
- an 811
42
- di 800
43
- ll 800
44
- ti 792
45
- nt 789
46
- in 786
47
- ne 773
48
- te 768
49
- er 754
50
- _de 747
51
- la_ 718
52
- it 711
53
- no 698
54
- re 692
55
- ra 678
56
- to 657
57
- at 649
58
- _e_ 628
59
- le 627
1
+ _ 25540
2
+ i 8048
3
+ e 7688
4
+ a 7010
5
+ o 5571
6
+ l 5256
7
+ n 4841
8
+ t 4494
9
+ r 3818
10
+ e_ 3072
11
+ s 2868
12
+ d 2706
13
+ c 2660
14
+ a_ 2618
15
+ i_ 2333
16
+ o_ 1959
17
+ p 1896
18
+ _d 1797
19
+ u 1758
20
+ m 1518
21
+ l_ 1449
22
+ _i 1324
23
+ on 1129
24
+ _s 1117
25
+ _a 1117
26
+ al 1106
27
+ _c 1098
28
+ el 1039
29
+ _e 1015
30
+ g 979
31
+ de 955
32
+ co 940
33
+ ta 923
34
+ ri 921
35
+ _p 920
36
+ _l 907
37
+ la 904
38
+ en 869
39
+ an 854
40
+ v 844
41
+ li 830
42
+ nt 826
43
+ di 818
44
+ in 818
45
+ te 807
46
+ ne 801
47
+ ll 798
48
+ ti 791
49
+ er 772
50
+ _de 772
51
+ la_ 739
52
+ no 725
53
+ it 722
54
+ re 714
55
+ to 702
56
+ ra 691
57
+ at 662
58
+ io 658
59
+ _e_ 642
60
+ le 640
61
+ or 629
62
+ del 622
60
63
  f 618
61
- io 617
62
- del 609
63
- z 601
64
- _di 590
65
- or 584
66
- ia 580
67
- il 560
68
- ell 548
69
- st 548
70
- _n 538
71
- ic 538
72
- _co 532
73
- si 506
74
- di_ 499
75
- le_ 499
76
- ni 488
77
- no_ 483
78
- me 482
79
- ar 473
80
- ent 468
81
- n_ 464
82
- na 458
83
- es 457
84
- tr 453
85
- to_ 440
86
- ca 440
87
- ol 434
88
- se 428
89
- tt 418
90
- _in 409
91
- _m 408
92
- el_ 401
93
- po 392
94
- il_ 384
95
- is 384
96
- pe 382
97
- _la 382
98
- _il 380
99
- ro 379
100
- _r 378
101
- 374
102
- h 373
103
- da 370
104
- pr 369
105
- ion 364
106
- te_ 363
107
- ci 360
108
- ali 359
109
- ne_ 353
110
- lla 350
111
- con 347
112
- ti_ 344
113
- b 343
114
- re_ 341
115
- so 331
116
- _t 331
117
- ita 324
118
- zi 322
119
- un 320
120
- _al 319
121
- _ne 314
122
- ch 312
123
- ma 304
124
- ia_ 295
125
- pa 290
126
- nd 288
127
- _f 286
128
- ta_ 284
129
- om 284
130
- _u 283
131
- tal 281
132
- li_ 280
133
- nel 276
134
- do 273
135
- nte 266
136
- lo 265
137
- _da 263
138
- rt 260
139
- zio 259
140
- _pr 256
141
- he 250
142
- one 249
143
- che 248
144
- lia 247
64
+ z 615
65
+ _di 602
66
+ ia 586
67
+ il 578
68
+ st 570
69
+ _n 550
70
+ si 546
71
+ _co 545
72
+ ic 543
73
+ ell 538
74
+ di_ 513
75
+ ni 509
76
+ le_ 509
77
+ no_ 497
78
+ me 496
79
+ n_ 486
80
+ ar 484
81
+ ent 483
82
+ es 477
83
+ na 472
84
+ to_ 467
85
+ tr 461
86
+ ol 445
87
+ ca 438
88
+ se 434
89
+ tt 431
90
+ _in 426
91
+ el_ 423
92
+ _m 413
93
+ is 407
94
+ _r 407
95
+ po 404
96
+ _la 397
97
+ pe 396
98
+ il_ 391
99
+ _il 386
100
+ ion 380
101
+ h 380
102
+ ro 378
103
+ ne_ 372
104
+ pr 371
105
+ te_ 371
106
+ da 368
107
+ ali 366
108
+ ci 356
109
+ con 356
110
+ b 350
111
+ re_ 350
112
+ ti_ 348
113
+ _t 342
114
+ lla 341
115
+ so 336
116
+ ita 334
117
+ _ne 333
118
+ _al 331
119
+ zi 326
120
+ un 323
121
+ ch 322
122
+ ma 310
123
+ pa 307
124
+ om 296
125
+ _f 294
126
+ _u 294
127
+ tal 293
128
+ ia_ 289
129
+ nd 289
130
+ ta_ 285
131
+ nel 280
132
+ nte 277
133
+ li_ 277
134
+ do 277
135
+ rt 267
136
+ zio 266
137
+ lo 264
138
+ he 262
139
+ _pr 261
140
+ che 260
141
+ one 259
142
+ im 258
143
+ _da 258
144
+ lia 254
145
+ ce 253
146
+ he_ 253
147
+ ni_ 250
148
+ os 249
149
+ _l_ 245
145
150
  vi 245
146
- he_ 242
147
151
  per 242
148
- _l_ 241
149
- im 240
150
- os 239
151
- ni_ 235
152
- ve 234
153
- _g 233
154
- _un 230
155
- _se 229
156
- ce 227
157
- si_ 225
158
- _it 223
159
- men 221
160
- tu 219
161
- op 219
162
- et 218
163
- ono 214
164
- mi 211
165
- ur 209
166
- na_ 209
167
- iv 208
168
- all 207
169
- in_ 206
170
- va 205
171
- sc 198
172
- ec 198
173
- gi 196
174
- fi 196
175
- ll_ 196
176
- ale 195
177
- _v 194
178
- eg 194
179
- ss 194
180
- ie 193
181
- ica 187
182
- _si 187
183
- _o 186
184
- ca_ 186
185
- ra_ 185
186
- _pe 183
187
- pi 183
188
- sti 179
189
- az 178
190
- lo_ 176
191
- _ri 176
192
- azi 175
193
- _ch 175
194
- as 171
195
- su 171
196
- ist 171
197
- nti 169
198
- mo 168
199
- ano 167
200
- _so 165
201
- lt 164
202
- ori 164
203
- tra 164
204
- ato 163
205
- com 162
206
- mp 161
207
- _pa 161
208
- ter 160
152
+ _g 241
153
+ mi 240
154
+ si_ 239
155
+ ve 237
156
+ _un 237
157
+ et 236
158
+ _se 235
159
+ _it 230
160
+ tu 228
161
+ ono 224
162
+ men 223
163
+ ur 221
164
+ op 220
165
+ in_ 216
166
+ va 215
167
+ na_ 213
168
+ iv 212
169
+ ec 212
170
+ gi 211
171
+ all 211
172
+ ss 208
173
+ ll_ 205
174
+ ale 203
175
+ fi 202
176
+ _v 201
177
+ sc 200
178
+ eg 200
179
+ _si 200
180
+ ie 199
181
+ _o 198
182
+ pi 193
183
+ ra_ 191
184
+ _ri 191
185
+ ica 188
186
+ _pe 185
187
+ ca_ 185
188
+ _ch 185
189
+ az 185
190
+ sti 183
191
+ ato 183
192
+ azi 182
193
+ su 182
194
+ ist 181
195
+ lo_ 180
196
+ ano 180
197
+ ori 176
198
+ _pa 175
199
+ nti 175
200
+ mo 175
201
+ ter 172
202
+ _so 172
203
+ mp 171
204
+ tor 171
205
+ as 170
206
+ lt 166
207
+ tra 166
208
+ com 164
209
+ al_ 163
210
+ _su 159
211
+ qu 159
209
212
  lle 159
210
- q 158
211
- qu 158
212
- _po 156
213
+ _a_ 159
214
+ q 159
215
+ ian 159
216
+ _po 158
217
+ ico 155
213
218
  _le 155
214
- _a_ 154
215
- al_ 152
216
- tor 151
217
- ati 150
218
- ian 150
219
- nc 149
220
- ri_ 149
221
- ant 149
219
+ ri_ 154
220
+ _i_ 153
221
+ ant 153
222
+ è_ 152
223
+ è 152
224
+ ati 151
225
+ 151
226
+ _è_ 151
227
+ ui 149
222
228
  za 148
223
- _su 146
224
- ue 146
225
- _i_ 145
226
- ico 144
227
- d_ 144
228
- gl 144
229
+ ue 148
230
+ am 147
231
+ em 146
232
+ sp 146
233
+ ett 146
234
+ nc 145
235
+ gl 145
236
+ col 145
237
+ do_ 144
229
238
  gli 143
230
- ui 143
231
- 142
232
- è_ 142
233
- �_ 142
234
- è 142
235
- _� 141
236
- 141
237
- am 140
238
- col 140
239
- do_ 139
240
- ua 139
241
- em 138
242
- dal 137
239
+ d_ 142
240
+ _st 142
241
+ ua 141
242
+ io_ 141
243
+ pre 140
244
+ nn 139
245
+ ut 138
246
+ à_ 137
243
247
  tic 137
244
- sp 136
245
- nn 136
246
- ett 135
247
- 135
248
- _st 135
249
- on_ 134
250
- ut 133
251
- sa 132
252
- à 132
253
- �_ 132
254
- à_ 132
255
- _ca 131
256
- pre 131
257
- nta 129
258
- _qu 129
259
- _q 129
260
- ag 129
261
- oni 128
262
- cu 128
263
- ed 128
248
+ à 137
249
+ _an 136
250
+ on_ 135
251
+ _ca 134
252
+ nta 132
253
+ dal 132
254
+ oni 131
255
+ _q 130
256
+ _qu 130
257
+ ed 130
258
+ nz 129
259
+ sa 129
260
+ ot 129
261
+ eco 128
264
262
  ndo 128
265
- io_ 128
266
- r_ 127
267
- rat 127
268
- nz 127
269
- pp 126
270
- ov 126
271
- ad 126
263
+ rat 128
264
+ ag 127
265
+ me_ 127
272
266
  att 126
273
- me_ 125
274
- art 125
275
- eco 124
276
- _tr 123
277
- _an 121
278
- ran 121
267
+ cu 126
268
+ pp 125
269
+ ad 124
270
+ sta 123
271
+ r_ 121
272
+ art 121
273
+ _tr 121
279
274
  fo 120
280
- pro 119
281
- ond 118
282
- eri 116
283
- olo 116
284
- t� 115
285
- _ma 115
275
+ ap 120
276
+ olo 119
277
+ ov 119
278
+ oc 118
279
+ ran 118
280
+ ond 117
281
+ ntr 117
282
+ tà 116
283
+ tà_ 116
284
+ da_ 116
285
+ ge 116
286
+ ito 115
287
+ eri 115
288
+ nto 115
289
+ gu 115
286
290
  tto 115
287
- ap 115
288
- 114
289
- gu 114
290
- ge 114
291
- sta 114
292
- da_ 112
293
- ot 112
294
- ntr 111
295
- er_ 111
296
- iz 111
291
+ cc 115
292
+ _me 114
293
+ gr 113
294
+ par 113
295
+ ort 112
296
+ _ma 111
297
+ _re 111
298
+ pro 111
299
+ co_ 109
300
+ iz 109
301
+ _te 109
297
302
  est 109
298
- _re 108
299
- gr 108
300
- oc 108
301
- cc 107
303
+ ess 109
304
+ ese 108
305
+ er_ 108
306
+ ei 107
302
307
  res 107
303
- ort 106
304
- ese 106
305
- nto 105
306
- par 105
307
- ess 104
308
- du 104
309
- _me 103
310
- ome 103
311
- ito 103
312
- tat 103
313
- _es 103
308
+ _es 107
309
+ tat 107
310
+ ome 106
311
+ id 106
312
+ un_ 106
313
+ ari 104
314
+ rr 103
315
+ ro_ 102
316
+ tan 102
317
+ ma_ 101
318
+ du 101
319
+ ric 101
320
+ ei_ 101
314
321
  _mo 101
315
- _no 101
316
- id 101
317
- un_ 101
318
- ric 100
319
- co_ 100
320
- _te 99
321
- ata 99
322
- ari 99
323
- se_ 98
324
- ura 97
325
- tan 97
322
+ rio 100
323
+ ost 100
324
+ ani 100
325
+ str 99
326
+ ig 99
327
+ pri 99
328
+ por 99
329
+ se_ 99
330
+ era 99
331
+ vo 98
332
+ _fi 98
333
+ _pi 98
334
+ son 98
326
335
  so_ 97
327
- ici 97
328
- rr 97
329
- pri 97
330
- oli 96
331
- era 95
332
- za_ 95
333
- ro_ 95
334
- ma_ 95
335
- ei 95
336
+ _no 97
337
+ are 95
338
+ og 95
339
+ ata 95
340
+ cen 94
341
+ oli 94
342
+ tte 94
343
+ av 94
344
+ ann 94
345
+ ura 94
346
+ rd 94
336
347
  sec 94
337
- ost 94
338
- rio 94
339
- str 94
340
- bi 94
341
- son 94
342
- og 94
343
- av 93
344
- ann 93
345
- ir 93
346
- od 93
347
- are 92
348
- _fi 92
349
- vo 92
350
- ani 91
351
- _pi 91
352
- por 91
353
- tri 90
354
- ont 89
355
- ig 89
356
- ei_ 89
357
- ona 88
358
- rs 88
359
- tte 87
360
- rd 87
361
- tre 87
362
- ul 87
363
- rm 86
364
- _ar 86
365
- nal 85
366
- rti 84
367
- gio 84
368
- cen 84
369
- ver 83
370
- ope 83
371
- _fo 83
372
- nza 83
373
- ini 83
374
- nu 82
375
- uo 82
376
- x 82
377
- gg 82
378
- ssi 81
379
- ola 81
380
- ris 81
381
- gra 80
382
- enz 80
383
- ste 79
384
- opo 79
385
- pol 79
386
- ili 79
387
- _do 79
388
- lu 79
389
- una 78
390
- i� 78
391
- rit 78
392
- _b 78
393
- _ci 77
394
- ene 77
348
+ ul 93
349
+ bi 92
350
+ ici 92
351
+ nal 92
352
+ od 92
353
+ tri 91
354
+ za_ 91
355
+ gio 91
356
+ uo 91
357
+ tre 90
358
+ ris 90
359
+ ir 89
360
+ ona 89
361
+ ont 88
362
+ lu 87
363
+ int 87
364
+ ola 87
365
+ ili 87
366
+ ini 86
367
+ ope 86
368
+ ssi 86
369
+ rn 86
370
+ gra 86
371
+ rm 85
372
+ ev 84
373
+ rit 84
374
+ enz 83
375
+ x 83
376
+ gg 83
377
+ nza 82
378
+ ore 82
379
+ nu 81
380
+ rs 81
381
+ _fo 81
382
+ tta 81
383
+ una 81
384
+ _ar 80
385
+ opo 80
386
+ _do 80
387
+ ste 80
388
+ rim 80
389
+ _b 79
390
+ ver 79
391
+ ana 78
392
+ ien 77
393
+ um 77
394
+ rti 77
395
+ min 77
396
+ us 76
397
+ _ci 76
395
398
  ina 76
396
- rop 76
397
- tta 76
398
- ien 76
399
- _vi 75
400
- ff 75
399
+ eu 75
400
+ ene 75