scylla 0.9.3 → 1.2.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (86) hide show
  1. checksums.yaml +7 -0
  2. data/README.rdoc +3 -12
  3. data/bin/scylla +1 -1
  4. data/lib/scylla/classifier.rb +3 -2
  5. data/lib/scylla/generator.rb +11 -4
  6. data/lib/scylla/lms/arabic.lm +400 -400
  7. data/lib/scylla/lms/bulgarian.lm +400 -400
  8. data/lib/scylla/lms/catalan.lm +400 -400
  9. data/lib/scylla/lms/chinese.lm +395 -395
  10. data/lib/scylla/lms/czech.lm +397 -397
  11. data/lib/scylla/lms/danish.lm +372 -372
  12. data/lib/scylla/lms/dutch.lm +382 -382
  13. data/lib/scylla/lms/english.lm +378 -378
  14. data/lib/scylla/lms/finnish.lm +388 -388
  15. data/lib/scylla/lms/french.lm +392 -392
  16. data/lib/scylla/lms/german.lm +396 -396
  17. data/lib/scylla/lms/greek.lm +400 -400
  18. data/lib/scylla/lms/hebrew.lm +400 -400
  19. data/lib/scylla/lms/hindi.lm +399 -399
  20. data/lib/scylla/lms/icelandic.lm +225 -225
  21. data/lib/scylla/lms/indonesian.lm +391 -391
  22. data/lib/scylla/lms/italian.lm +382 -382
  23. data/lib/scylla/lms/japanese.lm +400 -400
  24. data/lib/scylla/lms/kannada.lm +392 -392
  25. data/lib/scylla/lms/korean.lm +391 -391
  26. data/lib/scylla/lms/marathi.lm +388 -388
  27. data/lib/scylla/lms/norwegian.lm +375 -375
  28. data/lib/scylla/lms/persian.lm +399 -399
  29. data/lib/scylla/lms/polish.lm +399 -399
  30. data/lib/scylla/lms/portuguese.lm +390 -390
  31. data/lib/scylla/lms/romanian.lm +353 -353
  32. data/lib/scylla/lms/russian.lm +400 -400
  33. data/lib/scylla/lms/slovak.lm +361 -361
  34. data/lib/scylla/lms/slovenian.lm +273 -273
  35. data/lib/scylla/lms/spanish.lm +371 -371
  36. data/lib/scylla/lms/swedish.lm +400 -400
  37. data/lib/scylla/lms/tagalog.lm +295 -295
  38. data/lib/scylla/lms/thai.lm +400 -400
  39. data/lib/scylla/lms/turkish.lm +377 -377
  40. data/lib/scylla/lms/vietnamese.lm +400 -400
  41. data/lib/scylla/lms/welsh.lm +311 -311
  42. data/lib/scylla/loader.rb +1 -1
  43. data/test/classifier_test.rb +6 -4
  44. data/test/fixtures/lms/arabic.lm +400 -0
  45. data/test/fixtures/lms/bulgarian.lm +400 -0
  46. data/test/fixtures/lms/catalan.lm +400 -0
  47. data/test/fixtures/lms/chinese.lm +400 -0
  48. data/test/fixtures/lms/czech.lm +400 -0
  49. data/test/fixtures/lms/danish.lm +399 -399
  50. data/test/fixtures/lms/dutch.lm +400 -0
  51. data/test/fixtures/lms/english.lm +400 -400
  52. data/test/fixtures/lms/finnish.lm +400 -0
  53. data/test/fixtures/lms/french.lm +397 -397
  54. data/test/fixtures/lms/german.lm +400 -400
  55. data/test/fixtures/lms/greek.lm +400 -0
  56. data/test/fixtures/lms/hebrew.lm +400 -0
  57. data/test/fixtures/lms/hindi.lm +400 -400
  58. data/test/fixtures/lms/icelandic.lm +400 -0
  59. data/test/fixtures/lms/indonesian.lm +400 -0
  60. data/test/fixtures/lms/italian.lm +400 -400
  61. data/test/fixtures/lms/japanese.lm +400 -400
  62. data/test/fixtures/lms/kannada.lm +400 -0
  63. data/test/fixtures/lms/korean.lm +400 -0
  64. data/test/fixtures/lms/marathi.lm +400 -0
  65. data/test/fixtures/lms/norwegian.lm +399 -399
  66. data/test/fixtures/lms/persian.lm +400 -0
  67. data/test/fixtures/lms/polish.lm +400 -0
  68. data/test/fixtures/lms/portuguese.lm +400 -0
  69. data/test/fixtures/lms/romanian.lm +400 -0
  70. data/test/fixtures/lms/russian.lm +400 -0
  71. data/test/fixtures/lms/slovak.lm +400 -0
  72. data/test/fixtures/lms/slovenian.lm +400 -0
  73. data/test/fixtures/lms/spanish.lm +400 -400
  74. data/test/fixtures/lms/swedish.lm +400 -0
  75. data/test/fixtures/lms/tagalog.lm +400 -0
  76. data/test/fixtures/lms/thai.lm +400 -0
  77. data/test/fixtures/lms/turkish.lm +400 -0
  78. data/test/fixtures/lms/vietnamese.lm +400 -0
  79. data/test/fixtures/lms/welsh.lm +400 -0
  80. data/test/fixtures/test_languages/japanese +149 -67
  81. data/test/generator_test.rb +2 -44
  82. data/test/helper.rb +3 -3
  83. data/test/language_test.rb +6 -2
  84. data/test/loader_test.rb +2 -2
  85. data/test/scylla_test.rb +7 -7
  86. metadata +144 -95
@@ -1,400 +1,400 @@
1
- _ 28558
2
- e 9262
3
- a 8041
4
- o 5890
5
- n 5306
6
- s 5294
7
- i 4666
8
- r 4326
9
- l 4228
10
- d 3782
11
- t 3197
12
- c 3096
13
- a_ 2745
14
- s_ 2607
15
- e_ 2536
16
- u 2376
17
- _e 2165
18
- de 2022
19
- _d 1991
20
- p 1980
21
- 1910
22
- m 1872
23
- _de 1726
24
- o_ 1723
25
- n_ 1706
26
- en 1645
27
- es 1471
28
- _l 1443
29
- la 1316
30
- de_ 1298
31
- l_ 1200
32
- _c 1135
33
- os 1077
34
- _p 1052
35
- el 1042
36
- on 979
37
- os_ 966
38
- _la 965
39
- _a 963
40
- er 957
41
- as 891
42
- co 886
43
- _s 880
44
- el_ 848
45
- la_ 843
46
- ci 827
47
- te 821
48
- re 801
49
- nt 792
50
- g 775
51
- an 748
52
- ra 735
53
- b 732
54
- al 714
55
- _en 713
56
- en_ 698
57
- as_ 687
58
- or 686
59
- y 681
60
- es_ 679
61
- ta 669
62
- _co 657
63
- ad 643
64
- _el 639
65
- do 633
66
- pa 615
67
- ar 605
68
- ro 581
69
- _m 581
70
- ri 580
71
- st 577
72
- 577
73
- ó 576
74
- y_ 569
75
- ue 563
76
- in 547
77
- v 546
78
- f 532
79
- to 526
1
+ _ 29204
2
+ e 9417
3
+ a 8154
4
+ o 5974
5
+ s 5395
6
+ n 5375
7
+ i 4767
8
+ r 4394
9
+ l 4346
10
+ d 3845
11
+ t 3220
12
+ c 3143
13
+ a_ 2795
14
+ s_ 2643
15
+ e_ 2575
16
+ u 2441
17
+ _e 2246
18
+ de 2066
19
+ _d 2049
20
+ p 2027
21
+ m 1906
22
+ _de 1770
23
+ o_ 1763
24
+ n_ 1750
25
+ en 1660
26
+ es 1506
27
+ _l 1492
28
+ la 1350
29
+ de_ 1319
30
+ l_ 1241
31
+ _c 1141
32
+ os 1091
33
+ _p 1083
34
+ el 1074
35
+ _la 996
36
+ on 996
37
+ _a 981
38
+ os_ 981
39
+ er 950
40
+ co 899
41
+ as 898
42
+ _s 883
43
+ el_ 877
44
+ la_ 873
45
+ ci 850
46
+ te 818
47
+ re 815
48
+ nt 798
49
+ g 792
50
+ ra 756
51
+ an 750
52
+ _en 741
53
+ b 736
54
+ al 720
55
+ en_ 716
56
+ or 697
57
+ y 695
58
+ as_ 691
59
+ es_ 684
60
+ ta 676
61
+ ad 664
62
+ _co 661
63
+ _el 660
64
+ ó 646
65
+ pa 633
66
+ do 627
67
+ ar 614
68
+ ri 600
69
+ ro 600
70
+ _m 597
71
+ st 588
72
+ y_ 578
73
+ ue 576
74
+ in 563
75
+ v 557
76
+ _es 541
77
+ lo 541
78
+ f 537
79
+ _y 528
80
+ to 524
80
81
  ca 524
81
- lo 523
82
- _y 522
83
- _es 518
84
- na 515
85
- _y_ 505
86
- r_ 489
87
- da 483
88
- un 483
89
- _t 475
82
+ na 521
83
+ _y_ 514
84
+ un 507
85
+ r_ 495
86
+ da 488
87
+ _t 473
90
88
  se 471
91
- ent 461
92
- no 459
93
- ic 451
94
- con 448
95
- po 433
96
- ia 426
97
- ti 421
98
- í 420
99
- 420
100
- io 413
101
- _r 412
102
- le 400
103
- do_ 399
104
- tr 396
105
- q 393
106
- qu 393
107
- i� 385
108
- nte 380
109
- a� 374
110
- om 367
111
- h 365
112
- te_ 362
113
- si 361
89
+ con 460
90
+ ent 460
91
+ ic 460
92
+ no 458
93
+ po 446
94
+ í 432
95
+ ia 432
96
+ ti 425
97
+ _r 420
98
+ io 415
99
+ le 410
100
+ q 409
101
+ qu 409
102
+ tr 408
103
+ do_ 386
104
+ nte 375
105
+ ue_ 375
106
+ si 372
107
+ om 369
108
+ te_ 366
109
+ 364
110
+ h 364
111
+ ie 363
112
+ is 360
114
113
  me 359
115
- ac 358
116
- ue_ 354
117
- is 350
118
- ie 349
119
- ón 348
120
- �n 348
121
- _re 347
122
- sp 346
123
- ió 343
124
- nd 341
125
- ma 336
114
+ _re 356
115
+ ac 355
116
+ sp 355
117
+ ón 350
118
+ _lo 349
119
+ que 348
120
+ ñ 347
121
+ ma 338
126
122
  _se 335
127
- _lo 335
128
123
  _i 335
129
- ñ 333
130
- 333
131
- que 332
132
- pr 331
133
- �n_ 326
134
- id 323
135
- ne 317
136
- al_ 314
137
- mi 310
138
- 308
139
- _qu 308
140
- _u 308
141
- _q 308
142
- los 307
143
- ni 305
144
- _po 303
145
- á 300
146
- di 300
147
- 300
148
- ec 294
149
- _f 290
150
- _pr 289
151
- on_ 288
152
- su 285
153
- _h 285
154
- nc 284
155
- pa� 283
156
- _un 279
157
- spa 278
158
- pe 275
159
- li 275
160
- _o 270
161
- it 269
162
- esp 268
163
- mo 266
164
- del 261
165
- or_ 261
166
- _a_ 247
167
- est 247
168
- rt 245
169
- ado 240
170
- por 238
171
- ci� 237
172
- _n 234
173
- aci 234
124
+ pr 334
125
+ ón_ 330
126
+ _u 328
127
+ nd 326
128
+ id 324
129
+ 322
130
+ _qu 322
131
+ _q 322
132
+ al_ 319
133
+ mi 319
134
+ ne 318
135
+ ec 318
136
+ los 313
137
+ _po 312
138
+ di 306
139
+ ni 306
140
+ on_ 302
141
+ _f 297
142
+ nc 295
143
+ _pr 294
144
+ ión 292
145
+ su 292
146
+ _un 292
147
+ pe 285
148
+ á 284
149
+ spa 283
150
+ li 282
151
+ _h 282
152
+ esp 278
153
+ mo 274
154
+ it 272
155
+ del 272
156
+ or_ 270
157
+ _o 264
158
+ _a_ 259
159
+ est 257
160
+ rt 252
161
+ ado 252
162
+ por 249
163
+ ció 241
164
+ aci 239
165
+ pañ 234
174
166
  las 232
175
- ce 224
176
- _ca 222
177
- _pa 218
178
- so 217
179
- se_ 216
180
- _su 215
181
- sta 213
182
- ia_ 204
183
- am 203
184
- tu 202
185
- ur 200
186
- com 200
187
- ab 200
188
- ol 199
189
- ra_ 196
190
- na_ 196
191
- im 195
192
- men 194
193
- ter 192
194
- no_ 190
195
- to_ 189
196
- tra 189
197
- da_ 188
198
- cia 188
199
- 186
200
- em 186
201
- é 186
202
- ns 185
203
- ña 185
204
- �a 185
205
- z 184
206
- r� 184
207
- _al 183
208
- ía 180
209
- �a 180
210
- ien 179
211
- _in 179
212
- ica 177
213
- ant 176
214
- cu 174
215
- _v 173
216
- res 172
217
- m� 171
218
- j 170
219
- �a_ 168
220
- des 167
221
- _g 167
167
+ _n 231
168
+ _pa 228
169
+ so 226
170
+ ce 218
171
+ _su 218
172
+ sta 217
173
+ _ca 216
174
+ se_ 214
175
+ ur 211
176
+ im 205
177
+ ol 203
178
+ na_ 202
179
+ com 202
180
+ ia_ 202
181
+ ab 201
182
+ am 200
183
+ tu 198
184
+ ó_ 197
185
+ ra_ 197
186
+ cia 196
187
+ da_ 195
188
+ no_ 193
189
+ em 192
190
+ ña 191
191
+ tra 191
192
+ men 191
193
+ ns 190
194
+ to_ 187
195
+ ter 185
196
+ é 183
197
+ z 183
198
+ ant 182
199
+ ica 181
200
+ cu 181
201
+ _in 181
202
+ _g 180
203
+ _al 180
204
+ ien 178
205
+ des 178
206
+ aña 176
207
+ ía 176
208
+ _v 174
209
+ ña_ 173
210
+ j 171
211
+ vi 171
212
+ res 171
213
+ nci 170
214
+ mo_ 168
215
+ pro 166
222
216
  ed 166
223
- od 165
224
- pro 164
217
+ ig 166
218
+ ll 165
219
+ ul 165
220
+ ada 164
225
221
  ct 164
226
- ha 162
227
- mo_ 162
228
- ul 162
229
222
  one 162
230
- nci 161
231
- ig 161
232
- vi 160
233
- dad 159
234
- les 159
235
- ll 158
236
- ada 158
237
- _si 158
238
- at 156
239
- cio 156
223
+ _si 160
224
+ od 160
225
+ dad 160
226
+ cio 159
227
+ ha 158
228
+ ran 158
229
+ les 158
230
+ oc 157
231
+ era 157
232
+ nes 157
233
+ dos 155
240
234
  sa 155
241
- era 155
242
- oc 155
243
- ion 154
244
235
  bi 153
245
- nes 153
246
- rr 150
247
- dos 149
248
- ist 148
249
- ndo 148
250
- ran 147
251
- mp 147
252
- d_ 146
253
- eg 145
254
- va 144
255
- an_ 144
256
- _pe 144
257
- ño 142
258
- _ha 142
259
- �o 142
260
- ida 142
261
- par 142
262
- ó_ 138
263
- �_ 138
264
- gu 138
265
- ron 136
266
- �a_ 134
267
- ero 134
236
+ at 153
237
+ ion 153
238
+ mp 151
239
+ ron 151
240
+ ist 150
241
+ ño 150
242
+ va 150
243
+ _pe 150
244
+ d_ 150
245
+ rr 148
246
+ par 147
247
+ an_ 147
248
+ eg 146
249
+ año 144
250
+ ida 144
251
+ gu 143
252
+ ero 143
253
+ us 142
254
+ fi 141
255
+ _ha 138
256
+ br 138
257
+ _mi 136
258
+ lo_ 135
259
+ mu 135
268
260
  ale 133
269
- fi 133
270
- br 133
271
- x 132
272
- mu 131
273
- má 131
261
+ ía_ 133
262
+ x 131
263
+ una 130
264
+ ndo 130
274
265
  tor 130
275
- us 129
276
- _mi 129
277
- rio 128
278
- ona 127
279
- iv 126
280
- ua 126
266
+ 129
267
+ _di 129
268
+ ici 127
269
+ iv 127
270
+ rio 127
281
271
  ntr 126
272
+ bl 126
273
+ il 126
274
+ nto 125
275
+ ba 125
276
+ ona 125
277
+ ua 124
278
+ io_ 124
282
279
  mb 124
283
- ta_ 124
280
+ du 124
284
281
  ot 123
285
- ori 123
286
- io_ 123
287
- bl 123
288
- ve 123
289
- una 123
290
- ba 123
291
- _di 122
292
- t� 121
293
- du 120
294
- rm 120
295
- lo_ 120
296
- go 120
297
- ici 120
298
- il 120
299
- _no 118
300
- uc 118
301
- _te 117
302
- ob 117
282
+ un_ 122
283
+ ori 122
284
+ go 121
285
+ ob 120
286
+ ta_ 120
287
+ rec 119
288
+ omo 118
303
289
  ca_ 117
304
- rec 116
305
- un_ 116
306
- n� 114
307
- nto 114
308
- ás 113
290
+ _no 117
291
+ ad_ 116
292
+ ve 115
293
+ ás 115
294
+ _te 114
295
+ re_ 113
309
296
  ina 113
310
- �s 113
311
- omo 113
312
- ad_ 112
313
- per 111
314
- �s_ 110
315
- za 110
316
- re_ 110
317
- ico 108
318
- op 106
319
- _ma 105
320
- u_ 105
321
- pu 105
297
+ per 113
298
+ _ma 112
299
+ rm 111
300
+ ier 111
301
+ ial 111
302
+ ás_ 110
303
+ gr 109
304
+ u_ 109
305
+ uc 108
306
+ et 108
307
+ fu 107
308
+ pu 107
309
+ ura 106
322
310
  hi 105
323
- et 104
324
- err 104
311
+ ras 105
312
+ ico 105
313
+ _tr 105
314
+ ro_ 104
315
+ más 104
316
+ za 104
317
+ su_ 104
325
318
  ga 104
326
- ras 103
319
+ err 103
320
+ ex 102
321
+ op 102
327
322
  ar_ 102
328
- ir 102
329
- ial 102
330
- ex 101
331
- gr 101
332
- _tr 101
333
- _me 100
334
- ido 100
335
- fu 100
336
- su_ 100
337
- ier 100
338
- sti 99
323
+ art 101
324
+ ido 101
325
+ enc 100
326
+ tan 100
327
+ sti 100
328
+ ita 100
329
+ rte 99
339
330
  min 99
340
- ura 99
341
- _so 98
342
- tan 98
343
- art 98
344
- tes 98
345
- 98
346
- ita 98
347
- ro_ 97
331
+ _mu 99
332
+ ir 98
333
+ _me 97
334
+ _so 97
335
+ _b 97
336
+ _fu 97
348
337
  _hi 96
349
- enc 96
350
- _b 96
351
- fe 95
338
+ ú 96
352
339
  ste 95
353
- _mu 95
340
+ tes 94
341
+ nta 94
354
342
  eri 94
355
- nta 93
356
- rte 93
357
- _m� 93
358
- end 93
359
- ú 91
360
- nom 91
361
- _fu 91
362
- pre 91
363
- ria 90
364
- rc 90
365
- _ex 90
366
- nos 90
367
- ara 90
368
- tal 89
369
- ui 89
370
- tic 87
371
- _to 87
343
+ ara 93
344
+ ria 92
345
+ nom 92
346
+ _ex 91
347
+ rc 91
348
+ ios 91
349
+ ort 90
350
+ gi 90
351
+ fe 90
352
+ tal 90
353
+ _má 89
354
+ tad 88
355
+ pre 88
356
+ end 88
357
+ tos 87
358
+ der 87
372
359
  co_ 87
373
- ut 86
360
+ tic 87
361
+ _to 86
374
362
  pi 86
375
- gi 85
376
- ten 85
377
- and 85
378
- tur 84
379
- g� 84
380
- tos 84
381
- 84
382
- der 84
383
- ali 83
384
- ort 83
385
- tro 83
386
- inc 83
387
- ios 83
388
- tad 83
389
- ip 82
390
- ep 81
391
- den 81
392
- ito 80
393
- vo 79
394
- cr 79
395
- und 79
363
+ ui 86
364
+ inc 85
365
+ tro 85
366
+ ali 85
367
+ nos 84
368
+ ip 84
369
+ ís 84
370
+ ten 83
371
+ cr 83
372
+ tur 82
373
+ und 82
374
+ ut 81
375
+ vo 81
376
+ ep 80
377
+ ula 79
378
+ rn 79
379
+ den 79
396
380
  nal 78
397
- er_ 78
398
- ade 77
381
+ ito 78
382
+ sig 77
399
383
  man 77
400
- �s 76
384
+ fr 76
385
+ and 76
386
+ au 76
387
+ sc 76
388
+ lt 75
389
+ cas 75
390
+ aí 75
391
+ cto 75
392
+ ade 75
393
+ eci 75
394
+ er_ 75
395
+ ene 75
396
+ so_ 74
397
+ ons 74
398
+ fue 74
399
+ eco 73
400
+ ea 73