scylla 0.9.3 → 1.2.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (86) hide show
  1. checksums.yaml +7 -0
  2. data/README.rdoc +3 -12
  3. data/bin/scylla +1 -1
  4. data/lib/scylla/classifier.rb +3 -2
  5. data/lib/scylla/generator.rb +11 -4
  6. data/lib/scylla/lms/arabic.lm +400 -400
  7. data/lib/scylla/lms/bulgarian.lm +400 -400
  8. data/lib/scylla/lms/catalan.lm +400 -400
  9. data/lib/scylla/lms/chinese.lm +395 -395
  10. data/lib/scylla/lms/czech.lm +397 -397
  11. data/lib/scylla/lms/danish.lm +372 -372
  12. data/lib/scylla/lms/dutch.lm +382 -382
  13. data/lib/scylla/lms/english.lm +378 -378
  14. data/lib/scylla/lms/finnish.lm +388 -388
  15. data/lib/scylla/lms/french.lm +392 -392
  16. data/lib/scylla/lms/german.lm +396 -396
  17. data/lib/scylla/lms/greek.lm +400 -400
  18. data/lib/scylla/lms/hebrew.lm +400 -400
  19. data/lib/scylla/lms/hindi.lm +399 -399
  20. data/lib/scylla/lms/icelandic.lm +225 -225
  21. data/lib/scylla/lms/indonesian.lm +391 -391
  22. data/lib/scylla/lms/italian.lm +382 -382
  23. data/lib/scylla/lms/japanese.lm +400 -400
  24. data/lib/scylla/lms/kannada.lm +392 -392
  25. data/lib/scylla/lms/korean.lm +391 -391
  26. data/lib/scylla/lms/marathi.lm +388 -388
  27. data/lib/scylla/lms/norwegian.lm +375 -375
  28. data/lib/scylla/lms/persian.lm +399 -399
  29. data/lib/scylla/lms/polish.lm +399 -399
  30. data/lib/scylla/lms/portuguese.lm +390 -390
  31. data/lib/scylla/lms/romanian.lm +353 -353
  32. data/lib/scylla/lms/russian.lm +400 -400
  33. data/lib/scylla/lms/slovak.lm +361 -361
  34. data/lib/scylla/lms/slovenian.lm +273 -273
  35. data/lib/scylla/lms/spanish.lm +371 -371
  36. data/lib/scylla/lms/swedish.lm +400 -400
  37. data/lib/scylla/lms/tagalog.lm +295 -295
  38. data/lib/scylla/lms/thai.lm +400 -400
  39. data/lib/scylla/lms/turkish.lm +377 -377
  40. data/lib/scylla/lms/vietnamese.lm +400 -400
  41. data/lib/scylla/lms/welsh.lm +311 -311
  42. data/lib/scylla/loader.rb +1 -1
  43. data/test/classifier_test.rb +6 -4
  44. data/test/fixtures/lms/arabic.lm +400 -0
  45. data/test/fixtures/lms/bulgarian.lm +400 -0
  46. data/test/fixtures/lms/catalan.lm +400 -0
  47. data/test/fixtures/lms/chinese.lm +400 -0
  48. data/test/fixtures/lms/czech.lm +400 -0
  49. data/test/fixtures/lms/danish.lm +399 -399
  50. data/test/fixtures/lms/dutch.lm +400 -0
  51. data/test/fixtures/lms/english.lm +400 -400
  52. data/test/fixtures/lms/finnish.lm +400 -0
  53. data/test/fixtures/lms/french.lm +397 -397
  54. data/test/fixtures/lms/german.lm +400 -400
  55. data/test/fixtures/lms/greek.lm +400 -0
  56. data/test/fixtures/lms/hebrew.lm +400 -0
  57. data/test/fixtures/lms/hindi.lm +400 -400
  58. data/test/fixtures/lms/icelandic.lm +400 -0
  59. data/test/fixtures/lms/indonesian.lm +400 -0
  60. data/test/fixtures/lms/italian.lm +400 -400
  61. data/test/fixtures/lms/japanese.lm +400 -400
  62. data/test/fixtures/lms/kannada.lm +400 -0
  63. data/test/fixtures/lms/korean.lm +400 -0
  64. data/test/fixtures/lms/marathi.lm +400 -0
  65. data/test/fixtures/lms/norwegian.lm +399 -399
  66. data/test/fixtures/lms/persian.lm +400 -0
  67. data/test/fixtures/lms/polish.lm +400 -0
  68. data/test/fixtures/lms/portuguese.lm +400 -0
  69. data/test/fixtures/lms/romanian.lm +400 -0
  70. data/test/fixtures/lms/russian.lm +400 -0
  71. data/test/fixtures/lms/slovak.lm +400 -0
  72. data/test/fixtures/lms/slovenian.lm +400 -0
  73. data/test/fixtures/lms/spanish.lm +400 -400
  74. data/test/fixtures/lms/swedish.lm +400 -0
  75. data/test/fixtures/lms/tagalog.lm +400 -0
  76. data/test/fixtures/lms/thai.lm +400 -0
  77. data/test/fixtures/lms/turkish.lm +400 -0
  78. data/test/fixtures/lms/vietnamese.lm +400 -0
  79. data/test/fixtures/lms/welsh.lm +400 -0
  80. data/test/fixtures/test_languages/japanese +149 -67
  81. data/test/generator_test.rb +2 -44
  82. data/test/helper.rb +3 -3
  83. data/test/language_test.rb +6 -2
  84. data/test/loader_test.rb +2 -2
  85. data/test/scylla_test.rb +7 -7
  86. metadata +144 -95
@@ -1,400 +1,400 @@
1
- _ 19654
2
- a 5641
3
- e 5390
4
- o 4867
5
- s 3685
6
- i 3424
7
- r 3268
8
- d 2645
9
- n 2355
10
- o_ 2242
11
- t 2240
12
- m 2076
13
- a_ 1760
14
- s_ 1750
15
- e_ 1687
16
- 1633
17
- u 1573
18
- c 1552
19
- l 1549
20
- p 1453
21
- _d 1324
22
- _e 1153
23
- de 1000
24
- _a 1000
25
- _p 945
26
- ra 902
27
- as 848
28
- es 751
29
- do 747
30
- m_ 729
31
- _de 708
32
- de_ 667
33
- b 654
34
- _c 640
35
- _o 626
36
- os 621
37
- g 577
38
- en 573
39
- v 568
40
- do_ 561
41
- _s 554
42
- te 549
43
- nt 537
44
- co 537
45
- er 536
46
- or 518
47
- os_ 517
48
- as_ 512
49
- da 500
50
- re 478
51
- em 452
52
- f 448
53
- ad 442
54
- ri 437
55
- _m 435
56
- _a_ 425
57
- ta 423
58
- ar 420
59
- l_ 418
60
- ma 409
61
- _e_ 401
62
- an 389
63
- _co 384
64
- _n 378
65
- _o_ 376
66
- to 372
67
- il 360
68
- si 357
69
- st 351
70
- na 350
71
- em_ 349
72
- al 345
73
- _b 341
74
- se 338
75
- po 337
76
- r_ 337
77
- in 334
78
- is 333
79
- es_ 333
80
- ent 327
81
- ia 326
82
- om 326
83
- pa 325
84
- 325
85
- ã 325
86
- _t 324
87
- �o 323
88
- ão 323
89
- �o_ 322
90
- ro 320
91
- ti 320
92
- ca 311
93
- no 309
94
- io 309
95
- on 308
96
- me 308
97
- nd 307
98
- br 307
99
- _do 301
100
- ras 295
101
- h 281
102
- da_ 278
1
+ _ 17944
2
+ a 5167
3
+ e 5048
4
+ o 4499
5
+ s 3480
6
+ i 3129
7
+ r 2979
8
+ d 2458
9
+ n 2197
10
+ t 2068
11
+ o_ 2018
12
+ m 1983
13
+ s_ 1729
14
+ a_ 1617
15
+ e_ 1608
16
+ c 1500
17
+ u 1477
18
+ l 1384
19
+ p 1287
20
+ _d 1237
21
+ _e 1096
22
+ de 979
23
+ _a 928
24
+ _p 825
25
+ ra 803
26
+ as 775
27
+ m_ 716
28
+ es 711
29
+ do 704
30
+ _de 685
31
+ de_ 649
32
+ os 626
33
+ _o 616
34
+ _c 603
35
+ b 553
36
+ en 550
37
+ te 541
38
+ os_ 541
39
+ _s 528
40
+ co 515
41
+ g 510
42
+ do_ 508
43
+ nt 506
44
+ v 503
45
+ er 498
46
+ or 488
47
+ as_ 486
48
+ da 468
49
+ em 442
50
+ re 432
51
+ _m 417
52
+ ad 407
53
+ _a_ 406
54
+ ri 400
55
+ _e_ 397
56
+ f 393
57
+ ta 391
58
+ ma 385
59
+ ar 373
60
+ _co 369
61
+ _o_ 369
62
+ _n 368
63
+ l_ 358
64
+ an 347
65
+ se 342
66
+ em_ 338
67
+ po 333
68
+ si 328
69
+ in 327
70
+ to 324
71
+ r_ 322
72
+ es_ 321
73
+ na 320
74
+ _t 318
75
+ ent 314
76
+ st 313
77
+ ca 312
78
+ al 311
79
+ nd 308
80
+ om 306
81
+ is 305
82
+ il 301
83
+ ã 301
84
+ me 300
85
+ pa 299
86
+ ão 299
87
+ no 298
88
+ ão_ 297
89
+ ro 292
90
+ ia 282
103
91
  ic 278
104
- 277
105
- ç 277
106
- _em 275
107
- ci 271
108
- _f 270
109
- tr 266
110
- 262
111
- _r 262
112
- í 262
113
- bra 260
114
- _br 257
115
- nte 255
116
- am 252
117
- it 251
118
- _i 250
119
- q 248
120
- _pa 248
121
- qu 248
122
- a� 243
123
- com 243
124
- sil 241
125
- asi 238
126
- _po 236
127
- é 235
128
- 235
129
- ei 229
130
- ra_ 228
131
- te_ 227
132
- pr 224
133
- le 219
134
- ir 215
135
- _se 212
136
- ue 211
137
- pe 211
138
- el 211
139
- _u 210
140
- ai 208
141
- ç� 208
142
- at 208
143
- �� 208
144
- um 207
145
- id 207
146
- di 200
147
- _re 196
148
- _da 192
149
- li 191
150
- to_ 189
151
- la 187
152
- mo 187
153
- ado 185
154
- _q 184
155
- _ma 184
156
- _qu 184
157
- _no 177
158
- _pr 177
159
- il_ 176
160
- al_ 173
161
- ss 172
162
- _um 172
163
- ve 172
164
- _� 169
165
- no_ 163
166
- im 159
167
- or_ 159
92
+ ti 277
93
+ _do 276
94
+ io 273
95
+ ç 269
96
+ _em 263
97
+ ci 263
98
+ tr 259
99
+ br 259
100
+ on 259
101
+ _b 259
102
+ da_ 253
103
+ ras 250
104
+ í 249
105
+ am 249
106
+ nte 245
107
+ _f 241
108
+ com 238
109
+ é 234
110
+ _po 233
111
+ _pa 232
112
+ _r 229
113
+ _se 221
114
+ qu 220
115
+ q 220
116
+ ai 218
117
+ bra 217
118
+ pr 215
119
+ h 215
120
+ _i 214
121
+ it 214
122
+ te_ 212
123
+ _br 209
124
+ ei 204
125
+ pe 201
126
+ ra_ 200
127
+ asi 199
128
+ sil 199
129
+ _u 196
130
+ ir 195
131
+ um 192
132
+ at 192
133
+ el 191
134
+ id 191
135
+ le 190
136
+ ue 190
137
+ la 188
138
+ _ma 181
139
+ li 181
140
+ _no 174
141
+ ado 172
142
+ _re 172
143
+ _da 172
144
+ _pr 170
145
+ _q 169
146
+ _qu 169
147
+ di 164
148
+ or_ 162
149
+ ica 160
168
150
  rt 158
169
- va 157
170
- ica 157
171
- ia_ 156
172
- que 156
173
- 155
174
- á 155
175
- �ã 155
176
- ce 154
177
- men 153
178
- eir 151
151
+ _um 158
152
+ to_ 157
153
+ men 157
154
+ ve 156
155
+ al_ 153
156
+ çã 152
157
+ im 152
158
+ mo 152
159
+ ção 152
160
+ no_ 151
161
+ ss 151
179
162
  un 151
180
- mi 149
181
- _l 147
182
- ua 147
183
- con 145
184
- _g 143
185
- is_ 143
186
- aç 143
187
- lo 141
188
- tu 141
189
- u_ 140
163
+ u_ 150
164
+ is_ 148
165
+ que 145
166
+ il_ 142
167
+ va 142
168
+ ou 141
190
169
  ni 140
191
- res 140
192
- s� 140
193
- 139
194
- ec 138
195
- ou 138
196
- fo 137
197
- _in 137
198
- _es 137
199
- x 135
200
- z 135
201
- r� 135
202
- _v 133
203
- su 132
204
- ue_ 132
205
- ul 132
206
- nc 131
207
- ol 131
208
- por 131
209
- ada 131
210
- est 131
211
- ns 131
212
- _na 131
213
- iv 130
214
- t� 129
215
- dos 127
216
- ara 127
217
- par 127
218
- ed 127
219
- �_ 127
220
- eg 127
170
+ dos 140
171
+ res 139
172
+ _in 139
173
+ x 138
174
+ tu 136
175
+ _g 136
176
+ con 136
177
+ mi 136
178
+ por 134
179
+ 133
180
+ ec 132
181
+ eir 132
182
+ ua 131
183
+ ul 130
184
+ fo 130
185
+ _es 129
186
+ _na 129
187
+ ce 129
188
+ ns 129
189
+ ol 127
190
+ á 126
191
+ nc 126
192
+ mai 125
193
+ est 125
194
+ ais 125
221
195
  ndo 125
222
- ma_ 124
223
- io_ 122
224
- _pe 121
225
- ais 120
226
- 120
227
- é_ 119
228
- sa 119
229
- vi 119
230
- �_ 119
231
- ro_ 117
232
- _� 117
196
+ par 124
197
+ lo 123
198
+ ue_ 123
199
+ su 122
200
+ ada 122
201
+ ia_ 120
202
+ ara 120
203
+ des 119
204
+ _pe 118
233
205
  _fo 117
234
- mai 116
235
- ur 116
236
- _te 113
237
- ter 113
238
- 112
239
-   112
240
- om_ 112
241
- des 112
242
- sta 112
243
- na_ 111
244
- i_ 110
245
- õ 110
246
- õe 110
247
- � 110
248
- �e 110
249
- ca_ 109
250
- so 109
251
- ant 108
206
+ z 115
207
+ iv 115
208
+ _l 113
209
+ vi 112
210
+ _v 112
211
+ eg 112
212
+ ca_ 112
213
+ om_ 111
214
+ ma_ 110
215
+ _te 109
216
+ ter 108
252
217
  am_ 108
253
- ria 107
254
- et 107
255
- �es 106
256
- p_ 105
257
- i� 104
258
-  _ 104
259
- ac 103
260
- gu 103
261
- mp 102
262
- _en 102
263
- ui 102
264
- era 101
265
- uma 101
266
- j 100
267
- 99
268
- od 98
269
- and 98
270
- _as 97
271
- ut 97
272
- tra 96
273
- mo_ 96
274
- _os 96
275
- lei 95
276
- das 95
277
- n� 92
278
- ís 92
279
- �s 92
280
- fi 92
281
- gi 91
282
- ita 91
283
- pa� 91
284
- ida 91
285
- rio 91
286
- _su 91
287
- ge 90
288
- nto 90
289
- se_ 90
290
- 90
291
- mu 89
292
- ex 89
293
- ist 89
294
- cia 89
295
- _h 88
296
- ga 88
297
- ne 87
298
- dad 87
299
- um_ 86
300
- gr 86
301
- _s� 85
302
- ort 85
218
+ ur 107
219
+ na_ 107
220
+ é_ 104
221
+ sa 104
222
+ sta 104
223
+ ro_ 103
224
+ so 102
225
+ ant 101
226
+ gu 100
227
+ _os 99
228
+ era 98
229
+ et 97
230
+ õe 96
231
+ õ 96
232
+ cia 95
233
+ ís 94
234
+ ria 94
235
+ io_ 94
236
+ mo_ 94
237
+ açã 94
238
+ od 94
239
+ 94
240
+ se_ 93
241
+ ões 93
242
+ i_ 93
243
+ and 93
244
+ ut 93
245
+ ui 93
246
+ 91
247
+ dad 91
248
+ mp 90
249
+ _en 90
250
+ ac 89
251
+ uma 89
252
+ ida 89
253
+ das 89
254
+ mu 88
255
+ ex 88
256
+ gr 88
257
+ _su 88
258
+ _as 88
259
+ _é_ 87
260
+ lei 86
261
+ ou_ 86
262
+ aís 86
263
+ paí 86
264
+ ort 86
265
+ tra 85
266
+ nto 85
267
+ ed 85
268
+ um_ 84
303
269
  _ex 84
304
- ó 84
305
- 84
306
- 84
307
- _di 83
308
- rn 83
309
- ess 83
310
- nde 83
311
- vo 82
312
- _ca 82
313
- iro 81
314
- ou_ 81
315
- lh 80
316
- ar_ 80
317
- ran 78
318
- ira 77
319
- ade 77
320
- ram 76
321
- tiv 76
322
- tad 75
323
- pro 75
324
- omo 75
325
- ha 74
326
- der 73
327
- _p_ 73
328
- rr 73
329
- op 72
330
- rc 72
331
- oi 72
332
- au 72
333
- ito 72
334
- l� 72
335
- nci 72
336
- ile 71
337
- ati 71
338
- tes 71
339
- for 71
340
- ta_ 70
341
- _mu 70
342
- nta 70
343
- rm 70
344
- pre 69
345
- ov 69
346
- er_ 69
347
- ame 69
348
- ev 68
349
- go 68
350
- ior 68
351
- fe 67
352
- _s_ 67
353
- cu 67
354
- und 67
355
- �s_ 66
356
- ial 66
357
- ntr 66
358
- ap 66
359
- us 66
360
- _j 66
361
- tor 65
362
- tic 65
363
- _mi 64
364
- mb 63
365
- _me 63
366
- p� 63
367
- 63
368
- iz 63
369
- gra 62
370
- _at 62
371
- tem 62
372
- ura 62
373
- lo_ 62
374
- ime 62
375
- aio 61
270
+ nde 84
271
+ j 83
272
+ gi 81
273
+ cu 80
274
+ ita 80
275
+ ade 80
276
+ fi 79
277
+ tes 79
278
+ ran 79
279
+ ar_ 78
280
+ rn 78
281
+ ó 78
282
+ rio 77
283
+ ist 77
284
+ ior 76
285
+ nci 75
286
+ omo 74
287
+ ha 73
288
+ ram 73
289
+ ga 72
290
+ iro 72
291
+ _ca 72
292
+ ta_ 72
293
+ op 71
294
+ ú 71
295
+ pro 71
296
+ oi 70
297
+ ge 70
298
+ rc 70
299
+ rr 70
300
+ vo 70
301
+ tiv 70
302
+ ne 70
303
+ rm 69
304
+ aio 68
305
+ ís_ 68
306
+ ind 68
307
+ _mu 68
308
+ ame 67
309
+ ira 67
310
+ ntr 67
311
+ fe 66
312
+ for 66
313
+ mb 66
314
+ _di 65
315
+ ati 65
316
+ pre 65
317
+ end 65
318
+ tem 65
319
+ und 64
320
+ ov 64
321
+ _h 64
322
+ ile 64
323
+ tad 64
324
+ ess 64
325
+ der 64
326
+ _s_ 63
327
+ ap 63
328
+ 63
329
+ gra 63
330
+ ab 63
331
+ pri 63
332
+ são 63
333
+ nta 62
334
+ iz 62
335
+ _to 62
336
+ ial 61
376
337
  ê 61
377
- 61
378
- ont 61
379
- tro 60
380
- pri 60
381
- ver 60
382
- end 60
383
- ind 60
384
- _tr 60
385
- ab 59
386
- qua 59
387
- lu 59
388
- pel 59
389
- ona 59
390
- pos 59
391
- ú 58
392
- ern 58
393
- _to 58
394
- ár 57
395
- fa 57
396
- ion 57
338
+ lh 60
339
+ tic 60
340
+ pel 60
341
+ eu 60
342
+ ime 60
343
+ _me 59
344
+ ste 59
345
+ tro 58
346
+ ito 58
347
+ _mi 58
348
+ bi 58
349
+ _tr 58
350
+ go 58
397
351
  ros 57
398
- �r 57
399
- cio 57
400
- egi 56
352
+ _at 57
353
+ ura 57
354
+ ver 57
355
+ _ou 56
356
+ rte 56
357
+ ela 56
358
+ ido 55
359
+ art 55
360
+ mun 55
361
+ cr 55
362
+ pos 55
363
+ ico 54
364
+ ev 54
365
+ sp 53
366
+ iç 52
367
+ tan 52
368
+ oi_ 52
369
+ mas 52
370
+ _gr 52
371
+ foi 52
372
+ _j 52
373
+ za 51
374
+ ern 51
375
+ tor 51
376
+ ça 51
377
+ ob 51
378
+ sc 51
379
+ _al 51
380
+ err 50
381
+ ont 50
382
+ ele 50
383
+ qua 50
384
+ er_ 50
385
+ uni 50
386
+ du 50
387
+ sen 50
388
+ sti 50
389
+ ao 49
390
+ lo_ 49
391
+ ons 49
392
+ str 49
393
+ inc 49
394
+ nos 49
395
+ erc 49
396
+ nas 48
397
+ ina 48
398
+ _ta 48
399
+ ig 48
400
+ _ao 48