scylla 0.9.3 → 1.2.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (86) hide show
  1. checksums.yaml +7 -0
  2. data/README.rdoc +3 -12
  3. data/bin/scylla +1 -1
  4. data/lib/scylla/classifier.rb +3 -2
  5. data/lib/scylla/generator.rb +11 -4
  6. data/lib/scylla/lms/arabic.lm +400 -400
  7. data/lib/scylla/lms/bulgarian.lm +400 -400
  8. data/lib/scylla/lms/catalan.lm +400 -400
  9. data/lib/scylla/lms/chinese.lm +395 -395
  10. data/lib/scylla/lms/czech.lm +397 -397
  11. data/lib/scylla/lms/danish.lm +372 -372
  12. data/lib/scylla/lms/dutch.lm +382 -382
  13. data/lib/scylla/lms/english.lm +378 -378
  14. data/lib/scylla/lms/finnish.lm +388 -388
  15. data/lib/scylla/lms/french.lm +392 -392
  16. data/lib/scylla/lms/german.lm +396 -396
  17. data/lib/scylla/lms/greek.lm +400 -400
  18. data/lib/scylla/lms/hebrew.lm +400 -400
  19. data/lib/scylla/lms/hindi.lm +399 -399
  20. data/lib/scylla/lms/icelandic.lm +225 -225
  21. data/lib/scylla/lms/indonesian.lm +391 -391
  22. data/lib/scylla/lms/italian.lm +382 -382
  23. data/lib/scylla/lms/japanese.lm +400 -400
  24. data/lib/scylla/lms/kannada.lm +392 -392
  25. data/lib/scylla/lms/korean.lm +391 -391
  26. data/lib/scylla/lms/marathi.lm +388 -388
  27. data/lib/scylla/lms/norwegian.lm +375 -375
  28. data/lib/scylla/lms/persian.lm +399 -399
  29. data/lib/scylla/lms/polish.lm +399 -399
  30. data/lib/scylla/lms/portuguese.lm +390 -390
  31. data/lib/scylla/lms/romanian.lm +353 -353
  32. data/lib/scylla/lms/russian.lm +400 -400
  33. data/lib/scylla/lms/slovak.lm +361 -361
  34. data/lib/scylla/lms/slovenian.lm +273 -273
  35. data/lib/scylla/lms/spanish.lm +371 -371
  36. data/lib/scylla/lms/swedish.lm +400 -400
  37. data/lib/scylla/lms/tagalog.lm +295 -295
  38. data/lib/scylla/lms/thai.lm +400 -400
  39. data/lib/scylla/lms/turkish.lm +377 -377
  40. data/lib/scylla/lms/vietnamese.lm +400 -400
  41. data/lib/scylla/lms/welsh.lm +311 -311
  42. data/lib/scylla/loader.rb +1 -1
  43. data/test/classifier_test.rb +6 -4
  44. data/test/fixtures/lms/arabic.lm +400 -0
  45. data/test/fixtures/lms/bulgarian.lm +400 -0
  46. data/test/fixtures/lms/catalan.lm +400 -0
  47. data/test/fixtures/lms/chinese.lm +400 -0
  48. data/test/fixtures/lms/czech.lm +400 -0
  49. data/test/fixtures/lms/danish.lm +399 -399
  50. data/test/fixtures/lms/dutch.lm +400 -0
  51. data/test/fixtures/lms/english.lm +400 -400
  52. data/test/fixtures/lms/finnish.lm +400 -0
  53. data/test/fixtures/lms/french.lm +397 -397
  54. data/test/fixtures/lms/german.lm +400 -400
  55. data/test/fixtures/lms/greek.lm +400 -0
  56. data/test/fixtures/lms/hebrew.lm +400 -0
  57. data/test/fixtures/lms/hindi.lm +400 -400
  58. data/test/fixtures/lms/icelandic.lm +400 -0
  59. data/test/fixtures/lms/indonesian.lm +400 -0
  60. data/test/fixtures/lms/italian.lm +400 -400
  61. data/test/fixtures/lms/japanese.lm +400 -400
  62. data/test/fixtures/lms/kannada.lm +400 -0
  63. data/test/fixtures/lms/korean.lm +400 -0
  64. data/test/fixtures/lms/marathi.lm +400 -0
  65. data/test/fixtures/lms/norwegian.lm +399 -399
  66. data/test/fixtures/lms/persian.lm +400 -0
  67. data/test/fixtures/lms/polish.lm +400 -0
  68. data/test/fixtures/lms/portuguese.lm +400 -0
  69. data/test/fixtures/lms/romanian.lm +400 -0
  70. data/test/fixtures/lms/russian.lm +400 -0
  71. data/test/fixtures/lms/slovak.lm +400 -0
  72. data/test/fixtures/lms/slovenian.lm +400 -0
  73. data/test/fixtures/lms/spanish.lm +400 -400
  74. data/test/fixtures/lms/swedish.lm +400 -0
  75. data/test/fixtures/lms/tagalog.lm +400 -0
  76. data/test/fixtures/lms/thai.lm +400 -0
  77. data/test/fixtures/lms/turkish.lm +400 -0
  78. data/test/fixtures/lms/vietnamese.lm +400 -0
  79. data/test/fixtures/lms/welsh.lm +400 -0
  80. data/test/fixtures/test_languages/japanese +149 -67
  81. data/test/generator_test.rb +2 -44
  82. data/test/helper.rb +3 -3
  83. data/test/language_test.rb +6 -2
  84. data/test/loader_test.rb +2 -2
  85. data/test/scylla_test.rb +7 -7
  86. metadata +144 -95
@@ -1,400 +1,400 @@
1
- _ 12996
2
- a 3889
3
- e 3745
4
- l 2385
5
- s 2307
6
- i 2249
7
- t 2164
8
- n 2052
9
- r 1861
10
- a_ 1424
11
- c 1346
12
- s_ 1331
13
- o 1317
14
- d 1272
15
- u 1118
16
- _d 927
17
- m 831
18
- _e 803
19
- 795
20
- es 793
21
- l_ 782
22
- de 776
23
- p 759
24
- _l 712
25
- _de 687
26
- e_ 663
27
- el 636
28
- _a 630
29
- al 605
30
- ta 594
31
- _c 583
32
- en 561
33
- la 505
34
- es_ 475
35
- er 449
36
- at 448
37
- t_ 435
38
- de_ 431
39
- _p 410
40
- el_ 405
41
- n_ 394
42
- nt 389
43
- i_ 384
44
- ca 383
45
- g 377
46
- an 375
47
- _i 371
48
- la_ 366
49
- _el 360
50
- re 355
51
- ci 351
52
- _la 348
53
- b 347
54
- un 329
55
- ra 327
56
- v 320
57
- on 312
58
- st 308
59
- _s 305
60
- it 295
61
- _i_ 278
62
- co 270
63
- ar 264
64
- or 261
65
- ri 248
66
- _ca 247
67
- na 245
68
- _co 244
69
- te 242
70
- _t 241
71
- _m 233
72
- r_ 232
73
- le 228
74
- ls 224
75
- ls_ 220
76
- qu 218
77
- q 218
78
- ent 215
79
- tal 215
80
- f 214
81
- in 210
82
- se 202
83
- en_ 197
84
- y 196
85
- ns 195
86
- 194
87
- ó 194
88
- me 192
89
- cat 190
90
- ue 190
91
- ic 188
92
- ny 187
93
- _es 186
94
- tr 184
95
- al_ 184
96
- ata 183
97
- nt_ 181
98
- ac 179
99
- 177
100
- é 177
101
- _a_ 175
102
- del 170
103
- pe 168
104
- om 167
105
- ia 165
106
- _en 165
107
- est 163
108
- d_ 161
109
- _l_ 161
110
- ti 161
111
- x 159
112
- que 159
113
- 158
114
- am 156
115
- lu 154
116
- à 150
117
- _u 150
118
- nya 149
119
- ya 149
120
- ó_ 146
121
- �_ 146
122
- ya_ 144
123
- pr 143
124
- i� 143
125
- tat 142
126
- ts_ 142
127
- ts 142
128
- les 140
129
- _qu 138
130
- _se 138
131
- _q 138
132
- li 137
133
- ni 137
134
- ne 137
135
- mb 136
136
- 136
137
- _un 136
138
- és 135
139
- �s 135
140
- to 135
141
- na_ 135
142
- �s_ 134
143
- els 134
144
- at_ 133
145
- po 133
146
- pa 132
147
- lun 132
148
- uny 130
149
- alu 129
150
- tu 129
151
- ns_ 127
152
- res 126
153
- di 125
154
- _le 125
155
- va 124
156
- h 123
157
- _d_ 123
158
- ad 122
159
- _f 121
160
- _r 120
161
- io 117
162
- sta 116
163
- men 115
164
- _al 115
165
- is 115
166
- _v 113
167
- aci 113
168
- per 112
169
- _g 111
170
- _pr 110
171
- _h 110
172
- ma 110
173
- com 109
174
- _pe 108
175
- nc 107
176
- ci� 107
177
- amb 107
178
- er_ 106
179
- ro 105
180
- ita 104
181
- ia_ 103
182
- con 103
183
- si 102
184
- _re 101
185
- ant 100
186
- _� 99
187
- rr 99
188
- da 98
189
- os 98
190
- ol 96
191
- ve 96
192
- ter 96
193
- _o 96
194
- ue_ 95
195
- ion 95
196
- ons 94
197
- no 94
198
- _n 94
199
- rt 93
200
- 92
201
- í 92
202
- ur 91
203
- ll 90
204
- ona 90
205
- ua 90
206
- ei 89
207
- ix 87
208
- mi 87
209
- des 87
210
- b_ 86
211
- eg 86
212
- _am 85
213
- tre 84
214
- fi 83
215
- ec 82
216
- ce 80
217
- ra_ 79
218
- ut 79
219
- m_ 79
220
- ge 79
221
- mb_ 78
222
- ta_ 78
223
- m� 77
224
- r� 77
225
- im 77
226
- _te 76
227
- als 76
228
- l� 75
229
- 75
230
- ò 74
231
- ran 74
232
- err 74
233
- ral 74
234
- sp 74
235
- era 73
236
- t� 73
237
- _po 73
238
- cio 72
239
- vi 71
240
- lt 71
241
- pi 71
242
- ir 71
243
- à_ 70
244
- 70
245
- �_ 70
246
- ba 69
247
- ot 69
248
- va_ 69
249
- lo 69
250
- ct 68
251
- tor 66
252
- ar_ 65
253
- nci 65
254
- ca_ 65
255
- lit 64
256
- _in 64
257
- ica 64
258
- da_ 64
259
- esp 64
260
- gu 63
261
- cia 63
262
- iv 63
263
- _b 63
264
- ici 62
265
- _m� 62
266
- eix 62
267
- eu 62
268
- re_ 61
269
- tan 61
270
- ist 60
271
- ues 60
272
- _di 59
273
- _pa 58
274
- ie 58
275
- rc 58
276
- _va 58
277
- sti 58
278
- un_ 57
279
- us 56
280
- _no 56
281
- 56
282
- una 55
283
- ori 55
284
- gr 54
285
- il 54
286
- mp 54
287
- so 54
288
- om_ 54
289
- rs 54
290
- ada 53
291
- tra 53
292
- j 53
293
- et 52
294
- ov 52
295
- em 51
296
- ha 51
297
- op 51
298
- any 51
299
- s� 50
300
- ala 50
301
- ntr 49
302
- pre 49
303
- u_ 48
304
- as 48
305
- itu 48
306
- _ha 48
307
- nts 48
308
- o_ 48
309
- _ac 48
310
- sa 48
311
- an_ 48
312
- _tr 47
313
- _ta 47
314
- id 47
315
- ats 47
316
- ito 46
317
- ali 46
318
- go 46
319
- alt 46
320
- 46
321
- hi 46
322
- _to 46
323
- _ba 46
324
- oc 46
325
- è 46
326
- _ma 46
327
- ga 46
328
- _s� 45
329
- ss 45
330
- lan 45
331
- mu 45
332
- _hi 45
333
- fe 45
334
- ura 44
335
- por 44
336
- ort 44
337
- su 44
338
- ial 43
339
- bl 43
340
- uni 43
341
- x_ 43
342
- au 43
343
- ip 43
344
- tur 42
345
- ob 42
346
- rit 42
347
- ix_ 41
348
- pri 41
349
- nal 41
350
- tes 41
351
- ual 41
352
- par 41
353
- ans 41
354
- ón 41
355
- c_ 41
356
- �n_ 41
357
- os_ 41
358
- �n 41
359
- n� 41
360
- rm 41
361
- str 41
362
- _ge 41
363
- nom 41
364
- tit 40
365
- pro 40
366
- ser 40
367
- _ll 40
368
- xe 40
369
- ui 40
370
- �_ 39
371
- nta 39
372
- iu 39
373
- fo 39
374
- _ar 39
375
- nd 39
376
- é_ 39
377
- ria 39
378
- us_ 38
379
- nte 38
380
- ig 38
381
- do 38
382
- lle 38
383
- ul 38
384
- ste 38
385
- rin 38
386
- gi 37
387
- 37
388
- ev 37
389
- ver 37
390
- 37
391
- mun 37
392
- seg 37
393
- _su 37
394
- ame 37
395
- tic 36
396
- tot 36
397
- ap 36
398
- rra 36
399
- pl 36
400
- cu 36
1
+ _ 18934
2
+ a 5662
3
+ e 5558
4
+ l 3532
5
+ s 3399
6
+ i 3197
7
+ t 3138
8
+ n 3019
9
+ r 2611
10
+ a_ 2015
11
+ c 1996
12
+ s_ 1980
13
+ o 1906
14
+ d 1830
15
+ u 1651
16
+ _d 1319
17
+ m 1237
18
+ _e 1137
19
+ es 1131
20
+ de 1102
21
+ l_ 1088
22
+ p 1036
23
+ _l 1018
24
+ e_ 998
25
+ _de 955
26
+ en 949
27
+ _a 939
28
+ el 909
29
+ _c 886
30
+ al 882
31
+ ta 848
32
+ la 742
33
+ es_ 715
34
+ at 668
35
+ er 668
36
+ t_ 632
37
+ ca 606
38
+ _p 604
39
+ de_ 603
40
+ n_ 596
41
+ nt 591
42
+ g 590
43
+ el_ 561
44
+ b 547
45
+ _i 542
46
+ an 540
47
+ re 527
48
+ i_ 512
49
+ _el 494
50
+ la_ 491
51
+ ci 490
52
+ _la 469
53
+ st 454
54
+ on 445
55
+ ra 442
56
+ _s 437
57
+ un 423
58
+ v 415
59
+ it 401
60
+ _ca 399
61
+ co 388
62
+ te 387
63
+ ar 386
64
+ _i_ 384
65
+ le 375
66
+ q 363
67
+ qu 362
68
+ _co 352
69
+ f 346
70
+ ri 344
71
+ or 344
72
+ _t 343
73
+ _m 341
74
+ en_ 339
75
+ ue 336
76
+ na 335
77
+ tal 331
78
+ ent 324
79
+ r_ 318
80
+ cat 307
81
+ ls 306
82
+ in 302
83
+ ls_ 302
84
+ ns 300
85
+ se 297
86
+ que 295
87
+ ata 294
88
+ _a_ 283
89
+ ic 279
90
+ me 278
91
+ ó 275
92
+ om 273
93
+ nt_ 272
94
+ al_ 267
95
+ é 266
96
+ _en 265
97
+ pe 264
98
+ ti 264
99
+ ac 261
100
+ à 256
101
+ y 248
102
+ _es 247
103
+ ia 240
104
+ tr 240
105
+ ny 238
106
+ del 237
107
+ x 235
108
+ _qu 227
109
+ _q 227
110
+ est 225
111
+ d_ 223
112
+ ó_ 219
113
+ _l_ 217
114
+ am 216
115
+ _u 210
116
+ lu 209
117
+ 209
118
+ ts 209
119
+ ts_ 208
120
+ _ 205
121
+ ne 203
122
+ _se 200
123
+ les 198
124
+ li 197
125
+ h 197
126
+ és 197
127
+ és_ 194
128
+ ns_ 192
129
+ po 190
130
+ _f 190
131
+ na_ 190
132
+ _r 188
133
+ ll 188
134
+ els 187
135
+ ya 186
136
+ nya 185
137
+ com 185
138
+ di 184
139
+ mb 184
140
+ _pe 184
141
+ _un 183
142
+ pr 183
143
+ ue_ 183
144
+ per 182
145
+ tu 182
146
+ _al 182
147
+ pa 181
148
+ ad 181
149
+ _le 181
150
+ ya_ 178
151
+ _h 177
152
+ to 176
153
+ at_ 175
154
+ men 174
155
+ aci 174
156
+ ni 173
157
+ ció 173
158
+ _d_ 172
159
+ tat 169
160
+ lun 166
161
+ ma 166
162
+ alu 164
163
+ va 164
164
+ uny 164
165
+ is 162
166
+ ant 162
167
+ sta 161
168
+ ua 160
169
+ res 158
170
+ _re 158
171
+ da 156
172
+ io 155
173
+ _o 155
174
+ à_ 154
175
+ nc 151
176
+ ia_ 151
177
+ amb 148
178
+ ter 147
179
+ ro 147
180
+ er_ 145
181
+ ons 143
182
+ _v 143
183
+ _pr 142
184
+ _g 141
185
+ ol 140
186
+ m_ 139
187
+ í 139
188
+ mi 138
189
+ si 137
190
+ os 135
191
+ con 134
192
+ eg 131
193
+ ix 130
194
+ des 130
195
+ _n 129
196
+ ita 128
197
+ gu 128
198
+ no 127
199
+ ei 125
200
+ ur 123
201
+ ion 123
202
+ rr 122
203
+ ve 122
204
+ b_ 120
205
+ _po 119
206
+ _am 119
207
+ ec 118
208
+ ut 118
209
+ fi 117
210
+ rt 117
211
+ _te 115
212
+ ge 115
213
+ ona 113
214
+ ce 113
215
+ om_ 111
216
+ ta_ 111
217
+ ra_ 110
218
+ mb_ 109
219
+ ica 109
220
+ ha 106
221
+ ò 105
222
+ tre 103
223
+ 103
224
+ als 102
225
+ im 102
226
+ _ha 101
227
+ 101
228
+ _és 101
229
+ ues 101
230
+ era 101
231
+ so 99
232
+ as 99
233
+ lo 98
234
+ rs 97
235
+ _in 97
236
+ ot 96
237
+ _ll 96
238
+ _b 95
239
+ là_ 95
240
+ ct 94
241
+ ran 94
242
+ lt 94
243
+ cio 94
244
+ ca_ 94
245
+ eix 93
246
+ us 93
247
+ tan 91
248
+ _di 91
249
+ vi 90
250
+ _pa 90
251
+ lle 90
252
+ ar_ 89
253
+ ng 89
254
+ ral 89
255
+ ir 89
256
+ lan 89
257
+ nci 88
258
+ da_ 88
259
+ cia 88
260
+ va_ 87
261
+ sp 87
262
+ iv 87
263
+ sti 86
264
+ ba 86
265
+ o_ 86
266
+ il 86
267
+ err 86
268
+ re_ 85
269
+ ob 85
270
+ ie 85
271
+ et 85
272
+ un_ 83
273
+ _ma 83
274
+ ab 82
275
+ tor 82
276
+ ici 81
277
+ itu 81
278
+ _no 81
279
+ 80
280
+ més 80
281
+ mp 78
282
+ nts 78
283
+ _ta 78
284
+ ist 77
285
+ ala 77
286
+ lit 77
287
+ bl 77
288
+ id 76
289
+ esp 76
290
+ _va 75
291
+ pi 75
292
+ ori 74
293
+ len 74
294
+ em 74
295
+ sa 74
296
+ gr 73
297
+ oc 73
298
+ fe 73
299
+ j 73
300
+ par 73
301
+ ada 72
302
+ bi 72
303
+ rc 71
304
+ una 71
305
+ _mé 71
306
+ tra 71
307
+ eu 70
308
+ è 70
309
+ go 70
310
+ alà 69
311
+ ual 68
312
+ ste 68
313
+ x_ 67
314
+ nd 66
315
+ rm 66
316
+ ss 66
317
+ tic 65
318
+ au 65
319
+ é_ 65
320
+ fo 64
321
+ ans 64
322
+ any 64
323
+ seg 63
324
+ u_ 63
325
+ ntr 63
326
+ tes 62
327
+ ats 62
328
+ os_ 62
329
+ _tr 61
330
+ nte 61
331
+ ura 61
332
+ ig 61
333
+ ul 60
334
+ ix_ 60
335
+ iu 60
336
+ pre 60
337
+ ga 59
338
+ _ge 59
339
+ gen 59
340
+ su 59
341
+ rit 59
342
+ an_ 59
343
+ ren 58
344
+ ov 58
345
+ ial 58
346
+ op 58
347
+ ito 58
348
+ _ba 58
349
+ tua 58
350
+ ell 57
351
+ do 57
352
+ _fo 57
353
+ cu 56
354
+ nes 56
355
+ nom 55
356
+ _to 55
357
+ ers 55
358
+ nta 55
359
+ eng 55
360
+ gi 55
361
+ ria 55
362
+ ex 55
363
+ gua 55
364
+ hi 55
365
+ bit 55
366
+ mo 54
367
+ aqu 54
368
+ ngu 54
369
+ us_ 54
370
+ ua_ 54
371
+ _ac 54
372
+ aq 54
373
+ tit 54
374
+ rs_ 54
375
+ xe 54
376
+ ser 53
377
+ ort 53
378
+ _hi 53
379
+ alt 53
380
+ one 53
381
+ ui 52
382
+ ali 51
383
+ ere 51
384
+ br 51
385
+ rd 51
386
+ tur 51
387
+ pro 51
388
+ z 51
389
+ str 50
390
+ ame 50
391
+ ade 50
392
+ ner 50
393
+ por 49
394
+ _ex 49
395
+ uni 49
396
+ cc 49
397
+ eri 49
398
+ _ar 49
399
+ sen 49
400
+ ins 49