scylla 0.9.3 → 1.2.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (86) hide show
  1. checksums.yaml +7 -0
  2. data/README.rdoc +3 -12
  3. data/bin/scylla +1 -1
  4. data/lib/scylla/classifier.rb +3 -2
  5. data/lib/scylla/generator.rb +11 -4
  6. data/lib/scylla/lms/arabic.lm +400 -400
  7. data/lib/scylla/lms/bulgarian.lm +400 -400
  8. data/lib/scylla/lms/catalan.lm +400 -400
  9. data/lib/scylla/lms/chinese.lm +395 -395
  10. data/lib/scylla/lms/czech.lm +397 -397
  11. data/lib/scylla/lms/danish.lm +372 -372
  12. data/lib/scylla/lms/dutch.lm +382 -382
  13. data/lib/scylla/lms/english.lm +378 -378
  14. data/lib/scylla/lms/finnish.lm +388 -388
  15. data/lib/scylla/lms/french.lm +392 -392
  16. data/lib/scylla/lms/german.lm +396 -396
  17. data/lib/scylla/lms/greek.lm +400 -400
  18. data/lib/scylla/lms/hebrew.lm +400 -400
  19. data/lib/scylla/lms/hindi.lm +399 -399
  20. data/lib/scylla/lms/icelandic.lm +225 -225
  21. data/lib/scylla/lms/indonesian.lm +391 -391
  22. data/lib/scylla/lms/italian.lm +382 -382
  23. data/lib/scylla/lms/japanese.lm +400 -400
  24. data/lib/scylla/lms/kannada.lm +392 -392
  25. data/lib/scylla/lms/korean.lm +391 -391
  26. data/lib/scylla/lms/marathi.lm +388 -388
  27. data/lib/scylla/lms/norwegian.lm +375 -375
  28. data/lib/scylla/lms/persian.lm +399 -399
  29. data/lib/scylla/lms/polish.lm +399 -399
  30. data/lib/scylla/lms/portuguese.lm +390 -390
  31. data/lib/scylla/lms/romanian.lm +353 -353
  32. data/lib/scylla/lms/russian.lm +400 -400
  33. data/lib/scylla/lms/slovak.lm +361 -361
  34. data/lib/scylla/lms/slovenian.lm +273 -273
  35. data/lib/scylla/lms/spanish.lm +371 -371
  36. data/lib/scylla/lms/swedish.lm +400 -400
  37. data/lib/scylla/lms/tagalog.lm +295 -295
  38. data/lib/scylla/lms/thai.lm +400 -400
  39. data/lib/scylla/lms/turkish.lm +377 -377
  40. data/lib/scylla/lms/vietnamese.lm +400 -400
  41. data/lib/scylla/lms/welsh.lm +311 -311
  42. data/lib/scylla/loader.rb +1 -1
  43. data/test/classifier_test.rb +6 -4
  44. data/test/fixtures/lms/arabic.lm +400 -0
  45. data/test/fixtures/lms/bulgarian.lm +400 -0
  46. data/test/fixtures/lms/catalan.lm +400 -0
  47. data/test/fixtures/lms/chinese.lm +400 -0
  48. data/test/fixtures/lms/czech.lm +400 -0
  49. data/test/fixtures/lms/danish.lm +399 -399
  50. data/test/fixtures/lms/dutch.lm +400 -0
  51. data/test/fixtures/lms/english.lm +400 -400
  52. data/test/fixtures/lms/finnish.lm +400 -0
  53. data/test/fixtures/lms/french.lm +397 -397
  54. data/test/fixtures/lms/german.lm +400 -400
  55. data/test/fixtures/lms/greek.lm +400 -0
  56. data/test/fixtures/lms/hebrew.lm +400 -0
  57. data/test/fixtures/lms/hindi.lm +400 -400
  58. data/test/fixtures/lms/icelandic.lm +400 -0
  59. data/test/fixtures/lms/indonesian.lm +400 -0
  60. data/test/fixtures/lms/italian.lm +400 -400
  61. data/test/fixtures/lms/japanese.lm +400 -400
  62. data/test/fixtures/lms/kannada.lm +400 -0
  63. data/test/fixtures/lms/korean.lm +400 -0
  64. data/test/fixtures/lms/marathi.lm +400 -0
  65. data/test/fixtures/lms/norwegian.lm +399 -399
  66. data/test/fixtures/lms/persian.lm +400 -0
  67. data/test/fixtures/lms/polish.lm +400 -0
  68. data/test/fixtures/lms/portuguese.lm +400 -0
  69. data/test/fixtures/lms/romanian.lm +400 -0
  70. data/test/fixtures/lms/russian.lm +400 -0
  71. data/test/fixtures/lms/slovak.lm +400 -0
  72. data/test/fixtures/lms/slovenian.lm +400 -0
  73. data/test/fixtures/lms/spanish.lm +400 -400
  74. data/test/fixtures/lms/swedish.lm +400 -0
  75. data/test/fixtures/lms/tagalog.lm +400 -0
  76. data/test/fixtures/lms/thai.lm +400 -0
  77. data/test/fixtures/lms/turkish.lm +400 -0
  78. data/test/fixtures/lms/vietnamese.lm +400 -0
  79. data/test/fixtures/lms/welsh.lm +400 -0
  80. data/test/fixtures/test_languages/japanese +149 -67
  81. data/test/generator_test.rb +2 -44
  82. data/test/helper.rb +3 -3
  83. data/test/language_test.rb +6 -2
  84. data/test/loader_test.rb +2 -2
  85. data/test/scylla_test.rb +7 -7
  86. metadata +144 -95
@@ -1,400 +1,400 @@
1
- _ 17188
2
- a 7968
3
- i 6792
4
- t 5717
5
- s 5599
6
- n 5405
7
- e 4930
8
- u 4121
9
- l 4107
10
- o 3824
11
- k 3088
12
- n_ 2738
13
- a_ 2558
14
- 2481
15
- m 2391
16
- 2172
17
- ä 2172
18
- v 1717
19
- r 1436
20
- en 1411
21
- j 1367
22
- is 1320
23
- ta 1192
24
- in 1117
25
- _s 1105
26
- st 1059
27
- y 1007
28
- en_ 968
29
- p 957
30
- h 919
31
- al 907
32
- _k 862
33
- an 859
34
- li 837
35
- si 837
36
- i_ 834
37
- _j 811
38
- uo 798
39
- ll 768
40
- sa 753
41
- ja 735
42
- se 730
43
- aa 729
44
- va 721
45
- _m 706
46
- ä_ 694
47
- �_ 694
48
- _v 685
49
- t_ 683
50
- it 674
51
- tt 671
52
- su 663
53
- ai 661
54
- ma 656
55
- la 651
56
- _o 641
57
- ti 627
58
- ka 625
59
- on 616
60
- te 611
61
- ja_ 576
62
- in_ 571
63
- ta_ 564
64
- tu 563
65
- _t 554
66
- _l 542
67
- d 533
68
- el 532
69
- _su 524
70
- es 524
71
- _ja 515
72
- om 514
73
- oi 498
74
- at 485
75
- t� 485
76
- _a 480
77
- me 476
78
- ss 468
79
- et 466
80
- as 456
81
- uu 455
82
- ist 448
83
- ku 447
84
- ko 443
85
- mi 441
86
- an_ 436
87
- suo 429
88
- lu 428
89
- _p 423
90
- uom 415
91
- 414
92
- il 412
93
- nt 407
94
- un 401
95
- on_ 394
96
- us 394
97
- ik 392
98
- ki 389
99
- ii 387
100
- ut 385
101
- sa_ 385
102
- _e 384
103
- sta 383
104
- ne 382
105
- ks 371
106
- to 369
107
- ke 369
108
- os 366
109
- ssa 358
110
- ol 354
111
- nn 345
112
- le 344
113
- ei 341
114
- na 337
115
- ri 328
116
- ee 326
117
- jo 312
118
- er 308
119
- 307
120
- ö 307
121
- ul 306
122
- ise 301
123
- _va 300
124
- _n 299
125
- vu 291
126
- ty 289
127
- de 288
128
- im 284
129
- lli 284
130
- _on 284
131
- lis 281
132
- ia 279
133
- l� 269
134
- ome 265
135
- at_ 263
136
- s_ 262
137
- lä 258
138
- �� 258
139
- �ä 258
140
- ä� 258
1
+ _ 17816
2
+ a 8207
3
+ i 6998
4
+ t 5894
5
+ s 5774
6
+ n 5584
7
+ e 5077
8
+ u 4260
9
+ l 4242
10
+ o 3945
11
+ k 3180
12
+ n_ 2817
13
+ a_ 2656
14
+ m 2463
15
+ ä 2245
16
+ v 1759
17
+ en 1462
18
+ r 1462
19
+ j 1426
20
+ is 1363
21
+ ta 1237
22
+ in 1151
23
+ _s 1149
24
+ st 1103
25
+ y 1045
26
+ en_ 1007
27
+ p 997
28
+ h 952
29
+ al 932
30
+ _k 910
31
+ i_ 882
32
+ an 874
33
+ si 868
34
+ li 852
35
+ _j 847
36
+ uo 833
37
+ ll 791
38
+ sa 777
39
+ ja 771
40
+ aa 747
41
+ se 746
42
+ va 745
43
+ _m 725
44
+ _v 710
45
+ ä_ 709
46
+ t_ 698
47
+ tt 689
48
+ ai 681
49
+ it 680
50
+ ma 679
51
+ la 675
52
+ su 675
53
+ _o 668
54
+ on 641
55
+ ti 641
56
+ ka 637
57
+ te 636
58
+ ja_ 598
59
+ ta_ 593
60
+ in_ 583
61
+ tu 579
62
+ _t 576
63
+ _l 559
64
+ el 552
65
+ d 539
66
+ _su 538
67
+ _ja 534
68
+ om 533
69
+ es 529
70
+ oi 520
71
+ at 501
72
+ me 494
73
+ _a 494
74
+ ss 480
75
+ et 479
76
+ ist 470
77
+ ku 468
78
+ as 467
79
+ uu 467
80
+ ko 460
81
+ mi 454
82
+ lu 451
83
+ suo 443
84
+ an_ 437
85
+ _p 436
86
+ uom 430
87
+ un 420
88
+ nt 417
89
+ 415
90
+ il 413
91
+ on_ 408
92
+ ii 408
93
+ us 404
94
+ sta 402
95
+ ik 400
96
+ ki 399
97
+ ne 398
98
+ ut 396
99
+ sa_ 394
100
+ to 386
101
+ _e 386
102
+ ks 386
103
+ ke 373
104
+ le 369
105
+ ol 368
106
+ nn 368
107
+ ssa 367
108
+ os 367
109
+ ei 352
110
+ na 346
111
+ ee 345
112
+ ri 339
113
+ jo 322
114
+ ul 320
115
+ _va 315
116
+ ö 311
117
+ er 311
118
+ ise 310
119
+ vu 302
120
+ _on 297
121
+ _n 297
122
+ ty 294
123
+ im 292
124
+ lli 288
125
+ ia 288
126
+ de 287
127
+ lis 284
128
+ ome 275
129
+ at_ 271
130
+ s_ 271
131
+ ää 267
132
+ ak 263
133
+ _h 261
134
+ 259
141
135
  mu 256
142
- _h 251
143
- ie 245
144
- aan 245
145
- ot 245
146
- ak 245
147
- s� 238
148
- lla 237
149
- 235
150
- la_ 234
151
- vi 232
152
- _ka 230
153
- sen 227
154
- e_ 226
155
- ais 225
156
- all 224
157
- _al 220
158
- ni 220
159
- ur 219
160
- uv 216
161
- lt 211
162
- _ma 210
163
- maa 208
164
- est 207
165
- ksi 205
166
- si_ 201
167
- _jo 200
168
- ra 199
169
- vat 196
170
- uk 196
171
- _mu 195
172
- _ku 195
173
- pa 194
174
- sk 194
175
- 193
176
- v� 193
177
- än 192
178
- �n 192
179
- ns 191
180
- ok 190
181
- _r 189
182
- tta 189
183
- ar 189
184
- pi 188
185
- itt 183
186
- men 183
187
- een 182
188
- ht 181
189
- ia_ 178
190
- ui 177
191
- ha 177
192
- val 177
193
- au 177
194
- lo 176
195
- kk 175
196
- no 174
197
- aa_ 174
198
- mm 173
199
- k� 172
200
- ill 171
201
- isi 170
136
+ 251
137
+ ot 251
138
+ la_ 247
139
+ lla 246
140
+ aan 246
141
+ ie 244
142
+ e_ 237
143
+ _ka 236
144
+ all 233
145
+ sen 232
146
+ vi 230
147
+ ais 229
148
+ _al 225
149
+ ur 224
150
+ ni 222
151
+ uv 219
152
+ maa 218
153
+ _ma 218
154
+ ksi 217
155
+ lt 215
156
+ _ku 214
157
+ est 212
158
+ si_ 210
159
+ _jo 209
160
+ tä_ 207
161
+ pi 205
162
+ än 204
163
+ 202
164
+ vat 201
165
+ sk 199
166
+ _mu 198
167
+ uk 197
168
+ ra 197
169
+ _r 196
170
+ tta 195
171
+ ns 194
172
+ men 193
173
+ een 193
174
+ ht 191
175
+ ar 191
176
+ ok 191
177
+ pa 191
178
+ ui 189
179
+ ia_ 187
180
+ itt 185
181
+ val 184
182
+ au 182
183
+ lo 182
184
+ _y 181
185
+ aa_ 179
186
+ mm 179
187
+ ti_ 179
188
+ no 177
189
+ kk 173
190
+ tti 173
191
+ ha 172
192
+ isi 171
202
193
  ala 170
203
- st� 169
204
- ti_ 168
205
- tti 168
206
- suu 167
207
- _y 167
208
- lai 161
209
- den 159
210
- iin 157
211
- _ko 157
212
- o_ 156
194
+ suu 169
195
+ iin 168
196
+ ill 168
197
+ o_ 164
198
+ _ko 163
199
+ 163
200
+ am 163
201
+ lai 162
202
+ _sa 162
203
+ na_ 161
204
+ den 161
205
+ oli 157
206
+ g 156
207
+ pu 156
208
+ mä 156
213
209
  av 156
214
- am 156
215
- 155
216
- na_ 154
217
- _sa 154
218
- oli 153
219
- m� 152
220
- nen 152
221
- 151
222
- ine 150
223
- vuo 148
224
- g 147
225
- et_ 147
226
- _ta 145
227
- 145
228
- iv 144
229
- pu 144
230
- ess 142
231
- nk 141
232
- y� 141
233
- sti 141
234
- ell 140
235
- rk 140
236
- lk 140
237
- so 140
238
- aj 139
239
- _vu 139
240
- _lu 139
241
- _tu 138
242
- eu 137
243
- _se 137
244
- j� 137
245
- he 136
246
- oma 136
247
- ro 136
248
- kan 134
249
- ts 134
250
- ast 133
251
- ve 132
252
- ste 132
253
- io 132
254
- _ke 131
255
- 128
256
- _ol 127
257
- u_ 126
258
- lle 126
259
- 126
260
- un_ 126
261
- äl 125
262
- nna 125
263
- �l 125
264
- vo 125
265
- _� 124
266
- ain 123
267
- lm 123
268
- ett 122
269
- 121
270
-   121
271
- ek 121
272
- �i 120
273
- ru 120
274
- _  120
275
- ent 120
276
- �t 120
277
- ät 120
278
- taa 120
279
- eis 120
210
+ nen 156
211
+ _ta 155
212
+ ine 154
213
+ vuo 154
214
+ nk 151
215
+ iv 150
216
+ ell 149
217
+ et_ 148
218
+ ts 148
219
+ sti 147
220
+ aj 146
221
+ _tu 145
222
+ ess 145
223
+ _lu 145
224
+ _vu 145
225
+ he 144
226
+ so 143
227
+ eu 142
228
+ lk 142
229
+ ast 142
230
+ _se 139
231
+ ste 138
232
+ oma 138
233
+ un_ 137
234
+ kan 136
235
+ rk 135
236
+ 135
237
+ lle 134
238
+ ve 134
239
+ nna 133
240
+ _ol 132
241
+ ro 132
242
+ io 131
243
+ äl 131
244
+ _ke 130
245
+ ät 129
246
+ eis 129
247
+ stä 129
248
+ alu 128
249
+ ois 128
250
+ ou 128
251
+ ain 126
252
+ ten 126
253
+ lm 126
254
+ ek 125
255
+ 125
256
+ u_ 125
257
+ ett 125
258
+ vo 124
259
+ ru 124
260
+ ir 123
261
+ utt 122
262
+ _  122
263
+ taa 122
264
+   122
265
+ kun 121
266
+ or 120
280
267
  äi 120
281
- ou 119
282
- ois 119
283
- alu 119
284
- n� 118
285
- kun 117
286
- utt 117
287
- ten 117
288
- ir 117
289
- em 116
268
+ mis 119
269
+ ent 119
270
+ ue 118
271
+ op 117
272
+ _i 117
273
+ em 117
290
274
  kse 116
291
- _i 116
292
- or 116
293
- op 116
294
- mis 115
295
- tel 112
296
- yt 112
297
- od 112
298
- _u 111
299
- sin 111
300
- ust 111
301
- li_ 110
302
- �n_ 110
303
- oh 109
304
- oit 109
305
- ue 109
306
- tt� 109
307
- id 109
308
- aik 108
309
- _me 108
310
- le_ 108
311
- mal 106
312
- uot 105
313
- nta 105
314
- 105
315
- ali 104
275
+ yt 116
276
+ tel 116
277
+ le_ 115
278
+ od 115
279
+ sin 114
280
+ oh 114
281
+ li_ 113
282
+ än_ 113
283
+ _me 112
284
+ ust 112
285
+ nta 111
286
+ aik 111
287
+ lue 110
288
+ po 110
289
+ oit 110
290
+ uot 110
291
+ _u 107
292
+ lin 107
293
+ _si 106
294
+ ov 106
295
+ 106
296
+ id 106
297
+ alt 105
298
+ yh 105
299
+ mal 105
300
+ ses 105
301
+ lii 105
316
302
  _ha 104
317
- ov 104
318
- yk 103
319
- alt 102
320
- ien 102
321
- po 102
322
- iss 102
323
- ses 101
324
- lii 101
303
+ ali 104
304
+ sto 104
305
+ luv 104
306
+ _la 104
307
+ hi 104
308
+ je 103
309
+ oll 103
310
+ ien 103
311
+ iss 103
325
312
  lta 101
326
- _la 101
327
- _si 101
328
- lin 101
329
- oll 100
330
- je 100
331
- lue 100
332
- är 99
333
- �r 99
334
- yh 99
313
+ är 101
314
+ yk 101
315
+ f 101
316
+ omi 100
317
+ kuu 100
318
+ mat 100
319
+ sä_ 100
320
+ int 99
321
+ ud 99
335
322
  ans 99
336
- luv 98
337
- pe 97
338
- hi 96
339
- mat 96
323
+ ka_ 98
324
+ unn 97
325
+ lä_ 97
326
+ pe 96
340
327
  ap 96
341
- ka_ 96
342
- int 96
343
- uks 95
344
- ud 95
345
- sto 95
328
+ ttä 96
329
+ äm 95
330
+ uks 94
346
331
  ita 94
347
- omi 94
348
- p� 93
349
- ost 92
350
- ttu 92
351
- nsa 92
352
- uur 92
353
- f 91
354
-  _ 91
355
- uvu 91
356
- �_ 91
357
- unn 91
358
- kuu 90
359
- tai 90
360
- kaa 90
361
- eh 89
362
- mes 89
363
- toi 88
364
- �m 88
332
+ toi 94
333
+ ttu 94
334
+ ost 94
335
+ uvu 93
336
+ uur 93
337
+  _ 93
338
+ tai 93
339
+ _ _ 93
340
+ tii 91
341
+ nsa 91
342
+ eh 91
343
+ kaa 91
344
+ mes 90
345
+ ova 90
346
+ _to 89
347
+ ass 89
348
+ _li 89
349
+ ika 89
350
+ eli 88
351
+ ava 88
352
+ tei 88
365
353
  tet 88
366
- ika 88
367
- äm 88
368
- ova 88
369
- eli 87
370
- kes 87
371
- ava 87
372
- _to 86
373
- stu 86
374
- min 86
375
- ass 86
376
- utu 85
377
- joi 85
378
- tii 85
379
- my 85
380
- re 84
381
- _li 84
382
- uri 84
383
- tei 84
384
- ll� 83
385
- ide 83
386
- _ov 83
387
- i� 82
388
- oin 81
389
- _v� 81
390
- äk 81
391
- �k 81
354
+ min 88
355
+ stu 87
356
+ joi 87
357
+ my 87
358
+ utu 87
359
+ _vä 86
360
+ uri 86
361
+ kes 85
362
+ _ov 85
363
+ re 85
364
+ ään 85
365
+ yl 85
366
+ oin 85
367
+ 84
368
+ sii 83
369
+ mp 83
370
+ mi_ 83
371
+ uon 83
372
+ uus 83
373
+ ide 81
374
+ ssä 81
375
+ ull 81
376
+ äh 81
377
+ ös 81
378
+ nu 81
379
+ tal 81
380
+ imm 80
392
381
  uva 80
393
- osi 80
394
- ss� 79
395
- imm 79
396
- ude 79
397
- _l� 79
398
- sii 79
399
- yl 79
400
- uus 78
382
+ llä 80
383
+ ude 80
384
+ sia 80
385
+ äk 79
386
+ ij 79
387
+ saa 79
388
+ osi 79
389
+ ih 79
390
+ _my 79
391
+ us_ 79
392
+ _po 78
393
+ ulu 78
394
+ kau 78
395
+ tav 77
396
+ ikk 77
397
+ ys 77
398
+ onn 77
399
+ ama 77
400
+ myö 76