scylla 0.9.3 → 1.2.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (86) hide show
  1. checksums.yaml +7 -0
  2. data/README.rdoc +3 -12
  3. data/bin/scylla +1 -1
  4. data/lib/scylla/classifier.rb +3 -2
  5. data/lib/scylla/generator.rb +11 -4
  6. data/lib/scylla/lms/arabic.lm +400 -400
  7. data/lib/scylla/lms/bulgarian.lm +400 -400
  8. data/lib/scylla/lms/catalan.lm +400 -400
  9. data/lib/scylla/lms/chinese.lm +395 -395
  10. data/lib/scylla/lms/czech.lm +397 -397
  11. data/lib/scylla/lms/danish.lm +372 -372
  12. data/lib/scylla/lms/dutch.lm +382 -382
  13. data/lib/scylla/lms/english.lm +378 -378
  14. data/lib/scylla/lms/finnish.lm +388 -388
  15. data/lib/scylla/lms/french.lm +392 -392
  16. data/lib/scylla/lms/german.lm +396 -396
  17. data/lib/scylla/lms/greek.lm +400 -400
  18. data/lib/scylla/lms/hebrew.lm +400 -400
  19. data/lib/scylla/lms/hindi.lm +399 -399
  20. data/lib/scylla/lms/icelandic.lm +225 -225
  21. data/lib/scylla/lms/indonesian.lm +391 -391
  22. data/lib/scylla/lms/italian.lm +382 -382
  23. data/lib/scylla/lms/japanese.lm +400 -400
  24. data/lib/scylla/lms/kannada.lm +392 -392
  25. data/lib/scylla/lms/korean.lm +391 -391
  26. data/lib/scylla/lms/marathi.lm +388 -388
  27. data/lib/scylla/lms/norwegian.lm +375 -375
  28. data/lib/scylla/lms/persian.lm +399 -399
  29. data/lib/scylla/lms/polish.lm +399 -399
  30. data/lib/scylla/lms/portuguese.lm +390 -390
  31. data/lib/scylla/lms/romanian.lm +353 -353
  32. data/lib/scylla/lms/russian.lm +400 -400
  33. data/lib/scylla/lms/slovak.lm +361 -361
  34. data/lib/scylla/lms/slovenian.lm +273 -273
  35. data/lib/scylla/lms/spanish.lm +371 -371
  36. data/lib/scylla/lms/swedish.lm +400 -400
  37. data/lib/scylla/lms/tagalog.lm +295 -295
  38. data/lib/scylla/lms/thai.lm +400 -400
  39. data/lib/scylla/lms/turkish.lm +377 -377
  40. data/lib/scylla/lms/vietnamese.lm +400 -400
  41. data/lib/scylla/lms/welsh.lm +311 -311
  42. data/lib/scylla/loader.rb +1 -1
  43. data/test/classifier_test.rb +6 -4
  44. data/test/fixtures/lms/arabic.lm +400 -0
  45. data/test/fixtures/lms/bulgarian.lm +400 -0
  46. data/test/fixtures/lms/catalan.lm +400 -0
  47. data/test/fixtures/lms/chinese.lm +400 -0
  48. data/test/fixtures/lms/czech.lm +400 -0
  49. data/test/fixtures/lms/danish.lm +399 -399
  50. data/test/fixtures/lms/dutch.lm +400 -0
  51. data/test/fixtures/lms/english.lm +400 -400
  52. data/test/fixtures/lms/finnish.lm +400 -0
  53. data/test/fixtures/lms/french.lm +397 -397
  54. data/test/fixtures/lms/german.lm +400 -400
  55. data/test/fixtures/lms/greek.lm +400 -0
  56. data/test/fixtures/lms/hebrew.lm +400 -0
  57. data/test/fixtures/lms/hindi.lm +400 -400
  58. data/test/fixtures/lms/icelandic.lm +400 -0
  59. data/test/fixtures/lms/indonesian.lm +400 -0
  60. data/test/fixtures/lms/italian.lm +400 -400
  61. data/test/fixtures/lms/japanese.lm +400 -400
  62. data/test/fixtures/lms/kannada.lm +400 -0
  63. data/test/fixtures/lms/korean.lm +400 -0
  64. data/test/fixtures/lms/marathi.lm +400 -0
  65. data/test/fixtures/lms/norwegian.lm +399 -399
  66. data/test/fixtures/lms/persian.lm +400 -0
  67. data/test/fixtures/lms/polish.lm +400 -0
  68. data/test/fixtures/lms/portuguese.lm +400 -0
  69. data/test/fixtures/lms/romanian.lm +400 -0
  70. data/test/fixtures/lms/russian.lm +400 -0
  71. data/test/fixtures/lms/slovak.lm +400 -0
  72. data/test/fixtures/lms/slovenian.lm +400 -0
  73. data/test/fixtures/lms/spanish.lm +400 -400
  74. data/test/fixtures/lms/swedish.lm +400 -0
  75. data/test/fixtures/lms/tagalog.lm +400 -0
  76. data/test/fixtures/lms/thai.lm +400 -0
  77. data/test/fixtures/lms/turkish.lm +400 -0
  78. data/test/fixtures/lms/vietnamese.lm +400 -0
  79. data/test/fixtures/lms/welsh.lm +400 -0
  80. data/test/fixtures/test_languages/japanese +149 -67
  81. data/test/generator_test.rb +2 -44
  82. data/test/helper.rb +3 -3
  83. data/test/language_test.rb +6 -2
  84. data/test/loader_test.rb +2 -2
  85. data/test/scylla_test.rb +7 -7
  86. metadata +144 -95
@@ -1,400 +1,400 @@
1
- _ 38544
2
- e 19678
3
- n 11581
4
- i 9160
5
- r 8612
6
- t 8045
7
- d 7418
8
- s 7398
9
- a 6002
10
- u 5115
11
- h 4953
12
- n_ 4525
13
- l 4327
14
- en 4218
15
- er 4174
16
- _d 3775
17
- de 3676
18
- g 3531
19
- c 3344
20
- e_ 3250
21
- ch 3155
22
- en_ 3097
23
- m 2779
24
- o 2647
25
- r_ 2540
26
- b 2383
27
- nd 2364
28
- te 2277
29
- _de 2148
30
- ie 2076
31
- t_ 2041
32
- er_ 2006
33
- un 1955
34
- ei 1927
35
- 1899
36
- in 1751
37
- f 1627
38
- w 1587
39
- ge 1567
40
- st 1567
41
- _a 1557
42
- _s 1496
43
- der 1462
44
- d_ 1439
45
- s_ 1435
46
- z 1415
47
- he 1362
48
- nd_ 1324
49
- es 1319
50
- sc 1298
51
- sch 1293
52
- k 1292
53
- re 1242
54
- _e 1230
55
- an 1230
56
- _i 1220
57
- be 1151
58
- di 1145
59
- ie_ 1100
60
- und 1098
61
- v 1089
62
- _b 1069
63
- _di 1038
64
- p 1027
65
- die 1025
66
- it 1021
67
- _u 1009
68
- m_ 1002
69
- che 953
70
- ic 946
71
- is 940
72
- _w 934
73
- li 914
74
- _un 911
75
- ich 903
76
- ne 888
77
- _g 829
78
- _v 819
79
- ng 813
80
- ts 796
81
- h_ 784
82
- ch_ 776
83
- nde 766
84
- eu 754
85
- le 747
86
- on 738
87
- se 735
88
- au 715
89
- al 703
90
- ten 702
91
- ut 689
92
- ein 686
93
- 683
94
- ä 683
95
- in_ 669
96
- _in 633
97
- nt 631
98
- g_ 623
99
- el 621
100
- ti 617
101
- ur 616
102
- _z 613
103
- et 612
104
- _m 611
105
- den 609
106
- 597
107
- ü 597
108
- eut 597
109
- _n 592
110
- _be 588
111
- te_ 581
112
- ung 571
113
- la 567
114
- and 567
115
- tsc 559
116
- rt 558
117
- hen 551
118
- deu 549
119
- at 543
120
- hr 530
121
- _au 518
122
- we 516
123
- _ge 515
124
- uts 515
125
- si 515
126
- _ei 507
1
+ _ 40500
2
+ e 20584
3
+ n 12255
4
+ i 9592
5
+ r 9101
6
+ t 8320
7
+ d 7752
8
+ s 7616
9
+ a 6496
10
+ u 5448
11
+ h 5126
12
+ n_ 4783
13
+ l 4501
14
+ en 4479
15
+ er 4368
16
+ _d 3944
17
+ de 3849
18
+ g 3756
19
+ c 3427
20
+ e_ 3393
21
+ en_ 3297
22
+ ch 3224
23
+ m 2927
24
+ o 2829
25
+ r_ 2694
26
+ b 2510
27
+ nd 2453
28
+ te 2355
29
+ _de 2245
30
+ ie 2153
31
+ t_ 2097
32
+ er_ 2064
33
+ un 2035
34
+ ei 2031
35
+ in 1850
36
+ f 1781
37
+ ge 1735
38
+ _a 1663
39
+ w 1662
40
+ st 1583
41
+ der 1525
42
+ _s 1508
43
+ s_ 1498
44
+ d_ 1489
45
+ z 1470
46
+ he 1421
47
+ an 1376
48
+ nd_ 1369
49
+ es 1360
50
+ sc 1343
51
+ k 1339
52
+ _e 1338
53
+ sch 1335
54
+ re 1304
55
+ _i 1278
56
+ di 1193
57
+ be 1177
58
+ ie_ 1162
59
+ und 1143
60
+ p 1114
61
+ v 1113
62
+ _b 1097
63
+ it 1083
64
+ _di 1079
65
+ die 1067
66
+ m_ 1061
67
+ _u 1028
68
+ ic 978
69
+ che 976
70
+ _w 970
71
+ ne 962
72
+ is 962
73
+ li 947
74
+ ich 929
75
+ _un 927
76
+ ng 876
77
+ _g 875
78
+ _v 844
79
+ ts 839
80
+ on 793
81
+ nde 792
82
+ eu 791
83
+ h_ 783
84
+ ch_ 778
85
+ au 761
86
+ le 753
87
+ se 746
88
+ ten 740
89
+ ein 734
90
+ al 720
91
+ ä 719
92
+ ut 714
93
+ in_ 693
94
+ _in 667
95
+ den 659
96
+ ti 652
97
+ nt 646
98
+ et 643
99
+ _z 638
100
+ el 637
101
+ g_ 635
102
+ ur 630
103
+ ü 619
104
+ eut 613
105
+ _be 610
106
+ te_ 605
107
+ _m 601
108
+ ung 601
109
+ la 596
110
+ _n 594
111
+ and 590
112
+ rt 586
113
+ tsc 582
114
+ deu 564
115
+ at 563
116
+ hen 562
117
+ hr 557
118
+ _au 549
119
+ _ei 549
120
+ _ge 549
121
+ we 532
122
+ uts 529
123
+ zu 525
124
+ si 519
127
125
  em 505
128
- zu 497
129
- ig 490
130
- es_ 486
131
- hl 481
132
- me 480
133
- ve 470
134
- ra 457
135
- na 455
136
- des 451
137
- ht 440
138
- rd 439
139
- eit 438
140
- mi 437
141
- wi 437
142
- ste 435
143
- ri 431
144
- vo 429
145
- or 427
146
- ta 423
147
- ter 419
148
- _f 417
149
- ar 416
150
- _h 413
151
- ver 409
152
- lan 407
153
- im 407
154
- _zu 406
155
- _k 404
156
- da 402
157
- _st 402
158
- _vo 395
159
- _r 395
160
- ng_ 395
161
- eh 393
162
- gen 392
163
- cht 385
164
- ru 384
165
- ni 384
166
- ö 373
167
- 373
168
- us 373
169
- as 371
170
- _da 370
171
- it_ 364
172
- il 361
173
- ze 361
174
- chl 361
175
- lt 360
176
- eg 359
177
- ns 358
178
- rs 354
179
- on_ 342
180
- ha 337
181
- am 334
182
- _p 334
183
- _si 333
184
- lic 332
185
- ll 332
186
- ine 330
187
- _im 329
188
- gr 328
189
- isc 327
190
- _al 326
191
- he_ 326
192
- sta 325
193
- _l 322
194
- _ve 321
195
- ss 320
196
- ber 318
197
- eb 316
198
- rei 315
199
- im_ 315
200
- nte 311
201
- ist 308
202
- uf 307
203
- _mi 307
204
- rde 305
205
- em_ 303
206
- pr 303
207
- j 300
208
- hla 298
209
- ah 295
210
- ren 295
211
- _we 294
212
- tr 293
213
- _an 292
214
- r� 292
215
- ac 289
216
- nen 289
217
- io 287
218
- ro 287
219
- ach 284
220
- so 282
221
- ent 280
222
- ls 279
223
- 278
224
- ion 275
225
- st_ 275
226
- l_ 274
227
- _er 272
228
- ert 271
229
- ed 270
230
- ol 270
231
- 269
232
- 269
233
- mit 269
234
- end 268
235
- bu 265
236
- ere 265
237
- ab 259
238
- tz 258
239
- _t 256
240
- ers 255
241
- _j 251
242
- wa 251
243
- _wi 246
244
- bi 246
245
- sp 245
246
- de_ 245
247
- as_ 243
248
- 243
249
- ß 243
126
+ ar 503
127
+ me 495
128
+ hl 491
129
+ ig 489
130
+ es_ 487
131
+ ra 485
132
+ mi 484
133
+ na 476
134
+ des 466
135
+ ve 466
136
+ rd 463
137
+ wi 462
138
+ vo 460
139
+ eit 454
140
+ or 454
141
+ ri 452
142
+ ht 449
143
+ ru 447
144
+ ste 440
145
+ gen 434
146
+ ter 434
147
+ _f 434
148
+ _h 434
149
+ ta 426
150
+ da 426
151
+ _zu 425
152
+ _r 425
153
+   425
154
+ lan 422
155
+ _vo 422
156
+ im 421
157
+ ver 412
158
+ _k 412
159
+ ng_ 411
160
+ eh 406
161
+ il 399
162
+ ni 398
163
+ _da 394
164
+ cht 394
165
+ us 394
166
+ ö 392
167
+ as 392
168
+ j 391
169
+ it_ 390
170
+ am 387
171
+ _  382
172
+ _st 381
173
+ uf 377
174
+ lt 376
175
+ on_ 372
176
+ chl 368
177
+ eg 368
178
+ rs 366
179
+ ns 366
180
+ ze 364
181
+ ha 363
182
+ ine 361
183
+ ll 356
184
+ _im 343
185
+ he_ 342
186
+ _si 342
187
+ _l 342
188
+ lic 337
189
+ gr 336
190
+ rei 335
191
+ isc 332
192
+ im_ 330
193
+ sta 330
194
+ ss 328
195
+ rde 327
196
+ _ve 326
197
+ eb 323
198
+ pr 321
199
+ ist 320
200
+ io 316
201
+ tr 315
202
+ nte 313
203
+ ro 313
204
+ ah 312
205
+ _al 310
206
+ _we 310
207
+ em_ 308
208
+ ion 308
209
+ _p 307
210
+ _an 307
211
+ nen 305
212
+ ber 304
213
+ hla 303
214
+ ren 300
215
+ ab 299
216
+ mit 298
217
+ l_ 296
218
+ so 296
219
+ ac 294
220
+ _mi 293
221
+ ol 291
222
+ ach 288
223
+ _er 285
224
+ ls 285
225
+ st_ 283
226
+ ed 282
227
+ ert 281
228
+ bu 278
229
+ ent 278
230
+ end 276
231
+ _t 271
232
+ as_ 268
233
+ ere 268
234
+ nge 268
235
+ ers 266
236
+ fe 265
237
+ bi 263
238
+ run 263
239
+ wa 261
240
+ von 261
241
+ das 261
242
+ sp 260
243
+ tz 259
244
+ de_ 258
245
+ ges 256
246
+ _j 256
247
+ _wi 256
248
+ auf 253
249
+ eic 253
250
+ ß 252
251
+ _re 251
252
+ ja 249
250
253
  ke 243
251
- eic 242
252
- _re 240
253
- von 240
254
- das 239
255
- um 237
256
- ges 236
257
- run 233
258
- nn 232
259
- nge 230
260
- tl 230
261
- du 227
262
- auf 225
263
- ne_ 224
264
- est 222
265
- fe 221
266
- bun 220
267
- ft 219
268
- _se 219
269
- ier 219
270
- sa 217
271
- aus 214
272
- _na 214
273
- rt_ 213
274
- u_ 210
275
- dem 210
276
- ma 210
277
- tt 210
278
- _o 207
279
- ind 206
280
- f� 205
281
- gs 205
282
- ige 204
283
- wu 203
284
- _bu 201
285
- _wu 200
286
- wei 200
287
- f_ 199
288
- ls_ 199
289
- urd 198
290
- wur 198
291
- als 197
292
- ete 197
293
- tu 196
294
- hi 194
295
- _gr 191
296
- le_ 190
297
- ht_ 189
298
- her 189
299
- om 188
300
- rte 187
301
- ben 184
302
- 181
303
- men 181
304
- _so 180
305
- rn 179
306
- nz 178
307
- wie 177
308
- ede 176
309
- tli 176
254
+ ne_ 242
255
+ ft 239
256
+ nn 236
257
+ u_ 234
258
+ um 233
259
+ est 233
260
+ tl 231
261
+ f_ 230
262
+ du 230
263
+ bun 229
264
+ eru 224
265
+ aus 223
266
+ ger 223
267
+ sa 223
268
+ ier 222
269
+ _o 222
270
+ dem 218
271
+ ma 217
272
+ tt 217
273
+ _na 217
274
+ _se 216
275
+ gs 216
276
+ ind 216
277
+ rt_ 215
278
+ ige 213
279
+ ete 210
280
+ _bu 209
281
+ _ab 209
282
+ wu 205
283
+ her 204
284
+ tu 203
285
+ hi 203
286
+ nu 202
287
+ _wu 201
288
+ ls_ 201
289
+ wei 201
290
+ urd 200
291
+ wur 200
292
+ om 199
293
+ rte 199
294
+ als 199
295
+ _so 197
296
+ _gr 196
297
+ rn 195
298
+ 195
299
+ ben 192
300
+ ht_ 191
301
+ wie 190
302
+ men 189
303
+ ern 186
304
+ tio 186
305
+ ahr 183
306
+ ede 183
307
+ nz 181
308
+ gi 179
309
+ rg 179
310
+ ati 177
311
+ af 177
312
+ po 176
310
313
  rc 175
311
- gi 175
312
- _ab 173
313
- eru 171
314
- ahr 168
315
- ern 168
316
- ger 167
317
- t� 167
318
- uc 167
319
- um_ 167
320
- rch 166
321
- ag 166
322
- po 166
323
- ati 166
324
- tio 165
325
- ese 164
326
- af 164
327
- _� 163
328
- ied 163
329
- än 162
330
- ite 162
331
- rh 162
332
- �n 162
333
- ge_ 162
334
- tei 161
335
- kt 161
336
- rg 160
337
- hs 160
338
- 159
339
- ec 158
340
- uch 157
341
- chs 156
342
- ja 156
343
- _� 156
344
- len 154
345
-   153
346
- _is 153
347
- 153
348
- _pr 153
349
- sen 153
350
- bei 152
351
- _en 151
352
- zu_ 150
353
- hre 150
354
- geb 150
355
- ka 149
356
- ko 148
357
- hn 148
358
- bes 147
359
- _� 147
360
- i_ 146
361
- rl 146
362
- mm 145
363
- eis 145
364
- k_ 145
365
- eil 145
366
- ir 145
367
- l� 145
368
- h� 144
369
- gt 144
370
- _te 144
371
- rk 144
372
- hr_ 143
373
- _ja 142
374
- uf_ 142
375
- zen 142
376
- ner 142
377
- aa 141
378
- 141
379
- jah 141
380
- sic 140
381
- ik 140
382
- ngs 139
383
- rb 139
384
- et_ 138
385
- ef 138
386
- _ha 138
387
- nac 138
388
- fo 138
389
- sin 137
390
- ehr 136
391
- elt 136
392
- no 136
393
- taa 135
394
- hei 135
395
- aat 135
396
- iel 135
397
- _am 133
398
- sei 133
399
- lle 133
314
+ ge_ 175
315
+ ag 175
316
+ tli 174
317
+ _am 174
318
+ le_ 173
319
+ uc 172
320
+ _en 172
321
+ rh 172
322
+ ite 171
323
+ am_ 171
324
+ tei 171
325
+ ied 170
326
+ ese 169
327
+ len 166
328
+ än 166
329
+ rch 165
330
+ ner 164
331
+ um_ 162
332
+ kt 162
333
+ uch 162
334
+ ec 162
335
+ hn 162
336
+ uf_ 162
337
+ _is 161
338
+ zu_ 161
339
+ k_ 160
340
+ fen 158
341
+ _ja 157
342
+ ar_ 156
343
+ geb 156
344
+ hre 156
345
+ bei 156
346
+ sen 156
347
+ hs 156
348
+ ik 154
349
+ jah 154
350
+ eil 154
351
+ ko 153
352
+ ka 152
353
+ chs 152
354
+ hr_ 151
355
+ gt 151
356
+ ir 150
357
+ i_ 150
358
+ mm 150
359
+ rl 149
360
+ fo 148
361
+ et_ 147
362
+ eis 146
363
+ hei 146
364
+ ef 145
365
+ rb 145
366
+ 144
367
+ _ha 144
368
+ aa 144
369
+ bes 143
370
+ sic 143
371
+ sin 143
372
+ ür 142
373
+ ang 142
374
+ ngs 141
375
+ zen 141
376
+ nac 141
377
+ _fü 140
378
+ taa 139
379
+ rk 139
380
+ aat 139
381
+ elt 139
382
+ sei 138
383
+ ep 137
384
+ cha 137
385
+ lle 136
386
+ ens 136
387
+ no 135
388
+ fa 134
389
+ ene 133
390
+ _te 133
391
+ aft 133
392
+ iel 132
393
+ kr 132
394
+ haf 132
395
+ ehr 132
400
396
  tis 132
397
+ a_ 130
398
+ ege 129
399
+ _bi 129
400
+ etz 128