scylla 0.9.3 → 1.2.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (86) hide show
  1. checksums.yaml +7 -0
  2. data/README.rdoc +3 -12
  3. data/bin/scylla +1 -1
  4. data/lib/scylla/classifier.rb +3 -2
  5. data/lib/scylla/generator.rb +11 -4
  6. data/lib/scylla/lms/arabic.lm +400 -400
  7. data/lib/scylla/lms/bulgarian.lm +400 -400
  8. data/lib/scylla/lms/catalan.lm +400 -400
  9. data/lib/scylla/lms/chinese.lm +395 -395
  10. data/lib/scylla/lms/czech.lm +397 -397
  11. data/lib/scylla/lms/danish.lm +372 -372
  12. data/lib/scylla/lms/dutch.lm +382 -382
  13. data/lib/scylla/lms/english.lm +378 -378
  14. data/lib/scylla/lms/finnish.lm +388 -388
  15. data/lib/scylla/lms/french.lm +392 -392
  16. data/lib/scylla/lms/german.lm +396 -396
  17. data/lib/scylla/lms/greek.lm +400 -400
  18. data/lib/scylla/lms/hebrew.lm +400 -400
  19. data/lib/scylla/lms/hindi.lm +399 -399
  20. data/lib/scylla/lms/icelandic.lm +225 -225
  21. data/lib/scylla/lms/indonesian.lm +391 -391
  22. data/lib/scylla/lms/italian.lm +382 -382
  23. data/lib/scylla/lms/japanese.lm +400 -400
  24. data/lib/scylla/lms/kannada.lm +392 -392
  25. data/lib/scylla/lms/korean.lm +391 -391
  26. data/lib/scylla/lms/marathi.lm +388 -388
  27. data/lib/scylla/lms/norwegian.lm +375 -375
  28. data/lib/scylla/lms/persian.lm +399 -399
  29. data/lib/scylla/lms/polish.lm +399 -399
  30. data/lib/scylla/lms/portuguese.lm +390 -390
  31. data/lib/scylla/lms/romanian.lm +353 -353
  32. data/lib/scylla/lms/russian.lm +400 -400
  33. data/lib/scylla/lms/slovak.lm +361 -361
  34. data/lib/scylla/lms/slovenian.lm +273 -273
  35. data/lib/scylla/lms/spanish.lm +371 -371
  36. data/lib/scylla/lms/swedish.lm +400 -400
  37. data/lib/scylla/lms/tagalog.lm +295 -295
  38. data/lib/scylla/lms/thai.lm +400 -400
  39. data/lib/scylla/lms/turkish.lm +377 -377
  40. data/lib/scylla/lms/vietnamese.lm +400 -400
  41. data/lib/scylla/lms/welsh.lm +311 -311
  42. data/lib/scylla/loader.rb +1 -1
  43. data/test/classifier_test.rb +6 -4
  44. data/test/fixtures/lms/arabic.lm +400 -0
  45. data/test/fixtures/lms/bulgarian.lm +400 -0
  46. data/test/fixtures/lms/catalan.lm +400 -0
  47. data/test/fixtures/lms/chinese.lm +400 -0
  48. data/test/fixtures/lms/czech.lm +400 -0
  49. data/test/fixtures/lms/danish.lm +399 -399
  50. data/test/fixtures/lms/dutch.lm +400 -0
  51. data/test/fixtures/lms/english.lm +400 -400
  52. data/test/fixtures/lms/finnish.lm +400 -0
  53. data/test/fixtures/lms/french.lm +397 -397
  54. data/test/fixtures/lms/german.lm +400 -400
  55. data/test/fixtures/lms/greek.lm +400 -0
  56. data/test/fixtures/lms/hebrew.lm +400 -0
  57. data/test/fixtures/lms/hindi.lm +400 -400
  58. data/test/fixtures/lms/icelandic.lm +400 -0
  59. data/test/fixtures/lms/indonesian.lm +400 -0
  60. data/test/fixtures/lms/italian.lm +400 -400
  61. data/test/fixtures/lms/japanese.lm +400 -400
  62. data/test/fixtures/lms/kannada.lm +400 -0
  63. data/test/fixtures/lms/korean.lm +400 -0
  64. data/test/fixtures/lms/marathi.lm +400 -0
  65. data/test/fixtures/lms/norwegian.lm +399 -399
  66. data/test/fixtures/lms/persian.lm +400 -0
  67. data/test/fixtures/lms/polish.lm +400 -0
  68. data/test/fixtures/lms/portuguese.lm +400 -0
  69. data/test/fixtures/lms/romanian.lm +400 -0
  70. data/test/fixtures/lms/russian.lm +400 -0
  71. data/test/fixtures/lms/slovak.lm +400 -0
  72. data/test/fixtures/lms/slovenian.lm +400 -0
  73. data/test/fixtures/lms/spanish.lm +400 -400
  74. data/test/fixtures/lms/swedish.lm +400 -0
  75. data/test/fixtures/lms/tagalog.lm +400 -0
  76. data/test/fixtures/lms/thai.lm +400 -0
  77. data/test/fixtures/lms/turkish.lm +400 -0
  78. data/test/fixtures/lms/vietnamese.lm +400 -0
  79. data/test/fixtures/lms/welsh.lm +400 -0
  80. data/test/fixtures/test_languages/japanese +149 -67
  81. data/test/generator_test.rb +2 -44
  82. data/test/helper.rb +3 -3
  83. data/test/language_test.rb +6 -2
  84. data/test/loader_test.rb +2 -2
  85. data/test/scylla_test.rb +7 -7
  86. metadata +144 -95
@@ -1,400 +1,400 @@
1
- _ 10756
2
- e 4307
3
- r 2459
4
- n 2177
5
- t 1946
6
- d 1838
7
- a 1791
8
- s 1699
9
- i 1610
10
- o 1392
11
- g 1329
12
- l 1312
13
- e_ 977
14
- m 969
15
- k 956
16
- er 925
17
- r_ 850
18
- de 848
19
- 775
20
- f 771
21
- t_ 711
22
- en 698
23
- _d 614
24
- b 545
25
- an 536
26
- er_ 526
27
- v 515
28
- n_ 513
29
- _s 501
30
- g_ 463
31
- _o 451
32
- et 443
33
- u 433
34
- nd 430
35
- en_ 428
36
- _f 404
37
- re 398
38
- _e 396
39
- st 380
40
- ge 379
41
- ar 364
42
- te 360
43
- et_ 356
44
- p 352
45
- _a 351
46
- og 344
47
- _i 340
48
- h 336
49
- _de 331
50
- _m 329
51
- in 325
52
- 314
53
- ø 314
54
- _b 299
55
- _og 298
56
- d_ 291
57
- og_ 291
58
- ed 284
59
- sk 283
60
- or 280
61
- ti 271
62
- be 266
63
- ne 265
64
- 265
65
- å 265
66
- me 263
67
- i_ 262
68
- ng 259
69
- es 249
70
- le 242
71
- de_ 240
72
- ke 239
73
- el 236
74
- _t 236
75
- k_ 228
76
- _i_ 224
77
- da 222
78
- s_ 216
79
- _h 214
80
- _da 211
81
- om 206
82
- ig 201
83
- dan 200
84
- af 200
85
- ma 195
86
- 193
87
- ri 193
88
- æ 193
89
- nde 192
90
- den 189
91
- _me 189
92
- li 189
93
- fo 188
94
- _p 178
95
- m_ 177
96
- _af 174
97
- il 174
98
- and 173
99
- ve 173
100
- la 170
101
- ing 167
102
- _k 166
103
- _l 165
104
- _be 163
105
- f_ 163
106
- ns 160
107
- ar_ 157
108
- se 157
109
- rk 156
110
- y 155
111
- _v 154
112
- is 153
113
- l_ 153
114
- der 151
115
- af_ 149
116
- at 147
117
- for 144
118
- _fo 140
119
- j 139
120
- ed_ 139
121
- gt 139
122
- s� 138
123
- _er 135
124
- al 135
125
- _st 135
126
- det 133
127
- re_ 132
128
- te_ 132
129
- lan 131
130
- ere 130
131
- ra 129
132
- om_ 127
133
- ske 126
134
- mar 126
135
- _en 124
136
- å_ 123
137
- ni 123
138
- �_ 123
139
- ol 122
140
- ger 121
141
- ste 121
142
- ark 121
143
- nge 115
144
- on 115
145
- so 115
146
- ke_ 113
147
- gt_ 111
148
- _ti 109
149
- til 108
150
- ne_ 108
151
- med 108
152
- a_ 105
153
- ll 105
154
- nm 105
155
- anm 104
156
- nma 104
157
- som 104
158
- _u 103
159
- ta 103
160
- _so 102
161
- ans 100
162
- _r 99
163
- em 99
164
- ter 98
165
- ng_ 97
166
- ha 96
167
- ede 95
168
- to 95
169
- _n 95
170
- rs 94
171
- ind 93
172
- ds 93
173
- _g 93
174
- vi 92
175
- rk_ 91
176
- p� 90
1
+ _ 11292
2
+ e 4571
3
+ r 2647
4
+ n 2308
5
+ t 2052
6
+ d 1943
7
+ a 1909
8
+ s 1765
9
+ i 1725
10
+ o 1475
11
+ l 1413
12
+ g 1401
13
+ e_ 1039
14
+ m 1012
15
+ er 1000
16
+ k 999
17
+ r_ 909
18
+ de 897
19
+ f 825
20
+ en 734
21
+ t_ 726
22
+ _d 633
23
+ er_ 569
24
+ an 567
25
+ b 562
26
+ v 554
27
+ n_ 522
28
+ _s 518
29
+ g_ 490
30
+ nd 471
31
+ u 467
32
+ et 467
33
+ _o 466
34
+ re 442
35
+ en_ 438
36
+ _f 434
37
+ _e 426
38
+ ge 402
39
+ st 392
40
+ te 385
41
+ ar 383
42
+ p 374
43
+ _a 371
44
+ et_ 368
45
+ _i 367
46
+ og 358
47
+ h 350
48
+ in 349
49
+ _de 339
50
+ _m 333
51
+ ø 322
52
+ _og 308
53
+ _b 306
54
+ og_ 306
55
+ or 305
56
+ d_ 297
57
+ ed 296
58
+ ti 295
59
+ sk 292
60
+ ne 283
61
+ i_ 280
62
+ me 276
63
+ ng 274
64
+ å 271
65
+ be 267
66
+ es 257
67
+ de_ 257
68
+ le 255
69
+ _t 254
70
+ el 254
71
+ ke 250
72
+ _i_ 240
73
+ da 238
74
+ k_ 234
75
+ s_ 224
76
+ _h 222
77
+ om 220
78
+ _da 220
79
+ nde 217
80
+ af 215
81
+ ig 214
82
+ dan 211
83
+ li 207
84
+ fo 207
85
+ ma 202
86
+ æ 202
87
+ ri 199
88
+ den 194
89
+ il 193
90
+ _me 191
91
+ m_ 187
92
+ and 187
93
+ _af 187
94
+ _p 186
95
+ ve 185
96
+ la 183
97
+ ing 179
98
+ f_ 178
99
+ _v 175
100
+ _l 171
101
+ _k 170
102
+ der 168
103
+ ar_ 164
104
+ l_ 163
105
+ ns 163
106
+ rk 163
107
+ se 163
108
+ y 162
109
+ af_ 162
110
+ _be 161
111
+ for 160
112
+ is 159
113
+ at 156
114
+ _fo 156
115
+ re_ 147
116
+ j 145
117
+ al 145
118
+ ra 144
119
+ det 143
120
+ ere 143
121
+ lan 139
122
+ ed_ 138
123
+ _er 138
124
+ _st 136
125
+ gt 136
126
+ te_ 134
127
+ om_ 134
128
+ ol 134
129
+ _en 134
130
+ mar 132
131
+ ni 131
132
+ ske 131
133
+ ger 131
134
+ ark 128
135
+ so 123
136
+ on 123
137
+ ste 122
138
+ _ti 120
139
+ å_ 120
140
+ ke_ 119
141
+ nge 119
142
+ til 118
143
+ a_ 116
144
+ nm 113
145
+ ll 113
146
+ anm 112
147
+ med 112
148
+ nma 112
149
+ _r 111
150
+ ta 111
151
+ _u 111
152
+ ne_ 110
153
+ som 110
154
+ ter 110
155
+ gt_ 108
156
+ _so 106
157
+ ng_ 105
158
+ ind 104
159
+ em 103
160
+ vi 103
161
+ ha 102
162
+ _n 102
163
+ ans 102
164
+ rs 100
165
+ ede 100
166
+ il_ 99
167
+ to 99
168
+ rk_ 97
169
+ un 96
170
+ lig 94
171
+ _g 94
172
+ ds 94
173
+ ør 91
174
+ ge_ 91
175
+ rn 91
176
+ _la 91
177
+ fr 91
178
+ c 91
177
179
  nsk 90
178
- il_ 90
179
- bes 89
180
- un 89
181
- rn 89
182
- del 87
183
- ge_ 86
184
- _la 86
185
- eg 86
186
- si 86
187
- ern 86
188
- ør 85
189
- c 85
190
- fr 85
191
- t� 85
192
- �r 85
193
- nin 84
194
- id 84
180
+ nin 90
181
+ eg 89
182
+ si 88
183
+ del 88
184
+ id 88
185
+ ern 88
186
+ _ha 87
187
+ va 87
188
+ bes 86
189
+ ko 86
190
+ ik 86
191
+ _re 85
192
+ _fr 85
193
+ ru 85
194
+ ag 84
195
+ ud 84
196
+ or_ 83
197
+ på 83
195
198
  sø 83
196
- ru 82
197
- ko 82
198
- 82
199
- _ha 82
200
- �g 81
201
- øg 81
202
- va 81
203
- ik 81
204
- lig 81
205
- _� 80
206
- _p� 80
207
- ud 79
208
- _fr 78
209
- gs 78
210
- _re 77
211
- end 77
212
- or_ 77
213
- ag 77
214
- f� 76
215
- rne 76
216
- ls 75
217
- mi 75
218
- bl 74
219
- tr 73
220
- lle 73
221
- rt 71
222
- es_ 71
223
- ka 71
224
- ner 71
225
- �gt 71
226
- es� 71
199
+ end 82
200
+ _på 81
201
+ _ 81
202
+ ls 80
203
+ tr 80
204
+ gs 79
205
+ øg 79
206
+ ner 79
207
+ rt 78
208
+ ro 78
209
+ _in 77
210
+ rne 77
211
+ ka 76
212
+ bl 76
213
+ lle 76
214
+ mi 76
215
+ es_ 75
216
+ søg 74
217
+ tt 74
218
+ ige 74
219
+ ene 74
220
+ gen 73
221
+ est 73
222
+ ie 73
223
+ ær 72
224
+ ld 72
225
+ els 71
226
+ op 71
227
227
  ev 70
228
- _in 70
229
- ua 70
230
- r� 69
231
- ige 68
232
- gen 68
233
- tt 68
228
+ ua 69
229
+ kt 69
230
+ ef 69
231
+ at_ 68
232
+ nd_ 68
233
+ øgt 67
234
234
  men 67
235
235
  sk_ 67
236
- op 67
237
- ie 67
238
- �r 67
239
- ær 67
240
- els 67
241
- at_ 66
242
- ro 66
243
- uar 66
244
- ld 65
245
- lt 65
246
- kt 65
247
- est 64
248
- ene 64
249
- nd_ 64
250
- he 64
251
- _si 63
252
- io 63
253
- kr 63
254
- _ud 62
255
- sa 62
256
- st� 62
257
- ef 62
258
- isk 62
259
- år 61
260
- �r 61
236
+ kr 67
237
+ io 66
238
+ he 66
239
+ _ud 66
240
+ lt 66
241
+ uar 65
242
+ sa 65
243
+ esø 65
244
+ ver 64
245
+ fra 64
246
+ pr 64
247
+ isk 64
248
+ _si 64
249
+ und 64
250
+ rd 63
251
+ nt 62
252
+ tte 62
261
253
  dt 61
254
+ gr 61
255
+ ft 61
256
+ år 61
257
+ v_ 60
262
258
  _bl 60
263
- eri 59
264
- pr 59
259
+ eri 60
260
+ it 60
265
261
  _at 59
266
- ver 59
267
- rd 59
268
- v_ 59
269
- tte 59
270
- _j 58
271
- no 57
272
- br 57
273
- ov 56
262
+ br 59
263
+ no 58
264
+ har 58
265
+ ra_ 57
266
+ _j 57
267
+ lk 57
268
+ var 56
269
+ 56
274
270
  fi 56
275
- fra 56
276
- nt 55
277
- gr 55
278
- und 54
279
- har 53
280
- _et 53
271
+ rin 56
272
+ _va 56
273
+ ov 56
274
+ se_ 56
275
+ ret 55
276
+ am 55
277
+ gi 54
278
+ po 54
279
+ mm 54
280
+ na 54
281
281
  ble 53
282
- rin 53
283
- ft 53
284
- ret 53
285
- it 52
286
- am 52
287
- _f� 52
288
- mm 52
289
- _va 52
290
- 52
291
- lk 52
292
- var 51
293
- _ma 51
294
- od 50
295
- get 50
296
- se_ 50
297
- le_ 50
298
- ra_ 50
282
+ od 53
283
+ le_ 53
284
+ get 52
285
+ _om 52
286
+ rb 52
287
+ lse 52
288
+ _et 51
289
+ ion 51
290
+ ig_ 50
291
+ ege 50
292
+ mme 50
293
+ _ko 49
294
+ _ma 49
299
295
  ho 49
300
- ege 49
301
- lse 48
302
- _om 48
303
- _ko 48
304
- ig_ 48
296
+ dr 49
305
297
  sto 48
306
- mme 48
307
- rb 47
308
- gi 47
309
- lev 46
310
- st_ 46
311
- ion 46
312
- na 46
313
- po 45
314
- ang 45
298
+ st_ 48
299
+ ren 47
300
+ iv 47
301
+ sp 47
302
+ lev 47
303
+ ty 47
304
+ ang 46
305
+ ur 46
306
+ nu 46
307
+ _fi 46
308
+ dl 46
309
+ _ve 46
310
+ tø 45
311
+ ell 45
315
312
  tor 45
316
- _fi 45
313
+ før 45
317
314
  bru 45
318
- ber 44
319
- ist 44
320
- ty 44
315
+ ist 45
321
316
  sen 44
322
- dl 44
323
- 43
324
- �r_ 43
325
- dr 43
326
- nu 43
317
+ ber 44
318
+ rg 44
327
319
  _op 43
328
- l� 42
329
- _sk 42
320
+ _vi 43
321
+ _sk 43
322
+ fl 43
323
+ hv 43
330
324
  ja 42
331
- h� 41
325
+ år_ 42
326
+ ler 42
327
+ av 42
328
+ _å 41
332
329
  _ja 41
333
- ur 41
330
+ di 41
331
+ fol 41
334
332
  ove 41
335
- 40
336
- 40
337
- ev_ 40
333
+ one 41
334
+ ska 41
335
+ sta 40
336
+ olk 40
337
+ _hv 40
338
+ rig 40
339
+ ks 40
338
340
  ide 40
339
- _ve 40
340
- av 40
341
- hv 39
342
- ell 39
343
- _se 39
344
- ks 39
345
- sp 39
346
- di 39
347
- kon 39
348
- fl 39
349
- one 39
341
+ kon 40
342
+ lo 40
343
+ ga 39
344
+ _sa 39
345
+ reg 39
346
+ _mi 39
347
+ ev_ 39
348
+ anu 39
350
349
  fe 39
351
- eb 39
352
- iv 39
353
- lo 38
350
+ nua 39
351
+ age 39
352
+ lde 39
353
+ jan 39
354
+ ens 39
355
+ lit 38
356
+ _c 38
357
+ ord 38
358
+ ss 38
359
+ rde 38
354
360
  ved 38
355
- anu 38
356
- rig 38
357
- ler 38
358
- jan 38
359
- nua 38
360
- ens 38
361
- sta 38
362
- fol 38
361
+ _år 38
362
+ 37
363
+ bet 37
364
+ sam 37
365
+ ts 37
366
+ _se 37
367
+ old 37
363
368
  _ø 37
364
- _vi 37
365
- ss 37
366
- ska 37
367
- ren 37
368
- _mi 37
369
- ga 37
370
- reg 37
371
- pe 37
372
- _sa 37
373
- olk 37
369
+ _an 37
370
+ eb 37
371
+ oli 37
372
+ ad 37
373
+ sl 36
374
+ pe 36
375
+ gg 36
374
376
  _gr 36
375
- sam 36
376
- rde 36
377
- m� 36
378
- _hv 36
379
- lit 36
380
- ad 36
381
- ord 36
382
- age 35
383
- lde 35
384
- bet 35
385
- rg 35
386
- us 35
387
- _c 35
377
+ fte 36
378
+ us 36
379
+ ek 35
380
+ _he 35
381
+ sm 35
382
+ 35
388
383
  rst 35
384
+ _fø 35
385
+ je 35
386
+ stø 35
387
+ tio 35
388
+ kri 34
389
+ tal 34
389
390
  _no 34
390
- old 34
391
- sl 34
392
- _an 33
393
- ob 33
394
- ker 33
391
+ ati 34
392
+ rie 34
393
+ kke 34
394
+ kk 34
395
+ mer 34
396
+ ndr 33
395
397
  lt_ 33
396
- _he 33
398
+ ul 33
399
+ rer 33
397
400
  nds 33
398
- an_ 33
399
- elt 33
400
- _fe 33