scylla 0.9.3 → 1.2.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (86) hide show
  1. checksums.yaml +7 -0
  2. data/README.rdoc +3 -12
  3. data/bin/scylla +1 -1
  4. data/lib/scylla/classifier.rb +3 -2
  5. data/lib/scylla/generator.rb +11 -4
  6. data/lib/scylla/lms/arabic.lm +400 -400
  7. data/lib/scylla/lms/bulgarian.lm +400 -400
  8. data/lib/scylla/lms/catalan.lm +400 -400
  9. data/lib/scylla/lms/chinese.lm +395 -395
  10. data/lib/scylla/lms/czech.lm +397 -397
  11. data/lib/scylla/lms/danish.lm +372 -372
  12. data/lib/scylla/lms/dutch.lm +382 -382
  13. data/lib/scylla/lms/english.lm +378 -378
  14. data/lib/scylla/lms/finnish.lm +388 -388
  15. data/lib/scylla/lms/french.lm +392 -392
  16. data/lib/scylla/lms/german.lm +396 -396
  17. data/lib/scylla/lms/greek.lm +400 -400
  18. data/lib/scylla/lms/hebrew.lm +400 -400
  19. data/lib/scylla/lms/hindi.lm +399 -399
  20. data/lib/scylla/lms/icelandic.lm +225 -225
  21. data/lib/scylla/lms/indonesian.lm +391 -391
  22. data/lib/scylla/lms/italian.lm +382 -382
  23. data/lib/scylla/lms/japanese.lm +400 -400
  24. data/lib/scylla/lms/kannada.lm +392 -392
  25. data/lib/scylla/lms/korean.lm +391 -391
  26. data/lib/scylla/lms/marathi.lm +388 -388
  27. data/lib/scylla/lms/norwegian.lm +375 -375
  28. data/lib/scylla/lms/persian.lm +399 -399
  29. data/lib/scylla/lms/polish.lm +399 -399
  30. data/lib/scylla/lms/portuguese.lm +390 -390
  31. data/lib/scylla/lms/romanian.lm +353 -353
  32. data/lib/scylla/lms/russian.lm +400 -400
  33. data/lib/scylla/lms/slovak.lm +361 -361
  34. data/lib/scylla/lms/slovenian.lm +273 -273
  35. data/lib/scylla/lms/spanish.lm +371 -371
  36. data/lib/scylla/lms/swedish.lm +400 -400
  37. data/lib/scylla/lms/tagalog.lm +295 -295
  38. data/lib/scylla/lms/thai.lm +400 -400
  39. data/lib/scylla/lms/turkish.lm +377 -377
  40. data/lib/scylla/lms/vietnamese.lm +400 -400
  41. data/lib/scylla/lms/welsh.lm +311 -311
  42. data/lib/scylla/loader.rb +1 -1
  43. data/test/classifier_test.rb +6 -4
  44. data/test/fixtures/lms/arabic.lm +400 -0
  45. data/test/fixtures/lms/bulgarian.lm +400 -0
  46. data/test/fixtures/lms/catalan.lm +400 -0
  47. data/test/fixtures/lms/chinese.lm +400 -0
  48. data/test/fixtures/lms/czech.lm +400 -0
  49. data/test/fixtures/lms/danish.lm +399 -399
  50. data/test/fixtures/lms/dutch.lm +400 -0
  51. data/test/fixtures/lms/english.lm +400 -400
  52. data/test/fixtures/lms/finnish.lm +400 -0
  53. data/test/fixtures/lms/french.lm +397 -397
  54. data/test/fixtures/lms/german.lm +400 -400
  55. data/test/fixtures/lms/greek.lm +400 -0
  56. data/test/fixtures/lms/hebrew.lm +400 -0
  57. data/test/fixtures/lms/hindi.lm +400 -400
  58. data/test/fixtures/lms/icelandic.lm +400 -0
  59. data/test/fixtures/lms/indonesian.lm +400 -0
  60. data/test/fixtures/lms/italian.lm +400 -400
  61. data/test/fixtures/lms/japanese.lm +400 -400
  62. data/test/fixtures/lms/kannada.lm +400 -0
  63. data/test/fixtures/lms/korean.lm +400 -0
  64. data/test/fixtures/lms/marathi.lm +400 -0
  65. data/test/fixtures/lms/norwegian.lm +399 -399
  66. data/test/fixtures/lms/persian.lm +400 -0
  67. data/test/fixtures/lms/polish.lm +400 -0
  68. data/test/fixtures/lms/portuguese.lm +400 -0
  69. data/test/fixtures/lms/romanian.lm +400 -0
  70. data/test/fixtures/lms/russian.lm +400 -0
  71. data/test/fixtures/lms/slovak.lm +400 -0
  72. data/test/fixtures/lms/slovenian.lm +400 -0
  73. data/test/fixtures/lms/spanish.lm +400 -400
  74. data/test/fixtures/lms/swedish.lm +400 -0
  75. data/test/fixtures/lms/tagalog.lm +400 -0
  76. data/test/fixtures/lms/thai.lm +400 -0
  77. data/test/fixtures/lms/turkish.lm +400 -0
  78. data/test/fixtures/lms/vietnamese.lm +400 -0
  79. data/test/fixtures/lms/welsh.lm +400 -0
  80. data/test/fixtures/test_languages/japanese +149 -67
  81. data/test/generator_test.rb +2 -44
  82. data/test/helper.rb +3 -3
  83. data/test/language_test.rb +6 -2
  84. data/test/loader_test.rb +2 -2
  85. data/test/scylla_test.rb +7 -7
  86. metadata +144 -95
@@ -1,400 +1,400 @@
1
- _ 9148
2
- e 3670
3
- r 2132
4
- n 2126
5
- t 1990
6
- s 1549
7
- i 1425
8
- o 1352
9
- a 1308
10
- l 1212
11
- d 1054
12
- g 1038
13
- e_ 889
14
- k 833
15
- m 728
16
- en 726
17
- er 705
18
- t_ 677
19
- r_ 659
20
- v 594
21
- de 566
22
- 540
23
- n_ 522
24
- _s 486
25
- f 439
26
- et 435
27
- te 422
28
- er_ 411
29
- p 400
30
- or 392
31
- en_ 389
32
- g_ 376
33
- re 354
34
- _o 352
35
- st 351
36
- _e 342
37
- _d 341
38
- u 339
39
- _i 337
40
- å 304
41
- 304
42
- et_ 303
43
- _a 298
44
- _f 292
45
- ge 281
46
- b 278
47
- _n 277
48
- h 277
49
- ne 276
50
- le 265
51
- i_ 262
52
- _de 260
53
- an 259
54
- og 253
55
- in 251
56
- _og 242
57
- _i_ 242
58
- ke 233
59
- no 232
60
- _t 225
61
- nd 223
62
- om 222
63
- og_ 221
64
- me 220
65
- sk 208
66
- el 207
67
- _m 206
68
- _b 205
69
- li 200
70
- _no 198
71
- nor 197
72
- ng 195
73
- ti 193
74
- ri 191
75
- _h 190
76
- av 189
77
- ig 183
78
- al 182
79
- se 182
80
- ar 178
81
- 177
82
- ø 177
83
- _p 176
84
- m_ 176
85
- j 174
86
- ve 168
87
- v_ 167
88
- tt 163
89
- is 160
90
- es 158
91
- nn 158
92
- _av 156
93
- s_ 156
94
- ed 153
95
- av_ 149
96
- _k 148
97
- _v 147
98
- fo 147
99
- �_ 147
100
- å_ 147
101
- y 146
102
- il 145
103
- om_ 144
104
- te_ 140
105
- so 140
106
- d_ 139
107
- ta 138
108
- det 138
109
- den 137
110
- la 135
111
- l_ 131
112
- _r 131
113
- de_ 130
114
- at 130
115
- _me 129
116
- on 129
117
- ne_ 129
118
- rs 128
119
- ra 127
120
- _l 125
121
- nt 122
122
- nde 120
123
- ste 120
124
- _so 119
125
- som 118
126
- ll 117
127
- re_ 117
128
- ge_ 116
129
- ter 115
130
- un 115
131
- ar_ 114
132
- ing 113
133
- rg 112
134
- ha 110
135
- and 109
136
- ke_ 108
137
- rt 108
138
- ol 106
139
- _er 106
140
- _ti 106
141
- org 106
142
- ns 106
143
- _st 104
144
- ik 104
145
- _fo 104
146
- k_ 103
147
- _en 102
148
- ene 101
149
- for 101
150
- _ha 100
151
- lig 100
152
- ni 100
153
- nge 97
154
- til 97
155
- lan 92
156
- tte 91
157
- p� 90
158
- 90
159
- _p 90
160
- eg 89
161
- rge 89
162
- ske 89
163
- _u 88
164
- em 85
165
- sa 83
166
- _� 82
167
- ere 82
168
- tr 82
169
- pr 82
170
- a_ 81
171
- je 79
172
- ett 79
173
- _g 79
174
- bl 79
175
- der 78
176
- va 78
177
- il_ 77
178
- be 77
179
- si 77
180
- id 77
181
- ko 74
182
- _bl 74
183
- lle 74
184
- le_ 73
185
- med 73
186
- _et 70
187
- ut 70
188
- gen 70
189
- ten 70
190
- _la 69
191
- har 69
192
- ts 69
193
- fr 68
194
- rsk 68
195
- _fr 68
196
- ors 68
197
- ng_ 68
198
- ver 67
199
- ent 67
200
- ed_ 67
201
- inn 66
202
- it 66
203
- est 65
204
- r� 65
205
- kr 64
206
- men 63
207
- kk 63
208
- jo 63
209
- am 63
1
+ _ 9654
2
+ e 3899
3
+ n 2250
4
+ r 2236
5
+ t 2102
6
+ s 1637
7
+ i 1489
8
+ o 1434
9
+ a 1386
10
+ l 1273
11
+ d 1126
12
+ g 1098
13
+ e_ 941
14
+ k 869
15
+ m 784
16
+ en 769
17
+ er 750
18
+ t_ 721
19
+ r_ 695
20
+ v 631
21
+ de 600
22
+ n_ 551
23
+ _s 514
24
+ f 461
25
+ te 451
26
+ et 451
27
+ er_ 438
28
+ p 421
29
+ or 413
30
+ en_ 411
31
+ g_ 397
32
+ _o 380
33
+ st 369
34
+ _e 365
35
+ re 362
36
+ _d 360
37
+ u 357
38
+ _i 353
39
+ å 315
40
+ et_ 313
41
+ _a 313
42
+ _f 304
43
+ ge 299
44
+ b 297
45
+ h 294
46
+ _n 293
47
+ ne 292
48
+ le 285
49
+ _de 276
50
+ in 273
51
+ an 272
52
+ i_ 270
53
+ og 269
54
+ _og 257
55
+ no 252
56
+ _i_ 249
57
+ ke 243
58
+ nd 237
59
+ om 236
60
+ og_ 235
61
+ _t 235
62
+ me 234
63
+ el 225
64
+ _m 223
65
+ _b 217
66
+ sk 217
67
+ _no 214
68
+ nor 212
69
+ _h 205
70
+ ng 205
71
+ av 203
72
+ li 201
73
+ se 200
74
+ ti 199
75
+ ri 197
76
+ al 190
77
+ j 189
78
+ m_ 187
79
+ ig 187
80
+ ar 187
81
+ ø 185
82
+ _p 181
83
+ ve 180
84
+ v_ 177
85
+ tt 173
86
+ is 168
87
+ _av 168
88
+ nn 167
89
+ es 167
90
+ s_ 166
91
+ ed 164
92
+ av_ 158
93
+ _v 156
94
+ y 154
95
+ fo 152
96
+ il 152
97
+ om_ 152
98
+ å_ 150
99
+ _k 150
100
+ d_ 148
101
+ den 147
102
+ te_ 146
103
+ ta 143
104
+ det 142
105
+ so 142
106
+ at 141
107
+ la 140
108
+ ra 138
109
+ l_ 138
110
+ ne_ 137
111
+ _me 137
112
+ _r 136
113
+ on 135
114
+ de_ 134
115
+ rs 133
116
+ _l 130
117
+ nde 128
118
+ nt 127
119
+ ge_ 126
120
+ ste 125
121
+ rg 123
122
+ re_ 122
123
+ _so 121
124
+ ing 121
125
+ ar_ 120
126
+ ll 120
127
+ ter 120
128
+ som 119
129
+ un 119
130
+ ha 118
131
+ rt 118
132
+ org 117
133
+ and 115
134
+ ke_ 115
135
+ _er 115
136
+ ol 113
137
+ _ti 112
138
+ _en 111
139
+ ik 111
140
+ ns 110
141
+ ni 109
142
+ _st 109
143
+ ene 109
144
+ _ha 108
145
+ _fo 107
146
+ k_ 106
147
+ nge 103
148
+ for 103
149
+ til 102
150
+ lig 102
151
+ rge 99
152
+ em 98
153
+ _u 96
154
+ lan 96
155
+ ske 95
156
+ tte 95
157
+ eg 94
158
+ 92
159
+ _på 92
160
+ je 89
161
+ på_ 89
162
+ be 89
163
+ tr 87
164
+ sa 86
165
+ pr 86
166
+ a_ 86
167
+ _g 85
168
+ ere 84
169
+ ett 83
170
+ bl 82
171
+ il_ 81
172
+ med 81
173
+ si 81
174
+ va 80
175
+ le_ 80
176
+ id 79
177
+ der 79
178
+ ko 77
179
+ _bl 77
180
+ ten 75
181
+ ut 75
182
+ lle 75
183
+ har 75
184
+ ed_ 74
185
+ _et 73
186
+ ver 73
187
+ _fr 72
188
+ fr 72
189
+ gen 71
190
+ _la 71
191
+ rsk 71
192
+ del 70
193
+ ors 70
194
+ ng_ 70
195
+ inn 70
196
+ ent 70
197
+ to 68
198
+ _in 68
199
+ ts 68
200
+ est 67
201
+ rd 67
202
+ it 67
203
+ men 67
204
+ dr 66
205
+ kr 66
206
+ lt 66
207
+ jo 66
208
+ kk 65
209
+ am 65
210
+ kt 64
211
+ _be 64
212
+ na 63
213
+ as 63
214
+ ro 63
210
215
  rig 62
211
- dr 62
212
- _in 62
213
- del 62
214
- lt 61
215
- to 61
216
- �r 60
217
- ør 60
218
- na 59
219
- rd 59
220
- ro 59
221
- as 58
222
- kt 58
223
- vi 58
224
- ru 58
225
- sen 57
226
- _be 57
227
- mm 57
228
- år 56
229
- nt_ 56
230
- 56
231
- �r 56
232
- tal 56
233
- mi 56
234
- _ko 55
235
- es_ 55
236
- nin 55
237
- ls 54
238
- pe 53
239
- sj 52
216
+ vi 61
217
+ mi 61
218
+ ør 61
219
+ sen 60
220
+ mm 60
221
+ ma 59
222
+ ru 59
223
+ nin 59
224
+ nt_ 58
225
+ år 58
226
+ tal 58
227
+ 58
228
+ ls 58
229
+ _ko 57
230
+ di 56
231
+ ble 56
232
+ es_ 56
233
+ gs 56
234
+ or_ 56
235
+ tt_ 55
236
+ rt_ 55
237
+ sj 55
238
+ pe 54
239
+ sta 53
240
+ _al 53
241
+ gj 52
242
+ _ut 52
243
+ ss 52
244
+ æ 52
240
245
  ens 52
241
- di 52
242
- ma 52
243
- gs 52
244
- tt_ 52
245
- _al 52
246
- or_ 51
247
- 51
248
- _ri 51
249
- æ 51
250
- ble 50
251
- sta 50
252
- �r 50
253
- ær 50
246
+ _se 52
247
+ _ri 52
248
+ mme 51
249
+ ek 51
250
+ ær 51
251
+ 51
252
+ ner 51
253
+ fra 51
254
+ ra_ 50
255
+ lk 50
256
+ _ve 50
254
257
  all 49
255
- rt_ 49
256
- 49
257
- nne 49
258
- ner 48
259
- ak 48
258
+ sjo 49
259
+ jon 49
260
+ und 49
261
+ ger 49
262
+ gn 48
263
+ ikk 48
264
+ nne 48
260
265
  sp 48
261
- _ut 48
262
- s� 48
263
- mme 48
264
- lk 47
265
- _re 47
266
- ek 47
267
- fra 47
266
+ _re 48
267
+ ak 48
268
+ ert 47
269
+ op 47
270
+ ist 47
271
+ _va 47
272
+ ov 47
273
+ _sk 47
274
+ var 47
275
+ sl 47
276
+ sam 46
277
+ gh 46
268
278
  ler 46
269
- jon 46
270
- ov 46
271
- sl 46
272
- gn 46
273
- sjo 46
274
- ss 46
275
- gj 46
276
- ikk 46
277
- _sk 46
278
- ist 46
279
- und 46
280
- ra_ 46
281
- _ve 45
279
+ fi 46
280
+ igh 45
281
+ ev 45
282
+ tat 45
283
+ ld 45
282
284
  gr 45
283
285
  ali 45
284
- _va 45
285
- var 45
286
- gh 45
287
- ger 45
286
+ fol 45
287
+ ka 44
288
+ kon 44
289
+ ds 44
290
+ nte 44
291
+ enn 44
292
+ ad 44
288
293
  rk 44
289
- igh 44
290
- fi 44
291
- ev 43
292
- kri 43
293
- ren 43
294
- op 43
295
- kon 43
296
- _si 43
297
- _se 43
298
- sam 43
294
+ _si 44
299
295
  os 43
300
- fol 42
301
- ds 42
302
- f� 42
303
- ka 42
296
+ kri 43
297
+ ks 43
298
+ ser 43
299
+ one 43
300
+ olk 42
301
+ lo 42
302
+ ell 42
303
+ pp 42
304
+ end 42
304
305
  mer 42
305
- ld 41
306
- tat 41
307
- ell 41
308
- lo 41
309
- end 41
310
- ert 41
311
- nte 40
312
- ks 40
306
+ _sa 42
307
+ ie 41
308
+ ord 41
309
+ _om 40
310
+ ren 40
311
+ lt_ 40
312
+ jen 40
313
+ ndr 40
314
+ dre 40
313
315
  ige 40
314
316
  ign 40
315
- one 40
316
- ad 40
317
- ie 40
317
+ he 40
318
+ els 40
319
+ ret 40
320
+ ht_ 39
318
321
  ht 39
319
322
  gn_ 39
320
- ht_ 39
321
- ord 39
322
- olk 39
323
- ser 39
323
+ st_ 39
324
+ dl 39
325
+ isk 39
324
326
  ght 39
325
- enn 39
326
- pp 39
327
- ret 38
328
- ndr 38
329
- he 38
327
+ ty 39
328
+ gg 38
329
+ kke 38
330
330
  po 38
331
- dre 38
332
- ty 37
331
+ _pr 37
332
+ tet 37
333
+ fa 37
334
+ ei 37
333
335
  lit 37
334
- isk 37
335
- dl 37
336
- _sa 37
337
- tet 36
338
- _pr 36
339
- kke 36
340
- gi 36
341
- lt_ 36
342
- ei 36
343
- els 36
344
- sk_ 35
345
- st_ 35
336
+ rte 37
337
+ gi 37
338
+ _un 36
339
+ sk_ 36
340
+ da 36
346
341
  _an 35
347
- t� 35
348
- fa 35
349
- gg 34
350
- ku 34
351
- _ta 34
352
- ede 34
353
- _om 34
354
- 34
342
+ ef 35
343
+ ku 35
344
+ o_ 35
345
+ ede 35
346
+ us 35
347
+ _år 35
348
+ rin 35
349
+ _tr 35
350
+ asj 34
351
+ gje 34
352
+ nn_ 34
353
+ ang 34
355
354
  ur 34
356
- _tr 34
357
- ang 33
358
- nn_ 33
359
- rin 33
355
+ 34
356
+ let 34
357
+ ig_ 34
358
+ len 34
359
+ ove 34
360
+ ga 34
361
+ ag 34
362
+ eri 34
363
+ iv 33
364
+ ns_ 33
365
+ _ta 33
360
366
  ide 33
361
- ef 33
362
- rte 33
363
- let 33
364
- jen 33
365
- _f� 33
366
- ag 32
367
- ga 32
368
- da 32
369
- ove 32
370
- _un 32
371
- us 32
372
- ig_ 32
373
- asj 32
374
- eri 31
375
- ong 31
376
- v� 31
377
- iv 31
378
- sto 31
379
- reg 31
380
- ho 30
381
- rm 30
382
- att 30
383
- len 30
384
- ns_ 30
385
- gje 29
386
- tre 29
367
+ ho 32
368
+ reg 32
369
+ ong 32
370
+ att 32
371
+ sto 32
372
+ se_ 31
373
+ ale 31
374
+ opp 31
375
+ lse 30
376
+ åk 30
377
+ _da 30
378
+ _gj 30
379
+ tre 30
380
+ str 30
381
+ rm 29
382
+ _ma 29
387
383
  spr 29
388
- o_ 29
389
- �d 29
390
384
  åd 29
391
- _da 29
392
- �k 28
385
+ dle 29
386
+ ele 29
393
387
  ul 28
394
- åk 28
395
- ale 28
388
+ ket 28
389
+ ft 28
390
+ tor 28
391
+ så 28
396
392
  tid 28
393
+ gan 28
394
+ lke 28
395
+ dt 28
397
396
  ros 28
398
- ket 28
399
- opp 28
400
- str 28
397
+ _vi 28
398
+ br 28
399
+ eli 27
400
+ rer 27