scylla 0.9.3 → 1.2.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (86) hide show
  1. checksums.yaml +7 -0
  2. data/README.rdoc +3 -12
  3. data/bin/scylla +1 -1
  4. data/lib/scylla/classifier.rb +3 -2
  5. data/lib/scylla/generator.rb +11 -4
  6. data/lib/scylla/lms/arabic.lm +400 -400
  7. data/lib/scylla/lms/bulgarian.lm +400 -400
  8. data/lib/scylla/lms/catalan.lm +400 -400
  9. data/lib/scylla/lms/chinese.lm +395 -395
  10. data/lib/scylla/lms/czech.lm +397 -397
  11. data/lib/scylla/lms/danish.lm +372 -372
  12. data/lib/scylla/lms/dutch.lm +382 -382
  13. data/lib/scylla/lms/english.lm +378 -378
  14. data/lib/scylla/lms/finnish.lm +388 -388
  15. data/lib/scylla/lms/french.lm +392 -392
  16. data/lib/scylla/lms/german.lm +396 -396
  17. data/lib/scylla/lms/greek.lm +400 -400
  18. data/lib/scylla/lms/hebrew.lm +400 -400
  19. data/lib/scylla/lms/hindi.lm +399 -399
  20. data/lib/scylla/lms/icelandic.lm +225 -225
  21. data/lib/scylla/lms/indonesian.lm +391 -391
  22. data/lib/scylla/lms/italian.lm +382 -382
  23. data/lib/scylla/lms/japanese.lm +400 -400
  24. data/lib/scylla/lms/kannada.lm +392 -392
  25. data/lib/scylla/lms/korean.lm +391 -391
  26. data/lib/scylla/lms/marathi.lm +388 -388
  27. data/lib/scylla/lms/norwegian.lm +375 -375
  28. data/lib/scylla/lms/persian.lm +399 -399
  29. data/lib/scylla/lms/polish.lm +399 -399
  30. data/lib/scylla/lms/portuguese.lm +390 -390
  31. data/lib/scylla/lms/romanian.lm +353 -353
  32. data/lib/scylla/lms/russian.lm +400 -400
  33. data/lib/scylla/lms/slovak.lm +361 -361
  34. data/lib/scylla/lms/slovenian.lm +273 -273
  35. data/lib/scylla/lms/spanish.lm +371 -371
  36. data/lib/scylla/lms/swedish.lm +400 -400
  37. data/lib/scylla/lms/tagalog.lm +295 -295
  38. data/lib/scylla/lms/thai.lm +400 -400
  39. data/lib/scylla/lms/turkish.lm +377 -377
  40. data/lib/scylla/lms/vietnamese.lm +400 -400
  41. data/lib/scylla/lms/welsh.lm +311 -311
  42. data/lib/scylla/loader.rb +1 -1
  43. data/test/classifier_test.rb +6 -4
  44. data/test/fixtures/lms/arabic.lm +400 -0
  45. data/test/fixtures/lms/bulgarian.lm +400 -0
  46. data/test/fixtures/lms/catalan.lm +400 -0
  47. data/test/fixtures/lms/chinese.lm +400 -0
  48. data/test/fixtures/lms/czech.lm +400 -0
  49. data/test/fixtures/lms/danish.lm +399 -399
  50. data/test/fixtures/lms/dutch.lm +400 -0
  51. data/test/fixtures/lms/english.lm +400 -400
  52. data/test/fixtures/lms/finnish.lm +400 -0
  53. data/test/fixtures/lms/french.lm +397 -397
  54. data/test/fixtures/lms/german.lm +400 -400
  55. data/test/fixtures/lms/greek.lm +400 -0
  56. data/test/fixtures/lms/hebrew.lm +400 -0
  57. data/test/fixtures/lms/hindi.lm +400 -400
  58. data/test/fixtures/lms/icelandic.lm +400 -0
  59. data/test/fixtures/lms/indonesian.lm +400 -0
  60. data/test/fixtures/lms/italian.lm +400 -400
  61. data/test/fixtures/lms/japanese.lm +400 -400
  62. data/test/fixtures/lms/kannada.lm +400 -0
  63. data/test/fixtures/lms/korean.lm +400 -0
  64. data/test/fixtures/lms/marathi.lm +400 -0
  65. data/test/fixtures/lms/norwegian.lm +399 -399
  66. data/test/fixtures/lms/persian.lm +400 -0
  67. data/test/fixtures/lms/polish.lm +400 -0
  68. data/test/fixtures/lms/portuguese.lm +400 -0
  69. data/test/fixtures/lms/romanian.lm +400 -0
  70. data/test/fixtures/lms/russian.lm +400 -0
  71. data/test/fixtures/lms/slovak.lm +400 -0
  72. data/test/fixtures/lms/slovenian.lm +400 -0
  73. data/test/fixtures/lms/spanish.lm +400 -400
  74. data/test/fixtures/lms/swedish.lm +400 -0
  75. data/test/fixtures/lms/tagalog.lm +400 -0
  76. data/test/fixtures/lms/thai.lm +400 -0
  77. data/test/fixtures/lms/turkish.lm +400 -0
  78. data/test/fixtures/lms/vietnamese.lm +400 -0
  79. data/test/fixtures/lms/welsh.lm +400 -0
  80. data/test/fixtures/test_languages/japanese +149 -67
  81. data/test/generator_test.rb +2 -44
  82. data/test/helper.rb +3 -3
  83. data/test/language_test.rb +6 -2
  84. data/test/loader_test.rb +2 -2
  85. data/test/scylla_test.rb +7 -7
  86. metadata +144 -95
@@ -1,400 +1,400 @@
1
- _ 7180
2
- o 1875
3
- a 1845
4
- e 1616
5
- n 1363
6
- 1300
7
- s 1174
8
- v 1082
9
- i 1034
10
- r 981
11
- t 926
12
- k 885
13
- l 785
14
- a_ 755
15
- d 666
16
- p 642
17
- 614
18
- m 566
19
- _s 498
20
- u 491
21
- c 460
22
- j 436
23
- h 430
24
- á 412
25
- 404
26
- _p 395
27
- z 386
28
- e_ 368
29
- ov 361
30
- _v 340
31
- o_ 331
32
- y 323
33
- _n 319
34
- 310
35
- na 305
36
- n� 304
37
- en 272
38
- st 263
39
- sk 261
40
- _a 251
41
- lo 249
42
- u_ 245
43
- b 238
44
- _na 232
45
- po 228
46
- v_ 226
47
- í 222
48
- � 222
1
+ _ 7396
2
+ o 1923
3
+ a 1922
4
+ e 1666
5
+ n 1422
6
+ s 1220
7
+ v 1105
8
+ i 1073
9
+ r 1014
10
+ t 965
11
+ k 914
12
+ l 803
13
+ a_ 779
14
+ d 679
15
+ p 651
16
+ m 577
17
+ _s 520
18
+ u 500
19
+ c 466
20
+ j 456
21
+ h 439
22
+ á 420
23
+ z 414
24
+ _p 399
25
+ e_ 377
26
+ ov 373
27
+ _v 342
28
+ y 337
29
+ o_ 336
30
+ _n 331
31
+ na 319
32
+ st 284
33
+ en 281
34
+ sk 264
35
+ _a 263
36
+ lo 258
37
+ u_ 254
38
+ b 239
39
+ _na 238
40
+ í 238
41
+ po 237
42
+ v_ 230
43
+ č 222
44
+ ý 218
49
45
  ko 214
50
- ý 209
51
- 209
52
- 205
53
- ro 204
54
- č 203
55
- 203
56
- š 202
57
- ve 196
58
- 190
59
- ne 190
60
- ch 184
61
- ú 182
62
- sl 182
63
- ie 181
46
+ ro 210
47
+ ve 202
48
+ š 200
49
+ ne 198
50
+ ú 193
51
+ é 193
52
+ sl 189
53
+ ie 187
54
+ ch 187
55
+ _po 185
56
+ i_ 181
64
57
  pr 180
65
- 178
66
- _po 178
67
- é 178
68
- i_ 172
69
- _r 168
70
- _a_ 168
71
- _k 166
72
- y_ 162
73
- od 162
74
- na_ 158
75
- _m 156
76
- ra 156
77
- ia 155
78
- re 155
79
- m_ 154
80
- _o 153
81
- to 152
82
- va 150
83
- ns 148
84
- la 147
58
+ _r 180
59
+ _a_ 176
60
+ _k 173
61
+ y_ 171
62
+ na_ 168
63
+ _o 163
64
+ od 163
65
+ ia 162
66
+ re 162
67
+ _m 160
68
+ to 157
69
+ ra 155
70
+ va 153
71
+ m_ 153
72
+ ns 151
73
+ _z 150
74
+ la 148
75
+ lov 147
76
+ nsk 147
77
+ an 146
78
+ aj 146
85
79
  _pr 144
86
- nsk 143
87
- _d 142
88
- ho 141
89
- _z 141
90
- lov 140
91
- k� 139
92
- aj 136
93
- _sl 133
94
- slo 133
95
- ove 132
96
- or 132
97
- v� 132
98
- _t 129
99
- _v_ 129
100
- ni 129
101
- an 128
102
- je 128
103
- r� 126
104
- ven 126
80
+ ho 143
81
+ _d 143
82
+ _sl 140
83
+ slo 139
84
+ or 139
85
+ ove 137
86
+ je 135
87
+ ni 134
88
+ _t 133
89
+ é_ 132
90
+ _j 131
91
+ ven 131
92
+ _v_ 130
93
+ ž 130
94
+ at 128
95
+ om 126
96
+ ed 126
105
97
  ens 125
106
- at 124
107
- om 124
108
- ed 123
109
- _j 123
110
- ž 122
98
+ ok 124
99
+ te 122
111
100
  h_ 122
112
- �_ 120
113
- é_ 118
114
- �_ 118
115
- ch_ 116
116
- á_ 114
117
- ok 113
118
- te 113
101
+ ch_ 118
102
+ ku 114
103
+ ta 113
104
+ á_ 113
119
105
  me 109
120
- ri 108
121
- ku 106
122
- do 106
123
- le 105
124
- tr 104
125
- ta 103
126
- ej 102
127
- al 99
128
- _ro 99
129
- vo 99
130
- je_ 99
131
- 96
106
+ ri 109
107
+ _ro 107
108
+ le 106
109
+ ej 106
110
+ tr 105
111
+ in 105
112
+ do 103
113
+ je_ 102
114
+ vo 102
115
+ al 100
116
+ 98
117
+ ú_ 98
118
+ os 98
119
+ ku_ 96
132
120
  _je 96
133
- in 96
134
- sa 93
135
- ú_ 92
136
- �_ 92
137
- no 91
138
- mi 91
139
- dn 90
140
- os 90
121
+ sa 95
122
+ er 92
123
+ 91
124
+ el 91
125
+ no 90
126
+ mi 90
141
127
  es 90
142
- av 89
143
- _sa 88
144
- ad 87
145
- li 87
146
- ku_ 87
147
- el 87
148
- j_ 86
149
- _� 84
150
- er 84
151
- ov_ 84
152
- t� 84
153
- ľ 83
154
- ti 82
155
- ia_ 82
156
- 80
157
- ka 79
158
- ol 78
159
- sa_ 78
160
- ob 78
161
- ce 77
162
- ho_ 77
163
- ie_ 76
164
- í_ 75
165
- ic 75
166
- �_ 75
128
+ ti 89
129
+ ia_ 89
130
+ _sa 89
131
+ ad 89
132
+ dn 89
133
+ ov_ 88
134
+ av 88
135
+ li 88
136
+ j_ 88
137
+ ka 83
138
+ ľ 82
139
+ í_ 80
140
+ ol 80
141
+ as 80
142
+ ob 79
143
+ sa_ 79
144
+ ie_ 79
145
+ ho_ 78
146
+ d_ 77
147
+ 76
148
+ né_ 75
149
+ ce 75
167
150
  de 75
168
- om_ 74
169
- d_ 74
170
- as 74
171
- 73
172
- ko_ 73
173
- naj 73
174
- tu 71
175
- ci 70
176
- ne_ 70
177
- _st 70
178
- _do 70
179
- _h 69
180
- em 69
181
- ky 68
182
- sk� 68
183
- za 66
184
- �ch 66
185
- ýc 66
186
- ej_ 66
187
- �c 66
188
- sko 66
189
- g 65
190
- _� 63
191
- _b 63
192
- o� 63
193
- pre 62
194
- m� 61
195
- s� 61
196
- sta 61
151
+ om_ 75
152
+ ci 74
153
+ naj 74
154
+ ic 73
155
+ ne_ 72
156
+ ky 71
157
+ _st 71
158
+ ko_ 71
159
+ em 70
160
+ _h 70
161
+ ýc 69
162
+ ých 69
163
+ tu 69
164
+ sta 68
165
+ za 67
166
+ ej_ 67
167
+ _do 67
168
+ g 67
169
+ pre 65
170
+ ý_ 65
171
+ rok 65
172
+ _b 64
173
+ sko 64
174
+ pa 63
175
+ zi 62
197
176
  vy 61
198
- �t 61
199
177
  ke 61
200
- �i 60
201
- pa 60
202
- �_ 60
203
- ši 60
178
+ vi 60
204
179
  ck 60
205
- ý_ 60
206
- ou 58
207
- ka_ 58
180
+ et 59
181
+ is 59
182
+ ši 59
183
+ ky_ 58
184
+ ac 57
208
185
  ť 57
209
- 57
210
- s_ 57
211
- rok 57
212
- vi 57
213
- l� 56
214
- et 56
215
- e� 56
216
- ac 56
217
- zi 55
218
- kr 54
219
- ky_ 54
220
- ou_ 54
186
+ k_ 57
187
+ ma 57
188
+ ka_ 57
189
+ kr 57
190
+ s_ 55
191
+ ost 55
192
+ dz 55
193
+ kt 54
221
194
  tv 54
222
- dz 53
223
- _c 53
224
- j� 53
225
- ak 53
195
+ _c 54
226
196
  oč 53
227
- ma 52
228
- is 52
229
- di 52
230
- lo_ 52
231
- z� 51
232
- ar 51
233
- kt 51
234
- nt 51
235
- 50
236
- k_ 50
197
+ lo_ 53
198
+ ou 53
199
+ 53
200
+ di 53
201
+ ar 53
202
+ ak 52
203
+ tor 51
204
+ sp 51
205
+ tn 51
206
+ 50
207
+ ký 50
208
+ mo 49
209
+ nt 49
237
210
  eľ 48
238
- _me 48
239
- ost 48
240
- _s� 48
241
- 48
242
- tor 48
243
- jú 47
244
- mo 47
245
- _v� 47
246
- am 47
247
- sp 47
211
+ _i 48
212
+ oku 47
213
+ 47
214
+ ou_ 47
215
+ _me 47
248
216
  bo 47
249
- _i 47
250
- pri 46
251
- �l 46
217
+ 47
252
218
  by 46
253
- 46
219
+ am 46
220
+ jú_ 46
221
+ oz 46
254
222
  pod 46
255
- oz 45
256
- tn 45
257
- _� 45
258
- ova 44
259
- �ho 44
260
- �h 44
261
- sú 44
262
- _š 44
223
+ 45
224
+ _sú 45
225
+ on 45
226
+ z_ 44
227
+ _vy 44
263
228
  éh 44
264
- ik 44
229
+ pri 44
230
+ sku 44
231
+ ého 44
232
+ ani 44
233
+ _ob 44
265
234
  it 44
266
- sku 43
267
- _vy 43
268
- on 43
269
- _ob 43
270
- va_ 43
271
- si 42
272
- zn 42
273
- r_ 42
235
+ ác 43
236
+ 43
237
+ zn 43
238
+ ova 43
239
+ ot 43
240
+ si 43
241
+ ik 43
242
+ r_ 43
243
+ il 42
244
+ va_ 42
245
+ _ko 42
274
246
  l_ 42
275
- vn 42
276
- en� 42
277
247
  od_ 42
278
- _u 42
279
- _ko 42
280
- ov� 41
281
248
  ké 41
282
249
  rie 41
283
- il 41
284
- �c 41
285
- a� 41
286
- ot 41
287
- ác 41
288
- 41
289
- 40
290
- _za 40
291
- oku 40
292
- mi_ 40
293
- ek 40
294
- ck� 39
295
- ani 39
296
- ál 39
297
- ick 39
250
+ ál 41
251
+ ek 41
252
+ 41
253
+ ád 41
254
+ vn 41
255
+ 41
256
+ ná_ 41
257
+ _u 40
258
+ _od 40
259
+ čn 39
260
+ _za 39
261
+ uj 39
262
+ la_ 39
298
263
  t_ 39
299
- z_ 39
300
- �d 38
301
- te� 38
302
- so 38
303
- ád 38
304
- _s_ 38
305
- uj 38
306
- _n� 38
307
- _od 38
308
- ska 37
309
- 37
310
- 37
311
- �n 37
312
- odn 37
313
- la_ 37
314
- čn 37
315
- ent 37
264
+ ny 39
265
+ so 39
266
+ mi_ 39
267
+ kto 39
268
+ _s_ 39
269
+ 38
270
+ teľ 38
271
+ hl 38
272
+ ick 38
273
+ či 38
274
+ est 37
275
+ _z_ 37
316
276
  tá 37
317
- hl 37
318
277
  _ce 37
319
- kto 36
320
- �m 36
321
- eh 36
322
- 36
323
- ým 36
278
+ ate 37
279
+ str 37
280
+ eh 37
281
+ nýc 36
324
282
  _e 36
325
- or� 36
326
- str 36
327
- est 36
328
- rn 36
329
- ár 35
330
- nej 35
331
- _z� 35
332
- red 35
333
- �r 35
334
- ep 35
335
- ate 35
283
+ ska 36
284
+ _vý 36
285
+ 36
286
+ _ma 36
287
+ ev 36
288
+ nej 36
289
+ ent 36
290
+ _sp 36
291
+ ó 35
292
+ 35
293
+ ým 35
336
294
  iac 35
337
- ä 35
338
- 35
339
- �a 34
340
- e� 34
341
- roz 34
342
- 34
343
- ča 34
344
- ny 34
295
+ red 35
296
+ ča 35
297
+ _kt 35
298
+ rn 34
299
+ ep 34
300
+ spo 34
301
+ sti 34
302
+ odn 34
303
+ _ne 34
345
304
  kl 34
346
- dne 33
347
- stu 33
348
- f 33
349
- stv 33
350
- _sp 33
351
- pl 33
352
- _pa 32
305
+ roz 33
306
+ ži 33
307
+ ä 33
308
+ da 33
309
+ van 33
310
+ 32
311
+ pl 32
312
+ jš 32
313
+ dne 32
314
+ _l 32
315
+ stv 32
316
+ ár 32
353
317
  oh 32
354
- �i 32
355
- � 32
356
- ó 32
357
- spo 32
358
- h� 32
359
- št 32
360
- _z_ 32
361
- ev 32
362
- _kt 32
363
- ži 32
364
- _ma 31
365
- a� 31
366
- _vo 31
367
- lav 31
368
318
  yv 31
369
- 31
319
+ 31
320
+ át 31
321
+ če 31
322
+ št 31
323
+ ez 31
324
+ f 31
370
325
  kej 31
326
+ _te 31
327
+ ys 31
328
+ _pa 31
329
+ stu 31
330
+ ajú 31
371
331
  rov 31
372
- �i 30
373
- sto 30
374
- olo 30
375
- _re 30
376
- �� 30
377
- ys 30
378
- š� 30
379
- či 30
380
- _te 30
381
332
  eb 30
382
- j� 30
383
- �n 30
384
- aj� 30
333
+ 30
385
334
  oby 30
386
- 30
387
- �í 30
388
- �n� 29
389
- ec 29
390
- pr� 29
391
- �e 29
335
+ nie 30
336
+ sto 30
337
+ lav 30
338
+ eho 30
339
+ _vo 30
340
+ _re 30
341
+ olo 30
342
+ že 30
343
+ ze 30
344
+ čas 29
345
+ _zá 29
346
+ jv 29
347
+ kov 29
348
+ ší 29
349
+ ký_ 29
350
+ se 29
392
351
  kon 29
393
- dn� 29
394
- up 29
395
- 29
396
- át 29
397
- _l 29
398
- sti 29
399
- ze 29
352
+ _ná 29
353
+ ejš 29
354
+ to_ 29
400
355
  ô 29
356
+ tre 29
357
+ ajv 29
358
+ vod 28
359
+ vat 28
360
+ dy 28
361
+ dy_ 28
362
+ kom 28
363
+ sla 28
364
+ zem 28
365
+ ln 28
366
+ ká 28
367
+ ti_ 28
368
+ ec 28
369
+ šie 28
370
+ hla 28
371
+ ast 28
372
+ ba 28
373
+ ský 28
374
+ op 28
375
+ ran 27
376
+ ny_ 27
377
+ oj 27
378
+ _bo 27
379
+ byv 27
380
+ yva 27
381
+ tu_ 27
382
+ ť_ 27
383
+ sú_ 27
384
+ ske 27
385
+ rs 27
386
+ up 26
387
+ vá 26
388
+ oc 26
389
+ hr 26
390
+ ádz 26
391
+ tov 25
392
+ tí 25
393
+ edn 25
394
+ kra 25
395
+ áv 25
396
+ men 25
397
+ med 25
398
+ oko 25
399
+ chá 25
400
+ rat 25