scylla 0.9.3 → 1.2.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (86) hide show
  1. checksums.yaml +7 -0
  2. data/README.rdoc +3 -12
  3. data/bin/scylla +1 -1
  4. data/lib/scylla/classifier.rb +3 -2
  5. data/lib/scylla/generator.rb +11 -4
  6. data/lib/scylla/lms/arabic.lm +400 -400
  7. data/lib/scylla/lms/bulgarian.lm +400 -400
  8. data/lib/scylla/lms/catalan.lm +400 -400
  9. data/lib/scylla/lms/chinese.lm +395 -395
  10. data/lib/scylla/lms/czech.lm +397 -397
  11. data/lib/scylla/lms/danish.lm +372 -372
  12. data/lib/scylla/lms/dutch.lm +382 -382
  13. data/lib/scylla/lms/english.lm +378 -378
  14. data/lib/scylla/lms/finnish.lm +388 -388
  15. data/lib/scylla/lms/french.lm +392 -392
  16. data/lib/scylla/lms/german.lm +396 -396
  17. data/lib/scylla/lms/greek.lm +400 -400
  18. data/lib/scylla/lms/hebrew.lm +400 -400
  19. data/lib/scylla/lms/hindi.lm +399 -399
  20. data/lib/scylla/lms/icelandic.lm +225 -225
  21. data/lib/scylla/lms/indonesian.lm +391 -391
  22. data/lib/scylla/lms/italian.lm +382 -382
  23. data/lib/scylla/lms/japanese.lm +400 -400
  24. data/lib/scylla/lms/kannada.lm +392 -392
  25. data/lib/scylla/lms/korean.lm +391 -391
  26. data/lib/scylla/lms/marathi.lm +388 -388
  27. data/lib/scylla/lms/norwegian.lm +375 -375
  28. data/lib/scylla/lms/persian.lm +399 -399
  29. data/lib/scylla/lms/polish.lm +399 -399
  30. data/lib/scylla/lms/portuguese.lm +390 -390
  31. data/lib/scylla/lms/romanian.lm +353 -353
  32. data/lib/scylla/lms/russian.lm +400 -400
  33. data/lib/scylla/lms/slovak.lm +361 -361
  34. data/lib/scylla/lms/slovenian.lm +273 -273
  35. data/lib/scylla/lms/spanish.lm +371 -371
  36. data/lib/scylla/lms/swedish.lm +400 -400
  37. data/lib/scylla/lms/tagalog.lm +295 -295
  38. data/lib/scylla/lms/thai.lm +400 -400
  39. data/lib/scylla/lms/turkish.lm +377 -377
  40. data/lib/scylla/lms/vietnamese.lm +400 -400
  41. data/lib/scylla/lms/welsh.lm +311 -311
  42. data/lib/scylla/loader.rb +1 -1
  43. data/test/classifier_test.rb +6 -4
  44. data/test/fixtures/lms/arabic.lm +400 -0
  45. data/test/fixtures/lms/bulgarian.lm +400 -0
  46. data/test/fixtures/lms/catalan.lm +400 -0
  47. data/test/fixtures/lms/chinese.lm +400 -0
  48. data/test/fixtures/lms/czech.lm +400 -0
  49. data/test/fixtures/lms/danish.lm +399 -399
  50. data/test/fixtures/lms/dutch.lm +400 -0
  51. data/test/fixtures/lms/english.lm +400 -400
  52. data/test/fixtures/lms/finnish.lm +400 -0
  53. data/test/fixtures/lms/french.lm +397 -397
  54. data/test/fixtures/lms/german.lm +400 -400
  55. data/test/fixtures/lms/greek.lm +400 -0
  56. data/test/fixtures/lms/hebrew.lm +400 -0
  57. data/test/fixtures/lms/hindi.lm +400 -400
  58. data/test/fixtures/lms/icelandic.lm +400 -0
  59. data/test/fixtures/lms/indonesian.lm +400 -0
  60. data/test/fixtures/lms/italian.lm +400 -400
  61. data/test/fixtures/lms/japanese.lm +400 -400
  62. data/test/fixtures/lms/kannada.lm +400 -0
  63. data/test/fixtures/lms/korean.lm +400 -0
  64. data/test/fixtures/lms/marathi.lm +400 -0
  65. data/test/fixtures/lms/norwegian.lm +399 -399
  66. data/test/fixtures/lms/persian.lm +400 -0
  67. data/test/fixtures/lms/polish.lm +400 -0
  68. data/test/fixtures/lms/portuguese.lm +400 -0
  69. data/test/fixtures/lms/romanian.lm +400 -0
  70. data/test/fixtures/lms/russian.lm +400 -0
  71. data/test/fixtures/lms/slovak.lm +400 -0
  72. data/test/fixtures/lms/slovenian.lm +400 -0
  73. data/test/fixtures/lms/spanish.lm +400 -400
  74. data/test/fixtures/lms/swedish.lm +400 -0
  75. data/test/fixtures/lms/tagalog.lm +400 -0
  76. data/test/fixtures/lms/thai.lm +400 -0
  77. data/test/fixtures/lms/turkish.lm +400 -0
  78. data/test/fixtures/lms/vietnamese.lm +400 -0
  79. data/test/fixtures/lms/welsh.lm +400 -0
  80. data/test/fixtures/test_languages/japanese +149 -67
  81. data/test/generator_test.rb +2 -44
  82. data/test/helper.rb +3 -3
  83. data/test/language_test.rb +6 -2
  84. data/test/loader_test.rb +2 -2
  85. data/test/scylla_test.rb +7 -7
  86. metadata +144 -95
@@ -1,400 +1,400 @@
1
- _ 1600
2
- a 445
3
- e 436
4
- i 391
5
- o 380
6
- n 326
1
+ _ 1598
2
+ a 446
3
+ e 427
4
+ i 393
5
+ o 379
6
+ n 324
7
7
  v 261
8
- s 261
8
+ s 259
9
9
  r 232
10
- l 213
11
- j 199
12
- a_ 191
13
- t 170
14
- d 165
10
+ l 211
11
+ j 198
12
+ a_ 193
13
+ t 168
14
+ d 164
15
15
  p 140
16
- e_ 133
17
- _s 122
18
- i_ 119
16
+ e_ 131
17
+ i_ 122
18
+ _s 121
19
19
  k 118
20
- m 104
20
+ m 103
21
21
  _p 98
22
22
  z 95
23
- je 92
23
+ je 91
24
24
  u 81
25
- o_ 81
26
- ov 75
25
+ o_ 80
27
26
  na 75
28
- st 72
27
+ ov 74
28
+ ni 73
29
29
  _n 72
30
- ni 72
31
- 70
32
- je_ 67
33
- _v 63
30
+ st 72
31
+ je_ 66
32
+ _v 64
34
33
  ve 63
35
34
  en 63
35
+ g 60
36
36
  ra 59
37
- g 59
38
- _i 56
39
37
  b 55
38
+ _i 55
40
39
  pr 54
41
40
  _j 54
42
- in 54
43
- v_ 53
44
41
  _d 53
42
+ in 53
43
+ v_ 52
45
44
  _na 50
46
45
  lo 48
47
- n_ 47
48
- _o 46
49
46
  _pr 46
47
+ _o 46
48
+ n_ 46
50
49
  na_ 45
51
- � 44
52
- sk 44
53
50
  č 44
54
- po 44
55
51
  _je 44
56
- 44
52
+ sk 44
53
+ po 44
57
54
  la 42
58
- no 42
59
55
  sl 42
60
- ne 41
56
+ no 41
61
57
  _v_ 40
58
+ ne 40
62
59
  lov 39
63
- va 38
64
- � 38
65
- _po 38
66
60
  š 38
67
- ro 37
68
- in_ 37
69
- _in 37
70
- os 37
61
+ _po 38
62
+ va 38
71
63
  h 37
64
+ os 37
72
65
  _sl 37
73
- le 37
74
- ja 36
75
- li 36
66
+ ro 37
76
67
  an 36
77
68
  slo 36
69
+ li 36
70
+ ja 36
71
+ _in 36
72
+ in_ 36
73
+ le 35
74
+ av 35
78
75
  _z 35
79
76
  ij 35
80
- av 35
81
- ven 33
82
- ed 33
83
77
  ove 33
84
- ž 32
85
- � 32
86
- el 32
78
+ ven 33
87
79
  vi 32
88
- ta 31
80
+ od 32
81
+ ed 31
89
82
  re 31
90
- de 31
91
- od 31
92
- ev 30
83
+ ta 31
84
+ ž 31
85
+ el 31
93
86
  eni 30
87
+ ev 30
94
88
  t_ 30
95
89
  lj 29
96
- ki 28
97
- ri 28
98
- al 28
90
+ de 29
91
+ ki 29
99
92
  ja_ 28
93
+ al 28
94
+ ri 28
100
95
  _r 27
101
96
  u_ 27
102
- se 27
103
- et 26
104
97
  ti 26
98
+ se 26
105
99
  ost 26
106
- em 25
107
100
  h_ 25
108
- dn 25
109
101
  _k 25
102
+ et 25
110
103
  nij 25
104
+ ni_ 25
105
+ dn 25
106
+ vo 24
111
107
  ar 24
112
- ni_ 24
113
- m_ 23
114
- it 23
115
- ih_ 23
108
+ em 24
116
109
  ad 23
117
- ih 23
118
110
  me 23
119
- vo 23
111
+ ih 23
112
+ ih_ 23
113
+ it 23
120
114
  ko 23
115
+ m_ 22
116
+ aj 22
121
117
  ol 22
122
118
  ik 22
123
- _l 22
124
- aj 22
119
+ ob 21
125
120
  c 21
121
+ raz 21
126
122
  az 21
127
123
  la_ 21
128
124
  za 21
129
- raz 21
130
- ka 21
131
- ob 21
125
+ _l 21
126
+ ka 20
132
127
  del 20
128
+ ki_ 20
133
129
  dr 20
134
- _se 20
135
- nj 19
136
- _ra 19
137
- no_ 19
138
- _t 19
139
- ki_ 19
140
- r� 19
141
- di 19
130
+ di 20
142
131
  pre 19
143
132
  om 19
144
- _m 18
133
+ no_ 19
134
+ _ra 19
135
+ nj 19
136
+ _se 19
145
137
  ji 18
146
- to 18
147
- _� 18
148
- _le 18
138
+ _g 18
149
139
  ma 18
140
+ _t 18
150
141
  _za 18
151
- let 17
142
+ _m 18
143
+ to 17
144
+ _ob 17
145
+ ga 17
146
+ _le 17
152
147
  ne_ 17
153
148
  er 17
154
- _g 17
155
- _ob 17
156
- te 17
157
- as 17
158
149
  da 17
159
- _dr 16
160
- vr 16
161
- vn 16
162
- _de 16
163
- so 16
164
- jo 16
165
- ga 16
166
150
  rs 16
151
+ te 16
152
+ so 16
153
+ vr 16
154
+ as 16
155
+ _dr 16
167
156
  ija 16
168
- st_ 15
169
- jo_ 15
157
+ let 16
158
+ jo 16
159
+ vn 16
160
+ ta_ 15
170
161
  mo 15
171
- o� 15
172
- �a 15
173
- pro 15
174
- red 15
175
162
  oč 15
176
163
  or 15
177
- ža 15
178
- ta_ 15
164
+ ga_ 15
179
165
  tv 15
180
- do 14
166
+ jo_ 15
167
+ _de 15
168
+ pro 15
169
+ st_ 15
170
+ red 15
171
+ di_ 15
172
+ ža 15
173
+ rža 14
174
+ žav 14
175
+ _so 14
181
176
  ke 14
182
- di_ 14
183
- �av 14
184
- iv 14
185
- dr� 14
186
- bl 14
187
177
  rž 14
188
- im 14
178
+ drž 14
179
+ do 14
189
180
  _u 14
190
- _so 14
191
- ga_ 14
192
- nsk 13
193
- nos 13
194
- s_ 13
195
- ova 13
181
+ im 14
182
+ bl 14
183
+ iv 14
196
184
  il 13
197
- sta 13
198
- avn 13
199
- ka_ 13
200
- ju 13
185
+ is 13
201
186
  so_ 13
187
+ s_ 13
188
+ nos 13
189
+ ka_ 13
202
190
  ns 13
203
- is 13
204
191
  oz 13
192
+ avn 13
193
+ ova 13
194
+ nsk 13
195
+ sta 13
196
+ ju 13
197
+ pa 12
205
198
  f 12
206
- _š 12
207
- go 12
208
- eg 12
209
199
  ru 12
200
+ ma_ 12
201
+ eg 12
202
+ jen 12
203
+ nje 12
210
204
  ot 12
211
- lje 12
212
- iz 12
213
- sti 12
205
+ go 12
206
+ 12
214
207
  val 12
215
208
  va_ 12
209
+ lje 12
216
210
  ze 12
217
- jen 12
218
- pa 12
219
- nje 12
220
- ma_ 12
221
- ti_ 11
211
+ iz 12
212
+ sti 12
213
+ sa 11
222
214
  iva 11
215
+ kr 11
223
216
  _st 11
224
- d_ 11
225
- sa 11
226
- i� 11
227
217
  ros 11
228
- kr 11
229
- li_ 10
230
- _ne 10
218
+ d_ 11
219
+ ti_ 11
231
220
  vi_ 10
232
- r_ 10
233
- ej 10
234
221
  se_ 10
222
+ tu 10
223
+ tr 10
224
+ ič 10
225
+ ud 10
226
+ sto 10
235
227
  ic 10
236
- lja 10
237
- bli 10
238
- i� 10
239
- ske 10
240
- bi 10
241
- zem 10
228
+ ski 10
229
+ _a 10
230
+ ije 10
242
231
  ir 10
243
232
  pod 10
233
+ r_ 10
234
+ bli 10
235
+ li_ 10
244
236
  op 10
245
- ije 10
246
- em_ 10
247
- ič 10
237
+ _ne 10
238
+ am 10
248
239
  ega 10
249
- ud 10
240
+ zem 10
241
+ bi 10
242
+ lja 10
250
243
  elj 10
251
- tu 10
252
- am 10
253
- tr 10
254
- sto 10
255
- ski 10
256
- iš 9
244
+ ske 10
245
+ _iz 9
246
+ ži 9
257
247
  og 9
258
- _tu 9
259
- men 9
260
- lik 9
261
- ča 9
262
- �i 9
248
+ _e 9
249
+ rad 9
263
250
  stv 9
264
- udi 9
265
- ji_ 9
266
- et_ 9
267
- edn 9
268
- zn 9
269
- dan 9
251
+ 9
270
252
  či 9
271
253
  _oz 9
254
+ ča 9
272
255
  ge 9
273
- kih 9
274
- �i 9
275
- ovi 9
276
- rad 9
277
- ži 9
278
- _e 9
279
256
  ve_ 9
280
- _sk 9
281
- vl 9
282
- mi 9
283
- �a 9
284
- _a 9
257
+ men 9
258
+ _ki 9
259
+ em_ 9
260
+ ovi 9
261
+ ji_ 9
285
262
  pri 9
286
- _iz 9
287
- nik 8
288
- ke_ 8
289
- k_ 8
290
- ela 8
291
- bo 8
292
- eta 8
293
- _b 8
294
- ajo 8
295
- še 8
263
+ mi 9
264
+ dan 9
265
+ _tu 9
266
+ ej 9
267
+ et_ 9
268
+ kih 9
269
+ udi 9
270
+ lik 9
271
+ vl 9
272
+ _sk 9
273
+ zn 9
274
+ up 8
275
+ iti 8
276
+ ala 8
277
+ pol 8
296
278
  ska 8
297
- es 8
279
+ _s_ 8
280
+ še 8
298
281
  gr 8
282
+ tav 8
299
283
  ok 8
300
- pol 8
301
- ep 8
302
284
  zv 8
303
- tav 8
304
- _ki 8
305
- dne 8
306
- nar 8
307
- �e 8
308
- iti 8
309
- ala 8
310
- up 8
285
+ eta 8
311
286
  _pa 8
312
- _s_ 8
287
+ es 8
288
+ k_ 8
289
+ nar 8
313
290
  tud 8
314
- sv 7
291
+ ajo 8
292
+ ela 8
293
+ _b 8
294
+ bo 8
295
+ edn 8
296
+ nik 8
297
+ dni 8
298
+ ke_ 8
299
+ ep 8
300
+ dne 8
301
+ jih 7
315
302
  rsk 7
303
+ aš 7
304
+ iki 7
305
+ ev_ 7
306
+ pe 7
307
+ eno 7
308
+ pi 7
309
+ ez 7
310
+ ši 7
311
+ zg 7
316
312
  pu 7
313
+ eo 7
314
+ anj 7
315
+ rst 7
316
+ _me 7
317
+ pra 7
318
+ ko_ 7
317
319
  rav 7
320
+ _da 7
321
+ sv 7
322
+ šč 7
323
+ ars 7
318
324
  j_ 7
319
- zd 7
320
- ede 7
321
- anj 7
322
- odn 7
323
- vni 7
324
- ši 7
325
- � 7
326
- �č 7
327
- van 7
328
- �i 7
329
- �j 7
330
- jih 7
331
- sed 7
332
325
  ani 7
333
- čj 7
334
- _do 7
335
- _da 7
336
- dni 7
337
- eo 7
338
- a� 7
339
- iki 7
340
- ko_ 7
341
- zi 7
342
- zg 7
343
326
  ci 7
344
- pe 7
345
- _me 7
346
- ur 7
347
- pa_ 7
348
- ez 7
349
327
  eb 7
350
- nov 7
351
- š� 7
352
- �� 7
353
- rst 7
354
- ev_ 7
355
- ars 7
356
- pi 7
357
- eno 7
358
- aš 7
359
- pra 7
328
+ čj 7
329
+ odn 7
330
+ ur 7
360
331
  gl 7
361
- obl 6
362
- oma 6
363
- ub 6
364
- tn 6
332
+ pa_ 7
333
+ zd 7
334
+ van 7
335
+ _do 7
336
+ vni 7
337
+ zi 7
338
+ ogr 6
339
+ lad 6
340
+ čn 6
341
+ eds 6
365
342
  om_ 6
343
+ ds 6
344
+ eli 6
345
+ jn 6
346
+ tvo 6
347
+ du 6
348
+ _ž 6
349
+ at 6
350
+ str 6
351
+ _bi 6
352
+ _ur 6
353
+ ura 6
354
+ ede 6
355
+ gra 6
356
+ kra 6
357
+ še_ 6
358
+ als 6
359
+ ls 6
360
+ ast 6
366
361
  _sv 6
367
- �n 6
368
- ov_ 6
369
- ima 6
370
- rit 6
371
- ogr 6
362
+ oma 6
363
+ ho 6
364
+ sko 6
365
+ iji 6
366
+ 6
372
367
  ubl 6
373
- ug 6
374
- tev 6
368
+ sr 6
369
+ _al 6
375
370
  ava 6
376
- jn 6
377
- vo_ 6
378
- str 6
379
- št 6
380
- e� 6
381
- tvo 6
382
371
  ave 6
383
- eli 6
384
- ine 6
385
- _al 6
386
- �t 6
387
- _ka 6
372
+ ru_ 6
373
+ sed 6
374
+ evi 6
375
+ tev 6
376
+ gla 6
377
+ ug 6
378
+ ima 6
388
379
  ali 6
380
+ št 6
381
+ tn 6
382
+ kov 6
389
383
  ver 6
384
+ pov 6
385
+ ub 6
386
+ obl 6
387
+ rit 6
388
+ vo_ 6
389
+ eve 6
390
+ ml 6
391
+ oze 6
392
+ ak 6
393
+ z_ 6
390
394
  vro 6
391
- _ur 6
392
- eds 6
393
- �e_ 6
394
- at 6
395
- gra 6
395
+ ine 6
396
396
  _ni 6
397
- pov 6
398
- evi 6
399
- čn 6
400
- du 6
397
+ nov 6
398
+ vol 5
399
+ ana 5
400
+ če 5