scylla 0.9.3 → 1.2.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (86) hide show
  1. checksums.yaml +7 -0
  2. data/README.rdoc +3 -12
  3. data/bin/scylla +1 -1
  4. data/lib/scylla/classifier.rb +3 -2
  5. data/lib/scylla/generator.rb +11 -4
  6. data/lib/scylla/lms/arabic.lm +400 -400
  7. data/lib/scylla/lms/bulgarian.lm +400 -400
  8. data/lib/scylla/lms/catalan.lm +400 -400
  9. data/lib/scylla/lms/chinese.lm +395 -395
  10. data/lib/scylla/lms/czech.lm +397 -397
  11. data/lib/scylla/lms/danish.lm +372 -372
  12. data/lib/scylla/lms/dutch.lm +382 -382
  13. data/lib/scylla/lms/english.lm +378 -378
  14. data/lib/scylla/lms/finnish.lm +388 -388
  15. data/lib/scylla/lms/french.lm +392 -392
  16. data/lib/scylla/lms/german.lm +396 -396
  17. data/lib/scylla/lms/greek.lm +400 -400
  18. data/lib/scylla/lms/hebrew.lm +400 -400
  19. data/lib/scylla/lms/hindi.lm +399 -399
  20. data/lib/scylla/lms/icelandic.lm +225 -225
  21. data/lib/scylla/lms/indonesian.lm +391 -391
  22. data/lib/scylla/lms/italian.lm +382 -382
  23. data/lib/scylla/lms/japanese.lm +400 -400
  24. data/lib/scylla/lms/kannada.lm +392 -392
  25. data/lib/scylla/lms/korean.lm +391 -391
  26. data/lib/scylla/lms/marathi.lm +388 -388
  27. data/lib/scylla/lms/norwegian.lm +375 -375
  28. data/lib/scylla/lms/persian.lm +399 -399
  29. data/lib/scylla/lms/polish.lm +399 -399
  30. data/lib/scylla/lms/portuguese.lm +390 -390
  31. data/lib/scylla/lms/romanian.lm +353 -353
  32. data/lib/scylla/lms/russian.lm +400 -400
  33. data/lib/scylla/lms/slovak.lm +361 -361
  34. data/lib/scylla/lms/slovenian.lm +273 -273
  35. data/lib/scylla/lms/spanish.lm +371 -371
  36. data/lib/scylla/lms/swedish.lm +400 -400
  37. data/lib/scylla/lms/tagalog.lm +295 -295
  38. data/lib/scylla/lms/thai.lm +400 -400
  39. data/lib/scylla/lms/turkish.lm +377 -377
  40. data/lib/scylla/lms/vietnamese.lm +400 -400
  41. data/lib/scylla/lms/welsh.lm +311 -311
  42. data/lib/scylla/loader.rb +1 -1
  43. data/test/classifier_test.rb +6 -4
  44. data/test/fixtures/lms/arabic.lm +400 -0
  45. data/test/fixtures/lms/bulgarian.lm +400 -0
  46. data/test/fixtures/lms/catalan.lm +400 -0
  47. data/test/fixtures/lms/chinese.lm +400 -0
  48. data/test/fixtures/lms/czech.lm +400 -0
  49. data/test/fixtures/lms/danish.lm +399 -399
  50. data/test/fixtures/lms/dutch.lm +400 -0
  51. data/test/fixtures/lms/english.lm +400 -400
  52. data/test/fixtures/lms/finnish.lm +400 -0
  53. data/test/fixtures/lms/french.lm +397 -397
  54. data/test/fixtures/lms/german.lm +400 -400
  55. data/test/fixtures/lms/greek.lm +400 -0
  56. data/test/fixtures/lms/hebrew.lm +400 -0
  57. data/test/fixtures/lms/hindi.lm +400 -400
  58. data/test/fixtures/lms/icelandic.lm +400 -0
  59. data/test/fixtures/lms/indonesian.lm +400 -0
  60. data/test/fixtures/lms/italian.lm +400 -400
  61. data/test/fixtures/lms/japanese.lm +400 -400
  62. data/test/fixtures/lms/kannada.lm +400 -0
  63. data/test/fixtures/lms/korean.lm +400 -0
  64. data/test/fixtures/lms/marathi.lm +400 -0
  65. data/test/fixtures/lms/norwegian.lm +399 -399
  66. data/test/fixtures/lms/persian.lm +400 -0
  67. data/test/fixtures/lms/polish.lm +400 -0
  68. data/test/fixtures/lms/portuguese.lm +400 -0
  69. data/test/fixtures/lms/romanian.lm +400 -0
  70. data/test/fixtures/lms/russian.lm +400 -0
  71. data/test/fixtures/lms/slovak.lm +400 -0
  72. data/test/fixtures/lms/slovenian.lm +400 -0
  73. data/test/fixtures/lms/spanish.lm +400 -400
  74. data/test/fixtures/lms/swedish.lm +400 -0
  75. data/test/fixtures/lms/tagalog.lm +400 -0
  76. data/test/fixtures/lms/thai.lm +400 -0
  77. data/test/fixtures/lms/turkish.lm +400 -0
  78. data/test/fixtures/lms/vietnamese.lm +400 -0
  79. data/test/fixtures/lms/welsh.lm +400 -0
  80. data/test/fixtures/test_languages/japanese +149 -67
  81. data/test/generator_test.rb +2 -44
  82. data/test/helper.rb +3 -3
  83. data/test/language_test.rb +6 -2
  84. data/test/loader_test.rb +2 -2
  85. data/test/scylla_test.rb +7 -7
  86. metadata +144 -95
@@ -1,400 +1,400 @@
1
- _ 3242
2
- d 798
3
- y 712
4
- a 623
5
- n 573
6
- e 559
7
- r 548
8
- i 469
9
- o 405
10
- l 361
11
- w 306
12
- g 302
13
- d_ 271
14
- _y 258
15
- n_ 245
16
- h 239
17
- dd 221
18
- c 212
19
- f 209
20
- m 195
21
- s 182
22
- u 179
23
- t 175
1
+ _ 3318
2
+ d 812
3
+ y 722
4
+ a 655
5
+ n 586
6
+ e 572
7
+ r 558
8
+ i 478
9
+ o 413
10
+ l 365
11
+ g 311
12
+ w 311
13
+ d_ 274
14
+ _y 259
15
+ h 258
16
+ n_ 251
17
+ dd 225
18
+ c 220
19
+ f 212
20
+ m 200
21
+ s 187
22
+ u 186
23
+ t 186
24
24
  r_ 174
25
- _a 168
26
- yn 167
27
- _c 156
28
- _g 143
29
- y_ 123
30
- u_ 121
31
- wy 119
32
- yn_ 118
33
- yd 117
34
- dd_ 115
35
- ym 114
36
- ed 108
37
- _r 106
38
- i_ 101
39
- l_ 100
40
- _yn 100
41
- an 97
42
- _d 93
43
- _o 92
44
- _y_ 92
45
- _cy 89
46
- cy 89
47
- ae 87
48
- b 86
49
- th 86
50
- di 81
51
- od 79
52
- a_ 77
53
- ymr 75
54
- mr 75
55
- ad 72
56
- ll 71
57
- ia 71
25
+ _a 171
26
+ yn 165
27
+ _c 161
28
+ _g 149
29
+ u_ 125
30
+ y_ 125
31
+ yd 121
32
+ wy 120
33
+ ym 117
34
+ yn_ 116
35
+ dd_ 114
36
+ _r 107
37
+ ed 105
38
+ an 104
39
+ i_ 102
40
+ l_ 101
41
+ _yn 98
42
+ ae 97
43
+ _d 96
44
+ _o 95
45
+ _y_ 94
46
+ th 94
47
+ _cy 92
48
+ cy 92
49
+ b 89
50
+ di 84
51
+ od 81
52
+ mr 78
53
+ ymr 78
54
+ a_ 78
55
+ ad 77
56
+ ia 75
57
+ h_ 74
58
+ ll 72
58
59
  edd 68
59
- g_ 67
60
60
  oe 67
61
- _a_ 66
62
- h_ 65
63
- cym 64
64
- _r_ 63
65
- ai 63
66
- ol 62
67
- _i 62
61
+ _a_ 67
62
+ g_ 67
63
+ cym 67
64
+ ga 64
65
+ th_ 64
66
+ _i 64
67
+ o_ 63
68
+ ol 63
69
+ ai 62
70
+ _r_ 62
68
71
  en 61
69
- o_ 60
70
- ar 59
71
- _s 58
72
- _e 57
73
- th_ 56
74
- _f 55
75
- _n 55
76
- wyd 54
77
- ei 54
78
- ga 53
79
- _w 52
80
- er 50
81
- _h 50
72
+ ar 61
73
+ _s 59
74
+ _e 58
75
+ wyd 57
76
+ et 57
77
+ _f 56
78
+ eth 56
79
+ _n 56
80
+ ei 55
81
+ aet 53
82
+ _w 53
83
+ _h 52
84
+ er 52
85
+ la 52
82
86
  in 50
83
- la 50
84
- et 49
85
- eth 49
86
- ol_ 48
87
- re 48
88
- aet 47
89
- ni 47
90
- ra 47
91
- yd_ 46
92
- _o_ 46
93
- ru 46
94
- ru_ 46
95
- ydd 46
96
- mru 45
97
- we 45
87
+ ol_ 49
88
+ ra 49
89
+ ydd 48
90
+ yd_ 48
91
+ ru_ 48
92
+ ru 48
93
+ _o_ 48
94
+ mru 47
95
+ an_ 46
96
+ _ga 46
97
+ ni 46
98
+ fe 44
99
+ we 44
100
+ ha 44
101
+ _i_ 44
98
102
  el 44
99
- ys 43
100
- gy 43
103
+ on 44
104
+ re 44
101
105
  _m 43
102
- fe 43
106
+ ad_ 43
103
107
  oed 43
108
+ gy 43
104
109
  _b 43
105
- on 43
106
110
  ro 43
107
- _i_ 43
108
- ad_ 42
109
- ha 41
111
+ ri 42
112
+ ys 42
113
+ da 42
114
+ de 41
115
+ ddi 41
116
+ odd 41
110
117
  do 41
111
- ri 41
112
- an_ 40
113
- da 40
118
+ ch 40
114
119
  ry 40
115
120
  _l 39
116
- de 39
117
- odd 39
118
- og 38
119
- au 38
120
- ch 38
121
- ddi 38
122
- _ga 38
121
+ si 38
123
122
  au_ 38
124
- id 37
125
- le 37
126
- gw 36
127
- yf 36
128
- m_ 35
129
- si 35
130
- no 34
123
+ au 38
124
+ gw 37
125
+ m_ 37
126
+ og 37
127
+ yf 37
128
+ lo 36
129
+ ne 36
130
+ p 36
131
+ le 36
132
+ id 36
131
133
  yr 34
132
- ne 34
133
- lo 34
134
- f_ 34
134
+ no 34
135
+ gan 33
136
+ _t 33
137
+ yw 33
138
+ e_ 33
139
+ _gw 33
140
+ f_ 33
141
+ eg 32
142
+ he 32
143
+ rh 32
144
+ _gy 32
145
+ nn 32
146
+ io 32
147
+ _ar 32
135
148
  w_ 32
136
- _gw 32
137
- _t 32
138
- yw 31
149
+ es 31
139
150
  _ll 31
140
- e_ 31
141
- _ar 31
142
- rh 31
143
- eg 31
144
- p 31
145
- _gy 31
146
- io 30
147
- ir 30
151
+ s_ 31
152
+ na 30
148
153
  nd 30
149
- na 29
154
+ ir 30
150
155
  go 29
151
- he 29
152
- dw 29
153
- hy 29
154
- if 28
155
- es 28
156
+ hy 28
156
157
  ef 28
157
- nn 28
158
- gan 28
158
+ _rh 28
159
+ _si 27
160
+ ng 27
161
+ gr 27
159
162
  yr_ 27
160
- in_ 27
161
163
  _dd 27
162
- s_ 27
163
- ng 27
164
- ma 26
165
- ig 26
166
- gr 26
167
- _rh 26
164
+ if 27
165
+ ma 27
168
166
  fy 26
169
- st 25
170
- ac 25
171
- _si 25
172
- lad 25
167
+ ac 26
168
+ ig 26
169
+ dw 26
170
+ lad 26
171
+ in_ 26
173
172
  _ym 25
173
+ roe 24
174
+ _p 24
175
+ dy 24
176
+ wl 24
174
177
  wn 24
175
178
  ca 24
176
- rif 24
177
- roe 24
178
- ar_ 23
179
- dy 23
180
- iad 23
181
- wl 23
179
+ st 24
182
180
  eu 23
183
- ew 23
184
- ddo 23
185
181
  un 23
182
+ _ma 23
183
+ ar_ 23
184
+ iad 23
185
+ rif 23
186
186
  af 23
187
- idd 22
187
+ er_ 23
188
+ ddo 23
188
189
  sg 22
189
- er_ 22
190
190
  iw 22
191
- _ma 21
192
- nw 21
191
+ c_ 22
193
192
  nd_ 21
194
- c_ 21
195
193
  wed 21
196
- _fe 20
197
- _p 20
194
+ wla 21
195
+ nw 21
198
196
  ig_ 20
199
- wla 20
197
+ ac_ 20
198
+ _ac 20
199
+ idd 20
200
+ wr 20
201
+ ew 20
200
202
  so 20
201
- ond 19
202
- _de 19
203
- _on 19
204
- _yr 19
205
- il 19
206
- _ac 19
207
- lw 19
208
- al 19
209
- _er 19
203
+ _de 20
204
+ _fe 20
205
+ fa 19
210
206
  _cr 19
207
+ al 19
211
208
  cr 19
212
- is 19
213
- ac_ 19
214
- wr 19
215
- or 19
209
+ _yr 19
210
+ _er 19
211
+ il 19
216
212
  hr 19
217
- _u 18
218
- it 18
219
- li 18
220
- _ca 18
221
- aw 18
222
- _go 18
223
- fa 18
213
+ or 19
214
+ by 19
215
+ ond 19
216
+ _ca 19
217
+ aw 19
218
+ is 19
219
+ _on 19
220
+ _di 19
221
+ nt 18
222
+ on_ 18
224
223
  rha 18
224
+ _go 18
225
+ it 18
225
226
  od_ 18
226
- by 18
227
- fr 18
228
227
  _he 18
229
- nt 18
230
- _ne 18
231
- _di 18
232
228
  el_ 18
233
- se 17
234
- sir 17
235
- ny 17
229
+ lw 18
230
+ _u 18
231
+ am 18
232
+ _ne 18
233
+ ff 17
236
234
  efy 17
235
+ hi 17
236
+ fr 17
237
237
  ir_ 17
238
+ li 17
238
239
  loe 17
239
- on_ 17
240
- dia 17
240
+ ny 17
241
241
  fel 17
242
- aid 16
242
+ sir 17
243
+ dia 17
244
+ fyd 16
243
245
  yl 16
244
- ff 16
246
+ se 16
247
+ eu_ 16
245
248
  diw 16
246
- hi 16
247
- dwy 16
248
- fyd 16
249
- ain 16
250
249
  ith 16
250
+ ai_ 16
251
251
  _wl 16
252
+ eg_ 16
252
253
  dol 16
253
- eg_ 15
254
- ty 15
255
- rae 15
256
- _hy 15
254
+ rae 16
255
+ ty 16
256
+ gl 15
257
+ _am 15
257
258
  t_ 15
259
+ ain 15
258
260
  nr 15
261
+ han 15
259
262
  anr 15
260
- ng_ 15
261
- dod 15
262
- eu_ 15
263
- am 15
263
+ ho 15
264
264
  lle 15
265
- gl 15
266
- _am 15
265
+ gae 15
266
+ rw 15
267
267
  wys 15
268
- lwy 15
269
- 15
270
- ai_ 15
271
- dr 14
268
+ aid 15
269
+ ae_ 15
270
+ dod 15
271
+ yw_ 15
272
+ _hy 15
273
+ dwy 15
274
+ nwy 14
275
+ gym 14
276
+ iae 14
277
+ mae 14
272
278
  mry 14
273
- _un 14
274
- rd 14
275
- han 14
276
- rw 14
277
- if_ 14
279
+ lwy 14
280
+ dr 14
278
281
  nia 14
279
- ho 14
280
- nwy 14
282
+ sia 14
281
283
  ym_ 14
284
+ _un 14
285
+ hw 14
286
+ ly 14
282
287
  dl 14
283
- yw_ 14
284
- gym 14
285
- hw 13
286
- af_ 13
287
- _ei 13
288
+ ng_ 14
289
+ rd 14
290
+ ob 13
291
+ rt 13
292
+ wyn 13
288
293
  nol 13
289
- sia 13
290
- ae_ 13
291
- gae 13
294
+ _ei 13
295
+ rth 13
296
+ af_ 13
297
+ ann 13
298
+ bo 13
292
299
  _se 13
300
+ if_ 13
293
301
  llo 13
294
- mae 13
295
- bo 13
296
- ly 13
297
- rth 12
298
- rai 12
299
- me 12
300
- ll_ 12
301
- ann 12
302
- _ge 12
303
- nt_ 12
304
- eit 12
305
- ywy 12
306
- ge 12
307
- _ys 12
308
- ry_ 12
302
+ ll_ 13
309
303
  egr 12
310
- ob 12
311
- ei_ 12
304
+ gwe 12
305
+ _n_ 12
306
+ cyf 12
307
+ ynn 12
312
308
  ryd 12
313
- rt 12
309
+ iai 12
310
+ _ty 12
311
+ ywy 12
312
+ du 12
313
+ _ys 12
314
314
  enw 12
315
+ _da 12
316
+ eit 12
315
317
  oeg 12
316
- cyf 12
317
- fi 12
318
- du 12
319
- gwe 12
320
- wyn 12
318
+ oga 12
319
+ ry_ 12
320
+ am_ 12
321
321
  wa 12
322
- iai 12
322
+ nt_ 12
323
+ ei_ 12
323
324
  gr_ 12
324
- _� 11
325
- ed_ 11
326
- _ty 11
327
- _n_ 11
325
+ me 12
326
+ fi 12
327
+ br 12
328
+ te 11
329
+ edi 11
330
+ _oe 11
331
+ sy 11
328
332
  yll 11
333
+ byn 11
329
334
  hyn 11
335
+ dde 11
336
+ nri 11
337
+ fo 11
330
338
  _ro 11
331
- sog 11
339
+ wn_ 11
340
+ ed_ 11
341
+ id_ 11
332
342
  ren 11
333
343
  yso 11
334
- byn 11
335
- edi 11
336
- iae 11
337
- br 11
338
- nri 11
339
- ta 11
340
- yst 11
341
- _oe 11
342
- wn_ 11
343
344
  tr 11
344
- fo 11
345
- lla 10
345
+ sog 11
346
+ bl 11
347
+ mra 11
348
+ es_ 11
349
+ aeg 11
350
+ rai 11
351
+ fwy 10
346
352
  nyd 10
347
- yfr 10
348
- mra 10
349
- ud 10
350
- oga 10
351
- os 10
352
- di_ 10
353
- am_ 10
354
- wyr 10
355
- led 10
356
- sy 10
357
- id_ 10
358
353
  yfe 10
359
- aeg 10
360
- wi 10
354
+ fod 10
361
355
  can 10
356
+ _tr 10
357
+ yst 10
362
358
  _we 10
363
- ysg 10
359
+ rwy 10
360
+ led 10
364
361
  _ch 10
362
+ pa 10
363
+ ud 10
364
+ di_ 10
365
+ nh 10
366
+ ysg 10
367
+ ch_ 10
368
+ wi 10
369
+ fw 10
370
+ gyf 10
371
+ _ha 10
372
+ _ce 10
373
+ lla 10
374
+ ta 10
365
375
  _dy 10
366
- te 10
367
- fod 10
368
- bl 10
369
- _da 10
370
- dde 10
371
- _tr 10
372
376
  dai 10
377
+ yfr 10
378
+ wrt 10
379
+ ce 10
373
380
  rei 10
381
+ hry 9
374
382
  ec 9
375
- og_ 9
376
- ch_ 9
377
- ddy 9
378
- rwy 9
379
- neu 9
380
- ill 9
381
- ti 9
383
+ ynt 9
384
+ os 9
385
+ _bo 9
386
+ ryf 9
382
387
  _ni 9
383
- ur 9
388
+ dio 9
389
+ neu 9
384
390
  _an 9
385
391
  gor 9
386
- ddw 9
387
- ynn 9
388
- gyf 9
389
- ynt 9
390
- en_ 9
391
- yda 9
392
- _bo 9
393
- es_ 9
394
- wrt 9
395
- nh 9
396
- _me 9
397
392
  wd 9
393
+ ur 9
398
394
  _br 9
399
- pa 9
400
- _ce 9
395
+ enh 9
396
+ adw 9
397
+ as 9
398
+ hin 9
399
+ obl 9
400
+ _me 9