scylla 0.5.0 → 0.6.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (58) hide show
  1. data/Gemfile +4 -2
  2. data/Gemfile.lock +16 -1
  3. data/lib/scylla/classifier.rb +1 -1
  4. data/lib/scylla/generator.rb +16 -4
  5. data/lib/scylla/lms/afrikaans.lm +232 -232
  6. data/lib/scylla/lms/arabic.lm +175 -175
  7. data/lib/scylla/lms/bulgarian.lm +225 -225
  8. data/lib/scylla/lms/catalan.lm +309 -309
  9. data/lib/scylla/lms/danish.lm +167 -167
  10. data/lib/scylla/lms/english.lm +398 -398
  11. data/lib/scylla/lms/finnish.lm +237 -237
  12. data/lib/scylla/lms/french.lm +148 -148
  13. data/lib/scylla/lms/german.lm +258 -258
  14. data/lib/scylla/lms/greek.lm +236 -236
  15. data/lib/scylla/lms/hebrew.lm +154 -154
  16. data/lib/scylla/lms/hindi.lm +139 -139
  17. data/lib/scylla/lms/icelandic.lm +239 -239
  18. data/lib/scylla/lms/indonesian.lm +244 -244
  19. data/lib/scylla/lms/italian.lm +248 -248
  20. data/lib/scylla/lms/japanese.lm +90 -90
  21. data/lib/scylla/lms/korean.lm +306 -306
  22. data/lib/scylla/lms/norwegian.lm +193 -193
  23. data/lib/scylla/lms/polish.lm +241 -241
  24. data/lib/scylla/lms/portuguese.lm +232 -232
  25. data/lib/scylla/lms/romanian.lm +246 -246
  26. data/lib/scylla/lms/slovak.lm +242 -242
  27. data/lib/scylla/lms/slovenian.lm +229 -229
  28. data/lib/scylla/lms/spanish.lm +164 -164
  29. data/lib/scylla/lms/swedish.lm +157 -157
  30. data/lib/scylla/lms/tagalog.lm +247 -247
  31. data/lib/scylla/lms/thai.lm +252 -252
  32. data/lib/scylla/lms/turkish.lm +285 -285
  33. data/lib/scylla/lms/vietnamese.lm +250 -250
  34. data/lib/scylla/lms/welsh.lm +248 -248
  35. data/lib/scylla/resources.rb +1 -9
  36. data/lib/scylla.rb +4 -0
  37. data/scylla.gemspec +2 -120
  38. data/source_texts/english.txt +62 -27
  39. data/test/classifier_test.rb +1 -3
  40. data/test/fixtures/lms/danish.lm +173 -173
  41. data/test/fixtures/lms/english.lm +220 -220
  42. data/test/fixtures/lms/french.lm +175 -175
  43. data/test/fixtures/lms/german.lm +254 -254
  44. data/test/fixtures/lms/hindi.lm +139 -139
  45. data/test/fixtures/lms/italian.lm +236 -236
  46. data/test/fixtures/lms/japanese.lm +88 -88
  47. data/test/fixtures/lms/norwegian.lm +182 -182
  48. data/test/fixtures/lms/spanish.lm +164 -164
  49. data/test/fixtures/test_languages/spanish +0 -1
  50. data/test/generator_test.rb +13 -0
  51. data/test/helper.rb +2 -0
  52. metadata +18 -25
  53. data/.document +0 -5
  54. data/lib/scylla/lms/13375P33K.lm +0 -400
  55. data/scylla-0.1.0.gem +0 -0
  56. data/source_texts/13375P33K.txt +0 -199
  57. data/test/fixtures/lms/13375p33k.lm +0 -400
  58. data/test/fixtures/source_texts/13375P33K.txt +0 -199
@@ -1,6 +1,6 @@
1
- _ 1468
2
- y 347
1
+ _ 1464
3
2
  d 347
3
+ y 347
4
4
  a 333
5
5
  n 286
6
6
  e 283
@@ -18,383 +18,383 @@ n_ 107
18
18
  dd 106
19
19
  u 98
20
20
  m 88
21
+ yn 87
21
22
  s 86
22
- yn 85
23
+ d_ 81
23
24
  c 80
24
25
  r_ 80
25
- d_ 80
26
26
  _a 66
27
27
  yd 65
28
+ yn_ 64
28
29
  th 64
29
- yn_ 62
30
30
  . 59
31
31
  i_ 51
32
+ l_ 51
32
33
  ym 51
33
- _d 50
34
34
  _yn 50
35
- ydd 49
35
+ _d 50
36
36
  u_ 49
37
- l_ 49
37
+ ydd 49
38
38
  ae 48
39
39
  _i 47
40
40
  _yn_ 46
41
+ ar 45
41
42
  wy 44
43
+ an 43
42
44
  ra 43
43
- an 42
44
45
  ol 42
45
46
  b 41
46
47
  y_ 40
47
- ar 40
48
- ' 39
49
- ei 39
50
48
  ia 39
51
- di 37
49
+ ei 39
52
50
  _g 37
53
- h_ 36
51
+ h_ 37
52
+ di 37
54
53
  ed 35
55
- dd_ 34
54
+ dd_ 35
56
55
  _y_ 34
57
56
  _c 33
58
57
  ._ 32
59
- 'r 32
60
58
  da 31
61
59
  ai 31
60
+ th_ 31
61
+ au 30
62
62
  ne 30
63
- ith 30
64
63
  it 30
65
- th_ 30
66
- au 30
67
- er 29
68
- , 29
64
+ ith 30
69
65
  _e 29
70
- p 27
66
+ , 29
67
+ er 29
68
+ de 27
69
+ od 27
71
70
  g_ 27
72
71
  en 27
73
- 'r_ 27
74
- od 27
75
- de 27
76
- _n 26
72
+ p 27
77
73
  ddi 26
78
74
  yr 26
79
- ,_ 26
80
- o_ 26
81
75
  ha 26
76
+ o_ 26
77
+ _n 26
78
+ eg 25
82
79
  wyd 25
80
+ ,_ 25
81
+ ol_ 25
83
82
  mr 25
84
83
  _h 25
85
- eg 25
86
- _f 24
87
- hy 24
84
+ au_ 24
88
85
  a_ 24
89
- ll 24
90
86
  ymr 24
91
- au_ 24
92
87
  cy 24
93
- io 23
94
- if 23
88
+ _f 24
89
+ hy 24
90
+ ll 24
95
91
  _p 23
96
92
  _dd 23
97
- ol_ 23
98
- _i_ 22
99
- _o 22
93
+ if 23
94
+ _ar 23
95
+ io 23
96
+ ad 22
100
97
  G 22
101
- ny 22
98
+ _o 22
99
+ _i_ 22
102
100
  ri 22
103
- ad 22
104
- ew 21
101
+ ny 22
105
102
  wn 21
106
- fe 21
107
103
  rae 21
104
+ __ 21
105
+ fe 21
106
+ ew 21
107
+ _. 21
108
108
  _._ 20
109
109
  no 20
110
- _cy 20
111
- _ar 20
112
- _. 20
113
110
  _s 20
114
- yf 19
111
+ _cy 20
115
112
  wydd 19
116
- __ 19
117
- et 19
118
- ch 19
119
113
  eth 19
120
- do 19
121
- ydd_ 19
122
114
  _G 19
115
+ or 19
116
+ et 19
117
+ yf 19
118
+ ydd_ 19
123
119
  _m 19
124
- at 18
125
- nyd 18
126
- la 18
120
+ ch 19
121
+ do 19
127
122
  nydd 18
128
123
  gy 18
129
- aet 17
124
+ nyd 18
125
+ at 18
126
+ la 18
127
+ ho 17
128
+ yr_ 17
130
129
  el 17
131
- aeg 17
130
+ mraeg 17
132
131
  ymrae 17
133
- mrae 17
132
+ aeg 17
133
+ aeth 17
134
134
  rh 17
135
- raeg 17
136
135
  mra 17
137
- ho 17
138
136
  s_ 17
139
- aeth 17
140
- mraeg 17
141
- ymra 17
142
- eu 17
143
- yr_ 17
144
137
  ef 17
138
+ mrae 17
139
+ raeg 17
140
+ eu 17
141
+ ymra 17
142
+ aet 17
143
+ Gy 16
144
+ aith 16
145
+ nt 16
145
146
  fa 16
147
+ ar_ 16
146
148
  ni 16
147
- aith 16
148
- Gy 16
149
149
  me 16
150
- nt 16
151
150
  ait 16
152
- yddi 15
153
- _b 15
154
- le 15
155
- _Gy 15
156
- fn 15
157
- Gym 15
158
- ac 15
159
151
  efn 15
152
+ _Gy 15
160
153
  we 15
161
- edd 15
162
- ff 15
154
+ le 15
163
155
  Gymr 15
156
+ ac 15
157
+ _b 15
158
+ ff 15
159
+ edd 15
164
160
  er_ 15
165
- _Gymr 14
161
+ fn 15
162
+ Gym 15
163
+ yddi 15
164
+ Gymra 14
165
+ ys 14
166
+ wr 14
166
167
  si 14
168
+ _Gymr 14
167
169
  _yr 14
168
- ys 14
169
- Gymra 14
170
+ eth_ 14
171
+ _Gym 14
170
172
  ro 14
171
173
  _yr_ 14
172
- _Gym 14
173
174
  nn 14
174
- oe 13
175
- oed 13
176
- efnyd 13
177
- defn 13
178
- _a_ 13
179
- _ei 13
180
- fnyd 13
181
- eth_ 13
182
- def 13
183
- eith 13
184
- fny 13
185
- fnydd 13
186
- _l 13
187
- efny 13
175
+ eit 13
188
176
  al 13
177
+ fny 13
178
+ eith 13
179
+ def 13
180
+ aeth_ 13
181
+ efnyd 13
189
182
  defny 13
190
- eit 13
183
+ fnydd 13
191
184
  rha 13
185
+ oe 13
186
+ _a_ 13
187
+ efny 13
188
+ oed 13
189
+ fnyd 13
190
+ _ei 13
192
191
  dde 13
192
+ defn 13
193
+ _l 13
193
194
  gw 13
194
- dol 12
195
- aeth_ 12
196
- wr 12
197
- C 12
198
- sy 12
199
- c_ 12
200
- oedd 12
201
- nyddi 12
202
195
  es 12
203
- ng 12
204
- rif 12
196
+ _ne 12
197
+ nyddi 12
205
198
  _gy 12
199
+ oedd 12
206
200
  _hy 12
207
- ga 12
201
+ c_ 12
202
+ ng 12
203
+ ur 12
208
204
  _w 12
209
- _ne 12
205
+ sy 12
206
+ dol 12
207
+ ga 12
208
+ rif 12
209
+ C 12
210
+ li 11
210
211
  ewn 11
211
- rth 11
212
212
  ig 11
213
- ry 11
214
213
  _me 11
214
+ rt 11
215
+ ry 11
216
+ _ar_ 11
215
217
  _ei_ 11
216
- o' 11
217
- o'r 11
218
- _o_ 11
219
218
  t_ 11
220
219
  id 11
221
- wydd_ 11
220
+ an_ 11
221
+ iaith 11
222
+ _ia 11
222
223
  aw 11
223
- rd 11
224
224
  re 11
225
- li 11
226
- rt 11
227
- ar_ 11
228
- _ia 11
229
- iaith 11
230
- ei_ 11
231
225
  iait 11
232
226
  iai 11
233
- on 10
234
- ddo 10
235
- an_ 10
236
- na 10
237
- ddio 10
238
- gr 10
239
- fr 10
240
- af 10
227
+ ei_ 11
228
+ rd 11
229
+ rth 11
230
+ wydd_ 11
231
+ _o_ 11
241
232
  ith_ 10
242
- eu_ 10
243
- ad_ 10
233
+ hw 10
234
+ yw 10
235
+ af 10
244
236
  eg_ 10
245
237
  te 10
238
+ _dde 10
239
+ on 10
240
+ gr 10
241
+ ad_ 10
242
+ ddo 10
243
+ cr 10
244
+ ddio 10
245
+ fo 10
246
+ un 10
247
+ wn_ 10
248
+ or_ 10
246
249
  dio 10
250
+ na 10
247
251
  _da 10
248
- dda 10
249
- hw 10
252
+ ir 10
250
253
  _ac 10
251
- wn_ 10
254
+ fr 10
252
255
  S 10
253
- cr 10
254
- _dde 10
255
- yw 10
256
- fo 10
257
- f_ 9
258
- og 9
259
- o'r_ 9
260
- M 9
261
- mew 9
262
- _C 9
263
- dr 9
264
- mewn 9
265
- new 9
266
- ac_ 9
267
- od_ 9
268
- yddio 9
269
- os 9
270
- _gw 9
271
- un 9
256
+ eu_ 10
257
+ dda 10
272
258
  _t 9
273
- fer 9
274
- bl 9
259
+ os 9
260
+ ge 9
275
261
  Cy 9
276
- sg 9
262
+ Y 9
277
263
  st 9
264
+ dr 9
265
+ aith_ 9
266
+ mew 9
267
+ yddio 9
268
+ bl 9
269
+ fer 9
270
+ M 9
271
+ _gw 9
272
+ A 9
273
+ og 9
274
+ mewn 9
278
275
  fy 9
276
+ new 9
277
+ od_ 9
278
+ f_ 9
279
279
  _ym 9
280
280
  il 9
281
- A 9
282
- aith_ 9
283
- Y 9
284
- _ar_ 8
285
- cyf 8
286
- * 8
287
- _iai 8
288
- dy 8
289
- aeg_ 8
290
- iad 8
281
+ sg 9
282
+ ac_ 9
283
+ ma 8
284
+ ic 8
291
285
  ly 8
292
- _iait 8
293
- ge 8
294
- _mew 8
295
- _r 8
296
- so 8
286
+ _ac_ 8
287
+ _sy 8
297
288
  lw 8
298
- _fe 8
299
- or 8
300
289
  gwe 8
290
+ he 8
291
+ E 8
292
+ _mewn 8
301
293
  raeg_ 8
302
- _sy 8
303
- g, 8
294
+ _r 8
295
+ _iait 8
296
+ _iai 8
297
+ _fe 8
304
298
  hr 8
305
- E 8
306
- in 8
307
- he 8
308
- u' 8
299
+ _mew 8
300
+ so 8
301
+ aeg_ 8
302
+ cyf 8
309
303
  dia 8
310
- _ac_ 8
311
- ic 8
312
- ma 8
313
- _mewn 8
304
+ iad 8
305
+ dy 8
306
+ _C 8
307
+ in 8
314
308
  is 8
309
+ g, 8
310
+ ll_ 7
311
+ m_ 7
312
+ gu 7
313
+ _eu_ 7
314
+ ent 7
315
+ yg 7
316
+ _S 7
317
+ _cyf 7
318
+ _Y 7
319
+ ewydd 7
320
+ .a 7
321
+ odo 7
322
+ g. 7
323
+ odol 7
324
+ edd_ 7
325
+ di_ 7
315
326
  Cym 7
327
+ my 7
328
+ B 7
316
329
  rw 7
317
- odol 7
318
- _new 7
319
- _eu 7
320
- ewy 7
321
- ewn_ 7
330
+ ob 7
322
331
  ewyd 7
323
- i' 7
324
- _ll 7
325
- di_ 7
326
- _eu_ 7
327
- _Y 7
328
- fl 7
329
- _cyf 7
330
- han 7
331
332
  pa 7
332
- yd_ 7
333
+ _M 7
334
+ _new 7
333
335
  dat 7
334
- newyd 7
335
- edd_ 7
336
336
  id_ 7
337
- ddefn 7
338
- ent 7
339
- mewn_ 7
340
- _M 7
341
- ob 7
342
- _ddef 7
343
- nt_ 7
344
- du 7
337
+ yddo 7
345
338
  rth_ 7
346
- gu 7
347
- B 7
348
- ddef 7
339
+ w_ 7
340
+ nt_ 7
341
+ _ll 7
342
+ fl 7
343
+ ewn_ 7
344
+ mewn_ 7
349
345
  nol 7
350
- nd 7
351
- u'r 7
346
+ ddefn 7
347
+ du 7
348
+ dol_ 7
352
349
  oedd_ 7
353
- ewydd 7
354
- newy 7
355
- .a 7
356
- yddo 7
357
- g. 7
358
- ig_ 7
359
- ll_ 7
360
- m_ 7
350
+ ir_ 7
351
+ ewy 7
361
352
  tr 7
362
- w_ 7
363
- odo 7
364
- my 7
365
- yg 7
366
- g,_ 6
353
+ ig_ 7
354
+ han 7
355
+ iw 7
356
+ yd_ 7
357
+ _eu 7
358
+ newy 7
359
+ newyd 7
360
+ ddef 7
361
+ nd 7
362
+ _ddef 7
363
+ D 6
364
+ neg 6
365
+ iad_ 6
366
+ ynn 6
367
367
  dal 6
368
+ fod 6
369
+ ian 6
370
+ _pa 6
371
+ _defn 6
368
372
  gh 6
373
+ us 6
374
+ rhau 6
375
+ pr 6
376
+ ant 6
377
+ ned 6
378
+ lwy 6
369
379
  N 6
370
380
  ann 6
371
- rhau 6
372
- _i' 6
373
- fod 6
374
- pe 6
375
- rwy 6
376
- fer_ 6
377
- a' 6
378
- _ga 6
379
- us 6
380
- ed_ 6
381
- lwyd 6
382
- eg, 6
383
- fan 6
384
- _pr 6
385
381
  cyn 6
386
- I 6
382
+ _E 6
383
+ pe 6
384
+ _ddi 6
385
+ _def 6
386
+ ru 6
387
387
  _si 6
388
- lwy 6
388
+ wi 6
389
+ fle 6
389
390
  as 6
390
- _ddi 6
391
+ yc 6
392
+ _de 6
393
+ ch_ 6
394
+ _pr 6
395
+ rwy 6
391
396
  h. 6
392
- ian 6
397
+ I 6
398
+ hau 6
393
399
  hyn 6
394
- _Cy 6
395
400
  _dda 6
396
- edi 6
397
- ch_ 6
398
- fel 6
399
- _S 6
400
- _Cym 6
@@ -5,7 +5,7 @@ module Scylla
5
5
  "spanish" => "es",
6
6
  "german" => "de",
7
7
  "chinese" => "zh",
8
- #"dutch" => "nl",
8
+ "dutch" => "nl",
9
9
  "polish" => "pl",
10
10
  "russian" => "ru",
11
11
  "italian" => "it",
@@ -19,28 +19,20 @@ module Scylla
19
19
  "arabic" => "ar",
20
20
  "slovenian" => "sl",
21
21
  "swedish" => "sv",
22
- #"croatian" => "hr",
23
22
  "indonesian" => "id",
24
- #"czech" => "cs",
25
23
  "portuguese" => "pt",
26
24
  "finnish" => "fi",
27
25
  "korean" => "ko",
28
26
  "greek" => "el",
29
27
  "bulgarian" => "bg",
30
28
  "romanian" => "ro",
31
- #"estonian" => "et",
32
29
  "danish" => "da",
33
30
  "hebrew" => "he",
34
31
  "slovak" => "sk",
35
- #"bosnian" => "bs",
36
- #"magyar" => "hu",
37
- #"farsi" => "fa",
38
32
  "welsh" => "cy",
39
- #"lithuanian" => "lt",
40
33
  "catalan" => "ca",
41
34
  "thai" => "th",
42
35
  "afrikaans" => "nl"}
43
- #"latvian" => "lv"}
44
36
 
45
37
  def self.locales
46
38
  return @locales
data/lib/scylla.rb CHANGED
@@ -2,6 +2,10 @@
2
2
  module Scylla
3
3
  DEFAULT_SOURCE_DIR = File.join(File.dirname(__FILE__), "..", "source_texts")
4
4
  DEFAULT_TARGET_DIR = File.join(File.dirname(__FILE__), "scylla", "lms")
5
+
6
+ def self.version
7
+ "0.5.0"
8
+ end
5
9
  end
6
10
 
7
11
  require 'scylla/classifier'