scylla 0.1.0 → 0.2.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (80) hide show
  1. data/Gemfile +0 -1
  2. data/Gemfile.lock +0 -10
  3. data/README.rdoc +22 -0
  4. data/VERSION +1 -1
  5. data/bin/scylla +13 -0
  6. data/lib/scylla/classifier.rb +2 -2
  7. data/lib/scylla/generator.rb +1 -1
  8. data/lib/scylla/lms/13375P33K.lm +400 -0
  9. data/lib/scylla/lms/afrikaans.lm +400 -0
  10. data/lib/scylla/lms/arabic.lm +400 -0
  11. data/lib/scylla/lms/bulgarian.lm +400 -0
  12. data/lib/scylla/lms/catalan.lm +400 -0
  13. data/lib/scylla/lms/chinese.lm +400 -0
  14. data/lib/scylla/lms/danish.lm +400 -0
  15. data/lib/scylla/lms/english.lm +400 -0
  16. data/lib/scylla/lms/esperanto.lm +400 -0
  17. data/lib/scylla/lms/finnish.lm +400 -0
  18. data/lib/scylla/lms/french.lm +400 -0
  19. data/lib/scylla/lms/german.lm +400 -0
  20. data/lib/scylla/lms/greek-iso8859-7.lm +400 -0
  21. data/lib/scylla/lms/hebrew.lm +400 -0
  22. data/lib/scylla/lms/hindi.lm +400 -0
  23. data/lib/scylla/lms/hungarian.lm +400 -0
  24. data/lib/scylla/lms/icelandic.lm +400 -0
  25. data/lib/scylla/lms/indonesian.lm +400 -0
  26. data/lib/scylla/lms/irish.lm +400 -0
  27. data/lib/scylla/lms/italian.lm +400 -0
  28. data/lib/scylla/lms/japanese.lm +400 -0
  29. data/lib/scylla/lms/kannada.lm +400 -0
  30. data/lib/scylla/lms/korean.lm +400 -0
  31. data/lib/scylla/lms/latin.lm +400 -0
  32. data/lib/scylla/lms/malay.lm +400 -0
  33. data/lib/scylla/lms/marathi.lm +400 -0
  34. data/lib/scylla/lms/mingo.lm +400 -0
  35. data/lib/scylla/lms/nepali.lm +400 -0
  36. data/lib/scylla/lms/norwegian.lm +400 -0
  37. data/lib/scylla/lms/polish.lm +400 -0
  38. data/lib/scylla/lms/portuguese.lm +400 -0
  39. data/lib/scylla/lms/quechua.lm +400 -0
  40. data/lib/scylla/lms/romanian.lm +400 -0
  41. data/lib/scylla/lms/rumantsch.lm +400 -0
  42. data/lib/scylla/lms/russian.lm +400 -0
  43. data/lib/scylla/lms/sanskrit.lm +400 -0
  44. data/lib/scylla/lms/scots_gaelic.lm +400 -0
  45. data/lib/scylla/lms/serbian-ascii.lm +400 -0
  46. data/lib/scylla/lms/slovak-ascii.lm +400 -0
  47. data/lib/scylla/lms/slovenian-ascii.lm +400 -0
  48. data/lib/scylla/lms/spanish.lm +400 -0
  49. data/lib/scylla/lms/swahili.lm +400 -0
  50. data/lib/scylla/lms/swedish.lm +400 -0
  51. data/lib/scylla/lms/tagalog.lm +400 -0
  52. data/lib/scylla/lms/tamil.lm +400 -0
  53. data/lib/scylla/lms/thai.lm +400 -0
  54. data/lib/scylla/lms/turkish.lm +400 -0
  55. data/lib/scylla/lms/ukrainian-koi8_u.lm +400 -0
  56. data/lib/scylla/lms/vietnamese.lm +400 -0
  57. data/lib/scylla/lms/welsh.lm +400 -0
  58. data/lib/scylla/lms/yiddish-utf.lm +400 -0
  59. data/lib/scylla/loader.rb +8 -1
  60. data/scylla-0.1.0.gem +0 -0
  61. data/scylla.gemspec +69 -3
  62. data/source_texts/kannada.txt +283 -0
  63. data/test/classifier_test.rb +7 -0
  64. data/test/fixtures/lms/13375p33k.lm +400 -0
  65. data/test/fixtures/lms/danish.lm +400 -0
  66. data/test/fixtures/lms/english.lm +400 -0
  67. data/test/fixtures/lms/french.lm +400 -0
  68. data/test/fixtures/lms/german.lm +400 -0
  69. data/test/fixtures/lms/japanese.lm +400 -0
  70. data/test/fixtures/lms/kannada.lm +400 -0
  71. data/test/fixtures/lms/spanish.lm +400 -0
  72. data/test/fixtures/source_texts/13375P33K.txt +199 -0
  73. data/test/fixtures/source_texts/japanese.txt +199 -0
  74. data/test/fixtures/source_texts/kannada.txt +283 -0
  75. data/test/generator_test.rb +10 -7
  76. data/test/helper.rb +5 -6
  77. data/test/loader_test.rb +1 -0
  78. data/test/scylla_test.rb +1 -0
  79. metadata +78 -14
  80. data/source_texts/armenian.txt +0 -86
@@ -0,0 +1,400 @@
1
+ _ 1464
2
+ y 347
3
+ d 347
4
+ a 333
5
+ n 286
6
+ e 283
7
+ r 265
8
+ i 249
9
+ o 178
10
+ l 162
11
+ h 152
12
+ g 125
13
+ f 124
14
+ w 122
15
+ t 122
16
+ _y 116
17
+ n_ 107
18
+ dd 106
19
+ u 98
20
+ m 88
21
+ s 86
22
+ yn 85
23
+ c 80
24
+ d_ 80
25
+ r_ 80
26
+ _a 66
27
+ yd 65
28
+ th 64
29
+ yn_ 62
30
+ . 59
31
+ ym 51
32
+ i_ 51
33
+ _yn 50
34
+ _d 50
35
+ u_ 49
36
+ l_ 49
37
+ ydd 49
38
+ ae 48
39
+ _i 47
40
+ _yn_ 46
41
+ wy 44
42
+ ra 43
43
+ an 42
44
+ ol 42
45
+ b 41
46
+ y_ 40
47
+ ar 40
48
+ ia 39
49
+ ei 39
50
+ ' 39
51
+ di 37
52
+ _g 37
53
+ h_ 36
54
+ ed 35
55
+ dd_ 34
56
+ _y_ 34
57
+ _c 33
58
+ ._ 32
59
+ 'r 32
60
+ ai 31
61
+ da 31
62
+ th_ 30
63
+ it 30
64
+ au 30
65
+ ne 30
66
+ ith 30
67
+ er 29
68
+ _e 29
69
+ , 29
70
+ g_ 27
71
+ en 27
72
+ 'r_ 27
73
+ od 27
74
+ de 27
75
+ p 27
76
+ yr 26
77
+ ha 26
78
+ o_ 26
79
+ _n 26
80
+ ddi 26
81
+ eg 25
82
+ ,_ 25
83
+ wyd 25
84
+ _h 25
85
+ mr 25
86
+ cy 24
87
+ _f 24
88
+ au_ 24
89
+ hy 24
90
+ a_ 24
91
+ ll 24
92
+ ymr 24
93
+ ol_ 23
94
+ if 23
95
+ io 23
96
+ _p 23
97
+ _dd 23
98
+ G 22
99
+ ad 22
100
+ _o 22
101
+ ny 22
102
+ ri 22
103
+ _i_ 22
104
+ rae 21
105
+ wn 21
106
+ ew 21
107
+ fe 21
108
+ no 20
109
+ _. 20
110
+ _._ 20
111
+ _s 20
112
+ _ar 20
113
+ _cy 20
114
+ do 19
115
+ wydd 19
116
+ ydd_ 19
117
+ ch 19
118
+ eth 19
119
+ __ 19
120
+ _m 19
121
+ _G 19
122
+ yf 19
123
+ et 19
124
+ gy 18
125
+ nyd 18
126
+ nydd 18
127
+ la 18
128
+ at 18
129
+ aeth 17
130
+ yr_ 17
131
+ mrae 17
132
+ ymra 17
133
+ eu 17
134
+ el 17
135
+ s_ 17
136
+ ymrae 17
137
+ ho 17
138
+ aeg 17
139
+ mra 17
140
+ rh 17
141
+ aet 17
142
+ mraeg 17
143
+ ef 17
144
+ raeg 17
145
+ Gy 16
146
+ me 16
147
+ fa 16
148
+ aith 16
149
+ nt 16
150
+ ni 16
151
+ ait 16
152
+ Gym 15
153
+ ff 15
154
+ _b 15
155
+ efn 15
156
+ we 15
157
+ _Gy 15
158
+ Gymr 15
159
+ le 15
160
+ er_ 15
161
+ ac 15
162
+ fn 15
163
+ edd 15
164
+ yddi 15
165
+ ro 14
166
+ nn 14
167
+ _Gymr 14
168
+ ys 14
169
+ _yr 14
170
+ _yr_ 14
171
+ si 14
172
+ _Gym 14
173
+ Gymra 14
174
+ dde 13
175
+ efny 13
176
+ _ei 13
177
+ al 13
178
+ eit 13
179
+ oed 13
180
+ efnyd 13
181
+ fny 13
182
+ fnydd 13
183
+ eth_ 13
184
+ oe 13
185
+ fnyd 13
186
+ _a_ 13
187
+ _l 13
188
+ gw 13
189
+ defn 13
190
+ def 13
191
+ eith 13
192
+ rha 13
193
+ defny 13
194
+ sy 12
195
+ rif 12
196
+ c_ 12
197
+ _w 12
198
+ aeth_ 12
199
+ ng 12
200
+ _hy 12
201
+ _ne 12
202
+ ga 12
203
+ nyddi 12
204
+ wr 12
205
+ oedd 12
206
+ dol 12
207
+ _gy 12
208
+ es 12
209
+ C 12
210
+ wydd_ 11
211
+ ar_ 11
212
+ ig 11
213
+ _ei_ 11
214
+ iait 11
215
+ _me 11
216
+ rth 11
217
+ _o_ 11
218
+ _ia 11
219
+ ry 11
220
+ iaith 11
221
+ rd 11
222
+ aw 11
223
+ t_ 11
224
+ o'r 11
225
+ rt 11
226
+ o' 11
227
+ li 11
228
+ id 11
229
+ iai 11
230
+ re 11
231
+ ewn 11
232
+ ei_ 11
233
+ an_ 10
234
+ fo 10
235
+ dda 10
236
+ dio 10
237
+ eg_ 10
238
+ on 10
239
+ _da 10
240
+ fr 10
241
+ ith_ 10
242
+ yw 10
243
+ ddio 10
244
+ wn_ 10
245
+ na 10
246
+ _ac 10
247
+ eu_ 10
248
+ S 10
249
+ _dde 10
250
+ te 10
251
+ gr 10
252
+ ad_ 10
253
+ ddo 10
254
+ af 10
255
+ hw 10
256
+ cr 10
257
+ f_ 9
258
+ og 9
259
+ M 9
260
+ _gw 9
261
+ sg 9
262
+ _t 9
263
+ os 9
264
+ un 9
265
+ il 9
266
+ o'r_ 9
267
+ aith_ 9
268
+ A 9
269
+ Y 9
270
+ fy 9
271
+ Cy 9
272
+ new 9
273
+ od_ 9
274
+ st 9
275
+ _ym 9
276
+ yddio 9
277
+ bl 9
278
+ fer 9
279
+ ac_ 9
280
+ mewn 9
281
+ dr 9
282
+ mew 9
283
+ _ar_ 8
284
+ dy 8
285
+ so 8
286
+ ly 8
287
+ hr 8
288
+ _r 8
289
+ ma 8
290
+ _iai 8
291
+ lw 8
292
+ _C 8
293
+ cyf 8
294
+ gwe 8
295
+ u' 8
296
+ * 8
297
+ ic 8
298
+ _mew 8
299
+ iad 8
300
+ or 8
301
+ ge 8
302
+ aeg_ 8
303
+ _ac_ 8
304
+ he 8
305
+ raeg_ 8
306
+ _iait 8
307
+ E 8
308
+ _fe 8
309
+ is 8
310
+ _mewn 8
311
+ g, 8
312
+ _sy 8
313
+ dia 8
314
+ in 8
315
+ .a 7
316
+ ewyd 7
317
+ di_ 7
318
+ han 7
319
+ nd 7
320
+ _new 7
321
+ odol 7
322
+ _ll 7
323
+ fl 7
324
+ rth_ 7
325
+ _Y 7
326
+ edd_ 7
327
+ ddefn 7
328
+ _eu_ 7
329
+ nt_ 7
330
+ i' 7
331
+ _ddef 7
332
+ ewn_ 7
333
+ yg 7
334
+ Cym 7
335
+ ent 7
336
+ my 7
337
+ _eu 7
338
+ pa 7
339
+ u'r 7
340
+ id_ 7
341
+ newyd 7
342
+ oedd_ 7
343
+ ewydd 7
344
+ _cyf 7
345
+ ewy 7
346
+ _M 7
347
+ ddef 7
348
+ du 7
349
+ m_ 7
350
+ B 7
351
+ g. 7
352
+ w_ 7
353
+ yd_ 7
354
+ mewn_ 7
355
+ yddo 7
356
+ tr 7
357
+ dat 7
358
+ odo 7
359
+ ll_ 7
360
+ rw 7
361
+ gu 7
362
+ nol 7
363
+ ig_ 7
364
+ newy 7
365
+ ob 7
366
+ hyn 6
367
+ hyd 6
368
+ cyn 6
369
+ _ga 6
370
+ a' 6
371
+ N 6
372
+ ant 6
373
+ rwy 6
374
+ h. 6
375
+ _i' 6
376
+ lwyd 6
377
+ _si 6
378
+ pe 6
379
+ fan 6
380
+ eg, 6
381
+ gh 6
382
+ rhau 6
383
+ dal 6
384
+ ann 6
385
+ us 6
386
+ ian 6
387
+ _dda 6
388
+ _pa 6
389
+ fle 6
390
+ pr 6
391
+ I 6
392
+ _de 6
393
+ as 6
394
+ lwy 6
395
+ fod 6
396
+ ned 6
397
+ _ddi 6
398
+ ir 6
399
+ rdd 6
400
+ _rh 6