scylla 0.1.0 → 0.2.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (80) hide show
  1. data/Gemfile +0 -1
  2. data/Gemfile.lock +0 -10
  3. data/README.rdoc +22 -0
  4. data/VERSION +1 -1
  5. data/bin/scylla +13 -0
  6. data/lib/scylla/classifier.rb +2 -2
  7. data/lib/scylla/generator.rb +1 -1
  8. data/lib/scylla/lms/13375P33K.lm +400 -0
  9. data/lib/scylla/lms/afrikaans.lm +400 -0
  10. data/lib/scylla/lms/arabic.lm +400 -0
  11. data/lib/scylla/lms/bulgarian.lm +400 -0
  12. data/lib/scylla/lms/catalan.lm +400 -0
  13. data/lib/scylla/lms/chinese.lm +400 -0
  14. data/lib/scylla/lms/danish.lm +400 -0
  15. data/lib/scylla/lms/english.lm +400 -0
  16. data/lib/scylla/lms/esperanto.lm +400 -0
  17. data/lib/scylla/lms/finnish.lm +400 -0
  18. data/lib/scylla/lms/french.lm +400 -0
  19. data/lib/scylla/lms/german.lm +400 -0
  20. data/lib/scylla/lms/greek-iso8859-7.lm +400 -0
  21. data/lib/scylla/lms/hebrew.lm +400 -0
  22. data/lib/scylla/lms/hindi.lm +400 -0
  23. data/lib/scylla/lms/hungarian.lm +400 -0
  24. data/lib/scylla/lms/icelandic.lm +400 -0
  25. data/lib/scylla/lms/indonesian.lm +400 -0
  26. data/lib/scylla/lms/irish.lm +400 -0
  27. data/lib/scylla/lms/italian.lm +400 -0
  28. data/lib/scylla/lms/japanese.lm +400 -0
  29. data/lib/scylla/lms/kannada.lm +400 -0
  30. data/lib/scylla/lms/korean.lm +400 -0
  31. data/lib/scylla/lms/latin.lm +400 -0
  32. data/lib/scylla/lms/malay.lm +400 -0
  33. data/lib/scylla/lms/marathi.lm +400 -0
  34. data/lib/scylla/lms/mingo.lm +400 -0
  35. data/lib/scylla/lms/nepali.lm +400 -0
  36. data/lib/scylla/lms/norwegian.lm +400 -0
  37. data/lib/scylla/lms/polish.lm +400 -0
  38. data/lib/scylla/lms/portuguese.lm +400 -0
  39. data/lib/scylla/lms/quechua.lm +400 -0
  40. data/lib/scylla/lms/romanian.lm +400 -0
  41. data/lib/scylla/lms/rumantsch.lm +400 -0
  42. data/lib/scylla/lms/russian.lm +400 -0
  43. data/lib/scylla/lms/sanskrit.lm +400 -0
  44. data/lib/scylla/lms/scots_gaelic.lm +400 -0
  45. data/lib/scylla/lms/serbian-ascii.lm +400 -0
  46. data/lib/scylla/lms/slovak-ascii.lm +400 -0
  47. data/lib/scylla/lms/slovenian-ascii.lm +400 -0
  48. data/lib/scylla/lms/spanish.lm +400 -0
  49. data/lib/scylla/lms/swahili.lm +400 -0
  50. data/lib/scylla/lms/swedish.lm +400 -0
  51. data/lib/scylla/lms/tagalog.lm +400 -0
  52. data/lib/scylla/lms/tamil.lm +400 -0
  53. data/lib/scylla/lms/thai.lm +400 -0
  54. data/lib/scylla/lms/turkish.lm +400 -0
  55. data/lib/scylla/lms/ukrainian-koi8_u.lm +400 -0
  56. data/lib/scylla/lms/vietnamese.lm +400 -0
  57. data/lib/scylla/lms/welsh.lm +400 -0
  58. data/lib/scylla/lms/yiddish-utf.lm +400 -0
  59. data/lib/scylla/loader.rb +8 -1
  60. data/scylla-0.1.0.gem +0 -0
  61. data/scylla.gemspec +69 -3
  62. data/source_texts/kannada.txt +283 -0
  63. data/test/classifier_test.rb +7 -0
  64. data/test/fixtures/lms/13375p33k.lm +400 -0
  65. data/test/fixtures/lms/danish.lm +400 -0
  66. data/test/fixtures/lms/english.lm +400 -0
  67. data/test/fixtures/lms/french.lm +400 -0
  68. data/test/fixtures/lms/german.lm +400 -0
  69. data/test/fixtures/lms/japanese.lm +400 -0
  70. data/test/fixtures/lms/kannada.lm +400 -0
  71. data/test/fixtures/lms/spanish.lm +400 -0
  72. data/test/fixtures/source_texts/13375P33K.txt +199 -0
  73. data/test/fixtures/source_texts/japanese.txt +199 -0
  74. data/test/fixtures/source_texts/kannada.txt +283 -0
  75. data/test/generator_test.rb +10 -7
  76. data/test/helper.rb +5 -6
  77. data/test/loader_test.rb +1 -0
  78. data/test/scylla_test.rb +1 -0
  79. metadata +78 -14
  80. data/source_texts/armenian.txt +0 -86
@@ -0,0 +1,400 @@
1
+ _ 1596
2
+ e 609
3
+ a 326
4
+ n 308
5
+ i 281
6
+ o 229
7
+ r 224
8
+ t 206
9
+ s 202
10
+ d 190
11
+ e_ 141
12
+ l 126
13
+ g 125
14
+ m 124
15
+ ie 123
16
+ k 122
17
+ n_ 111
18
+ t_ 92
19
+ h 89
20
+ an 83
21
+ er 83
22
+ v 82
23
+ y 81
24
+ _d 76
25
+ aa 75
26
+ ie_ 74
27
+ _h 73
28
+ w 73
29
+ di 73
30
+ s_ 71
31
+ _v 66
32
+ en 65
33
+ . 62
34
+ ge 60
35
+ r_ 60
36
+ y_ 59
37
+ u 59
38
+ _di 58
39
+ _s 57
40
+ et 56
41
+ _n 56
42
+ _m 53
43
+ die 51
44
+ b 50
45
+ te 48
46
+ ee 47
47
+ ni 46
48
+ _w 46
49
+ in 46
50
+ _die 45
51
+ die_ 45
52
+ an_ 45
53
+ et_ 44
54
+ _e 43
55
+ p 43
56
+ de 42
57
+ _die_ 41
58
+ _o 40
59
+ ._ 36
60
+ nd 36
61
+ _g 35
62
+ el 35
63
+ ar 35
64
+ at 35
65
+ nie 34
66
+ oe 34
67
+ k_ 34
68
+ wa 34
69
+ _ni 33
70
+ , 33
71
+ _a 33
72
+ he 32
73
+ oo 32
74
+ g_ 32
75
+ _nie 32
76
+ ek 30
77
+ ,_ 30
78
+ om 29
79
+ _i 29
80
+ en_ 28
81
+ me 28
82
+ va 28
83
+ _k 28
84
+ _he 28
85
+ aan 28
86
+ _wa 28
87
+ is 27
88
+ _en 26
89
+ f 26
90
+ at_ 26
91
+ _ge 26
92
+ es 25
93
+ or 25
94
+ it 24
95
+ as 24
96
+ _t 24
97
+ ma 24
98
+ er_ 24
99
+ on 24
100
+ _b 24
101
+ m_ 24
102
+ l_ 24
103
+ het 24
104
+ aar 24
105
+ d_ 23
106
+ van 23
107
+ li 22
108
+ _het 22
109
+ ou 22
110
+ ra 22
111
+ _va 21
112
+ be 21
113
+ het_ 21
114
+ " 21
115
+ _het_ 20
116
+ rd 20
117
+ ng 20
118
+ om_ 20
119
+ al 20
120
+ da 20
121
+ _van 19
122
+ st 19
123
+ ke 19
124
+ ' 19
125
+ _en_ 19
126
+ sy 18
127
+ ag 18
128
+ is_ 18
129
+ sy_ 18
130
+ van_ 18
131
+ te_ 18
132
+ re 17
133
+ and 17
134
+ aar_ 17
135
+ se 17
136
+ ro 17
137
+ - 17
138
+ _van_ 17
139
+ hy 17
140
+ le 17
141
+ der 17
142
+ ar_ 17
143
+ nde 17
144
+ _ma 17
145
+ _hy 16
146
+ _me 16
147
+ H 16
148
+ we 16
149
+ as_ 16
150
+ ei 16
151
+ aan_ 16
152
+ ns 15
153
+ ik 15
154
+ ho 15
155
+ em 15
156
+ so 15
157
+ nie_ 15
158
+ _sy_ 15
159
+ _sy 15
160
+ _' 15
161
+ ko 15
162
+ it_ 15
163
+ _H 15
164
+ ig 15
165
+ 'n 14
166
+ hy_ 14
167
+ mo 14
168
+ ha 14
169
+ vi 14
170
+ ve 14
171
+ nt 14
172
+ _nie_ 14
173
+ vo 14
174
+ rs 14
175
+ si 14
176
+ in_ 14
177
+ ou_ 13
178
+ 'n_ 13
179
+ _in 13
180
+ _be 13
181
+ _'n 13
182
+ _'n_ 13
183
+ no 13
184
+ _vi 13
185
+ _hy_ 13
186
+ rt 13
187
+ u_ 13
188
+ ag_ 13
189
+ op 13
190
+ e, 13
191
+ wo 13
192
+ eer 13
193
+ ed 12
194
+ ing 12
195
+ ne 12
196
+ e,_ 12
197
+ ver 12
198
+ ew 12
199
+ _te_ 12
200
+ ek_ 12
201
+ _vo 12
202
+ _is 12
203
+ was 12
204
+ _te 12
205
+ _om 12
206
+ _om_ 12
207
+ wat 12
208
+ al_ 12
209
+ _is_ 11
210
+ bl 11
211
+ ta 11
212
+ _mo 11
213
+ _no 11
214
+ _so 11
215
+ moe 11
216
+ ord 11
217
+ met 11
218
+ maa 11
219
+ _was 11
220
+ ka 11
221
+ vir 11
222
+ ir 11
223
+ _on 11
224
+ vir_ 11
225
+ _ko 11
226
+ ir_ 11
227
+ _p 11
228
+ wat_ 11
229
+ e. 11
230
+ S 11
231
+ met_ 10
232
+ sie 10
233
+ p_ 10
234
+ nge 10
235
+ was_ 10
236
+ vr 10
237
+ _aa 10
238
+ to 10
239
+ _ha 10
240
+ ers 10
241
+ raa 10
242
+ _in_ 10
243
+ oor 10
244
+ ri 10
245
+ nder 10
246
+ eg 10
247
+ lik 10
248
+ E 10
249
+ ui 10
250
+ _da 10
251
+ _ve 10
252
+ sta 10
253
+ nk 10
254
+ f_ 10
255
+ _vir 10
256
+ _was_ 10
257
+ _aan 10
258
+ _vir_ 10
259
+ _ver 9
260
+ ges 9
261
+ ie. 9
262
+ ll 9
263
+ man 9
264
+ _met 9
265
+ de_ 9
266
+ _ho 9
267
+ _vr 9
268
+ _moe 9
269
+ pr 9
270
+ el_ 9
271
+ _ek 9
272
+ _maa 9
273
+ Hy 9
274
+ _wat 9
275
+ og 9
276
+ ." 9
277
+ _se 9
278
+ A 9
279
+ _met_ 9
280
+ rte 8
281
+ _l 8
282
+ _my 8
283
+ aat 8
284
+ M 8
285
+ wor 8
286
+ _Hy 8
287
+ _my_ 8
288
+ ga 8
289
+ my_ 8
290
+ een 8
291
+ my 8
292
+ es_ 8
293
+ Hy_ 8
294
+ _op 8
295
+ din 8
296
+ kl 8
297
+ _Hy_ 8
298
+ taa 8
299
+ _ek_ 8
300
+ ewe 8
301
+ _to 8
302
+ j 8
303
+ eu 8
304
+ ak 8
305
+ sk 8
306
+ _nie. 8
307
+ _r 8
308
+ word 8
309
+ nie. 8
310
+ na 8
311
+ _al 8
312
+ _wat_ 8
313
+ pa 8
314
+ D 8
315
+ le_ 7
316
+ erd 7
317
+ uit 7
318
+ br 7
319
+ staa 7
320
+ a_ 7
321
+ op_ 7
322
+ _pr 7
323
+ ier 7
324
+ er. 7
325
+ lin 7
326
+ _maar 7
327
+ oe_ 7
328
+ nd_ 7
329
+ id 7
330
+ do 7
331
+ ders 7
332
+ ke_ 7
333
+ _ges 7
334
+ r. 7
335
+ gew 7
336
+ ie,_ 7
337
+ end 7
338
+ _st 7
339
+ O 7
340
+ tee 7
341
+ ur 7
342
+ dit 7
343
+ gaan 7
344
+ _ne 7
345
+ wee 7
346
+ ger 7
347
+ oet 7
348
+ s. 7
349
+ maar 7
350
+ ie, 7
351
+ maar_ 7
352
+ gaa 7
353
+ _dit 7
354
+ og_ 7
355
+ la 7
356
+ ste 7
357
+ nog 6
358
+ eer_ 6
359
+ _bl 6
360
+ _hier 6
361
+ _hi 6
362
+ ns_ 6
363
+ gaan_ 6
364
+ toe 6
365
+ yd 6
366
+ lle 6
367
+ ens 6
368
+ eur 6
369
+ _u 6
370
+ nders 6
371
+ dat_ 6
372
+ os 6
373
+ hi 6
374
+ eid 6
375
+ _wo 6
376
+ t. 6
377
+ _uit 6
378
+ ert 6
379
+ _as 6
380
+ nda 6
381
+ aak 6
382
+ ng_ 6
383
+ ind 6
384
+ dat 6
385
+ mer 6
386
+ oet_ 6
387
+ nie, 6
388
+ _nie, 6
389
+ rs_ 6
390
+ nig 6
391
+ lo 6
392
+ e._ 6
393
+ r,_ 6
394
+ ie._ 6
395
+ ad 6
396
+ hier 6
397
+ am 6
398
+ eke 6
399
+ ige 6
400
+ eli 6