scylla 0.1.0 → 0.2.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (80) hide show
  1. data/Gemfile +0 -1
  2. data/Gemfile.lock +0 -10
  3. data/README.rdoc +22 -0
  4. data/VERSION +1 -1
  5. data/bin/scylla +13 -0
  6. data/lib/scylla/classifier.rb +2 -2
  7. data/lib/scylla/generator.rb +1 -1
  8. data/lib/scylla/lms/13375P33K.lm +400 -0
  9. data/lib/scylla/lms/afrikaans.lm +400 -0
  10. data/lib/scylla/lms/arabic.lm +400 -0
  11. data/lib/scylla/lms/bulgarian.lm +400 -0
  12. data/lib/scylla/lms/catalan.lm +400 -0
  13. data/lib/scylla/lms/chinese.lm +400 -0
  14. data/lib/scylla/lms/danish.lm +400 -0
  15. data/lib/scylla/lms/english.lm +400 -0
  16. data/lib/scylla/lms/esperanto.lm +400 -0
  17. data/lib/scylla/lms/finnish.lm +400 -0
  18. data/lib/scylla/lms/french.lm +400 -0
  19. data/lib/scylla/lms/german.lm +400 -0
  20. data/lib/scylla/lms/greek-iso8859-7.lm +400 -0
  21. data/lib/scylla/lms/hebrew.lm +400 -0
  22. data/lib/scylla/lms/hindi.lm +400 -0
  23. data/lib/scylla/lms/hungarian.lm +400 -0
  24. data/lib/scylla/lms/icelandic.lm +400 -0
  25. data/lib/scylla/lms/indonesian.lm +400 -0
  26. data/lib/scylla/lms/irish.lm +400 -0
  27. data/lib/scylla/lms/italian.lm +400 -0
  28. data/lib/scylla/lms/japanese.lm +400 -0
  29. data/lib/scylla/lms/kannada.lm +400 -0
  30. data/lib/scylla/lms/korean.lm +400 -0
  31. data/lib/scylla/lms/latin.lm +400 -0
  32. data/lib/scylla/lms/malay.lm +400 -0
  33. data/lib/scylla/lms/marathi.lm +400 -0
  34. data/lib/scylla/lms/mingo.lm +400 -0
  35. data/lib/scylla/lms/nepali.lm +400 -0
  36. data/lib/scylla/lms/norwegian.lm +400 -0
  37. data/lib/scylla/lms/polish.lm +400 -0
  38. data/lib/scylla/lms/portuguese.lm +400 -0
  39. data/lib/scylla/lms/quechua.lm +400 -0
  40. data/lib/scylla/lms/romanian.lm +400 -0
  41. data/lib/scylla/lms/rumantsch.lm +400 -0
  42. data/lib/scylla/lms/russian.lm +400 -0
  43. data/lib/scylla/lms/sanskrit.lm +400 -0
  44. data/lib/scylla/lms/scots_gaelic.lm +400 -0
  45. data/lib/scylla/lms/serbian-ascii.lm +400 -0
  46. data/lib/scylla/lms/slovak-ascii.lm +400 -0
  47. data/lib/scylla/lms/slovenian-ascii.lm +400 -0
  48. data/lib/scylla/lms/spanish.lm +400 -0
  49. data/lib/scylla/lms/swahili.lm +400 -0
  50. data/lib/scylla/lms/swedish.lm +400 -0
  51. data/lib/scylla/lms/tagalog.lm +400 -0
  52. data/lib/scylla/lms/tamil.lm +400 -0
  53. data/lib/scylla/lms/thai.lm +400 -0
  54. data/lib/scylla/lms/turkish.lm +400 -0
  55. data/lib/scylla/lms/ukrainian-koi8_u.lm +400 -0
  56. data/lib/scylla/lms/vietnamese.lm +400 -0
  57. data/lib/scylla/lms/welsh.lm +400 -0
  58. data/lib/scylla/lms/yiddish-utf.lm +400 -0
  59. data/lib/scylla/loader.rb +8 -1
  60. data/scylla-0.1.0.gem +0 -0
  61. data/scylla.gemspec +69 -3
  62. data/source_texts/kannada.txt +283 -0
  63. data/test/classifier_test.rb +7 -0
  64. data/test/fixtures/lms/13375p33k.lm +400 -0
  65. data/test/fixtures/lms/danish.lm +400 -0
  66. data/test/fixtures/lms/english.lm +400 -0
  67. data/test/fixtures/lms/french.lm +400 -0
  68. data/test/fixtures/lms/german.lm +400 -0
  69. data/test/fixtures/lms/japanese.lm +400 -0
  70. data/test/fixtures/lms/kannada.lm +400 -0
  71. data/test/fixtures/lms/spanish.lm +400 -0
  72. data/test/fixtures/source_texts/13375P33K.txt +199 -0
  73. data/test/fixtures/source_texts/japanese.txt +199 -0
  74. data/test/fixtures/source_texts/kannada.txt +283 -0
  75. data/test/generator_test.rb +10 -7
  76. data/test/helper.rb +5 -6
  77. data/test/loader_test.rb +1 -0
  78. data/test/scylla_test.rb +1 -0
  79. metadata +78 -14
  80. data/source_texts/armenian.txt +0 -86
@@ -0,0 +1,400 @@
1
+ _ 1548
2
+ e 554
3
+ s 334
4
+ i 300
5
+ n 282
6
+ r 280
7
+ a 268
8
+ t 252
9
+ o 214
10
+ u 206
11
+ l 182
12
+ e_ 180
13
+ d 175
14
+ s_ 139
15
+ c 130
16
+ � 127
17
+ p 125
18
+ _d 121
19
+ es 99
20
+ m 93
21
+ _l 79
22
+ on 78
23
+ de 76
24
+ le 70
25
+ re 68
26
+ en 67
27
+ _de 67
28
+ es_ 65
29
+ , 63
30
+ t_ 60
31
+ ,_ 59
32
+ f 57
33
+ nt 53
34
+ __ 52
35
+ _p 50
36
+ de_ 50
37
+ v 48
38
+ er 46
39
+ _de_ 46
40
+ g 45
41
+ n_ 45
42
+ _s 43
43
+ an 43
44
+ _a 42
45
+ _e 41
46
+ q 40
47
+ _c 40
48
+ _le 40
49
+ ai 40
50
+ qu 40
51
+ h 39
52
+ ' 39
53
+ ou 38
54
+ it 38
55
+ is 38
56
+ ns 37
57
+ te 35
58
+ ra 35
59
+ r_ 35
60
+ io 35
61
+ a_ 34
62
+ ti 34
63
+ se 34
64
+ co 33
65
+ ion 32
66
+ in 30
67
+ ie 30
68
+ ur 29
69
+ la 28
70
+ le_ 28
71
+ les 28
72
+ . 28
73
+ pr 27
74
+ tr 26
75
+ ent 26
76
+ di 25
77
+ me 25
78
+ et 25
79
+ ar 25
80
+ u_ 24
81
+ _m 24
82
+ � 24
83
+ ui 24
84
+ nd 23
85
+ au 23
86
+ �_ 23
87
+ ce 23
88
+ ir 23
89
+ _q 23
90
+ _qu 23
91
+ eu 22
92
+ les_ 22
93
+ po 22
94
+ or 22
95
+ ue 22
96
+ at 22
97
+ ro 22
98
+ pa 22
99
+ tio 21
100
+ ._ 21
101
+ _t 21
102
+ nc 21
103
+ _r 21
104
+ tion 21
105
+ _f 21
106
+ nt_ 21
107
+ b 21
108
+ ts 20
109
+ ons 20
110
+ on_ 20
111
+ ne 20
112
+ _le_ 20
113
+ si 20
114
+ st 20
115
+ ns_ 19
116
+ _co 19
117
+ que 19
118
+ d� 19
119
+ ch 19
120
+ ve 19
121
+ ss 19
122
+ el 19
123
+ un 18
124
+ _pa 18
125
+ e, 18
126
+ t� 18
127
+ _la 18
128
+ e,_ 18
129
+ r� 17
130
+ sa 17
131
+ ion_ 17
132
+ L 17
133
+ re_ 17
134
+ _les 17
135
+ i_ 16
136
+ ec 16
137
+ x 16
138
+ la_ 16
139
+ _la_ 16
140
+ _n 15
141
+ il 15
142
+ �_ 15
143
+ _et 15
144
+ ap 15
145
+ li 15
146
+ � 15
147
+ ri 15
148
+ ut 15
149
+ _� 15
150
+ ci 15
151
+ _i 15
152
+ et_ 15
153
+ _�_ 15
154
+ om 15
155
+ pe 14
156
+ em 14
157
+ rt 14
158
+ _en 14
159
+ con 14
160
+ _L 14
161
+ �r 14
162
+ he 14
163
+ ont 14
164
+ A 14
165
+ l' 14
166
+ par 14
167
+ ait 14
168
+ _se 14
169
+ _d� 14
170
+ oi 14
171
+ as 14
172
+ _par 13
173
+ ma 13
174
+ s, 13
175
+ su 13
176
+ ts_ 13
177
+ _pr 13
178
+ it_ 13
179
+ d' 13
180
+ mi 13
181
+ ue_ 13
182
+ ire 13
183
+ mp 13
184
+ _les_ 13
185
+ _l' 13
186
+ �s 13
187
+ is_ 12
188
+ our 12
189
+ fi 12
190
+ so 12
191
+ j 12
192
+ _d' 12
193
+ ur_ 12
194
+ ta 12
195
+ �s 12
196
+ _et_ 12
197
+ vi 12
198
+ y 12
199
+ ni 12
200
+ ge 12
201
+ s,_ 12
202
+ mo 11
203
+ _M 11
204
+ est 11
205
+ que_ 11
206
+ - 11
207
+ er_ 11
208
+ bl 11
209
+ des 11
210
+ ais 11
211
+ n� 11
212
+ _su 11
213
+ che 11
214
+ M 11
215
+ te_ 11
216
+ �t 11
217
+ ons_ 11
218
+ _des 11
219
+ en_ 11
220
+ res 11
221
+ av 11
222
+ ne_ 11
223
+ rs 11
224
+ tion_ 11
225
+ " 11
226
+ up 10
227
+ _re 10
228
+ ions 10
229
+ ans 10
230
+ iq 10
231
+ ic 10
232
+ t�_ 10
233
+ tre 10
234
+ _o 10
235
+ �e 10
236
+ us 10
237
+ s� 10
238
+ pp 10
239
+ pro 10
240
+ _di 10
241
+ ati 10
242
+ _des_ 10
243
+ des_ 10
244
+ _" 10
245
+ ien 10
246
+ ui_ 10
247
+ ux 10
248
+ du 10
249
+ l_ 10
250
+ _av 10
251
+ iqu 10
252
+ ces 10
253
+ �c 10
254
+ ent_ 10
255
+ ation 9
256
+ nte 9
257
+ _con 9
258
+ ll 9
259
+ ait_ 9
260
+ com 9
261
+ fo 9
262
+ t, 9
263
+ _j 9
264
+ _au 9
265
+ qui 9
266
+ al 9
267
+ r� 9
268
+ nn 9
269
+ _g 9
270
+ _so 9
271
+ se_ 9
272
+ _ce 9
273
+ qui_ 9
274
+ ces_ 9
275
+ _in 9
276
+ pl 9
277
+ dr 9
278
+ anc 9
279
+ atio 9
280
+ id 9
281
+ men 9
282
+ D 9
283
+ r�s 9
284
+ un_ 9
285
+ ique 9
286
+ 'a 9
287
+ pu 8
288
+ app 8
289
+ _u 8
290
+ �g 8
291
+ Le 8
292
+ oup 8
293
+ rs_ 8
294
+ ement 8
295
+ ig 8
296
+ da 8
297
+ _qui 8
298
+ au_ 8
299
+ ier 8
300
+ rec 8
301
+ e. 8
302
+ ca 8
303
+ it� 8
304
+ _un 8
305
+ to 8
306
+ if 8
307
+ ions_ 8
308
+ do 8
309
+ ff 8
310
+ _tr 8
311
+ sp 8
312
+ ha 8
313
+ G 8
314
+ _qui_ 8
315
+ � 8
316
+ ndi 8
317
+ l� 8
318
+ ct 8
319
+ emen 8
320
+ na 8
321
+ ment 8
322
+ ser 8
323
+ �e_ 8
324
+ �s_ 8
325
+ m� 8
326
+ ndr 8
327
+ no 8
328
+ _mo 8
329
+ eme 8
330
+ La 7
331
+ va 7
332
+ ont_ 7
333
+ im 7
334
+ rc 7
335
+ _"_ 7
336
+ _h 7
337
+ _pro 7
338
+ ble 7
339
+ t,_ 7
340
+ sion 7
341
+ end 7
342
+ ell 7
343
+ �l 7
344
+ lle 7
345
+ ect 7
346
+ omp 7
347
+ tions 7
348
+ um 7
349
+ gr 7
350
+ ans_ 7
351
+ du_ 7
352
+ x_ 7
353
+ ce_ 7
354
+ _ch 7
355
+ for 7
356
+ B 7
357
+ os 7
358
+ eur 7
359
+ _Le 7
360
+ "_ 7
361
+ C 7
362
+ sio 7
363
+ F 7
364
+ _fo 7
365
+ ire_ 7
366
+ uis 7
367
+ ort 7
368
+ r�s 7
369
+ rai 7
370
+ u' 6
371
+ r, 6
372
+ aire 6
373
+ pas 6
374
+ qu' 6
375
+ iss 6
376
+ _do 6
377
+ 'i 6
378
+ lu 6
379
+ ues 6
380
+ ja 6
381
+ _to 6
382
+ _du 6
383
+ ess 6
384
+ ist 6
385
+ s. 6
386
+ _ma 6
387
+ ac 6
388
+ _que 6
389
+ urs 6
390
+ st_ 6
391
+ enc 6
392
+ �s_ 6
393
+ lo 6
394
+ _au_ 6
395
+ ng 6
396
+ ea 6
397
+ cou 6
398
+ _ap 6
399
+ ass 6
400
+ mai 6