scylla 0.1.0 → 0.2.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (80) hide show
  1. data/Gemfile +0 -1
  2. data/Gemfile.lock +0 -10
  3. data/README.rdoc +22 -0
  4. data/VERSION +1 -1
  5. data/bin/scylla +13 -0
  6. data/lib/scylla/classifier.rb +2 -2
  7. data/lib/scylla/generator.rb +1 -1
  8. data/lib/scylla/lms/13375P33K.lm +400 -0
  9. data/lib/scylla/lms/afrikaans.lm +400 -0
  10. data/lib/scylla/lms/arabic.lm +400 -0
  11. data/lib/scylla/lms/bulgarian.lm +400 -0
  12. data/lib/scylla/lms/catalan.lm +400 -0
  13. data/lib/scylla/lms/chinese.lm +400 -0
  14. data/lib/scylla/lms/danish.lm +400 -0
  15. data/lib/scylla/lms/english.lm +400 -0
  16. data/lib/scylla/lms/esperanto.lm +400 -0
  17. data/lib/scylla/lms/finnish.lm +400 -0
  18. data/lib/scylla/lms/french.lm +400 -0
  19. data/lib/scylla/lms/german.lm +400 -0
  20. data/lib/scylla/lms/greek-iso8859-7.lm +400 -0
  21. data/lib/scylla/lms/hebrew.lm +400 -0
  22. data/lib/scylla/lms/hindi.lm +400 -0
  23. data/lib/scylla/lms/hungarian.lm +400 -0
  24. data/lib/scylla/lms/icelandic.lm +400 -0
  25. data/lib/scylla/lms/indonesian.lm +400 -0
  26. data/lib/scylla/lms/irish.lm +400 -0
  27. data/lib/scylla/lms/italian.lm +400 -0
  28. data/lib/scylla/lms/japanese.lm +400 -0
  29. data/lib/scylla/lms/kannada.lm +400 -0
  30. data/lib/scylla/lms/korean.lm +400 -0
  31. data/lib/scylla/lms/latin.lm +400 -0
  32. data/lib/scylla/lms/malay.lm +400 -0
  33. data/lib/scylla/lms/marathi.lm +400 -0
  34. data/lib/scylla/lms/mingo.lm +400 -0
  35. data/lib/scylla/lms/nepali.lm +400 -0
  36. data/lib/scylla/lms/norwegian.lm +400 -0
  37. data/lib/scylla/lms/polish.lm +400 -0
  38. data/lib/scylla/lms/portuguese.lm +400 -0
  39. data/lib/scylla/lms/quechua.lm +400 -0
  40. data/lib/scylla/lms/romanian.lm +400 -0
  41. data/lib/scylla/lms/rumantsch.lm +400 -0
  42. data/lib/scylla/lms/russian.lm +400 -0
  43. data/lib/scylla/lms/sanskrit.lm +400 -0
  44. data/lib/scylla/lms/scots_gaelic.lm +400 -0
  45. data/lib/scylla/lms/serbian-ascii.lm +400 -0
  46. data/lib/scylla/lms/slovak-ascii.lm +400 -0
  47. data/lib/scylla/lms/slovenian-ascii.lm +400 -0
  48. data/lib/scylla/lms/spanish.lm +400 -0
  49. data/lib/scylla/lms/swahili.lm +400 -0
  50. data/lib/scylla/lms/swedish.lm +400 -0
  51. data/lib/scylla/lms/tagalog.lm +400 -0
  52. data/lib/scylla/lms/tamil.lm +400 -0
  53. data/lib/scylla/lms/thai.lm +400 -0
  54. data/lib/scylla/lms/turkish.lm +400 -0
  55. data/lib/scylla/lms/ukrainian-koi8_u.lm +400 -0
  56. data/lib/scylla/lms/vietnamese.lm +400 -0
  57. data/lib/scylla/lms/welsh.lm +400 -0
  58. data/lib/scylla/lms/yiddish-utf.lm +400 -0
  59. data/lib/scylla/loader.rb +8 -1
  60. data/scylla-0.1.0.gem +0 -0
  61. data/scylla.gemspec +69 -3
  62. data/source_texts/kannada.txt +283 -0
  63. data/test/classifier_test.rb +7 -0
  64. data/test/fixtures/lms/13375p33k.lm +400 -0
  65. data/test/fixtures/lms/danish.lm +400 -0
  66. data/test/fixtures/lms/english.lm +400 -0
  67. data/test/fixtures/lms/french.lm +400 -0
  68. data/test/fixtures/lms/german.lm +400 -0
  69. data/test/fixtures/lms/japanese.lm +400 -0
  70. data/test/fixtures/lms/kannada.lm +400 -0
  71. data/test/fixtures/lms/spanish.lm +400 -0
  72. data/test/fixtures/source_texts/13375P33K.txt +199 -0
  73. data/test/fixtures/source_texts/japanese.txt +199 -0
  74. data/test/fixtures/source_texts/kannada.txt +283 -0
  75. data/test/generator_test.rb +10 -7
  76. data/test/helper.rb +5 -6
  77. data/test/loader_test.rb +1 -0
  78. data/test/scylla_test.rb +1 -0
  79. metadata +78 -14
  80. data/source_texts/armenian.txt +0 -86
@@ -0,0 +1,400 @@
1
+ _ 1404
2
+ a 445
3
+ o 425
4
+ e 409
5
+ s 292
6
+ r 260
7
+ i 259
8
+ t 203
9
+ d 195
10
+ n 193
11
+ m 162
12
+ o_ 147
13
+ u 144
14
+ c 130
15
+ a_ 118
16
+ e_ 103
17
+ p 100
18
+ s_ 96
19
+ _d 96
20
+ l 94
21
+ de 77
22
+ os 67
23
+ _a 65
24
+ es 65
25
+ , 62
26
+ do 61
27
+ ra 60
28
+ nt 59
29
+ ,_ 54
30
+ _de 52
31
+ _p 49
32
+ v 49
33
+ re 48
34
+ os_ 48
35
+ to 47
36
+ ar 46
37
+ ta 45
38
+ or 45
39
+ . 45
40
+ te 44
41
+ en 44
42
+ de_ 44
43
+ g 43
44
+ co 42
45
+ _c 41
46
+ _s 41
47
+ er 39
48
+ ri 38
49
+ f 38
50
+ se 37
51
+ as 37
52
+ do_ 36
53
+ da 36
54
+ b 36
55
+ _e 36
56
+ _n 36
57
+ ad 35
58
+ r_ 35
59
+ _m 35
60
+ m_ 35
61
+ ma 34
62
+ q 33
63
+ qu 33
64
+ st 33
65
+ _t 33
66
+ no 32
67
+ � 32
68
+ �o 32
69
+ � 32
70
+ _o 31
71
+ _de_ 31
72
+ ia 30
73
+ is 30
74
+ an 29
75
+ pa 28
76
+ me 28
77
+ __ 28
78
+ _co 28
79
+ ue 28
80
+ in 27
81
+ io 27
82
+ on 27
83
+ al 27
84
+ h 27
85
+ nte 26
86
+ ti 26
87
+ �o_ 26
88
+ que 26
89
+ am 26
90
+ ent 25
91
+ om 25
92
+ _do 25
93
+ ca 24
94
+ po 24
95
+ _qu 24
96
+ em 24
97
+ _q 24
98
+ _se 23
99
+ _f 22
100
+ _que 21
101
+ � 21
102
+ _a_ 21
103
+ ci 21
104
+ ec 20
105
+ as_ 20
106
+ ei 20
107
+ to_ 19
108
+ ic 19
109
+ o, 19
110
+ tr 19
111
+ ou 18
112
+ ue_ 18
113
+ que_ 18
114
+ ado 18
115
+ ss 18
116
+ _pa 18
117
+ a� 18
118
+ ra_ 18
119
+ na 18
120
+ ce 18
121
+ li 17
122
+ par 17
123
+ ._ 17
124
+ si 17
125
+ u_ 17
126
+ _r 17
127
+ mi 17
128
+ _do_ 17
129
+ nd 17
130
+ id 17
131
+ nto 17
132
+ _no 17
133
+ _da 16
134
+ men 16
135
+ es_ 16
136
+ um 16
137
+ o,_ 16
138
+ S 16
139
+ im 16
140
+ _que_ 16
141
+ em_ 16
142
+ � 16
143
+ s, 16
144
+ pr 16
145
+ te_ 15
146
+ � 15
147
+ it 15
148
+ mo 15
149
+ sa 15
150
+ _re 15
151
+ res 15
152
+ rt 15
153
+ el 15
154
+ ma_ 14
155
+ .. 14
156
+ _po 14
157
+ ara 14
158
+ s,_ 14
159
+ ve 14
160
+ �� 14
161
+ ��o 14
162
+ " 14
163
+ da_ 14
164
+ ant 14
165
+ ac 14
166
+ ro 14
167
+ so 14
168
+ _par 13
169
+ ment 13
170
+ con 13
171
+ ont 13
172
+ fo 13
173
+ ir 13
174
+ dos 13
175
+ il 13
176
+ la 13
177
+ ai 13
178
+ no_ 13
179
+ _� 13
180
+ ��o_ 13
181
+ com 13
182
+ � 13
183
+ pe 12
184
+ tu 12
185
+ di 12
186
+ uma 12
187
+ sta 12
188
+ uma_ 12
189
+ dos_ 12
190
+ _o_ 12
191
+ ho 12
192
+ lh 12
193
+ est 12
194
+ � 12
195
+ tra 11
196
+ vo 11
197
+ I 11
198
+ ni 11
199
+ at 11
200
+ ep 11
201
+ rio 11
202
+ _com 11
203
+ ente 11
204
+ tos 11
205
+ er_ 11
206
+ _b 11
207
+ ap 11
208
+ _u 11
209
+ gu 11
210
+ _um 11
211
+ or_ 11
212
+ vi 10
213
+ ol 10
214
+ gr 10
215
+ ua 10
216
+ dad 10
217
+ x 10
218
+ ar_ 10
219
+ lo 10
220
+ _l 10
221
+ mu 10
222
+ ist 10
223
+ ica 10
224
+ nc 10
225
+ a��o 10
226
+ ria 10
227
+ E 10
228
+ _uma 10
229
+ nte_ 10
230
+ _uma_ 10
231
+ nto_ 10
232
+ a�� 10
233
+ _S 10
234
+ va 10
235
+ mp 9
236
+ ct 9
237
+ ia_ 9
238
+ _pr 9
239
+ ara_ 9
240
+ am_ 9
241
+ para 9
242
+ ur 9
243
+ � 9
244
+ iv 9
245
+ l_ 9
246
+ des 9
247
+ �a 9
248
+ ida 9
249
+ rec 9
250
+ _ap 9
251
+ A 9
252
+ _fo 9
253
+ _ta 9
254
+ ou_ 9
255
+ ul 9
256
+ eg 9
257
+ ne 9
258
+ �es 9
259
+ ui 9
260
+ _i 9
261
+ a��o_ 9
262
+ le 9
263
+ �e 9
264
+ sen 9
265
+ e, 8
266
+ fi 8
267
+ tes 8
268
+ ter 8
269
+ para_ 8
270
+ _e_ 8
271
+ _con 8
272
+ nta 8
273
+ _no_ 8
274
+ ade 8
275
+ os, 8
276
+ _me 8
277
+ _v 8
278
+ ba 8
279
+ ns 8
280
+ C 8
281
+ gi 8
282
+ ov 8
283
+ omo 8
284
+ oc 8
285
+ _na 8
286
+ gra 8
287
+ tado 8
288
+ ab 8
289
+ _os 8
290
+ io_ 8
291
+ ed 8
292
+ ime 8
293
+ z 8
294
+ _os_ 8
295
+ cont 8
296
+ tiv 8
297
+ _da_ 8
298
+ tad 8
299
+ rr 8
300
+ _mu 8
301
+ a, 7
302
+ ito 7
303
+ omo_ 7
304
+ min 7
305
+ das_ 7
306
+ mo_ 7
307
+ ... 7
308
+ _mi 7
309
+ _pe 7
310
+ mento 7
311
+ das 7
312
+ _te 7
313
+ idad 7
314
+ od 7
315
+ ento 7
316
+ R 7
317
+ os,_ 7
318
+ dep 7
319
+ ece 7
320
+ ado_ 7
321
+ str 7
322
+ �es_ 7
323
+ _das_ 7
324
+ _para 7
325
+ un 7
326
+ _em 7
327
+ dade 7
328
+ cia 7
329
+ tan 7
330
+ av 7
331
+ ut 7
332
+ ort 7
333
+ is_ 7
334
+ _ma 7
335
+ � 7
336
+ br 7
337
+ tar 7
338
+ nos 7
339
+ M 7
340
+ eu 7
341
+ ndo 7
342
+ _das 7
343
+ ess 7
344
+ j 7
345
+ va_ 7
346
+ �ri 6
347
+ tant 6
348
+ o. 6
349
+ ao 6
350
+ rte 6
351
+ sti 6
352
+ eri 6
353
+ ori 6
354
+ ig 6
355
+ _dep 6
356
+ como 6
357
+ _tr 6
358
+ �rio 6
359
+ se_ 6
360
+ _des 6
361
+ pu 6
362
+ muit 6
363
+ ram 6
364
+ P 6
365
+ _muit 6
366
+ lho 6
367
+ _in 6
368
+ esta 6
369
+ af 6
370
+ eu_ 6
371
+ ntes 6
372
+ anto 6
373
+ al_ 6
374
+ imen 6
375
+ - 6
376
+ ect 6
377
+ ios 6
378
+ tic 6
379
+ ge 6
380
+ ome 6
381
+ �r 6
382
+ �a_ 6
383
+ us 6
384
+ e,_ 6
385
+ a,_ 6
386
+ _ao 6
387
+ sc 6
388
+ T 6
389
+ _� 6
390
+ cor 6
391
+ ndo_ 6
392
+ tor 6
393
+ ser 6
394
+ ali 6
395
+ ente_ 6
396
+ D 6
397
+ nh 6
398
+ nos_ 6
399
+ _como 6
400
+ ta_ 6