scylla 0.1.0 → 0.2.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (80) hide show
  1. data/Gemfile +0 -1
  2. data/Gemfile.lock +0 -10
  3. data/README.rdoc +22 -0
  4. data/VERSION +1 -1
  5. data/bin/scylla +13 -0
  6. data/lib/scylla/classifier.rb +2 -2
  7. data/lib/scylla/generator.rb +1 -1
  8. data/lib/scylla/lms/13375P33K.lm +400 -0
  9. data/lib/scylla/lms/afrikaans.lm +400 -0
  10. data/lib/scylla/lms/arabic.lm +400 -0
  11. data/lib/scylla/lms/bulgarian.lm +400 -0
  12. data/lib/scylla/lms/catalan.lm +400 -0
  13. data/lib/scylla/lms/chinese.lm +400 -0
  14. data/lib/scylla/lms/danish.lm +400 -0
  15. data/lib/scylla/lms/english.lm +400 -0
  16. data/lib/scylla/lms/esperanto.lm +400 -0
  17. data/lib/scylla/lms/finnish.lm +400 -0
  18. data/lib/scylla/lms/french.lm +400 -0
  19. data/lib/scylla/lms/german.lm +400 -0
  20. data/lib/scylla/lms/greek-iso8859-7.lm +400 -0
  21. data/lib/scylla/lms/hebrew.lm +400 -0
  22. data/lib/scylla/lms/hindi.lm +400 -0
  23. data/lib/scylla/lms/hungarian.lm +400 -0
  24. data/lib/scylla/lms/icelandic.lm +400 -0
  25. data/lib/scylla/lms/indonesian.lm +400 -0
  26. data/lib/scylla/lms/irish.lm +400 -0
  27. data/lib/scylla/lms/italian.lm +400 -0
  28. data/lib/scylla/lms/japanese.lm +400 -0
  29. data/lib/scylla/lms/kannada.lm +400 -0
  30. data/lib/scylla/lms/korean.lm +400 -0
  31. data/lib/scylla/lms/latin.lm +400 -0
  32. data/lib/scylla/lms/malay.lm +400 -0
  33. data/lib/scylla/lms/marathi.lm +400 -0
  34. data/lib/scylla/lms/mingo.lm +400 -0
  35. data/lib/scylla/lms/nepali.lm +400 -0
  36. data/lib/scylla/lms/norwegian.lm +400 -0
  37. data/lib/scylla/lms/polish.lm +400 -0
  38. data/lib/scylla/lms/portuguese.lm +400 -0
  39. data/lib/scylla/lms/quechua.lm +400 -0
  40. data/lib/scylla/lms/romanian.lm +400 -0
  41. data/lib/scylla/lms/rumantsch.lm +400 -0
  42. data/lib/scylla/lms/russian.lm +400 -0
  43. data/lib/scylla/lms/sanskrit.lm +400 -0
  44. data/lib/scylla/lms/scots_gaelic.lm +400 -0
  45. data/lib/scylla/lms/serbian-ascii.lm +400 -0
  46. data/lib/scylla/lms/slovak-ascii.lm +400 -0
  47. data/lib/scylla/lms/slovenian-ascii.lm +400 -0
  48. data/lib/scylla/lms/spanish.lm +400 -0
  49. data/lib/scylla/lms/swahili.lm +400 -0
  50. data/lib/scylla/lms/swedish.lm +400 -0
  51. data/lib/scylla/lms/tagalog.lm +400 -0
  52. data/lib/scylla/lms/tamil.lm +400 -0
  53. data/lib/scylla/lms/thai.lm +400 -0
  54. data/lib/scylla/lms/turkish.lm +400 -0
  55. data/lib/scylla/lms/ukrainian-koi8_u.lm +400 -0
  56. data/lib/scylla/lms/vietnamese.lm +400 -0
  57. data/lib/scylla/lms/welsh.lm +400 -0
  58. data/lib/scylla/lms/yiddish-utf.lm +400 -0
  59. data/lib/scylla/loader.rb +8 -1
  60. data/scylla-0.1.0.gem +0 -0
  61. data/scylla.gemspec +69 -3
  62. data/source_texts/kannada.txt +283 -0
  63. data/test/classifier_test.rb +7 -0
  64. data/test/fixtures/lms/13375p33k.lm +400 -0
  65. data/test/fixtures/lms/danish.lm +400 -0
  66. data/test/fixtures/lms/english.lm +400 -0
  67. data/test/fixtures/lms/french.lm +400 -0
  68. data/test/fixtures/lms/german.lm +400 -0
  69. data/test/fixtures/lms/japanese.lm +400 -0
  70. data/test/fixtures/lms/kannada.lm +400 -0
  71. data/test/fixtures/lms/spanish.lm +400 -0
  72. data/test/fixtures/source_texts/13375P33K.txt +199 -0
  73. data/test/fixtures/source_texts/japanese.txt +199 -0
  74. data/test/fixtures/source_texts/kannada.txt +283 -0
  75. data/test/generator_test.rb +10 -7
  76. data/test/helper.rb +5 -6
  77. data/test/loader_test.rb +1 -0
  78. data/test/scylla_test.rb +1 -0
  79. metadata +78 -14
  80. data/source_texts/armenian.txt +0 -86
@@ -0,0 +1,400 @@
1
+ _ 14944
2
+ a 4057
3
+ e 3799
4
+ l 2679
5
+ s 2339
6
+ i 2295
7
+ n 2204
8
+ t 2164
9
+ r 1853
10
+ o 1493
11
+ c 1484
12
+ � 1204
13
+ d 1193
14
+ a_ 1153
15
+ s_ 1131
16
+ u 1083
17
+ __ 843
18
+ m 842
19
+ _d 768
20
+ es 765
21
+ en 764
22
+ p 702
23
+ _l 681
24
+ al 681
25
+ de 636
26
+ e_ 611
27
+ _e 586
28
+ ta 559
29
+ _de 544
30
+ l_ 507
31
+ g 500
32
+ , 490
33
+ ,_ 480
34
+ la 470
35
+ at 463
36
+ _c 454
37
+ el 452
38
+ le 449
39
+ _a 443
40
+ ca 427
41
+ es_ 425
42
+ er 409
43
+ ci 399
44
+ _p 396
45
+ . 394
46
+ t_ 388
47
+ an 383
48
+ nt 382
49
+ à 364
50
+ � 364
51
+ re 359
52
+ st 352
53
+ ar 348
54
+ b 345
55
+ n_ 343
56
+ de_ 339
57
+ _de_ 333
58
+ ra 319
59
+ f 305
60
+ ' 300
61
+ on 298
62
+ el_ 295
63
+ v 269
64
+ la_ 269
65
+ ll 266
66
+ _i 259
67
+ ic 258
68
+ ._ 256
69
+ ue 253
70
+ i_ 252
71
+ or 251
72
+ _la 250
73
+ q 246
74
+ qu 242
75
+ _la_ 238
76
+ in 236
77
+ te 235
78
+ tal 233
79
+ _ca 232
80
+ it 227
81
+ ia 227
82
+ _s 220
83
+ ti 220
84
+ om 216
85
+ co 214
86
+ en_ 213
87
+ ent 212
88
+ na 211
89
+ que 211
90
+ _el 204
91
+ ri 204
92
+ _m 200
93
+ un 198
94
+ i� 197
95
+ ata 195
96
+ se 194
97
+ ns 193
98
+ x 191
99
+ E 188
100
+ atal 187
101
+ ng 183
102
+ len 181
103
+ ó 179
104
+ � 179
105
+ A 179
106
+ _a_ 179
107
+ é 177
108
+ gu 177
109
+ r_ 177
110
+ _i_ 177
111
+ � 177
112
+ nc 176
113
+ ci� 175
114
+ l� 173
115
+ �_ 171
116
+ à_ 171
117
+ di 170
118
+ _co 170
119
+ pe 169
120
+ _en 168
121
+ [ 164
122
+ ] 164
123
+ li 164
124
+ C 163
125
+ ac 163
126
+ me 154
127
+ del 153
128
+ _del 152
129
+ í 152
130
+ � 152
131
+ _t 152
132
+ l' 151
133
+ lle 151
134
+ cat 151
135
+ _el_ 150
136
+ ls 149
137
+ tr 149
138
+ - 148
139
+ _es 147
140
+ pa 147
141
+ ts 146
142
+ _l' 145
143
+ ) 145
144
+ là 144
145
+ _f 143
146
+ est 143
147
+ ua 142
148
+ ne 140
149
+ _ll 138
150
+ pr 138
151
+ ro 137
152
+ catal 137
153
+ cata 137
154
+ ( 135
155
+ al_ 135
156
+ _cata 134
157
+ _cat 134
158
+ ma 133
159
+ ió 133
160
+ h 133
161
+ nt_ 131
162
+ _( 130
163
+ _en_ 130
164
+ oc 130
165
+ ts_ 130
166
+ _. 128
167
+ sta 127
168
+ _q 126
169
+ ls_ 126
170
+ del_ 126
171
+ _del_ 126
172
+ L 124
173
+ _qu 124
174
+ am 123
175
+ �_ 122
176
+ ó_ 122
177
+ ica 122
178
+ nci 122
179
+ no 122
180
+ �s 120
181
+ és 120
182
+ et 120
183
+ ció 120
184
+ ni 118
185
+ _._ 118
186
+ _o 118
187
+ és_ 117
188
+ �s_ 117
189
+ al� 116
190
+ ale 116
191
+ les 116
192
+ _lle 115
193
+ eng 115
194
+ leng 115
195
+ _pe 115
196
+ tal� 114
197
+ talà 114
198
+ _v 114
199
+ alà 114
200
+ atal� 114
201
+ y 113
202
+ ió_ 112
203
+ as 112
204
+ per 111
205
+ fi 111
206
+ va 111
207
+ llen 111
208
+ tat 110
209
+ ad 109
210
+ les_ 109
211
+ aci 109
212
+ là_ 109
213
+ lleng 108
214
+ at_ 108
215
+ _que 108
216
+ _pr 107
217
+ po 106
218
+ tu 106
219
+ o_ 105
220
+ m� 105
221
+ ant 104
222
+ _llen 103
223
+ � 102
224
+ è 102
225
+ g� 102
226
+ t� 102
227
+ com 102
228
+ ec 101
229
+ da 101
230
+ que_ 100
231
+ ues 100
232
+ ue_ 100
233
+ ció_ 99
234
+ _que_ 99
235
+ cia 98
236
+ na_ 98
237
+ _C 98
238
+ _r 97
239
+ _al 97
240
+ ny 97
241
+ _com 96
242
+ a, 96
243
+ _h 96
244
+ is 96
245
+ ngu 95
246
+ a,_ 94
247
+ mi 94
248
+ ia_ 93
249
+ sti 93
250
+ ix 93
251
+ ques 92
252
+ ns_ 91
253
+ enc 90
254
+ d' 90
255
+ em 90
256
+ _u 90
257
+ alà_ 90
258
+ gua 90
259
+ _d' 90
260
+ os 90
261
+ rt 89
262
+ men 89
263
+ aci� 89
264
+ r� 89
265
+ _per 89
266
+ to 89
267
+ ació 89
268
+ _se 88
269
+ ct 88
270
+ ü 87
271
+ mb 87
272
+ � 87
273
+ P 86
274
+ j 86
275
+ er_ 86
276
+ ngua 85
277
+ lengu 85
278
+ engu 85
279
+ engua 85
280
+ ol 85
281
+ I 84
282
+ ons 84
283
+ _le 84
284
+ io 84
285
+ tre 83
286
+ si 83
287
+ res 82
288
+ � 82
289
+ gü 82
290
+ ei 81
291
+ _� 81
292
+ par 80
293
+ ut 80
294
+ ent_ 79
295
+ _n 79
296
+ ng� 78
297
+ esta 78
298
+ so 78
299
+ ur 78
300
+ _[ 77
301
+ ngü 77
302
+ bl 77
303
+ : 77
304
+ eg 76
305
+ _les_ 76
306
+ �s 76
307
+ ís 76
308
+ _pa 76
309
+ _les 76
310
+ _di 76
311
+ _re 75
312
+ ha 75
313
+ con 74
314
+ _un 74
315
+ tic 73
316
+ _g 73
317
+ ran 73
318
+ mp 73
319
+ mo 72
320
+ lu 70
321
+ _po 70
322
+ els 69
323
+ Ca 69
324
+ rs 68
325
+ T 68
326
+ els_ 68
327
+ ie 68
328
+ fic 68
329
+ enci 68
330
+ amb 67
331
+ rd 67
332
+ ua_ 67
333
+ _no 66
334
+ ta_ 66
335
+ ]_ 66
336
+ ot 66
337
+ m_ 65
338
+ ment 65
339
+ ial 65
340
+ ter 65
341
+ des 65
342
+ nta 65
343
+ _P 64
344
+ _b 64
345
+ ià 64
346
+ _ha 63
347
+ eix 63
348
+ �n 62
349
+ vi 62
350
+ do 62
351
+ ra_ 62
352
+ àn 62
353
+ gua_ 62
354
+ ngua_ 62
355
+ re_ 62
356
+ als 62
357
+ lenc 61
358
+ V 61
359
+ if 61
360
+ us 61
361
+ ar_ 61
362
+ nd 60
363
+ alenc 60
364
+ lenci 60
365
+ alen 60
366
+ M 60
367
+ fe 59
368
+ _, 59
369
+ � 59
370
+ lo 59
371
+ ell 59
372
+ ing 59
373
+ _ma 58
374
+ �sti 58
375
+ íst 58
376
+ ce 58
377
+ �st 58
378
+ sp 58
379
+ ísti 58
380
+ 'a 58
381
+ _con 57
382
+ � 57
383
+ )_ 57
384
+ _é 57
385
+ _,_ 57
386
+ ita 57
387
+ _va 57
388
+ _és 57
389
+ _és_ 56
390
+ _E 56
391
+ om_ 56
392
+ S 56
393
+ ya 56
394
+ _A 56
395
+ D 56
396
+ _- 55
397
+ era 55
398
+ ul 55
399
+ sa 55
400
+ _� 55