scylla 0.1.0 → 0.2.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (80) hide show
  1. data/Gemfile +0 -1
  2. data/Gemfile.lock +0 -10
  3. data/README.rdoc +22 -0
  4. data/VERSION +1 -1
  5. data/bin/scylla +13 -0
  6. data/lib/scylla/classifier.rb +2 -2
  7. data/lib/scylla/generator.rb +1 -1
  8. data/lib/scylla/lms/13375P33K.lm +400 -0
  9. data/lib/scylla/lms/afrikaans.lm +400 -0
  10. data/lib/scylla/lms/arabic.lm +400 -0
  11. data/lib/scylla/lms/bulgarian.lm +400 -0
  12. data/lib/scylla/lms/catalan.lm +400 -0
  13. data/lib/scylla/lms/chinese.lm +400 -0
  14. data/lib/scylla/lms/danish.lm +400 -0
  15. data/lib/scylla/lms/english.lm +400 -0
  16. data/lib/scylla/lms/esperanto.lm +400 -0
  17. data/lib/scylla/lms/finnish.lm +400 -0
  18. data/lib/scylla/lms/french.lm +400 -0
  19. data/lib/scylla/lms/german.lm +400 -0
  20. data/lib/scylla/lms/greek-iso8859-7.lm +400 -0
  21. data/lib/scylla/lms/hebrew.lm +400 -0
  22. data/lib/scylla/lms/hindi.lm +400 -0
  23. data/lib/scylla/lms/hungarian.lm +400 -0
  24. data/lib/scylla/lms/icelandic.lm +400 -0
  25. data/lib/scylla/lms/indonesian.lm +400 -0
  26. data/lib/scylla/lms/irish.lm +400 -0
  27. data/lib/scylla/lms/italian.lm +400 -0
  28. data/lib/scylla/lms/japanese.lm +400 -0
  29. data/lib/scylla/lms/kannada.lm +400 -0
  30. data/lib/scylla/lms/korean.lm +400 -0
  31. data/lib/scylla/lms/latin.lm +400 -0
  32. data/lib/scylla/lms/malay.lm +400 -0
  33. data/lib/scylla/lms/marathi.lm +400 -0
  34. data/lib/scylla/lms/mingo.lm +400 -0
  35. data/lib/scylla/lms/nepali.lm +400 -0
  36. data/lib/scylla/lms/norwegian.lm +400 -0
  37. data/lib/scylla/lms/polish.lm +400 -0
  38. data/lib/scylla/lms/portuguese.lm +400 -0
  39. data/lib/scylla/lms/quechua.lm +400 -0
  40. data/lib/scylla/lms/romanian.lm +400 -0
  41. data/lib/scylla/lms/rumantsch.lm +400 -0
  42. data/lib/scylla/lms/russian.lm +400 -0
  43. data/lib/scylla/lms/sanskrit.lm +400 -0
  44. data/lib/scylla/lms/scots_gaelic.lm +400 -0
  45. data/lib/scylla/lms/serbian-ascii.lm +400 -0
  46. data/lib/scylla/lms/slovak-ascii.lm +400 -0
  47. data/lib/scylla/lms/slovenian-ascii.lm +400 -0
  48. data/lib/scylla/lms/spanish.lm +400 -0
  49. data/lib/scylla/lms/swahili.lm +400 -0
  50. data/lib/scylla/lms/swedish.lm +400 -0
  51. data/lib/scylla/lms/tagalog.lm +400 -0
  52. data/lib/scylla/lms/tamil.lm +400 -0
  53. data/lib/scylla/lms/thai.lm +400 -0
  54. data/lib/scylla/lms/turkish.lm +400 -0
  55. data/lib/scylla/lms/ukrainian-koi8_u.lm +400 -0
  56. data/lib/scylla/lms/vietnamese.lm +400 -0
  57. data/lib/scylla/lms/welsh.lm +400 -0
  58. data/lib/scylla/lms/yiddish-utf.lm +400 -0
  59. data/lib/scylla/loader.rb +8 -1
  60. data/scylla-0.1.0.gem +0 -0
  61. data/scylla.gemspec +69 -3
  62. data/source_texts/kannada.txt +283 -0
  63. data/test/classifier_test.rb +7 -0
  64. data/test/fixtures/lms/13375p33k.lm +400 -0
  65. data/test/fixtures/lms/danish.lm +400 -0
  66. data/test/fixtures/lms/english.lm +400 -0
  67. data/test/fixtures/lms/french.lm +400 -0
  68. data/test/fixtures/lms/german.lm +400 -0
  69. data/test/fixtures/lms/japanese.lm +400 -0
  70. data/test/fixtures/lms/kannada.lm +400 -0
  71. data/test/fixtures/lms/spanish.lm +400 -0
  72. data/test/fixtures/source_texts/13375P33K.txt +199 -0
  73. data/test/fixtures/source_texts/japanese.txt +199 -0
  74. data/test/fixtures/source_texts/kannada.txt +283 -0
  75. data/test/generator_test.rb +10 -7
  76. data/test/helper.rb +5 -6
  77. data/test/loader_test.rb +1 -0
  78. data/test/scylla_test.rb +1 -0
  79. metadata +78 -14
  80. data/source_texts/armenian.txt +0 -86
@@ -0,0 +1,400 @@
1
+ _ 1216
2
+ e 644
3
+ n 386
4
+ i 318
5
+ r 306
6
+ t 253
7
+ s 218
8
+ a 197
9
+ h 190
10
+ d 187
11
+ u 161
12
+ en 137
13
+ er 137
14
+ l 131
15
+ c 125
16
+ o 116
17
+ ch 112
18
+ g 105
19
+ m 101
20
+ e_ 98
21
+ n_ 88
22
+ te 80
23
+ in 77
24
+ _d 76
25
+ de 76
26
+ ei 73
27
+ r_ 72
28
+ k 68
29
+ b 66
30
+ f 58
31
+ un 56
32
+ ie 54
33
+ er_ 53
34
+ nd 52
35
+ w 50
36
+ en_ 49
37
+ _e 48
38
+ ge 48
39
+ __ 46
40
+ ng 45
41
+ t_ 44
42
+ , 42
43
+ der 41
44
+ ne 39
45
+ st 39
46
+ . 36
47
+ ,_ 36
48
+ z 36
49
+ he 36
50
+ _s 36
51
+ re 34
52
+ s_ 34
53
+ m_ 34
54
+ di 34
55
+ es 33
56
+ it 33
57
+ v 33
58
+ _de 32
59
+ ie_ 32
60
+ _i 32
61
+ be 31
62
+ au 31
63
+ ein 31
64
+ S 31
65
+ ti 30
66
+ " 30
67
+ � 29
68
+ _a 29
69
+ ic 29
70
+ _w 28
71
+ � 28
72
+ d_ 28
73
+ le 28
74
+ sch 27
75
+ sc 27
76
+ nt 26
77
+ ung 26
78
+ si 25
79
+ ich 25
80
+ die 25
81
+ is 25
82
+ an 25
83
+ p 24
84
+ che 24
85
+ or 24
86
+ el 24
87
+ al 23
88
+ der_ 23
89
+ _die 23
90
+ _di 23
91
+ nd_ 23
92
+ on 23
93
+ h_ 22
94
+ rt 22
95
+ _ei 21
96
+ li 21
97
+ _S 21
98
+ ten 21
99
+ ra 21
100
+ und 21
101
+ em 21
102
+ ht 21
103
+ _ein 21
104
+ die_ 21
105
+ ch_ 20
106
+ at 20
107
+ hr 20
108
+ ke 20
109
+ in_ 20
110
+ ur 19
111
+ _die_ 19
112
+ A 19
113
+ _v 19
114
+ me 19
115
+ ns 18
116
+ ll 18
117
+ _der 18
118
+ ine 18
119
+ _in 18
120
+ se 18
121
+ ter 17
122
+ L 17
123
+ nge 17
124
+ ri 17
125
+ eine 17
126
+ eit 17
127
+ im 17
128
+ ar 17
129
+ den 16
130
+ gen 16
131
+ D 16
132
+ da 16
133
+ we 16
134
+ _h 15
135
+ ig 15
136
+ eu 15
137
+ K 15
138
+ cht 15
139
+ ._ 15
140
+ zu 15
141
+ _er 15
142
+ F 15
143
+ _au 14
144
+ ac 14
145
+ und_ 14
146
+ te_ 14
147
+ mm 14
148
+ rs 14
149
+ E 14
150
+ ach 14
151
+ eh 14
152
+ vo 14
153
+ ha 14
154
+ _A 14
155
+ nde 14
156
+ us 14
157
+ � 13
158
+ _L 13
159
+ _si 13
160
+ ls 13
161
+ fe 13
162
+ ab 13
163
+ n. 13
164
+ � 13
165
+ �r 13
166
+ B 13
167
+ et 12
168
+ lic 12
169
+ em_ 12
170
+ wi 12
171
+ nte 12
172
+ _da 12
173
+ am 12
174
+ ste 12
175
+ rn 12
176
+ lle 12
177
+ as 12
178
+ R 12
179
+ _z 12
180
+ rk 12
181
+ _u 12
182
+ rd 12
183
+ T 12
184
+ _b 12
185
+ uf 11
186
+ tr 11
187
+ U 11
188
+ rte 11
189
+ g_ 11
190
+ ge_ 11
191
+ - 11
192
+ _eine 11
193
+ hl 11
194
+ Sc 11
195
+ ck 11
196
+ ts 11
197
+ lich 11
198
+ ni 11
199
+ ers 11
200
+ _D 11
201
+ ve 11
202
+ Sch 11
203
+ _n 11
204
+ G 11
205
+ ent 11
206
+ ru 11
207
+ _der_ 11
208
+ tt 11
209
+ _in_ 11
210
+ f� 11
211
+ men 11
212
+ ren 11
213
+ nn 11
214
+ _g 10
215
+ f�r 10
216
+ na 10
217
+ rc 10
218
+ ht_ 10
219
+ nder 10
220
+ �r_ 10
221
+ hi 10
222
+ sin 10
223
+ on_ 10
224
+ _B 10
225
+ isc 10
226
+ um 10
227
+ _" 10
228
+ ut 10
229
+ isch 10
230
+ auf 10
231
+ _K 10
232
+ gs 10
233
+ n, 10
234
+ en. 10
235
+ _F 10
236
+ _vo 10
237
+ als 10
238
+ sa 10
239
+ _zu 10
240
+ nen 9
241
+ ungs 9
242
+ _be 9
243
+ _E 9
244
+ chen 9
245
+ hen 9
246
+ _Sch 9
247
+ den_ 9
248
+ it_ 9
249
+ _Sc 9
250
+ hre 9
251
+ O 9
252
+ ma 9
253
+ _T 9
254
+ ngs 9
255
+ ere 9
256
+ f�r_ 9
257
+ k_ 9
258
+ rch 9
259
+ lt 9
260
+ ze 9
261
+ ver 9
262
+ e, 9
263
+ ten_ 9
264
+ ik 9
265
+ il 9
266
+ erk 9
267
+ Un 9
268
+ no 9
269
+ M 9
270
+ so 9
271
+ om 9
272
+ _un 8
273
+ V 8
274
+ sich 8
275
+ le_ 8
276
+ sp 8
277
+ _k 8
278
+ od 8
279
+ n,_ 8
280
+ urc 8
281
+ _ha 8
282
+ uc 8
283
+ run 8
284
+ tra 8
285
+ ber 8
286
+ end 8
287
+ ir 8
288
+ du 8
289
+ ind 8
290
+ ng_ 8
291
+ bei 8
292
+ ner 8
293
+ sic 8
294
+ _Un 8
295
+ _U 8
296
+ tig 8
297
+ "_ 8
298
+ es_ 8
299
+ e,_ 8
300
+ ute 8
301
+ ft 8
302
+ mme 8
303
+ wo 8
304
+ ls_ 8
305
+ kei 8
306
+ _G 8
307
+ Le 8
308
+ das 8
309
+ _Le 8
310
+ ol 8
311
+ ens 8
312
+ rde 8
313
+ la 8
314
+ _f 8
315
+ en, 7
316
+ H 7
317
+ do 7
318
+ uch 7
319
+ _ve 7
320
+ rei 7
321
+ r� 7
322
+ eute 7
323
+ ih 7
324
+ ngen 7
325
+ ho 7
326
+ ko 7
327
+ eb 7
328
+ des 7
329
+ ne_ 7
330
+ y 7
331
+ eut 7
332
+ ein_ 7
333
+ mi 7
334
+ das_ 7
335
+ dur 7
336
+ St 7
337
+ ert 7
338
+ sti 7
339
+ von 7
340
+ _o 7
341
+ _al 7
342
+ urch 7
343
+ Leu 7
344
+ ich_ 7
345
+ tte 7
346
+ _wi 7
347
+ _und_ 7
348
+ hat 7
349
+ icht 7
350
+ durc 7
351
+ _das 7
352
+ ba 7
353
+ durch 7
354
+ ode 7
355
+ ing 7
356
+ _ver 7
357
+ _Leu 7
358
+ im_ 7
359
+ als_ 7
360
+ and 7
361
+ unge 7
362
+ P 7
363
+ f_ 7
364
+ len 7
365
+ nh 7
366
+ as_ 7
367
+ io 7
368
+ _und 7
369
+ keit 7
370
+ eg 6
371
+ eute_ 6
372
+ ren_ 6
373
+ auch 6
374
+ _von 6
375
+ erst 6
376
+ _ih 6
377
+ nge_ 6
378
+ gu 6
379
+ nsi 6
380
+ wa 6
381
+ ss 6
382
+ chl 6
383
+ dor 6
384
+ N 6
385
+ _er_ 6
386
+ ute_ 6
387
+ ue 6
388
+ lte 6
389
+ auc 6
390
+ sk 6
391
+ he_ 6
392
+ _we 6
393
+ _sich 6
394
+ l_ 6
395
+ _f�r 6
396
+ u_ 6
397
+ ene 6
398
+ ed 6
399
+ imm 6
400
+ e. 6