scylla 0.1.0 → 0.2.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (80) hide show
  1. data/Gemfile +0 -1
  2. data/Gemfile.lock +0 -10
  3. data/README.rdoc +22 -0
  4. data/VERSION +1 -1
  5. data/bin/scylla +13 -0
  6. data/lib/scylla/classifier.rb +2 -2
  7. data/lib/scylla/generator.rb +1 -1
  8. data/lib/scylla/lms/13375P33K.lm +400 -0
  9. data/lib/scylla/lms/afrikaans.lm +400 -0
  10. data/lib/scylla/lms/arabic.lm +400 -0
  11. data/lib/scylla/lms/bulgarian.lm +400 -0
  12. data/lib/scylla/lms/catalan.lm +400 -0
  13. data/lib/scylla/lms/chinese.lm +400 -0
  14. data/lib/scylla/lms/danish.lm +400 -0
  15. data/lib/scylla/lms/english.lm +400 -0
  16. data/lib/scylla/lms/esperanto.lm +400 -0
  17. data/lib/scylla/lms/finnish.lm +400 -0
  18. data/lib/scylla/lms/french.lm +400 -0
  19. data/lib/scylla/lms/german.lm +400 -0
  20. data/lib/scylla/lms/greek-iso8859-7.lm +400 -0
  21. data/lib/scylla/lms/hebrew.lm +400 -0
  22. data/lib/scylla/lms/hindi.lm +400 -0
  23. data/lib/scylla/lms/hungarian.lm +400 -0
  24. data/lib/scylla/lms/icelandic.lm +400 -0
  25. data/lib/scylla/lms/indonesian.lm +400 -0
  26. data/lib/scylla/lms/irish.lm +400 -0
  27. data/lib/scylla/lms/italian.lm +400 -0
  28. data/lib/scylla/lms/japanese.lm +400 -0
  29. data/lib/scylla/lms/kannada.lm +400 -0
  30. data/lib/scylla/lms/korean.lm +400 -0
  31. data/lib/scylla/lms/latin.lm +400 -0
  32. data/lib/scylla/lms/malay.lm +400 -0
  33. data/lib/scylla/lms/marathi.lm +400 -0
  34. data/lib/scylla/lms/mingo.lm +400 -0
  35. data/lib/scylla/lms/nepali.lm +400 -0
  36. data/lib/scylla/lms/norwegian.lm +400 -0
  37. data/lib/scylla/lms/polish.lm +400 -0
  38. data/lib/scylla/lms/portuguese.lm +400 -0
  39. data/lib/scylla/lms/quechua.lm +400 -0
  40. data/lib/scylla/lms/romanian.lm +400 -0
  41. data/lib/scylla/lms/rumantsch.lm +400 -0
  42. data/lib/scylla/lms/russian.lm +400 -0
  43. data/lib/scylla/lms/sanskrit.lm +400 -0
  44. data/lib/scylla/lms/scots_gaelic.lm +400 -0
  45. data/lib/scylla/lms/serbian-ascii.lm +400 -0
  46. data/lib/scylla/lms/slovak-ascii.lm +400 -0
  47. data/lib/scylla/lms/slovenian-ascii.lm +400 -0
  48. data/lib/scylla/lms/spanish.lm +400 -0
  49. data/lib/scylla/lms/swahili.lm +400 -0
  50. data/lib/scylla/lms/swedish.lm +400 -0
  51. data/lib/scylla/lms/tagalog.lm +400 -0
  52. data/lib/scylla/lms/tamil.lm +400 -0
  53. data/lib/scylla/lms/thai.lm +400 -0
  54. data/lib/scylla/lms/turkish.lm +400 -0
  55. data/lib/scylla/lms/ukrainian-koi8_u.lm +400 -0
  56. data/lib/scylla/lms/vietnamese.lm +400 -0
  57. data/lib/scylla/lms/welsh.lm +400 -0
  58. data/lib/scylla/lms/yiddish-utf.lm +400 -0
  59. data/lib/scylla/loader.rb +8 -1
  60. data/scylla-0.1.0.gem +0 -0
  61. data/scylla.gemspec +69 -3
  62. data/source_texts/kannada.txt +283 -0
  63. data/test/classifier_test.rb +7 -0
  64. data/test/fixtures/lms/13375p33k.lm +400 -0
  65. data/test/fixtures/lms/danish.lm +400 -0
  66. data/test/fixtures/lms/english.lm +400 -0
  67. data/test/fixtures/lms/french.lm +400 -0
  68. data/test/fixtures/lms/german.lm +400 -0
  69. data/test/fixtures/lms/japanese.lm +400 -0
  70. data/test/fixtures/lms/kannada.lm +400 -0
  71. data/test/fixtures/lms/spanish.lm +400 -0
  72. data/test/fixtures/source_texts/13375P33K.txt +199 -0
  73. data/test/fixtures/source_texts/japanese.txt +199 -0
  74. data/test/fixtures/source_texts/kannada.txt +283 -0
  75. data/test/generator_test.rb +10 -7
  76. data/test/helper.rb +5 -6
  77. data/test/loader_test.rb +1 -0
  78. data/test/scylla_test.rb +1 -0
  79. metadata +78 -14
  80. data/source_texts/armenian.txt +0 -86
@@ -0,0 +1,400 @@
1
+ � 15665
2
+ _ 8378
3
+ � 7040
4
+ _� 3171
5
+ � 2622
6
+ о 2622
7
+ е 1879
8
+ � 1879
9
+ а 1680
10
+ � 1680
11
+ � 1658
12
+ т 1658
13
+ � 1503
14
+ н 1503
15
+ и 1424
16
+ � 1424
17
+ �� 1372
18
+ о� 1372
19
+ н� 1113
20
+ �� 1113
21
+ � 1043
22
+ р 1043
23
+ _� 1018
24
+ с 997
25
+ � 997
26
+ а� 978
27
+ �� 978
28
+ �� 918
29
+ т� 918
30
+ р� 890
31
+ �� 890
32
+ � 865
33
+ в 865
34
+ е� 827
35
+ �� 827
36
+ � 760
37
+ л 759
38
+ � 730
39
+ м 730
40
+ � 695
41
+ к 695
42
+ д 686
43
+ � 686
44
+ п 655
45
+ � 655
46
+ в� 610
47
+ �� 610
48
+ �� 607
49
+ о� 607
50
+ � 603
51
+ у 603
52
+ �� 583
53
+ и� 583
54
+ � 571
55
+ ы 571
56
+ �� 558
57
+ и� 558
58
+ . 524
59
+ �� 505
60
+ д� 505
61
+ �� 503
62
+ е� 503
63
+ _п 500
64
+ �� 494
65
+ с� 494
66
+ ь 488
67
+ � 488
68
+ �� 486
69
+ т� 486
70
+ б 472
71
+ � 472
72
+ �_ 460
73
+ о_ 460
74
+ с� 457
75
+ �� 457
76
+ �� 442
77
+ к� 442
78
+ �_ 432
79
+ е_ 432
80
+ , 430
81
+ ,_ 430
82
+ _н 428
83
+ ._ 425
84
+ �� 422
85
+ л� 422
86
+ а� 388
87
+ �� 388
88
+ � 388
89
+ г 388
90
+ з 384
91
+ � 384
92
+ ч 376
93
+ � 376
94
+ _н� 368
95
+ �� 359
96
+ п� 359
97
+ _о 351
98
+ �� 336
99
+ м� 336
100
+ _в 329
101
+ � 325
102
+ я 325
103
+ ра 306
104
+ �а 306
105
+ �т 301
106
+ ст 301
107
+ �� 298
108
+ н� 298
109
+ ч� 298
110
+ �� 298
111
+ �� 296
112
+ п� 296
113
+ �� 295
114
+ но 295
115
+ �о 295
116
+ л� 295
117
+ з� 294
118
+ �� 294
119
+ _п� 280
120
+ _т 274
121
+ ни 268
122
+ �и 268
123
+ �� 259
124
+ г� 259
125
+ а_ 256
126
+ �_ 256
127
+ ра� 254
128
+ �а� 254
129
+ �� 253
130
+ б� 253
131
+ пр� 245
132
+ пр 245
133
+ �р 245
134
+ �р� 245
135
+ �_ 244
136
+ ы_ 244
137
+ � 240
138
+ х 240
139
+ �_ 236
140
+ ь_ 236
141
+ у� 234
142
+ ов 234
143
+ �в 234
144
+ �о 234
145
+ по 234
146
+ �� 234
147
+ й 233
148
+ � 233
149
+ то 232
150
+ �о 232
151
+ и_ 229
152
+ �_ 229
153
+ �о 227
154
+ ро 227
155
+ �ь 226
156
+ ст� 226
157
+ ть 226
158
+ �т� 226
159
+ от 222
160
+ �т 222
161
+ _п� 220
162
+ _по 219
163
+ _о� 219
164
+ _с 217
165
+ �_ 216
166
+ м_ 216
167
+ на 215
168
+ �� 215
169
+ те 215
170
+ �а 215
171
+ �е 215
172
+ в� 215
173
+ � 213
174
+ ю 213
175
+ у� 211
176
+ �� 211
177
+ не 210
178
+ �е 210
179
+ _пр 207
180
+ _д 206
181
+ �_ 200
182
+ т_ 200
183
+ _к 199
184
+ _т� 199
185
+ �н 197
186
+ ен 197
187
+ _д� 197
188
+ _б 191
189
+ _в� 189
190
+ ш 185
191
+ � 185
192
+ �г 183
193
+ ог 183
194
+ �о 183
195
+ ко 183
196
+ та 180
197
+ во 180
198
+ �о 180
199
+ �а 180
200
+ _р 176
201
+ б� 175
202
+ �� 175
203
+ ит 174
204
+ �т 174
205
+ ы� 168
206
+ �� 168
207
+ ет 167
208
+ �т 167
209
+ � 166
210
+ ж 166
211
+ ко� 165
212
+ �о� 165
213
+ �ь_ 164
214
+ ть_ 164
215
+ _с� 161
216
+ �� 160
217
+ ш� 160
218
+ �н 158
219
+ он 158
220
+ �н� 157
221
+ �в� 157
222
+ ов� 157
223
+ ен� 157
224
+ го 157
225
+ �о 157
226
+ ж� 156
227
+ я_ 156
228
+ �о� 156
229
+ �_ 156
230
+ ро� 156
231
+ �� 156
232
+ _не 153
233
+ _м 153
234
+ �а 150
235
+ ва 150
236
+ _р� 149
237
+ �е 148
238
+ ре 148
239
+ к� 148
240
+ �� 148
241
+ ри 146
242
+ �и 146
243
+ �и 144
244
+ ли 144
245
+ �т 141
246
+ �� 141
247
+ �е 141
248
+ р� 141
249
+ ве 141
250
+ ат 141
251
+ �л 140
252
+ �е 140
253
+ _в� 140
254
+ че 140
255
+ ол 140
256
+ ка 137
257
+ �а 137
258
+ �е 135
259
+ _к� 135
260
+ де 135
261
+ у_ 133
262
+ �д 133
263
+ од 133
264
+ �_ 133
265
+ от� 132
266
+ �т� 132
267
+ _о� 132
268
+ �о 130
269
+ бо 130
270
+ аз 129
271
+ �з 129
272
+ _ра 128
273
+ �м 128
274
+ ом 128
275
+ ль 127
276
+ �ь 127
277
+ _на 126
278
+ �е� 125
279
+ �н 125
280
+ ан 125
281
+ ре� 125
282
+ но_ 124
283
+ _и 124
284
+ �о_ 124
285
+ за 122
286
+ й_ 122
287
+ �а 122
288
+ �_ 122
289
+ ан� 121
290
+ х_ 121
291
+ �_ 121
292
+ �н� 121
293
+ �и� 120
294
+ ни� 120
295
+ �ро 120
296
+ ос 119
297
+ �с 119
298
+ ам 117
299
+ �м 117
300
+ д� 117
301
+ �� 117
302
+ �б 116
303
+ об 116
304
+ �а� 114
305
+ та� 114
306
+ �� 114
307
+ �м 114
308
+ ем 114
309
+ м� 114
310
+ ал 113
311
+ _м� 113
312
+ �р 113
313
+ �л 113
314
+ ор 113
315
+ ер 112
316
+ �р 112
317
+ _з� 112
318
+ _з 112
319
+ бы 110
320
+ ес 110
321
+ �с 110
322
+ �ы 110
323
+ �к 109
324
+ ак 109
325
+ �� 107
326
+ ь� 107
327
+ _у 107
328
+ ю� 106
329
+ ь� 106
330
+ �� 106
331
+ �� 106
332
+ тр 105
333
+ �о� 105
334
+ до 105
335
+ �о 105
336
+ �р 105
337
+ по� 105
338
+ �в 104
339
+ ск 104
340
+ �к 104
341
+ �. 104
342
+ тв 104
343
+ о. 104
344
+ ед 103
345
+ �д 103
346
+ аб 100
347
+ �б 100
348
+ � 100
349
+ �ы 99
350
+ .� 99
351
+ ны 99
352
+ �о� 99
353
+ ти 99
354
+ то� 99
355
+ �и 99
356
+ _б� 98
357
+ �о� 98
358
+ _за 98
359
+ но� 98
360
+ ел 97
361
+ �е 97
362
+ ме 97
363
+ �л 97
364
+ �и� 95
365
+ ни� 95
366
+ _во 95
367
+ �в� 95
368
+ тв� 95
369
+ ог� 94
370
+ �г� 94
371
+ ат� 94
372
+ �з� 94
373
+ �т� 94
374
+ аз� 94
375
+ �ы 93
376
+ _б� 93
377
+ вы 93
378
+ �тв 93
379
+ на� 92
380
+ �а� 92
381
+ �� 91
382
+ ы� 91
383
+ ит� 90
384
+ �м 90
385
+ те� 90
386
+ �т� 90
387
+ �е� 90
388
+ че� 90
389
+ �е� 90
390
+ им 90
391
+ _он 89
392
+ к_ 88
393
+ �н 88
394
+ �_ 88
395
+ ин 88
396
+ их 87
397
+ �го 87
398
+ �х 87
399
+ �к� 86
400
+ тр� 86