scylla 0.1.0 → 0.2.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (80) hide show
  1. data/Gemfile +0 -1
  2. data/Gemfile.lock +0 -10
  3. data/README.rdoc +22 -0
  4. data/VERSION +1 -1
  5. data/bin/scylla +13 -0
  6. data/lib/scylla/classifier.rb +2 -2
  7. data/lib/scylla/generator.rb +1 -1
  8. data/lib/scylla/lms/13375P33K.lm +400 -0
  9. data/lib/scylla/lms/afrikaans.lm +400 -0
  10. data/lib/scylla/lms/arabic.lm +400 -0
  11. data/lib/scylla/lms/bulgarian.lm +400 -0
  12. data/lib/scylla/lms/catalan.lm +400 -0
  13. data/lib/scylla/lms/chinese.lm +400 -0
  14. data/lib/scylla/lms/danish.lm +400 -0
  15. data/lib/scylla/lms/english.lm +400 -0
  16. data/lib/scylla/lms/esperanto.lm +400 -0
  17. data/lib/scylla/lms/finnish.lm +400 -0
  18. data/lib/scylla/lms/french.lm +400 -0
  19. data/lib/scylla/lms/german.lm +400 -0
  20. data/lib/scylla/lms/greek-iso8859-7.lm +400 -0
  21. data/lib/scylla/lms/hebrew.lm +400 -0
  22. data/lib/scylla/lms/hindi.lm +400 -0
  23. data/lib/scylla/lms/hungarian.lm +400 -0
  24. data/lib/scylla/lms/icelandic.lm +400 -0
  25. data/lib/scylla/lms/indonesian.lm +400 -0
  26. data/lib/scylla/lms/irish.lm +400 -0
  27. data/lib/scylla/lms/italian.lm +400 -0
  28. data/lib/scylla/lms/japanese.lm +400 -0
  29. data/lib/scylla/lms/kannada.lm +400 -0
  30. data/lib/scylla/lms/korean.lm +400 -0
  31. data/lib/scylla/lms/latin.lm +400 -0
  32. data/lib/scylla/lms/malay.lm +400 -0
  33. data/lib/scylla/lms/marathi.lm +400 -0
  34. data/lib/scylla/lms/mingo.lm +400 -0
  35. data/lib/scylla/lms/nepali.lm +400 -0
  36. data/lib/scylla/lms/norwegian.lm +400 -0
  37. data/lib/scylla/lms/polish.lm +400 -0
  38. data/lib/scylla/lms/portuguese.lm +400 -0
  39. data/lib/scylla/lms/quechua.lm +400 -0
  40. data/lib/scylla/lms/romanian.lm +400 -0
  41. data/lib/scylla/lms/rumantsch.lm +400 -0
  42. data/lib/scylla/lms/russian.lm +400 -0
  43. data/lib/scylla/lms/sanskrit.lm +400 -0
  44. data/lib/scylla/lms/scots_gaelic.lm +400 -0
  45. data/lib/scylla/lms/serbian-ascii.lm +400 -0
  46. data/lib/scylla/lms/slovak-ascii.lm +400 -0
  47. data/lib/scylla/lms/slovenian-ascii.lm +400 -0
  48. data/lib/scylla/lms/spanish.lm +400 -0
  49. data/lib/scylla/lms/swahili.lm +400 -0
  50. data/lib/scylla/lms/swedish.lm +400 -0
  51. data/lib/scylla/lms/tagalog.lm +400 -0
  52. data/lib/scylla/lms/tamil.lm +400 -0
  53. data/lib/scylla/lms/thai.lm +400 -0
  54. data/lib/scylla/lms/turkish.lm +400 -0
  55. data/lib/scylla/lms/ukrainian-koi8_u.lm +400 -0
  56. data/lib/scylla/lms/vietnamese.lm +400 -0
  57. data/lib/scylla/lms/welsh.lm +400 -0
  58. data/lib/scylla/lms/yiddish-utf.lm +400 -0
  59. data/lib/scylla/loader.rb +8 -1
  60. data/scylla-0.1.0.gem +0 -0
  61. data/scylla.gemspec +69 -3
  62. data/source_texts/kannada.txt +283 -0
  63. data/test/classifier_test.rb +7 -0
  64. data/test/fixtures/lms/13375p33k.lm +400 -0
  65. data/test/fixtures/lms/danish.lm +400 -0
  66. data/test/fixtures/lms/english.lm +400 -0
  67. data/test/fixtures/lms/french.lm +400 -0
  68. data/test/fixtures/lms/german.lm +400 -0
  69. data/test/fixtures/lms/japanese.lm +400 -0
  70. data/test/fixtures/lms/kannada.lm +400 -0
  71. data/test/fixtures/lms/spanish.lm +400 -0
  72. data/test/fixtures/source_texts/13375P33K.txt +199 -0
  73. data/test/fixtures/source_texts/japanese.txt +199 -0
  74. data/test/fixtures/source_texts/kannada.txt +283 -0
  75. data/test/generator_test.rb +10 -7
  76. data/test/helper.rb +5 -6
  77. data/test/loader_test.rb +1 -0
  78. data/test/scylla_test.rb +1 -0
  79. metadata +78 -14
  80. data/source_texts/armenian.txt +0 -86
@@ -0,0 +1,400 @@
1
+ � 73879
2
+ _ 40960
3
+ � 26019
4
+ _� 13043
5
+ � 11448
6
+ а 11447
7
+ и 10454
8
+ � 10454
9
+ е 8498
10
+ � 8498
11
+ � 8354
12
+ о 8353
13
+ т 7459
14
+ � 7459
15
+ � 7359
16
+ н 7359
17
+ н� 6078
18
+ �� 6078
19
+ � 5765
20
+ р 5460
21
+ т� 5390
22
+ �� 5390
23
+ � 5070
24
+ с 5070
25
+ �� 4637
26
+ р� 4636
27
+ �� 4209
28
+ е� 4209
29
+ � 4121
30
+ в 4119
31
+ �� 4029
32
+ а� 4029
33
+ �_ 3969
34
+ а_ 3968
35
+ о� 3839
36
+ �� 3839
37
+ и� 3688
38
+ �� 3688
39
+ � 3685
40
+ к 3685
41
+ _� 3683
42
+ и� 3582
43
+ �� 3582
44
+ � 3450
45
+ л 3450
46
+ д 3071
47
+ � 3071
48
+ �� 2942
49
+ а� 2942
50
+ �� 2907
51
+ л� 2907
52
+ в� 2905
53
+ �� 2905
54
+ �� 2813
55
+ с� 2813
56
+ к� 2793
57
+ �� 2793
58
+ �_ 2637
59
+ и_ 2637
60
+ __ 2576
61
+ п 2507
62
+ � 2507
63
+ д� 2355
64
+ �� 2355
65
+ �� 2274
66
+ о� 2274
67
+ на 2261
68
+ �а 2261
69
+ з 2176
70
+ � 2176
71
+ е_ 2116
72
+ �_ 2116
73
+ я 2001
74
+ � 2001
75
+ �� 1974
76
+ с� 1974
77
+ �_ 1964
78
+ о_ 1964
79
+ _с 1943
80
+ м 1872
81
+ � 1872
82
+ �� 1806
83
+ е� 1806
84
+ з� 1756
85
+ �� 1756
86
+ _н 1747
87
+ _н� 1660
88
+ ни 1604
89
+ �и 1604
90
+ ъ 1598
91
+ � 1598
92
+ м� 1546
93
+ �� 1546
94
+ г 1534
95
+ � 1534
96
+ ст 1463
97
+ �т 1463
98
+ , 1462
99
+ п� 1461
100
+ �� 1461
101
+ �т 1457
102
+ ат 1457
103
+ ,_ 1442
104
+ _п 1435
105
+ то 1405
106
+ �о 1405
107
+ на_ 1376
108
+ �а_ 1376
109
+ ра 1372
110
+ �а 1372
111
+ �е 1359
112
+ те 1359
113
+ _и 1344
114
+ �н 1332
115
+ ан 1332
116
+ �� 1296
117
+ г� 1296
118
+ _на 1296
119
+ �а 1264
120
+ та 1264
121
+ � 1235
122
+ б 1234
123
+ �н 1178
124
+ ен 1178
125
+ � 1167
126
+ у 1165
127
+ �_ 1161
128
+ т_ 1161
129
+ ия 1149
130
+ �я 1149
131
+ ч 1105
132
+ � 1105
133
+ _в 1095
134
+ ат� 1091
135
+ �т� 1091
136
+ ит 1082
137
+ �а 1082
138
+ ва 1082
139
+ �т 1082
140
+ ре 1077
141
+ �е 1077
142
+ ч� 1059
143
+ �� 1059
144
+ _с� 1057
145
+ �� 1037
146
+ п� 1037
147
+ �н� 1034
148
+ ан� 1034
149
+ �т� 1034
150
+ ит� 1034
151
+ . 1032
152
+ �а� 1015
153
+ ра� 1015
154
+ но 1010
155
+ �о 1010
156
+ �т� 1007
157
+ ст� 1007
158
+ _о 957
159
+ �� 927
160
+ ъ� 927
161
+ ки 919
162
+ �и 919
163
+ _д 889
164
+ �е� 882
165
+ то_ 882
166
+ ре� 882
167
+ �о_ 882
168
+ �и 874
169
+ ри 874
170
+ ли 873
171
+ �и 873
172
+ �к 872
173
+ ск 872
174
+ �т 863
175
+ от 863
176
+ пр 857
177
+ �р 857
178
+ ск� 853
179
+ �к� 853
180
+ �р� 840
181
+ пр� 840
182
+ �а 832
183
+ ка 832
184
+ �� 816
185
+ н� 816
186
+ ти 802
187
+ �и 802
188
+ �д 799
189
+ ед 799
190
+ �о 778
191
+ ко 778
192
+ т� 769
193
+ �� 769
194
+ �о 767
195
+ по 767
196
+ � 756
197
+ ц 756
198
+ не 755
199
+ �е 755
200
+ �те 744
201
+ �а 736
202
+ да 736
203
+ �� 731
204
+ б� 731
205
+ _п� 730
206
+ _и_ 725
207
+ _к 720
208
+ _с� 716
209
+ _е 711
210
+ у� 706
211
+ �� 706
212
+ ц� 704
213
+ �� 704
214
+ _п� 703
215
+ �н� 698
216
+ ен� 698
217
+ �е_ 684
218
+ те_ 684
219
+ �р 683
220
+ ар 683
221
+ ов 682
222
+ �в 682
223
+ ._ 676
224
+ ъ� 671
225
+ _о� 671
226
+ �� 671
227
+ й 670
228
+ � 670
229
+ _д� 670
230
+ �о 667
231
+ ро 667
232
+ ед� 659
233
+ �д� 659
234
+ в� 643
235
+ �� 643
236
+ я_ 640
237
+ �_ 640
238
+ �� 635
239
+ р� 634
240
+ к� 628
241
+ �� 628
242
+ ж 627
243
+ � 627
244
+ _пр 620
245
+ ет 617
246
+ �т 617
247
+ та_ 611
248
+ �а_ 611
249
+ ик 599
250
+ �к 599
251
+ ов� 598
252
+ �в� 598
253
+ ж� 596
254
+ �� 596
255
+ _к� 591
256
+ ни� 581
257
+ �и� 581
258
+ _и� 580
259
+ _по 568
260
+ за 565
261
+ �а 565
262
+ ия_ 562
263
+ �� 562
264
+ �я_ 562
265
+ я� 562
266
+ ве 561
267
+ �е 561
268
+ ел 559
269
+ �л 559
270
+ �т� 558
271
+ ет� 558
272
+ се 551
273
+ �е 551
274
+ �р 535
275
+ ор 535
276
+ �в 527
277
+ ав 527
278
+ ди 527
279
+ �и 527
280
+ �н 523
281
+ ин 523
282
+ �_ 523
283
+ �ки 523
284
+ в_ 521
285
+ из 518
286
+ �з 518
287
+ �е 507
288
+ ле 507
289
+ �� 506
290
+ д� 506
291
+ �о� 506
292
+ ро� 506
293
+ ни_ 501
294
+ �и_ 501
295
+ _з 500
296
+ _з� 499
297
+ �� 499
298
+ я� 499
299
+ б� 497
300
+ �� 497
301
+ �та 497
302
+ ко� 496
303
+ �о� 496
304
+ _от 496
305
+ �о 486
306
+ во 486
307
+ ци 485
308
+ �и 485
309
+ ле� 462
310
+ �е� 462
311
+ га 461
312
+ �а 461
313
+ �с 459
314
+ ос 459
315
+ �р 454
316
+ тр 454
317
+ од 448
318
+ �д 448
319
+ ол 446
320
+ �л 446
321
+ ла 446
322
+ �а 446
323
+ _р 446
324
+ на� 445
325
+ �а� 445
326
+ _т 444
327
+ �и� 440
328
+ ни� 440
329
+ �р� 437
330
+ ор� 437
331
+ �к� 435
332
+ �р 435
333
+ ер 435
334
+ ик� 435
335
+ _в_ 435
336
+ ри� 435
337
+ �и� 435
338
+ ар� 431
339
+ �р� 431
340
+ ма 428
341
+ �с 428
342
+ �а 428
343
+ ес 428
344
+ �е� 426
345
+ те� 426
346
+ �л� 424
347
+ _р� 424
348
+ ел� 424
349
+ об 424
350
+ �б 424
351
+ �в� 422
352
+ ав� 422
353
+ _за 416
354
+ тр� 415
355
+ �р� 415
356
+ �л 409
357
+ ал 409
358
+ �� 407
359
+ л� 407
360
+ _м 406
361
+ от_ 405
362
+ �т_ 405
363
+ � 404
364
+ щ 400
365
+ �а_ 399
366
+ че 399
367
+ ва_ 399
368
+ �е 399
369
+ �з 398
370
+ ез 398
371
+ �ни 398
372
+ но_ 397
373
+ �о_ 397
374
+ ви 395
375
+ �и 395
376
+ н_ 393
377
+ �_ 393
378
+ из� 392
379
+ �з� 392
380
+ ят 390
381
+ �т 390
382
+ ме 390
383
+ �е 390
384
+ _се 388
385
+ �� 387
386
+ у� 387
387
+ �е 385
388
+ ие 385
389
+ - 383
390
+ �л 374
391
+ ъл 374
392
+ �ан 372
393
+ �о� 372
394
+ по� 372
395
+ �е 368
396
+ де 368
397
+ ъл� 365
398
+ да_ 365
399
+ �а_ 365
400
+ �и� 365