scylla 0.1.0 → 0.2.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (80) hide show
  1. data/Gemfile +0 -1
  2. data/Gemfile.lock +0 -10
  3. data/README.rdoc +22 -0
  4. data/VERSION +1 -1
  5. data/bin/scylla +13 -0
  6. data/lib/scylla/classifier.rb +2 -2
  7. data/lib/scylla/generator.rb +1 -1
  8. data/lib/scylla/lms/13375P33K.lm +400 -0
  9. data/lib/scylla/lms/afrikaans.lm +400 -0
  10. data/lib/scylla/lms/arabic.lm +400 -0
  11. data/lib/scylla/lms/bulgarian.lm +400 -0
  12. data/lib/scylla/lms/catalan.lm +400 -0
  13. data/lib/scylla/lms/chinese.lm +400 -0
  14. data/lib/scylla/lms/danish.lm +400 -0
  15. data/lib/scylla/lms/english.lm +400 -0
  16. data/lib/scylla/lms/esperanto.lm +400 -0
  17. data/lib/scylla/lms/finnish.lm +400 -0
  18. data/lib/scylla/lms/french.lm +400 -0
  19. data/lib/scylla/lms/german.lm +400 -0
  20. data/lib/scylla/lms/greek-iso8859-7.lm +400 -0
  21. data/lib/scylla/lms/hebrew.lm +400 -0
  22. data/lib/scylla/lms/hindi.lm +400 -0
  23. data/lib/scylla/lms/hungarian.lm +400 -0
  24. data/lib/scylla/lms/icelandic.lm +400 -0
  25. data/lib/scylla/lms/indonesian.lm +400 -0
  26. data/lib/scylla/lms/irish.lm +400 -0
  27. data/lib/scylla/lms/italian.lm +400 -0
  28. data/lib/scylla/lms/japanese.lm +400 -0
  29. data/lib/scylla/lms/kannada.lm +400 -0
  30. data/lib/scylla/lms/korean.lm +400 -0
  31. data/lib/scylla/lms/latin.lm +400 -0
  32. data/lib/scylla/lms/malay.lm +400 -0
  33. data/lib/scylla/lms/marathi.lm +400 -0
  34. data/lib/scylla/lms/mingo.lm +400 -0
  35. data/lib/scylla/lms/nepali.lm +400 -0
  36. data/lib/scylla/lms/norwegian.lm +400 -0
  37. data/lib/scylla/lms/polish.lm +400 -0
  38. data/lib/scylla/lms/portuguese.lm +400 -0
  39. data/lib/scylla/lms/quechua.lm +400 -0
  40. data/lib/scylla/lms/romanian.lm +400 -0
  41. data/lib/scylla/lms/rumantsch.lm +400 -0
  42. data/lib/scylla/lms/russian.lm +400 -0
  43. data/lib/scylla/lms/sanskrit.lm +400 -0
  44. data/lib/scylla/lms/scots_gaelic.lm +400 -0
  45. data/lib/scylla/lms/serbian-ascii.lm +400 -0
  46. data/lib/scylla/lms/slovak-ascii.lm +400 -0
  47. data/lib/scylla/lms/slovenian-ascii.lm +400 -0
  48. data/lib/scylla/lms/spanish.lm +400 -0
  49. data/lib/scylla/lms/swahili.lm +400 -0
  50. data/lib/scylla/lms/swedish.lm +400 -0
  51. data/lib/scylla/lms/tagalog.lm +400 -0
  52. data/lib/scylla/lms/tamil.lm +400 -0
  53. data/lib/scylla/lms/thai.lm +400 -0
  54. data/lib/scylla/lms/turkish.lm +400 -0
  55. data/lib/scylla/lms/ukrainian-koi8_u.lm +400 -0
  56. data/lib/scylla/lms/vietnamese.lm +400 -0
  57. data/lib/scylla/lms/welsh.lm +400 -0
  58. data/lib/scylla/lms/yiddish-utf.lm +400 -0
  59. data/lib/scylla/loader.rb +8 -1
  60. data/scylla-0.1.0.gem +0 -0
  61. data/scylla.gemspec +69 -3
  62. data/source_texts/kannada.txt +283 -0
  63. data/test/classifier_test.rb +7 -0
  64. data/test/fixtures/lms/13375p33k.lm +400 -0
  65. data/test/fixtures/lms/danish.lm +400 -0
  66. data/test/fixtures/lms/english.lm +400 -0
  67. data/test/fixtures/lms/french.lm +400 -0
  68. data/test/fixtures/lms/german.lm +400 -0
  69. data/test/fixtures/lms/japanese.lm +400 -0
  70. data/test/fixtures/lms/kannada.lm +400 -0
  71. data/test/fixtures/lms/spanish.lm +400 -0
  72. data/test/fixtures/source_texts/13375P33K.txt +199 -0
  73. data/test/fixtures/source_texts/japanese.txt +199 -0
  74. data/test/fixtures/source_texts/kannada.txt +283 -0
  75. data/test/generator_test.rb +10 -7
  76. data/test/helper.rb +5 -6
  77. data/test/loader_test.rb +1 -0
  78. data/test/scylla_test.rb +1 -0
  79. metadata +78 -14
  80. data/source_texts/armenian.txt +0 -86
@@ -0,0 +1,400 @@
1
+ � 18717
2
+ _ 8282
3
+ _� 4141
4
+ י 2236
5
+ � 2236
6
+ י� 2028
7
+ �� 2028
8
+ � 2000
9
+ ו 2000
10
+ ו� 1828
11
+ �� 1828
12
+ ה 1399
13
+ � 1399
14
+ � 1228
15
+ ל 1228
16
+ � 1141
17
+ ת 1141
18
+ ר 1133
19
+ � 1133
20
+ � 1129
21
+ א 1129
22
+ �� 999
23
+ א� 999
24
+ מ 944
25
+ �� 944
26
+ � 944
27
+ מ� 944
28
+ ר� 885
29
+ �� 885
30
+ � 832
31
+ ב 832
32
+ ל� 791
33
+ �� 791
34
+ � 734
35
+ ש 734
36
+ �� 706
37
+ ב� 706
38
+ ם 674
39
+ � 674
40
+ ה_ 660
41
+ �_ 660
42
+ _א 657
43
+ _א� 657
44
+ � 636
45
+ ד 636
46
+ ש� 617
47
+ �� 617
48
+ � 610
49
+ נ 610
50
+ �� 610
51
+ נ� 610
52
+ �_ 569
53
+ ת_ 569
54
+ �_ 535
55
+ ם_ 535
56
+ �� 534
57
+ ה� 534
58
+ � 523
59
+ ע 523
60
+ . 522
61
+ � 507
62
+ ק 507
63
+ ק� 499
64
+ �� 499
65
+ �� 499
66
+ ד� 499
67
+ � 495
68
+ פ 495
69
+ �� 495
70
+ פ� 495
71
+ ח 470
72
+ � 470
73
+ _מ� 461
74
+ _מ 461
75
+ �� 460
76
+ ע� 460
77
+ �� 441
78
+ � 441
79
+ כ 441
80
+ כ� 441
81
+ ת� 440
82
+ �� 440
83
+ _ב 433
84
+ ח� 432
85
+ �� 432
86
+ ._ 423
87
+ ,_ 422
88
+ , 422
89
+ ים 417
90
+ �ם 417
91
+ _ה 384
92
+ _ה� 384
93
+ _ב� 366
94
+ �ם_ 353
95
+ ים_ 353
96
+ � 348
97
+ ס� 348
98
+ �� 348
99
+ ס 348
100
+ �_ 328
101
+ ל_ 328
102
+ �ת 317
103
+ ות 317
104
+ ג 309
105
+ �� 309
106
+ � 309
107
+ ג� 309
108
+ ט 303
109
+ � 303
110
+ _ש 302
111
+ _ש� 302
112
+ _ל 253
113
+ _ל� 253
114
+ �ל 250
115
+ ול 250
116
+ �ת_ 243
117
+ ות_ 243
118
+ יה 239
119
+ �ה 239
120
+ �� 235
121
+ ט� 235
122
+ �ו 233
123
+ לו 233
124
+ לו� 217
125
+ �ו� 217
126
+ _ע� 212
127
+ _ע 212
128
+ � 212
129
+ צ 212
130
+ _ו 205
131
+ _ו� 205
132
+ �י 196
133
+ �י� 196
134
+ רי� 196
135
+ רי 196
136
+ �ק 194
137
+ יק 194
138
+ �ק� 194
139
+ יק� 194
140
+ רו 192
141
+ �ו 192
142
+ ר_ 188
143
+ �_ 188
144
+ �� 184
145
+ צ� 184
146
+ רו� 181
147
+ �ו� 181
148
+ יה_ 178
149
+ �ה_ 178
150
+ בה 175
151
+ �ה 175
152
+ �ו 174
153
+ מו 174
154
+ י_ 173
155
+ �_ 173
156
+ �ל� 172
157
+ ול� 172
158
+ �ו 170
159
+ או 170
160
+ �י 169
161
+ די 169
162
+ �ו 166
163
+ נו 166
164
+ �ו� 161
165
+ נו� 161
166
+ ית 160
167
+ �ת 160
168
+ _כ� 154
169
+ _כ 154
170
+ �ו 149
171
+ �ו� 149
172
+ יו 149
173
+ יו� 149
174
+ � 148
175
+ ז 148
176
+ �י� 147
177
+ די� 147
178
+ ז� 142
179
+ �� 142
180
+ את 141
181
+ �ו� 141
182
+ מו� 141
183
+ �ת 141
184
+ �י 139
185
+ ני 139
186
+ �י 137
187
+ גי 137
188
+ �ל 135
189
+ כל 135
190
+ �י� 129
191
+ גי� 129
192
+ �נ� 128
193
+ ונ� 128
194
+ ונ 128
195
+ �נ 128
196
+ מה 128
197
+ �ה 128
198
+ וג 125
199
+ וג� 125
200
+ �ג� 125
201
+ �ג 125
202
+ �_ 124
203
+ ו_ 124
204
+ ן 122
205
+ _ת� 122
206
+ _ת 122
207
+ � 122
208
+ �י 121
209
+ מי 121
210
+ ית_ 120
211
+ �ת_ 120
212
+ שי 118
213
+ �י 118
214
+ פי 118
215
+ _ר� 118
216
+ �י� 118
217
+ פי� 118
218
+ _ר 118
219
+ �י 118
220
+ �ם 118
221
+ אם 118
222
+ ה. 117
223
+ �. 117
224
+ מי� 115
225
+ �י� 115
226
+ _בה 114
227
+ �י� 114
228
+ ני� 114
229
+ _את 113
230
+ �_ 113
231
+ ד_ 113
232
+ �י 112
233
+ לי 112
234
+ מד 111
235
+ מד� 111
236
+ �ד� 111
237
+ �ד 111
238
+ וי� 107
239
+ וי 107
240
+ _ד� 107
241
+ �י� 107
242
+ _ד 107
243
+ �י 107
244
+ אח� 105
245
+ �ח� 105
246
+ אח 105
247
+ �ח 105
248
+ �ה 104
249
+ קה 104
250
+ �לו 104
251
+ �גי 104
252
+ �וג 104
253
+ �יה 104
254
+ על 102
255
+ �ל 102
256
+ _ס 101
257
+ �ו 101
258
+ ער 101
259
+ פו 101
260
+ �ר 101
261
+ _ס� 101
262
+ _על 100
263
+ בי 100
264
+ אל 100
265
+ _ג 100
266
+ �י� 100
267
+ _ג� 100
268
+ בי� 100
269
+ �ל 100
270
+ �י 100
271
+ יי 99
272
+ ה._ 99
273
+ �י 99
274
+ �._ 99
275
+ .� 99
276
+ _מה 98
277
+ ן_ 98
278
+ לי� 98
279
+ �_ 98
280
+ �י� 98
281
+ �ב 97
282
+ וד 97
283
+ _אח 97
284
+ �ד 97
285
+ רב 97
286
+ _אם 96
287
+ �ר 96
288
+ חר 96
289
+ דת 96
290
+ �ת 96
291
+ �ו� 95
292
+ שי� 95
293
+ פו� 95
294
+ �י� 95
295
+ _דת 94
296
+ _או 94
297
+ ש_ 92
298
+ ור 92
299
+ כל� 92
300
+ בה_ 92
301
+ �ה_ 92
302
+ �ל� 92
303
+ �_ 92
304
+ �ר 92
305
+ _ק 91
306
+ _ק� 91
307
+ �י 90
308
+ תי 90
309
+ קר 90
310
+ �ר 90
311
+ �,_ 88
312
+ רב� 88
313
+ ה, 88
314
+ �, 88
315
+ ה,_ 88
316
+ �ב� 88
317
+ או� 88
318
+ �ו� 88
319
+ �קה 87
320
+ יש 87
321
+ _ח� 87
322
+ �ש 87
323
+ _ח 87
324
+ �ר 86
325
+ בר 86
326
+ מה_ 85
327
+ א_ 85
328
+ �ה_ 85
329
+ �י� 85
330
+ �_ 85
331
+ יי� 85
332
+ �י 84
333
+ הי� 84
334
+ �י 84
335
+ הי 84
336
+ קי 84
337
+ �י� 84
338
+ גם 83
339
+ �ם 83
340
+ �ל 82
341
+ �י� 82
342
+ של 82
343
+ �מ� 82
344
+ _המ 82
345
+ המ 82
346
+ המ� 82
347
+ �י 82
348
+ צי 82
349
+ צי� 82
350
+ �מ 82
351
+ _של 80
352
+ �י 80
353
+ _גם 80
354
+ טי� 80
355
+ �י� 80
356
+ טי 80
357
+ שו� 79
358
+ ם. 79
359
+ �_ 79
360
+ קו 79
361
+ �. 79
362
+ אם_ 79
363
+ �ם_ 79
364
+ קו� 79
365
+ �ו� 79
366
+ �ו 79
367
+ �ו 79
368
+ שו 79
369
+ ב_ 79
370
+ �ו� 79
371
+ �י 78
372
+ _צ 78
373
+ אי 78
374
+ אנ� 77
375
+ �נ 77
376
+ �נ� 77
377
+ אנ 77
378
+ ת. 76
379
+ �חר 76
380
+ �. 76
381
+ ול_ 75
382
+ יכ 75
383
+ �ל_ 75
384
+ יכ� 75
385
+ �כ 75
386
+ �פ� 75
387
+ �פ 75
388
+ ספ 75
389
+ �כ� 75
390
+ ספ� 75
391
+ �א 74
392
+ נא 74
393
+ ופ� 74
394
+ ופ 74
395
+ �פ 74
396
+ �פ� 74
397
+ עי 73
398
+ �י 73
399
+ �ת_ 73
400
+ �י� 73