scylla 0.1.0 → 0.2.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (80) hide show
  1. data/Gemfile +0 -1
  2. data/Gemfile.lock +0 -10
  3. data/README.rdoc +22 -0
  4. data/VERSION +1 -1
  5. data/bin/scylla +13 -0
  6. data/lib/scylla/classifier.rb +2 -2
  7. data/lib/scylla/generator.rb +1 -1
  8. data/lib/scylla/lms/13375P33K.lm +400 -0
  9. data/lib/scylla/lms/afrikaans.lm +400 -0
  10. data/lib/scylla/lms/arabic.lm +400 -0
  11. data/lib/scylla/lms/bulgarian.lm +400 -0
  12. data/lib/scylla/lms/catalan.lm +400 -0
  13. data/lib/scylla/lms/chinese.lm +400 -0
  14. data/lib/scylla/lms/danish.lm +400 -0
  15. data/lib/scylla/lms/english.lm +400 -0
  16. data/lib/scylla/lms/esperanto.lm +400 -0
  17. data/lib/scylla/lms/finnish.lm +400 -0
  18. data/lib/scylla/lms/french.lm +400 -0
  19. data/lib/scylla/lms/german.lm +400 -0
  20. data/lib/scylla/lms/greek-iso8859-7.lm +400 -0
  21. data/lib/scylla/lms/hebrew.lm +400 -0
  22. data/lib/scylla/lms/hindi.lm +400 -0
  23. data/lib/scylla/lms/hungarian.lm +400 -0
  24. data/lib/scylla/lms/icelandic.lm +400 -0
  25. data/lib/scylla/lms/indonesian.lm +400 -0
  26. data/lib/scylla/lms/irish.lm +400 -0
  27. data/lib/scylla/lms/italian.lm +400 -0
  28. data/lib/scylla/lms/japanese.lm +400 -0
  29. data/lib/scylla/lms/kannada.lm +400 -0
  30. data/lib/scylla/lms/korean.lm +400 -0
  31. data/lib/scylla/lms/latin.lm +400 -0
  32. data/lib/scylla/lms/malay.lm +400 -0
  33. data/lib/scylla/lms/marathi.lm +400 -0
  34. data/lib/scylla/lms/mingo.lm +400 -0
  35. data/lib/scylla/lms/nepali.lm +400 -0
  36. data/lib/scylla/lms/norwegian.lm +400 -0
  37. data/lib/scylla/lms/polish.lm +400 -0
  38. data/lib/scylla/lms/portuguese.lm +400 -0
  39. data/lib/scylla/lms/quechua.lm +400 -0
  40. data/lib/scylla/lms/romanian.lm +400 -0
  41. data/lib/scylla/lms/rumantsch.lm +400 -0
  42. data/lib/scylla/lms/russian.lm +400 -0
  43. data/lib/scylla/lms/sanskrit.lm +400 -0
  44. data/lib/scylla/lms/scots_gaelic.lm +400 -0
  45. data/lib/scylla/lms/serbian-ascii.lm +400 -0
  46. data/lib/scylla/lms/slovak-ascii.lm +400 -0
  47. data/lib/scylla/lms/slovenian-ascii.lm +400 -0
  48. data/lib/scylla/lms/spanish.lm +400 -0
  49. data/lib/scylla/lms/swahili.lm +400 -0
  50. data/lib/scylla/lms/swedish.lm +400 -0
  51. data/lib/scylla/lms/tagalog.lm +400 -0
  52. data/lib/scylla/lms/tamil.lm +400 -0
  53. data/lib/scylla/lms/thai.lm +400 -0
  54. data/lib/scylla/lms/turkish.lm +400 -0
  55. data/lib/scylla/lms/ukrainian-koi8_u.lm +400 -0
  56. data/lib/scylla/lms/vietnamese.lm +400 -0
  57. data/lib/scylla/lms/welsh.lm +400 -0
  58. data/lib/scylla/lms/yiddish-utf.lm +400 -0
  59. data/lib/scylla/loader.rb +8 -1
  60. data/scylla-0.1.0.gem +0 -0
  61. data/scylla.gemspec +69 -3
  62. data/source_texts/kannada.txt +283 -0
  63. data/test/classifier_test.rb +7 -0
  64. data/test/fixtures/lms/13375p33k.lm +400 -0
  65. data/test/fixtures/lms/danish.lm +400 -0
  66. data/test/fixtures/lms/english.lm +400 -0
  67. data/test/fixtures/lms/french.lm +400 -0
  68. data/test/fixtures/lms/german.lm +400 -0
  69. data/test/fixtures/lms/japanese.lm +400 -0
  70. data/test/fixtures/lms/kannada.lm +400 -0
  71. data/test/fixtures/lms/spanish.lm +400 -0
  72. data/test/fixtures/source_texts/13375P33K.txt +199 -0
  73. data/test/fixtures/source_texts/japanese.txt +199 -0
  74. data/test/fixtures/source_texts/kannada.txt +283 -0
  75. data/test/generator_test.rb +10 -7
  76. data/test/helper.rb +5 -6
  77. data/test/loader_test.rb +1 -0
  78. data/test/scylla_test.rb +1 -0
  79. metadata +78 -14
  80. data/source_texts/armenian.txt +0 -86
data/lib/scylla/lms/arabic.lm ADDED
@@ -0,0 +1,400 @@
1
+ � 26053
2
+ � 21638
3
+ _ 20952
4
+ � 7004
5
+ ا 7004
6
+ _� 5905
7
+ � 5598
8
+ ل 5598
9
+ �� 4328
10
+ ا� 4328
11
+ _� 3516
12
+ ي 3314
13
+ � 3314
14
+ ال 3313
15
+ �ل 3313
16
+ م 3159
17
+ � 3159
18
+ �� 2820
19
+ ل� 2820
20
+ _ا 2714
21
+ � 2654
22
+ و 2654
23
+ _ا� 2614
24
+ _ال 2512
25
+ ر 2192
26
+ � 2192
27
+ ال� 2158
28
+ �ل� 2158
29
+ � 2092
30
+ ن 2092
31
+ �� 2058
32
+ ل� 2058
33
+ �� 2030
34
+ ا� 2030
35
+ � 1994
36
+ ت 1994
37
+ � 1777
38
+ ب 1772
39
+ ي� 1727
40
+ �� 1727
41
+ � 1712
42
+ ة 1712
43
+ ع 1691
44
+ � 1691
45
+ � 1652
46
+ د 1652
47
+ �� 1513
48
+ و� 1513
49
+ ة_ 1420
50
+ �_ 1420
51
+ م� 1353
52
+ �� 1353
53
+ م� 1183
54
+ �� 1183
55
+ س 1089
56
+ � 1089
57
+ _و 1070
58
+ �ل� 1026
59
+ ال� 1026
60
+ ق 1019
61
+ � 1019
62
+ � 976
63
+ ف 976
64
+ � 950
65
+ ك 950
66
+ � 943
67
+ ه 943
68
+ �� 938
69
+ ر� 938
70
+ � 925
71
+ ب� 918
72
+ �� 918
73
+ � 916
74
+ ح 916
75
+ و� 907
76
+ �� 907
77
+ ع� 879
78
+ �� 879
79
+ أ 874
80
+ _م 816
81
+ ي� 811
82
+ �� 811
83
+ ت� 810
84
+ �� 810
85
+ __ 784
86
+ . 775
87
+ �_ 773
88
+ ن_ 773
89
+ �� 726
90
+ ن� 726
91
+ �� 722
92
+ ر� 722
93
+ _و� 700
94
+ _ب 699
95
+ �� 696
96
+ د� 696
97
+ �� 690
98
+ ب� 685
99
+ ي_ 682
100
+ �_ 682
101
+ ت� 675
102
+ �� 675
103
+ �م 654
104
+ لم 654
105
+ � 630
106
+ ج 630
107
+ ق� 621
108
+ �� 621
109
+ �ة 609
110
+ ية 609
111
+ ع� 592
112
+ �� 592
113
+ �_ 577
114
+ ل_ 577
115
+ س� 554
116
+ �� 554
117
+ � 548
118
+ ط 548
119
+ �� 546
120
+ ح� 546
121
+ �� 539
122
+ , 537
123
+ ._ 536
124
+ �_ 532
125
+ ,_ 532
126
+ ا_ 532
127
+ م_ 514
128
+ �_ 514
129
+ �لم 506
130
+ أ� 489
131
+ �� 487
132
+ ه� 487
133
+ ر_ 480
134
+ �_ 480
135
+ �ا 479
136
+ وا 479
137
+ �_ 471
138
+ ت_ 471
139
+ ية_ 469
140
+ �ة_ 469
141
+ _أ 468
142
+ د� 454
143
+ �� 454
144
+ ف� 448
145
+ �� 448
146
+ � 447
147
+ ص 447
148
+ _م� 445
149
+ إ 445
150
+ � 445
151
+ ك� 439
152
+ � 439
153
+ �� 439
154
+ ش 439
155
+ ن� 437
156
+ �� 437
157
+ � 434
158
+ �� 433
159
+ س� 433
160
+ _ع 432
161
+ ز 430
162
+ �_ 430
163
+ د_ 430
164
+ من 427
165
+ �ن 427
166
+ �ا 401
167
+ ما 401
168
+ _ب� 398
169
+ �ن 384
170
+ ان 384
171
+ ك� 382
172
+ �� 382
173
+ �� 381
174
+ أ� 381
175
+ �ا 374
176
+ لا 374
177
+ لي 368
178
+ �ي 368
179
+ ات 366
180
+ �ت 366
181
+ �ر 361
182
+ ار 361
183
+ _ف 361
184
+ _ل 355
185
+ ف� 353
186
+ �� 353
187
+ _م� 345
188
+ خ 343
189
+ � 343
190
+ _ت 338
191
+ � 332
192
+ ض 332
193
+ وا� 329
194
+ �ا� 329
195
+ ، 318
196
+ � 318
197
+ في 317
198
+ �م� 317
199
+ �ي 317
200
+ لم� 317
201
+ � 316
202
+ ث 316
203
+ _وا 310
204
+ ج� 309
205
+ �� 309
206
+ ح� 306
207
+ _و� 306
208
+ �� 306
209
+ با 304
210
+ �ا 304
211
+ _ف� 303
212
+ _ب� 301
213
+ _أ� 300
214
+ � 293
215
+ ى 293
216
+ دي 282
217
+ �ي 282
218
+ ّ 281
219
+ � 281
220
+ ،_ 280
221
+ �_ 280
222
+ �ا 276
223
+ يا 276
224
+ �� 275
225
+ �ي 275
226
+ ري 275
227
+ ج� 275
228
+ ه� 273
229
+ �� 273
230
+ ات_ 272
231
+ �ت_ 272
232
+ ق� 271
233
+ �ال 271
234
+ �� 271
235
+ ى_ 270
236
+ �_ 270
237
+ لأ 269
238
+ �أ 269
239
+ �ا 261
240
+ ها 261
241
+ �ن 256
242
+ ين 256
243
+ �ع 255
244
+ لع 255
245
+ ام 254
246
+ �م 254
247
+ _من 251
248
+ �م� 248
249
+ لم� 248
250
+ _ل� 247
251
+ �� 246
252
+ ش� 246
253
+ _في 244
254
+ �� 242
255
+ ط� 242
256
+ عا 240
257
+ را 240
258
+ �ا 240
259
+ �ا 240
260
+ _إ 236
261
+ �لأ 235
262
+ �ل 234
263
+ �لع 234
264
+ ول 234
265
+ ذ 233
266
+ إ� 233
267
+ �� 233
268
+ � 233
269
+ ط� 230
270
+ �� 230
271
+ �ي_ 229
272
+ ص� 229
273
+ �� 229
274
+ في_ 229
275
+ _ك 229
276
+ �� 224
277
+ خ� 224
278
+ _ع� 224
279
+ �ن_ 221
280
+ من_ 221
281
+ لك 215
282
+ �ع� 215
283
+ لع� 215
284
+ �ك 215
285
+ �� 213
286
+ ز� 213
287
+ �� 212
288
+ � 212
289
+ غ 212
290
+ إ� 212
291
+ �س 211
292
+ لس 211
293
+ �ي 209
294
+ بي 209
295
+ عل 208
296
+ �ل 208
297
+ _ع� 208
298
+ �ل 204
299
+ مل 204
300
+ ص� 204
301
+ �� 204
302
+ با� 200
303
+ � 200
304
+ �ا� 200
305
+ _ق 197
306
+ ء 197
307
+ اد 195
308
+ �د 195
309
+ �لس 195
310
+ ع_ 195
311
+ �_ 195
312
+ �د 191
313
+ ود 191
314
+ �د 187
315
+ عد 187
316
+ _ت� 184
317
+ _ح 183
318
+ �_ 181
319
+ و_ 181
320
+ لح 180
321
+ �ح 180
322
+ �ت 179
323
+ لت 179
324
+ ري� 178
325
+ _ه 178
326
+ �ي� 178
327
+ لي� 177
328
+ �ي� 177
329
+ لإ 177
330
+ �إ 177
331
+ را� 176
332
+ �ا� 176
333
+ �ا 174
334
+ نا 174
335
+ �� 173
336
+ ش� 173
337
+ رب 172
338
+ �ي 172
339
+ وي 172
340
+ �ب 172
341
+ ها_ 171
342
+ �ء 171
343
+ اء 171
344
+ �ا_ 171
345
+ يا� 169
346
+ �ا� 169
347
+ _أ� 168
348
+ �ر 166
349
+ ير 166
350
+ بل 165
351
+ �ل 165
352
+ _با 162
353
+ �ا 161
354
+ دا 161
355
+ دي� 160
356
+ ه_ 160
357
+ �ي� 160
358
+ �_ 160
359
+ ني 158
360
+ �ي 158
361
+ مي 157
362
+ �ي 157
363
+ �لح 156
364
+ ء_ 155
365
+ �_ 155
366
+ _ت� 154
367
+ �لإ 154
368
+ لا� 153
369
+ �ا� 153
370
+ �_ 152
371
+ ف_ 152
372
+ �ل� 152
373
+ مل� 152
374
+ رة 151
375
+ �ة 151
376
+ �ا� 149
377
+ مع 149
378
+ �ع 149
379
+ لا� 149
380
+ �ال 148
381
+ لأ� 147
382
+ �م 147
383
+ �_ 147
384
+ تم 147
385
+ �أ� 147
386
+ �ى 147
387
+ لى 147
388
+ ب_ 147
389
+ _ي 147
390
+ ما_ 145
391
+ �ا_ 145
392
+ عا� 144
393
+ _ج 144
394
+ �ب 144
395
+ �ا� 144
396
+ لب 144
397
+ _ق� 144
398
+ �س 143
399
+ سي 143
400
+ �ي 143