scylla 0.9.3 → 1.2.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (86) hide show
  1. checksums.yaml +7 -0
  2. data/README.rdoc +3 -12
  3. data/bin/scylla +1 -1
  4. data/lib/scylla/classifier.rb +3 -2
  5. data/lib/scylla/generator.rb +11 -4
  6. data/lib/scylla/lms/arabic.lm +400 -400
  7. data/lib/scylla/lms/bulgarian.lm +400 -400
  8. data/lib/scylla/lms/catalan.lm +400 -400
  9. data/lib/scylla/lms/chinese.lm +395 -395
  10. data/lib/scylla/lms/czech.lm +397 -397
  11. data/lib/scylla/lms/danish.lm +372 -372
  12. data/lib/scylla/lms/dutch.lm +382 -382
  13. data/lib/scylla/lms/english.lm +378 -378
  14. data/lib/scylla/lms/finnish.lm +388 -388
  15. data/lib/scylla/lms/french.lm +392 -392
  16. data/lib/scylla/lms/german.lm +396 -396
  17. data/lib/scylla/lms/greek.lm +400 -400
  18. data/lib/scylla/lms/hebrew.lm +400 -400
  19. data/lib/scylla/lms/hindi.lm +399 -399
  20. data/lib/scylla/lms/icelandic.lm +225 -225
  21. data/lib/scylla/lms/indonesian.lm +391 -391
  22. data/lib/scylla/lms/italian.lm +382 -382
  23. data/lib/scylla/lms/japanese.lm +400 -400
  24. data/lib/scylla/lms/kannada.lm +392 -392
  25. data/lib/scylla/lms/korean.lm +391 -391
  26. data/lib/scylla/lms/marathi.lm +388 -388
  27. data/lib/scylla/lms/norwegian.lm +375 -375
  28. data/lib/scylla/lms/persian.lm +399 -399
  29. data/lib/scylla/lms/polish.lm +399 -399
  30. data/lib/scylla/lms/portuguese.lm +390 -390
  31. data/lib/scylla/lms/romanian.lm +353 -353
  32. data/lib/scylla/lms/russian.lm +400 -400
  33. data/lib/scylla/lms/slovak.lm +361 -361
  34. data/lib/scylla/lms/slovenian.lm +273 -273
  35. data/lib/scylla/lms/spanish.lm +371 -371
  36. data/lib/scylla/lms/swedish.lm +400 -400
  37. data/lib/scylla/lms/tagalog.lm +295 -295
  38. data/lib/scylla/lms/thai.lm +400 -400
  39. data/lib/scylla/lms/turkish.lm +377 -377
  40. data/lib/scylla/lms/vietnamese.lm +400 -400
  41. data/lib/scylla/lms/welsh.lm +311 -311
  42. data/lib/scylla/loader.rb +1 -1
  43. data/test/classifier_test.rb +6 -4
  44. data/test/fixtures/lms/arabic.lm +400 -0
  45. data/test/fixtures/lms/bulgarian.lm +400 -0
  46. data/test/fixtures/lms/catalan.lm +400 -0
  47. data/test/fixtures/lms/chinese.lm +400 -0
  48. data/test/fixtures/lms/czech.lm +400 -0
  49. data/test/fixtures/lms/danish.lm +399 -399
  50. data/test/fixtures/lms/dutch.lm +400 -0
  51. data/test/fixtures/lms/english.lm +400 -400
  52. data/test/fixtures/lms/finnish.lm +400 -0
  53. data/test/fixtures/lms/french.lm +397 -397
  54. data/test/fixtures/lms/german.lm +400 -400
  55. data/test/fixtures/lms/greek.lm +400 -0
  56. data/test/fixtures/lms/hebrew.lm +400 -0
  57. data/test/fixtures/lms/hindi.lm +400 -400
  58. data/test/fixtures/lms/icelandic.lm +400 -0
  59. data/test/fixtures/lms/indonesian.lm +400 -0
  60. data/test/fixtures/lms/italian.lm +400 -400
  61. data/test/fixtures/lms/japanese.lm +400 -400
  62. data/test/fixtures/lms/kannada.lm +400 -0
  63. data/test/fixtures/lms/korean.lm +400 -0
  64. data/test/fixtures/lms/marathi.lm +400 -0
  65. data/test/fixtures/lms/norwegian.lm +399 -399
  66. data/test/fixtures/lms/persian.lm +400 -0
  67. data/test/fixtures/lms/polish.lm +400 -0
  68. data/test/fixtures/lms/portuguese.lm +400 -0
  69. data/test/fixtures/lms/romanian.lm +400 -0
  70. data/test/fixtures/lms/russian.lm +400 -0
  71. data/test/fixtures/lms/slovak.lm +400 -0
  72. data/test/fixtures/lms/slovenian.lm +400 -0
  73. data/test/fixtures/lms/spanish.lm +400 -400
  74. data/test/fixtures/lms/swedish.lm +400 -0
  75. data/test/fixtures/lms/tagalog.lm +400 -0
  76. data/test/fixtures/lms/thai.lm +400 -0
  77. data/test/fixtures/lms/turkish.lm +400 -0
  78. data/test/fixtures/lms/vietnamese.lm +400 -0
  79. data/test/fixtures/lms/welsh.lm +400 -0
  80. data/test/fixtures/test_languages/japanese +149 -67
  81. data/test/generator_test.rb +2 -44
  82. data/test/helper.rb +3 -3
  83. data/test/language_test.rb +6 -2
  84. data/test/loader_test.rb +2 -2
  85. data/test/scylla_test.rb +7 -7
  86. metadata +144 -95
@@ -1,400 +1,400 @@
1
- 15444
2
- _ 8608
3
- 8439
4
- _� 2497
5
- α 2106
6
- 2106
7
- 1994
8
- τ 1994
9
- ο 1928
10
- 1928
11
- _� 1800
12
- �� 1797
13
- τ� 1797
14
- ε 1734
15
- 1734
16
- ι 1653
17
- 1653
18
- 1282
19
- ν 1282
20
- 1107
21
- ρ 1107
22
- 1081
23
- η 1081
24
- 1052
25
- κ 1052
26
- σ 1016
27
- 1016
28
- 936
29
- ς 936
30
- _ 935
31
- ς_ 935
32
- ρ� 914
33
- �� 914
34
- ο� 901
35
- �� 901
36
- 857
37
- π 856
38
- �� 846
39
- ε� 846
40
- α� 840
41
- �� 840
42
- 823
43
- υ 823
44
- μ 799
45
- 799
46
- �� 795
47
- ι� 795
48
- _τ 784
49
- κ� 783
50
- �� 783
51
- 764
52
- λ 763
53
- �� 714
54
- α� 714
55
- �� 694
56
- μ� 694
57
- �� 692
58
- λ� 692
59
- ε� 684
60
- �� 684
61
- �� 665
62
- ν� 665
63
- �� 616
64
- ο� 616
65
- ί 593
66
- 593
67
- π� 574
68
- �� 574
69
- α_ 552
70
- �_ 552
71
- �� 519
72
- σ� 519
73
- �ο 503
74
- ι_ 502
75
- _ 502
76
- ό 498
77
- 498
78
- σ� 494
79
- �� 494
80
- �υ 451
81
- �_ 441
82
- ν_ 441
83
- ά 436
84
- 436
85
- �η 422
86
- 416
87
- ί� 414
88
- �� 414
89
- ο_ 411
90
- �_ 411
91
- έ 405
92
- 405
93
- 404
94
- δ 404
95
- 393
96
- 391
97
- �� 387
98
- η� 387
99
- 381
100
- �ι 375
101
- �_ 362
102
- η_ 362
103
- 358
104
- �� 356
105
- ι� 356
106
- ή 354
107
- 354
108
- δ� 339
109
- �� 339
110
- υ� 337
111
- �� 337
112
- �κ 332
113
- �� 332
114
- η� 332
115
- �α 317
116
- ω 313
117
- 313
118
- �τ 310
119
- γ 301
120
- 301
121
- χ 291
122
- 291
123
- 278
124
- �α 273
125
- π� 270
126
- �� 270
127
- κ� 262
128
- �� 262
129
- �� 258
130
- έ� 258
131
- _ 254
132
- υ_ 254
133
- �ο 251
134
- θ 251
135
- 251
136
- �ι 247
137
- �� 243
138
- γ� 243
139
- υ� 232
140
- �� 232
141
- �ι 226
142
- 216
143
- ύ 216
144
- �α 211
145
- χ� 208
146
- �ρ 208
147
- �� 208
148
- �_ 204
149
- ε_ 204
150
- �ε 200
151
- �ς 197
152
- ά� 195
153
- �� 195
154
- _ο 194
155
- ό� 194
156
- �� 194
157
- �� 193
158
- τ� 193
159
- ρ� 192
160
- �� 192
161
- �� 190
162
- θ� 190
163
- 184
164
- ώ 184
165
- �ν 179
166
- _δ 179
167
- �ε 178
168
- ό_ 176
169
- ν� 176
170
- _ 176
171
- �� 176
172
- �ί 175
173
- �τ 173
174
- β 171
175
- 171
176
- 169
177
- �ν 165
178
- �λ 165
179
- �ι 162
180
- �α 162
181
- �π 159
182
- φ 158
183
- 158
184
- �α 157
185
- �α 154
186
- ή_ 154
187
- �_ 154
188
- �� 153
189
- ω� 153
190
- �� 146
191
- έ� 146
192
- ω� 143
193
- �� 143
194
- �ο 138
195
- �λ 133
196
- �ό 133
197
- �ή 131
198
- �ο 130
199
- �α 130
200
- ό� 128
201
- �� 128
202
- ή� 127
203
- �� 127
204
- ά_ 125
205
- _ 125
206
- �� 123
207
- ί� 123
208
- �� 122
209
- φ� 122
210
- �ο 121
211
- �η 120
212
- �� 120
213
- β� 120
214
- �τ 119
215
- �σ 119
216
- �� 116
217
- ά� 116
218
- �ν 113
219
- �ς 113
220
- �ι 111
221
- �ε 110
222
- �ν 109
223
- �ι 109
224
- �ς 109
225
- 105
226
- �λ 103
227
- �ρ 103
228
- �ε 102
229
- �ί 102
230
- �ε 100
231
- �ο 99
232
- �ε 98
233
- �ρ 98
234
- �� 98
235
- μ� 98
236
- �� 98
237
- ώ� 98
238
- �ο 97
239
- �τ 97
240
- �ο 95
241
- �ύ 93
242
- �ά 92
243
- ύ� 91
244
- �� 91
245
- �σ 89
246
- �α 88
247
- �ν 88
248
- �ε 88
249
- _έ 87
250
- �ν 87
251
- �δ 87
252
- �έ 85
253
- �ς 85
254
- �ς 84
255
- �ε 82
256
- �ρ 82
257
- �ι 82
258
- �� 81
259
- χ� 81
260
- �ς 81
261
- 79
262
- �ρ 79
263
- �σ 78
264
- �ό 78
265
- 77
266
- ξ 77
267
- �ν 76
268
- �� 76
269
- ύ� 76
270
- �τ 75
271
- �ν 74
272
- �ο 73
273
- ή� 73
274
- �� 73
275
- �ε 72
276
- �μ 71
277
- �� 71
278
- ώ� 71
279
- _χ 70
280
- λ� 70
281
- �� 70
282
- �τ 70
283
- �υ 68
284
- �ι 68
285
- �ς 68
286
- �π 67
287
- �� 67
288
- ξ� 67
289
- �ε 67
290
- �η 67
291
- �ω 66
292
- �μ 66
293
- 65
294
- �υ 65
295
- _υ 64
296
- δ� 62
297
- �ρ 62
298
- �� 62
299
- �μ 61
300
- �λ 60
301
- θ� 60
302
- �η 60
303
- �� 60
304
- �ά 59
305
- 58
306
- �π 58
307
- γ� 57
308
- �� 57
309
- ί_ 56
310
- �ά 56
311
- �ι 56
312
- �_ 56
313
- �π 56
314
- �χ 56
315
- �ς 56
316
- �λ 55
317
- �κ 55
318
- �ρ 54
319
- �κ 54
320
- �ς 54
321
- �ε 53
322
- ζ 52
323
- 52
324
- �α 52
325
- �ί 52
326
- β� 51
327
- �� 51
328
- �ν 49
329
- �ς 49
330
- ύ_ 49
331
- �ω 49
332
- �_ 49
333
- �υ 48
334
- �τ 48
335
- �ι 47
336
- �κ 47
337
- �ν 47
338
- �ι 47
339
- �θ 46
340
- �σ 46
341
- �μ 46
342
- �ρ 46
343
- �γ 45
344
- �ί 45
345
- �τ 45
346
- �ά 45
347
- �ρ 44
348
- ζ� 43
349
- �σ 43
350
- �σ 43
351
- �έ 43
352
- �� 43
353
- �ό 43
354
- 42
355
- �τ 42
356
- �γ 42
357
- �η 41
358
- �υ 41
359
- �ο 40
360
- �χ 40
361
- �ρ 40
362
- �ν 40
363
- ψ 39
364
- 39
365
- �γ 39
366
- �τ 38
367
- �ε 38
368
- �κ 38
369
- �ό 37
370
- �ρ 37
371
- �ί 37
372
- �λ 36
373
- �σ 36
374
- �ή 36
375
- �� 36
376
- φ� 36
377
- �� 35
378
- �ό 35
379
- �λ 35
380
- �ο 35
381
- ψ� 35
382
- �σ 35
383
- �ό 34
384
- �η 34
385
- �φ 34
386
- �δ 34
387
- �λ 33
388
- �ή 33
389
- �η 33
390
- �τ 33
391
- �ί 33
392
- �έ 33
393
- �ν 32
394
- �μ 32
395
- �α 32
396
- �δ 32
397
- �ι 32
398
- �ώ 31
399
- �μ 31
400
- �ώ 31
1
+ _ 12022
2
+ α 2938
3
+ τ 2765
4
+ ο 2673
5
+ ε 2397
6
+ ι 2298
7
+ ν 1781
8
+ η 1529
9
+ ρ 1454
10
+ κ 1441
11
+ σ 1353
12
+ ς 1306
13
+ ς_ 1303
14
+ π 1197
15
+ 1127
16
+ λ 1085
17
+ μ 1083
18
+ υ 1063
19
+ ί 824
20
+ α_ 772
21
+ το 686
22
+ ι_ 674
23
+ ό 669
24
+ ν_ 650
25
+ τη 608
26
+ ου 593
27
+ ά 583
28
+ 570
29
+ δ 561
30
+ _ε 561
31
+ _κ 561
32
+ έ 555
33
+ ο_ 549
34
+ η_ 516
35
+ αι 510
36
+ 501
37
+ 492
38
+ ή 489
39
+ ικ 452
40
+ _το 451
41
+ αι_ 451
42
+ κα 449
43
+ ω 431
44
+ χ 430
45
+ γ 415
46
+ στ 403
47
+ _τη 398
48
+ _κα 395
49
+ 377
50
+ τα 376
51
+ πο 370
52
+ υ_ 330
53
+ ου_ 329
54
+ θ 326
55
+ ύ 321
56
+ τι 320
57
+ ε_ 317
58
+ να 302
59
+ ει 292
60
+ ην 287
61
+ και 284
62
+ ερ 282
63
+ _ο 277
64
+ με 275
65
+ ης 269
66
+ ης_ 268
67
+ _στ 265
68
+ το_ 252
69
+ τε 248
70
+ αν 245
71
+ εί 245
72
+ 245
73
+ ώ 241
74
+ ατ 232
75
+ ό_ 228
76
+ του 225
77
+ ια 224
78
+ 223
79
+ ή_ 222
80
+ ην_ 222
81
+ ελ 221
82
+ την 217
83
+ ρι 216
84
+ ία 213
85
+ _η_ 212
86
+ απ 210
87
+ λλ 209
88
+ _με 206
89
+ β 203
90
+ της 199
91
+ ρα 196
92
+ ρο 193
93
+ φ 192
94
+ _απ 189
95
+ ιο 187
96
+ μα 185
97
+ ισ 177
98
+ κή 175
99
+ πό 169
100
+ ση 165
101
+ σε 163
102
+ ά_ 163
103
+ ική 162
104
+ ετ 162
105
+ οι 162
106
+ _πο 161
107
+ ον 160
108
+ ων 159
109
+ τικ 159
110
+ _ελ 158
111
+ ία_ 152
112
+ ελλ 151
113
+ πε 151
114
+ ολ 151
115
+ ες 149
116
+ ες_ 148
117
+ ας_ 147
118
+ ας 147
119
+ πρ 144
120
+ ού 144
121
+ νο 141
122
+ ρί 140
123
+ δι 138
124
+ λε 138
125
+ τα_ 137
126
+ κο 137
127
+ από 136
128
+ αρ 135
129
+ _πρ 133
130
+ ια_ 132
131
+ _έ 131
132
+ πό_ 130
133
+ ων_ 130
134
+ λι 129
135
+ ρε 127
136
+ μο 127
137
+ λά 126
138
+ ξ 125
139
+ λο 124
140
+ 122
141
+ ησ 120
142
+ ίν 119
143
+ 119
144
+ στη 119
145
+ ος 119
146
+ ος_ 118
147
+ νι 117
148
+ ορ 115
149
+ ντ 114
150
+ κε 114
151
+ ις_ 114
152
+ ις 114
153
+ ές 113
154
+ ές_ 113
155
+ _πε 113
156
+ ίο 113
157
+ δα 112
158
+ άδ 112
159
+ κό 111
160
+ υν 110
161
+ λλά 109
162
+ ει_ 109
163
+ κή_ 109
164
+ νε 108
165
+ περ 108
166
+ _γ 107
167
+ ασ 107
168
+ υτ 106
169
+ επ 106
170
+ σε_ 105
171
+ να_ 104
172
+ λη 104
173
+ τη_ 104
174
+ μέ 103
175
+ _αν 103
176
+ ών 103
177
+ ότ 103
178
+ που 103
179
+ σμ 102
180
+ 100
181
+ ής 100
182
+ ής_ 100
183
+ ση_ 99
184
+ λάδ 99
185
+ στο 96
186
+ _δι 95
187
+ τω 95
188
+ _εί 95
189
+ άδα 95
190
+ τερ 94
191
+ εν 93
192
+ είν 93
193
+ ται 92
194
+ με_ 91
195
+ _επ 91
196
+ υρ 90
197
+ οπ 90
198
+ θε 90
199
+ αλ 89
200
+ ημ 89
201
+ ευ 87
202
+ ναι 86
203
+ ίνα 86
204
+ οί 86
205
+ ύ_ 84
206
+ υς_ 84
207
+ ομ 84
208
+ υς 84
209
+ ους 84
210
+ των 83
211
+ ερι 82
212
+ χε 82
213
+ κρ 82
214
+ πολ 82
215
+ νικ 81
216
+ ετα 81
217
+ ί_ 80
218
+ γι 79
219
+ _ο_ 79
220
+ ακ 79
221
+ κατ 79
222
+ οι_ 79
223
+ ολι 78
224
+ _οι 78
225
+ συ 77
226
+ δα_ 77
227
+ νη 77
228
+ εκ 76
229
+ τρ 76
230
+ δε 76
231
+ 75
232
+ τά 75
233
+ πα 75
234
+ μι 75
235
+ _τω 75
236
+ 74
237
+ ιτ 73
238
+ ικο 73
239
+ τις 72
240
+ ως 72
241
+ ως_ 72
242
+ κά 72
243
+ ών_ 72
244
+ _συ 71
245
+ τον 71
246
+ ματ 71
247
+ ζ 70
248
+ μετ 70
249
+ ον_ 70
250
+ ιν 69
251
+ υσ 69
252
+ ού_ 68
253
+ αν_ 68
254
+ ός 68
255
+ ός_ 68
256
+ σι 67
257
+ οπο 67
258
+ ισμ 67
259
+ ρά 67
260
+ ρω 66
261
+ οχ 66
262
+ έν 65
263
+ θη 64
264
+ πλ 64
265
+ προ 64
266
+ τέ 64
267
+ στι 63
268
+ έρ 63
269
+ έχ 63
270
+ κτ 63
271
+ κής 63
272
+ ηκ 62
273
+ ργ 62
274
+ ικό 62
275
+ υπ 61
276
+ μό 61
277
+ _τα 60
278
+ 60
279
+ κά_ 60
280
+ γε 60
281
+ _μέ 60
282
+ όμ 60
283
+ αυ 59
284
+ _σε 59
285
+ ρα_ 59
286
+ αί 59
287
+ έλ 59
288
+ δο 58
289
+ ίας 57
290
+ ητ 57
291
+ λλη 57
292
+ δια 57
293
+ άλ 56
294
+ ριο 56
295
+ _οπ 56
296
+ αυτ 55
297
+ ψ 55
298
+ ανα 55
299
+ _πλ 55
300
+ ατο 55
301
+ αθ 55
302
+ ίου 55
303
+ κυ 54
304
+ λην 54
305
+ ίσ 54
306
+ ικά 54
307
+ ρό 54
308
+ χρ 54
309
+ οσ 54
310
+ μα_ 53
311
+ τή 53
312
+ ποί 52
313
+ όν 52
314
+ εγ 52
315
+ κού 52
316
+ _να 52
317
+ οκ 51
318
+ λιτ 51
319
+ ότε 51
320
+ _εκ 51
321
+ οδ 51
322
+ _κυ 50
323
+ λα 50
324
+ ντα 50
325
+ σί 50
326
+ σα 50
327
+ ωτ 50
328
+ ογ 50
329
+ βο 50
330
+ _ι 50
331
+ ρισ 50
332
+ ιστ 49
333
+ στα 49
334
+ ατα 49
335
+ ηκε 49
336
+ κε_ 49
337
+ εί_ 49
338
+ εσ 49
339
+ ύν 49
340
+ τά_ 48
341
+ εδ 48
342
+ ηση 48
343
+ ιο_ 48
344
+ για 48
345
+ νησ 48
346
+ _γι 48
347
+ χει 47
348
+ _αυ 47
349
+ κό_ 47
350
+ δρ 47
351
+ τό 47
352
+ ηνι 47
353
+ αμ 46
354
+ πι 46
355
+ έσ 46
356
+ ρη 46
357
+ ουν 46
358
+ εξ 45
359
+ ιτι 45
360
+ συν 45
361
+ οτ 45
362
+ απο 45
363
+ άρ 45
364
+ _υπ 45
365
+ νό 44
366
+ ρχ 44
367
+ ουρ 44
368
+ σει 44
369
+ _πα 43
370
+ γα 43
371
+ κλ 43
372
+ υλ 43
373
+ μη 43
374
+ _εν 43
375
+ νομ 43
376
+ ιά 42
377
+ μεγ 42
378
+ αφ 42
379
+ κέ 42
380
+ φο 41
381
+ εις 41
382
+ λή 41
383
+ μμ 41
384
+ ατά 41
385
+ σσ 40
386
+ νέ 40
387
+ τισ 40
388
+ ρο_ 40
389
+ παρ 40
390
+ ουλ 39
391
+ ζε 39
392
+ _αρ 39
393
+ ερα 39
394
+ σης 39
395
+ ιώ 39
396
+ σο 39
397
+ _βο 38
398
+ δη 38
399
+ _δε 38
400
+ τί 38