scylla 0.9.3 → 1.0.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- 15444
2
- _ 8608
3
- 8439
4
- _� 2497
5
- α 2106
6
- 2106
7
- 1994
8
- τ 1994
9
- ο 1928
10
- 1928
11
- _� 1800
12
- �� 1797
13
- τ� 1797
14
- ε 1734
15
- 1734
16
- ι 1653
17
- 1653
18
- 1282
19
- ν 1282
20
- 1107
21
- ρ 1107
22
- 1081
23
- η 1081
24
- 1052
25
- κ 1052
26
- σ 1016
27
- 1016
28
- 936
29
- ς 936
30
- _ 935
31
- ς_ 935
32
- ρ� 914
33
- �� 914
34
- ο� 901
35
- �� 901
36
- 857
37
- π 856
38
- �� 846
39
- ε� 846
40
- α� 840
41
- �� 840
42
- 823
43
- υ 823
44
- μ 799
45
- 799
46
- �� 795
47
- ι� 795
48
- _τ 784
49
- κ� 783
50
- �� 783
51
- 764
52
- λ 763
53
- �� 714
54
- α� 714
55
- �� 694
56
- μ� 694
57
- �� 692
58
- λ� 692
59
- ε� 684
60
- �� 684
61
- �� 665
62
- ν� 665
63
- �� 616
64
- ο� 616
65
- ί 593
66
- 593
67
- π� 574
68
- �� 574
69
- α_ 552
70
- _ 552
71
- �� 519
72
- σ� 519
73
- �ο 503
74
- ι_ 502
75
- _ 502
76
- ό 498
77
- 498
78
- σ� 494
79
- �� 494
80
- �υ 451
81
- �_ 441
82
- ν_ 441
83
- ά 436
84
- 436
85
- �η 422
86
- 416
87
- ί� 414
88
- �� 414
89
- ο_ 411
90
- �_ 411
91
- έ 405
92
- 405
93
- 404
94
- δ 404
95
- 393
96
- 391
97
- �� 387
98
- η� 387
99
- 381
100
- �ι 375
101
- �_ 362
102
- η_ 362
103
- _α 358
104
- �� 356
105
- ι� 356
106
- ή 354
107
- 354
108
- δ� 339
109
- �� 339
110
- υ� 337
111
- �� 337
112
- �κ 332
113
- �� 332
114
- η� 332
115
- �α 317
116
- ω 313
117
- 313
118
- �τ 310
119
- γ 301
120
- 301
121
- χ 291
122
- 291
123
- 278
124
- �α 273
125
- π� 270
126
- �� 270
127
- κ� 262
128
- �� 262
129
- �� 258
130
- έ� 258
131
- _ 254
132
- υ_ 254
133
- �ο 251
134
- θ 251
135
- 251
136
- �ι 247
137
- �� 243
138
- γ� 243
139
- υ� 232
140
- �� 232
141
- �ι 226
142
- 216
143
- ύ 216
144
- �α 211
145
- χ� 208
146
- �ρ 208
147
- �� 208
148
- �_ 204
149
- ε_ 204
150
- �ε 200
151
- �ς 197
152
- ά� 195
153
- �� 195
154
- _ο 194
155
- ό� 194
156
- �� 194
157
- �� 193
158
- τ� 193
159
- ρ� 192
160
- �� 192
161
- �� 190
162
- θ� 190
163
- 184
164
- ώ 184
165
- �ν 179
166
- 179
167
- �ε 178
168
- ό_ 176
169
- ν� 176
170
- �_ 176
171
- �� 176
172
- �ί 175
173
- �τ 173
174
- β 171
175
- 171
176
- _η 169
177
- �ν 165
178
- �λ 165
179
- �ι 162
180
- �α 162
181
- �π 159
182
- φ 158
183
- 158
184
- �α 157
185
- �α 154
186
- ή_ 154
187
- _ 154
188
- �� 153
189
- ω� 153
190
- �� 146
191
- έ� 146
192
- ω� 143
193
- �� 143
194
- �ο 138
195
- �λ 133
196
- �ό 133
197
- �ή 131
198
- �ο 130
199
- �α 130
200
- ό� 128
201
- �� 128
202
- ή� 127
203
- �� 127
204
- ά_ 125
205
- �_ 125
206
- �� 123
207
- ί� 123
208
- �� 122
209
- φ� 122
210
- �ο 121
211
- �η 120
212
- �� 120
213
- β� 120
214
- �τ 119
215
- �σ 119
216
- �� 116
217
- ά� 116
218
- �ν 113
219
- �ς 113
220
- �ι 111
221
- �ε 110
222
- �ν 109
223
- �ι 109
224
- �ς 109
225
- 105
226
- �λ 103
227
- �ρ 103
228
- �ε 102
229
- �ί 102
230
- �ε 100
231
- �ο 99
232
- �ε 98
233
- �ρ 98
234
- �� 98
235
- μ� 98
236
- �� 98
237
- ώ� 98
238
- �ο 97
239
- �τ 97
240
- �ο 95
241
- �ύ 93
242
- �ά 92
243
- ύ� 91
244
- �� 91
245
- �σ 89
246
- �α 88
247
- �ν 88
248
- �ε 88
249
- _έ 87
250
- �ν 87
251
- �δ 87
252
- �έ 85
253
- �ς 85
254
- �ς 84
255
- �ε 82
256
- �ρ 82
257
- �ι 82
258
- �� 81
259
- χ� 81
260
- �ς 81
261
- 79
262
- �ρ 79
263
- �σ 78
264
- �ό 78
265
- 77
266
- ξ 77
267
- �ν 76
268
- �� 76
269
- ύ� 76
270
- �τ 75
271
- �ν 74
272
- �ο 73
273
- ή� 73
274
- �� 73
275
- �ε 72
276
- �μ 71
277
- �� 71
278
- ώ� 71
279
- 70
280
- λ� 70
281
- �� 70
282
- �τ 70
283
- �υ 68
284
- �ι 68
285
- �ς 68
286
- �π 67
287
- �� 67
288
- ξ� 67
289
- �ε 67
290
- �η 67
291
- �ω 66
292
- �μ 66
293
- _γ 65
294
- �υ 65
295
- 64
296
- δ� 62
297
- �ρ 62
298
- �� 62
299
- �μ 61
300
- �λ 60
301
- θ� 60
302
- �η 60
303
- �� 60
304
- �ά 59
305
- 58
306
- �π 58
307
- γ� 57
308
- �� 57
309
- ί_ 56
310
- �ά 56
311
- �ι 56
312
- �_ 56
313
- �π 56
314
- �χ 56
315
- �ς 56
316
- �λ 55
317
- �κ 55
318
- �ρ 54
319
- �κ 54
320
- �ς 54
321
- �ε 53
322
- ζ 52
323
- 52
324
- �α 52
325
- �ί 52
326
- β� 51
327
- �� 51
328
- �ν 49
329
- �ς 49
330
- ύ_ 49
331
- �ω 49
332
- �_ 49
333
- �υ 48
334
- �τ 48
335
- �ι 47
336
- �κ 47
337
- �ν 47
338
- �ι 47
339
- �θ 46
340
- �σ 46
341
- �μ 46
342
- �ρ 46
343
- �γ 45
344
- �ί 45
345
- �τ 45
346
- �ά 45
347
- �ρ 44
348
- ζ� 43
349
- �σ 43
350
- �σ 43
351
- �έ 43
352
- �� 43
353
- �ό 43
354
- 42
355
- �τ 42
356
- �γ 42
357
- �η 41
358
- �υ 41
359
- �ο 40
360
- �χ 40
361
- �ρ 40
362
- �ν 40
363
- ψ 39
364
- 39
365
- �γ 39
366
- �τ 38
367
- �ε 38
368
- �κ 38
369
- �ό 37
370
- �ρ 37
371
- �ί 37
372
- �λ 36
373
- �σ 36
374
- �ή 36
375
- �� 36
376
- φ� 36
377
- �� 35
378
- �ό 35
379
- �λ 35
380
- �ο 35
381
- ψ� 35
382
- �σ 35
383
- �ό 34
384
- �η 34
385
- �φ 34
386
- �δ 34
387
- �λ 33
388
- �ή 33
389
- �η 33
390
- �τ 33
391
- �ί 33
392
- �έ 33
393
- �ν 32
394
- �μ 32
395
- �α 32
396
- �δ 32
397
- �ι 32
398
- �ώ 31
399
- �μ 31
400
- �ώ 31
1
+ _ 11632
2
+ α 2829
3
+ τ 2653
4
+ ο 2590
5
+ ε 2335
6
+ ι 2221
7
+ ν 1723
8
+ η 1480
9
+ ρ 1415
10
+ κ 1398
11
+ σ 1314
12
+ ς 1253
13
+ ς_ 1252
14
+ π 1169
15
+ 1083
16
+ μ 1058
17
+ υ 1044
18
+ λ 1040
19
+ ί 800
20
+ α_ 748
21
+ ό 658
22
+ το 655
23
+ ι_ 648
24
+ ν_ 626
25
+ ου 589
26
+ τη 575
27
+ ά 563
28
+ 552
29
+ δ 548
30
+ _ε 543
31
+ _κ 542
32
+ έ 537
33
+ ο_ 522
34
+ η_ 506
35
+ αι 498
36
+ 485
37
+ 485
38
+ ή 469
39
+ ικ 440
40
+ αι_ 440
41
+ _το 434
42
+ κα 432
43
+ ω 418
44
+ χ 417
45
+ γ 404
46
+ στ 388
47
+ _κα 379
48
+ _τη 370
49
+ πο 367
50
+ 366
51
+ τα 361
52
+ υ_ 331
53
+ ου_ 330
54
+ θ 316
55
+ τι 315
56
+ ύ 312
57
+ ε_ 309
58
+ να 290
59
+ ερ 282
60
+ και 278
61
+ ει 273
62
+ με 272
63
+ ην 271
64
+ _ο 267
65
+ _στ 261
66
+ ης_ 255
67
+ ης 255
68
+ τε 244
69
+ _η 242
70
+ το_ 240
71
+ εί 235
72
+ ώ 233
73
+ αν 232
74
+ ό_ 226
75
+ _δ 223
76
+ του 222
77
+ ελ 216
78
+ ια 215
79
+ ή_ 212
80
+ ατ 211
81
+ απ 210
82
+ _η_ 209
83
+ ρι 207
84
+ ην_ 206
85
+ την 204
86
+ ία 201
87
+ _με 201
88
+ λλ 199
89
+ β 198
90
+ ρα 192
91
+ ρο 190
92
+ _απ 189
93
+ της 186
94
+ φ 186
95
+ ιο 180
96
+ μα 177
97
+ ισ 171
98
+ πό 169
99
+ κή 169
100
+ ση 164
101
+ ετ 161
102
+ _πο 158
103
+ ά_ 158
104
+ ική 157
105
+ ων 157
106
+ τικ 155
107
+ _ελ 154
108
+ ον 153
109
+ οι 152
110
+ σε 152
111
+ πε 147
112
+ ες 147
113
+ ες_ 146
114
+ ελλ 146
115
+ ία_ 145
116
+ ολ 142
117
+ ού 141
118
+ ρί 139
119
+ από 138
120
+ νο 138
121
+ ας 137
122
+ ας_ 137
123
+ πρ 135
124
+ κο 135
125
+ δι 135
126
+ αρ 134
127
+ λε 132
128
+ τα_ 132
129
+ πό_ 131
130
+ ων_ 130
131
+ ια_ 127
132
+ _πρ 125
133
+ 125
134
+ μο 125
135
+ λι 124
136
+ ξ 124
137
+ ρε 123
138
+ λά 120
139
+ λο 118
140
+ ησ 117
141
+ ος 117
142
+ 117
143
+ ος_ 117
144
+ στη 116
145
+ 115
146
+ ίν 114
147
+ ις 113
148
+ νι 113
149
+ ίο 113
150
+ ις_ 113
151
+ κε 113
152
+ δα 111
153
+ ές_ 110
154
+ υν 110
155
+ ντ 110
156
+ ές 110
157
+ _πε 110
158
+ άδ 110
159
+ ορ 109
160
+ κό 106
161
+ κή_ 106
162
+ περ 105
163
+ λλά 105
164
+ ασ 105
165
+ μέ 104
166
+ νε 104
167
+ που 103
168
+ _γ 103
169
+ ών 102
170
+ ότ 102
171
+ επ 102
172
+ σμ 100
173
+ λη 100
174
+ ει_ 100
175
+ ση_ 99
176
+ σε_ 99
177
+ τη_ 98
178
+ υτ 98
179
+ να_ 98
180
+ λάδ 97
181
+ _αν 97
182
+ τω 96
183
+ 96
184
+ ής_ 95
185
+ τερ 95
186
+ ής 95
187
+ _δι 94
188
+ στο 93
189
+ άδα 93
190
+ εν 93
191
+ _εί 92
192
+ ται 92
193
+ υρ 89
194
+ οπ 89
195
+ θε 89
196
+ _επ 88
197
+ είν 88
198
+ ημ 88
199
+ με_ 88
200
+ αλ 87
201
+ ευ 84
202
+ οί 84
203
+ ναι 83
204
+ υς_ 83
205
+ των 83
206
+ ίνα 83
207
+ ους 83
208
+ ύ_ 83
209
+ υς 83
210
+ χε 82
211
+ ομ 81
212
+ νικ 80
213
+ ετα 80
214
+ πολ 79
215
+ νη 78
216
+ ερι 78
217
+ κρ 77
218
+ δα_ 77
219
+ ολι 76
220
+ δε 76
221
+ ακ 76
222
+ συ 75
223
+ _τω 75
224
+ τις 75
225
+ γι 75
226
+ εκ 74
227
+ ί_ 74
228
+ _ο_ 74
229
+ _οι 73
230
+ πα 73
231
+ μι 73
232
+ 72
233
+ ως 72
234
+ ών_ 72
235
+ ως_ 72
236
+ ικο 72
237
+ τά 71
238
+ οι_ 71
239
+ 71
240
+ κατ 71
241
+ κά 71
242
+ ιτ 70
243
+ _συ 70
244
+ μετ 69
245
+ ός_ 69
246
+ ός 69
247
+ τρ 69
248
+ τον 67
249
+ ού_ 67
250
+ ισμ 67
251
+ ματ 67
252
+ ον_ 67
253
+ οπο 67
254
+ ρά 67
255
+ ζ 67
256
+ ιν 66
257
+ αν_ 65
258
+ σι 65
259
+ έν 65
260
+ έρ 64
261
+ πλ 64
262
+ έχ 63
263
+ οχ 63
264
+ υσ 63
265
+ θη 62
266
+ ρα_ 62
267
+ ηκ 61
268
+ προ 61
269
+ τέ 61
270
+ υπ 61
271
+ _τα 61
272
+ στι 61
273
+ κής 60
274
+ _μέ 60
275
+ ικό 60
276
+ ργ 60
277
+ κτ 60
278
+ ρω 60
279
+ μό 60
280
+ ίου 58
281
+ 58
282
+ _σε 58
283
+ όμ 58
284
+ κά_ 58
285
+ γε 57
286
+ δο 57
287
+ ητ 57
288
+ αί 56
289
+ _οπ 56
290
+ δια 56
291
+ κυ 55
292
+ ψ 55
293
+ _πλ 55
294
+ λλη 54
295
+ αυ 54
296
+ ρό 54
297
+ έλ 54
298
+ άλ 53
299
+ ίσ 53
300
+ ανα 53
301
+ αθ 53
302
+ ίας 53
303
+ ότε 53
304
+ ικά 52
305
+ ριο 52
306
+ μα_ 52
307
+ κού 52
308
+ χρ 52
309
+ ποί 52
310
+ οδ 52
311
+ οσ 51
312
+ σί 51
313
+ λην 51
314
+ εγ 51
315
+ κε_ 50
316
+ _κυ 50
317
+ ντα 50
318
+ 50
319
+ _εκ 50
320
+ ηση 50
321
+ τή 50
322
+ αυτ 50
323
+ λιτ 50
324
+ νησ 49
325
+ όν 49
326
+ ηκε 49
327
+ ρισ 49
328
+ ογ 48
329
+ ύν 48
330
+ εσ 48
331
+ ατο 48
332
+ οκ 48
333
+ λα 47
334
+ τό 47
335
+ βο 47
336
+ χει 47
337
+ ουν 47
338
+ εδ 47
339
+ εί_ 47
340
+ ηνι 47
341
+ _να 47
342
+ τά_ 46
343
+ στα 46
344
+ κό_ 46
345
+ ιο_ 46
346
+ οτ 46
347
+ αμ 46
348
+ εξ 45
349
+ απο 45
350
+ ωτ 45
351
+ δρ 45
352
+ συν 45
353
+ _υπ 45
354
+ σα 45
355
+ _γι 45
356
+ ιστ 44
357
+ ιτι 44
358
+ για 44
359
+ ρη 43
360
+ ρχ 43
361
+ γα 43
362
+ _εν 43
363
+ πι 43
364
+ ερα 43
365
+ άρ 43
366
+ ουρ 43
367
+ έσ 42
368
+ ατα 42
369
+ υλ 42
370
+ _πα 42
371
+ _αυ 42
372
+ λή 41
373
+ μη 41
374
+ νό 41
375
+ νομ 41
376
+ κλ 41
377
+ αφ 41
378
+ μεγ 41
379
+ ιά 41
380
+ _αρ 40
381
+ σης 40
382
+ κέ 40
383
+ μμ 40
384
+ σσ 40
385
+ _τι 40
386
+ σο 40
387
+ νέ 39
388
+ τισ 39
389
+ ρο_ 39
390
+ _δε 39
391
+ σει 39
392
+ παρ 39
393
+ ουλ 39
394
+ ατά 38
395
+ βρ 38
396
+ φο 38
397
+ δη 38
398
+ βου 37
399
+ 37
400
+ εις 37