scylla 0.9.3 → 1.0.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- 15444
2
- _ 8608
3
- 8439
4
- _� 2497
5
- α 2106
6
- 2106
7
- 1994
8
- τ 1994
9
- ο 1928
10
- 1928
11
- _� 1800
12
- �� 1797
13
- τ� 1797
14
- ε 1734
15
- 1734
16
- ι 1653
17
- 1653
18
- 1282
19
- ν 1282
20
- 1107
21
- ρ 1107
22
- 1081
23
- η 1081
24
- 1052
25
- κ 1052
26
- σ 1016
27
- 1016
28
- 936
29
- ς 936
30
- _ 935
31
- ς_ 935
32
- ρ� 914
33
- �� 914
34
- ο� 901
35
- �� 901
36
- 857
37
- π 856
38
- �� 846
39
- ε� 846
40
- α� 840
41
- �� 840
42
- 823
43
- υ 823
44
- μ 799
45
- 799
46
- �� 795
47
- ι� 795
48
- _τ 784
49
- κ� 783
50
- �� 783
51
- 764
52
- λ 763
53
- �� 714
54
- α� 714
55
- �� 694
56
- μ� 694
57
- �� 692
58
- λ� 692
59
- ε� 684
60
- �� 684
61
- �� 665
62
- ν� 665
63
- �� 616
64
- ο� 616
65
- ί 593
66
- 593
67
- π� 574
68
- �� 574
69
- α_ 552
70
- _ 552
71
- �� 519
72
- σ� 519
73
- �ο 503
74
- ι_ 502
75
- _ 502
76
- ό 498
77
- 498
78
- σ� 494
79
- �� 494
80
- �υ 451
81
- �_ 441
82
- ν_ 441
83
- ά 436
84
- 436
85
- �η 422
86
- 416
87
- ί� 414
88
- �� 414
89
- ο_ 411
90
- �_ 411
91
- έ 405
92
- 405
93
- 404
94
- δ 404
95
- 393
96
- 391
97
- �� 387
98
- η� 387
99
- 381
100
- �ι 375
101
- �_ 362
102
- η_ 362
103
- _α 358
104
- �� 356
105
- ι� 356
106
- ή 354
107
- 354
108
- δ� 339
109
- �� 339
110
- υ� 337
111
- �� 337
112
- �κ 332
113
- �� 332
114
- η� 332
115
- �α 317
116
- ω 313
117
- 313
118
- �τ 310
119
- γ 301
120
- 301
121
- χ 291
122
- 291
123
- 278
124
- �α 273
125
- π� 270
126
- �� 270
127
- κ� 262
128
- �� 262
129
- �� 258
130
- έ� 258
131
- _ 254
132
- υ_ 254
133
- �ο 251
134
- θ 251
135
- 251
136
- �ι 247
137
- �� 243
138
- γ� 243
139
- υ� 232
140
- �� 232
141
- �ι 226
142
- 216
143
- ύ 216
144
- �α 211
145
- χ� 208
146
- �ρ 208
147
- �� 208
148
- �_ 204
149
- ε_ 204
150
- �ε 200
151
- �ς 197
152
- ά� 195
153
- �� 195
154
- _ο 194
155
- ό� 194
156
- �� 194
157
- �� 193
158
- τ� 193
159
- ρ� 192
160
- �� 192
161
- �� 190
162
- θ� 190
163
- 184
164
- ώ 184
165
- �ν 179
166
- 179
167
- �ε 178
168
- ό_ 176
169
- ν� 176
170
- �_ 176
171
- �� 176
172
- �ί 175
173
- �τ 173
174
- β 171
175
- 171
176
- _η 169
177
- �ν 165
178
- �λ 165
179
- �ι 162
180
- �α 162
181
- �π 159
182
- φ 158
183
- 158
184
- �α 157
185
- �α 154
186
- ή_ 154
187
- _ 154
188
- �� 153
189
- ω� 153
190
- �� 146
191
- έ� 146
192
- ω� 143
193
- �� 143
194
- �ο 138
195
- �λ 133
196
- �ό 133
197
- �ή 131
198
- �ο 130
199
- �α 130
200
- ό� 128
201
- �� 128
202
- ή� 127
203
- �� 127
204
- ά_ 125
205
- �_ 125
206
- �� 123
207
- ί� 123
208
- �� 122
209
- φ� 122
210
- �ο 121
211
- �η 120
212
- �� 120
213
- β� 120
214
- �τ 119
215
- �σ 119
216
- �� 116
217
- ά� 116
218
- �ν 113
219
- �ς 113
220
- �ι 111
221
- �ε 110
222
- �ν 109
223
- �ι 109
224
- �ς 109
225
- 105
226
- �λ 103
227
- �ρ 103
228
- �ε 102
229
- �ί 102
230
- �ε 100
231
- �ο 99
232
- �ε 98
233
- �ρ 98
234
- �� 98
235
- μ� 98
236
- �� 98
237
- ώ� 98
238
- �ο 97
239
- �τ 97
240
- �ο 95
241
- �ύ 93
242
- �ά 92
243
- ύ� 91
244
- �� 91
245
- �σ 89
246
- �α 88
247
- �ν 88
248
- �ε 88
249
- _έ 87
250
- �ν 87
251
- �δ 87
252
- �έ 85
253
- �ς 85
254
- �ς 84
255
- �ε 82
256
- �ρ 82
257
- �ι 82
258
- �� 81
259
- χ� 81
260
- �ς 81
261
- 79
262
- �ρ 79
263
- �σ 78
264
- �ό 78
265
- 77
266
- ξ 77
267
- �ν 76
268
- �� 76
269
- ύ� 76
270
- �τ 75
271
- �ν 74
272
- �ο 73
273
- ή� 73
274
- �� 73
275
- �ε 72
276
- �μ 71
277
- �� 71
278
- ώ� 71
279
- 70
280
- λ� 70
281
- �� 70
282
- �τ 70
283
- �υ 68
284
- �ι 68
285
- �ς 68
286
- �π 67
287
- �� 67
288
- ξ� 67
289
- �ε 67
290
- �η 67
291
- �ω 66
292
- �μ 66
293
- _γ 65
294
- �υ 65
295
- 64
296
- δ� 62
297
- �ρ 62
298
- �� 62
299
- �μ 61
300
- �λ 60
301
- θ� 60
302
- �η 60
303
- �� 60
304
- �ά 59
305
- 58
306
- �π 58
307
- γ� 57
308
- �� 57
309
- ί_ 56
310
- �ά 56
311
- �ι 56
312
- �_ 56
313
- �π 56
314
- �χ 56
315
- �ς 56
316
- �λ 55
317
- �κ 55
318
- �ρ 54
319
- �κ 54
320
- �ς 54
321
- �ε 53
322
- ζ 52
323
- 52
324
- �α 52
325
- �ί 52
326
- β� 51
327
- �� 51
328
- �ν 49
329
- �ς 49
330
- ύ_ 49
331
- �ω 49
332
- �_ 49
333
- �υ 48
334
- �τ 48
335
- �ι 47
336
- �κ 47
337
- �ν 47
338
- �ι 47
339
- �θ 46
340
- �σ 46
341
- �μ 46
342
- �ρ 46
343
- �γ 45
344
- �ί 45
345
- �τ 45
346
- �ά 45
347
- �ρ 44
348
- ζ� 43
349
- �σ 43
350
- �σ 43
351
- �έ 43
352
- �� 43
353
- �ό 43
354
- 42
355
- �τ 42
356
- �γ 42
357
- �η 41
358
- �υ 41
359
- �ο 40
360
- �χ 40
361
- �ρ 40
362
- �ν 40
363
- ψ 39
364
- 39
365
- �γ 39
366
- �τ 38
367
- �ε 38
368
- �κ 38
369
- �ό 37
370
- �ρ 37
371
- �ί 37
372
- �λ 36
373
- �σ 36
374
- �ή 36
375
- �� 36
376
- φ� 36
377
- �� 35
378
- �ό 35
379
- �λ 35
380
- �ο 35
381
- ψ� 35
382
- �σ 35
383
- �ό 34
384
- �η 34
385
- �φ 34
386
- �δ 34
387
- �λ 33
388
- �ή 33
389
- �η 33
390
- �τ 33
391
- �ί 33
392
- �έ 33
393
- �ν 32
394
- �μ 32
395
- �α 32
396
- �δ 32
397
- �ι 32
398
- �ώ 31
399
- �μ 31
400
- �ώ 31
1
+ _ 11632
2
+ α 2829
3
+ τ 2653
4
+ ο 2590
5
+ ε 2335
6
+ ι 2221
7
+ ν 1723
8
+ η 1480
9
+ ρ 1415
10
+ κ 1398
11
+ σ 1314
12
+ ς 1253
13
+ ς_ 1252
14
+ π 1169
15
+ 1083
16
+ μ 1058
17
+ υ 1044
18
+ λ 1040
19
+ ί 800
20
+ α_ 748
21
+ ό 658
22
+ το 655
23
+ ι_ 648
24
+ ν_ 626
25
+ ου 589
26
+ τη 575
27
+ ά 563
28
+ 552
29
+ δ 548
30
+ _ε 543
31
+ _κ 542
32
+ έ 537
33
+ ο_ 522
34
+ η_ 506
35
+ αι 498
36
+ 485
37
+ 485
38
+ ή 469
39
+ ικ 440
40
+ αι_ 440
41
+ _το 434
42
+ κα 432
43
+ ω 418
44
+ χ 417
45
+ γ 404
46
+ στ 388
47
+ _κα 379
48
+ _τη 370
49
+ πο 367
50
+ 366
51
+ τα 361
52
+ υ_ 331
53
+ ου_ 330
54
+ θ 316
55
+ τι 315
56
+ ύ 312
57
+ ε_ 309
58
+ να 290
59
+ ερ 282
60
+ και 278
61
+ ει 273
62
+ με 272
63
+ ην 271
64
+ _ο 267
65
+ _στ 261
66
+ ης_ 255
67
+ ης 255
68
+ τε 244
69
+ _η 242
70
+ το_ 240
71
+ εί 235
72
+ ώ 233
73
+ αν 232
74
+ ό_ 226
75
+ _δ 223
76
+ του 222
77
+ ελ 216
78
+ ια 215
79
+ ή_ 212
80
+ ατ 211
81
+ απ 210
82
+ _η_ 209
83
+ ρι 207
84
+ ην_ 206
85
+ την 204
86
+ ία 201
87
+ _με 201
88
+ λλ 199
89
+ β 198
90
+ ρα 192
91
+ ρο 190
92
+ _απ 189
93
+ της 186
94
+ φ 186
95
+ ιο 180
96
+ μα 177
97
+ ισ 171
98
+ πό 169
99
+ κή 169
100
+ ση 164
101
+ ετ 161
102
+ _πο 158
103
+ ά_ 158
104
+ ική 157
105
+ ων 157
106
+ τικ 155
107
+ _ελ 154
108
+ ον 153
109
+ οι 152
110
+ σε 152
111
+ πε 147
112
+ ες 147
113
+ ες_ 146
114
+ ελλ 146
115
+ ία_ 145
116
+ ολ 142
117
+ ού 141
118
+ ρί 139
119
+ από 138
120
+ νο 138
121
+ ας 137
122
+ ας_ 137
123
+ πρ 135
124
+ κο 135
125
+ δι 135
126
+ αρ 134
127
+ λε 132
128
+ τα_ 132
129
+ πό_ 131
130
+ ων_ 130
131
+ ια_ 127
132
+ _πρ 125
133
+ 125
134
+ μο 125
135
+ λι 124
136
+ ξ 124
137
+ ρε 123
138
+ λά 120
139
+ λο 118
140
+ ησ 117
141
+ ος 117
142
+ 117
143
+ ος_ 117
144
+ στη 116
145
+ 115
146
+ ίν 114
147
+ ις 113
148
+ νι 113
149
+ ίο 113
150
+ ις_ 113
151
+ κε 113
152
+ δα 111
153
+ ές_ 110
154
+ υν 110
155
+ ντ 110
156
+ ές 110
157
+ _πε 110
158
+ άδ 110
159
+ ορ 109
160
+ κό 106
161
+ κή_ 106
162
+ περ 105
163
+ λλά 105
164
+ ασ 105
165
+ μέ 104
166
+ νε 104
167
+ που 103
168
+ _γ 103
169
+ ών 102
170
+ ότ 102
171
+ επ 102
172
+ σμ 100
173
+ λη 100
174
+ ει_ 100
175
+ ση_ 99
176
+ σε_ 99
177
+ τη_ 98
178
+ υτ 98
179
+ να_ 98
180
+ λάδ 97
181
+ _αν 97
182
+ τω 96
183
+ 96
184
+ ής_ 95
185
+ τερ 95
186
+ ής 95
187
+ _δι 94
188
+ στο 93
189
+ άδα 93
190
+ εν 93
191
+ _εί 92
192
+ ται 92
193
+ υρ 89
194
+ οπ 89
195
+ θε 89
196
+ _επ 88
197
+ είν 88
198
+ ημ 88
199
+ με_ 88
200
+ αλ 87
201
+ ευ 84
202
+ οί 84
203
+ ναι 83
204
+ υς_ 83
205
+ των 83
206
+ ίνα 83
207
+ ους 83
208
+ ύ_ 83
209
+ υς 83
210
+ χε 82
211
+ ομ 81
212
+ νικ 80
213
+ ετα 80
214
+ πολ 79
215
+ νη 78
216
+ ερι 78
217
+ κρ 77
218
+ δα_ 77
219
+ ολι 76
220
+ δε 76
221
+ ακ 76
222
+ συ 75
223
+ _τω 75
224
+ τις 75
225
+ γι 75
226
+ εκ 74
227
+ ί_ 74
228
+ _ο_ 74
229
+ _οι 73
230
+ πα 73
231
+ μι 73
232
+ 72
233
+ ως 72
234
+ ών_ 72
235
+ ως_ 72
236
+ ικο 72
237
+ τά 71
238
+ οι_ 71
239
+ 71
240
+ κατ 71
241
+ κά 71
242
+ ιτ 70
243
+ _συ 70
244
+ μετ 69
245
+ ός_ 69
246
+ ός 69
247
+ τρ 69
248
+ τον 67
249
+ ού_ 67
250
+ ισμ 67
251
+ ματ 67
252
+ ον_ 67
253
+ οπο 67
254
+ ρά 67
255
+ ζ 67
256
+ ιν 66
257
+ αν_ 65
258
+ σι 65
259
+ έν 65
260
+ έρ 64
261
+ πλ 64
262
+ έχ 63
263
+ οχ 63
264
+ υσ 63
265
+ θη 62
266
+ ρα_ 62
267
+ ηκ 61
268
+ προ 61
269
+ τέ 61
270
+ υπ 61
271
+ _τα 61
272
+ στι 61
273
+ κής 60
274
+ _μέ 60
275
+ ικό 60
276
+ ργ 60
277
+ κτ 60
278
+ ρω 60
279
+ μό 60
280
+ ίου 58
281
+ 58
282
+ _σε 58
283
+ όμ 58
284
+ κά_ 58
285
+ γε 57
286
+ δο 57
287
+ ητ 57
288
+ αί 56
289
+ _οπ 56
290
+ δια 56
291
+ κυ 55
292
+ ψ 55
293
+ _πλ 55
294
+ λλη 54
295
+ αυ 54
296
+ ρό 54
297
+ έλ 54
298
+ άλ 53
299
+ ίσ 53
300
+ ανα 53
301
+ αθ 53
302
+ ίας 53
303
+ ότε 53
304
+ ικά 52
305
+ ριο 52
306
+ μα_ 52
307
+ κού 52
308
+ χρ 52
309
+ ποί 52
310
+ οδ 52
311
+ οσ 51
312
+ σί 51
313
+ λην 51
314
+ εγ 51
315
+ κε_ 50
316
+ _κυ 50
317
+ ντα 50
318
+ 50
319
+ _εκ 50
320
+ ηση 50
321
+ τή 50
322
+ αυτ 50
323
+ λιτ 50
324
+ νησ 49
325
+ όν 49
326
+ ηκε 49
327
+ ρισ 49
328
+ ογ 48
329
+ ύν 48
330
+ εσ 48
331
+ ατο 48
332
+ οκ 48
333
+ λα 47
334
+ τό 47
335
+ βο 47
336
+ χει 47
337
+ ουν 47
338
+ εδ 47
339
+ εί_ 47
340
+ ηνι 47
341
+ _να 47
342
+ τά_ 46
343
+ στα 46
344
+ κό_ 46
345
+ ιο_ 46
346
+ οτ 46
347
+ αμ 46
348
+ εξ 45
349
+ απο 45
350
+ ωτ 45
351
+ δρ 45
352
+ συν 45
353
+ _υπ 45
354
+ σα 45
355
+ _γι 45
356
+ ιστ 44
357
+ ιτι 44
358
+ για 44
359
+ ρη 43
360
+ ρχ 43
361
+ γα 43
362
+ _εν 43
363
+ πι 43
364
+ ερα 43
365
+ άρ 43
366
+ ουρ 43
367
+ έσ 42
368
+ ατα 42
369
+ υλ 42
370
+ _πα 42
371
+ _αυ 42
372
+ λή 41
373
+ μη 41
374
+ νό 41
375
+ νομ 41
376
+ κλ 41
377
+ αφ 41
378
+ μεγ 41
379
+ ιά 41
380
+ _αρ 40
381
+ σης 40
382
+ κέ 40
383
+ μμ 40
384
+ σσ 40
385
+ _τι 40
386
+ σο 40
387
+ νέ 39
388
+ τισ 39
389
+ ρο_ 39
390
+ _δε 39
391
+ σει 39
392
+ παρ 39
393
+ ουλ 39
394
+ ατά 38
395
+ βρ 38
396
+ φο 38
397
+ δη 38
398
+ βου 37
399
+ 37
400
+ εις 37