scylla 0.9.3 → 1.0.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- _ 7180
2
- o 1875
3
- a 1845
4
- e 1616
5
- n 1363
6
- 1300
7
- s 1174
8
- v 1082
9
- i 1034
10
- r 981
11
- t 926
12
- k 885
13
- l 785
14
- a_ 755
15
- d 666
16
- p 642
17
- 614
18
- m 566
19
- _s 498
20
- u 491
21
- c 460
22
- j 436
23
- h 430
24
- á 412
25
- 404
26
- _p 395
27
- z 386
28
- e_ 368
29
- ov 361
1
+ _ 7370
2
+ a 1923
3
+ o 1917
4
+ e 1653
5
+ n 1417
6
+ s 1212
7
+ v 1099
8
+ i 1068
9
+ r 1004
10
+ t 961
11
+ k 907
12
+ l 799
13
+ a_ 781
14
+ d 681
15
+ p 648
16
+ m 576
17
+ _s 515
18
+ u 498
19
+ c 468
20
+ j 455
21
+ h 436
22
+ á 419
23
+ z 410
24
+ _p 396
25
+ e_ 374
26
+ ov 370
30
27
  _v 340
31
- o_ 331
32
- y 323
33
- _n 319
34
- 310
35
- na 305
36
- n� 304
37
- en 272
38
- st 263
39
- sk 261
40
- _a 251
41
- lo 249
42
- u_ 245
43
- b 238
44
- _na 232
45
- po 228
46
- v_ 226
47
- í 222
48
- 222
49
- ko 214
50
- ý 209
51
- 209
52
- 205
53
- ro 204
54
- č 203
55
- 203
56
- š 202
57
- ve 196
58
- 190
59
- ne 190
60
- ch 184
61
- ú 182
62
- sl 182
63
- ie 181
64
- pr 180
65
- 178
66
- _po 178
67
- é 178
68
- i_ 172
69
- _r 168
70
- _a_ 168
71
- _k 166
72
- y_ 162
73
- od 162
74
- na_ 158
75
- _m 156
76
- ra 156
77
- ia 155
78
- re 155
79
- m_ 154
80
- _o 153
81
- to 152
82
- va 150
83
- ns 148
84
- la 147
85
- _pr 144
86
- nsk 143
87
- _d 142
88
- ho 141
89
- _z 141
90
- lov 140
91
- k� 139
92
- aj 136
93
- _sl 133
94
- slo 133
95
- ove 132
96
- or 132
97
- v� 132
98
- _t 129
99
- _v_ 129
100
- ni 129
101
- an 128
102
- je 128
103
- r� 126
104
- ven 126
105
- ens 125
106
- at 124
107
- om 124
108
- ed 123
109
- _j 123
110
- ž 122
28
+ o_ 334
29
+ y 333
30
+ _n 328
31
+ na 319
32
+ st 283
33
+ en 279
34
+ _a 263
35
+ sk 262
36
+ lo 256
37
+ u_ 254
38
+ b 239
39
+ _na 237
40
+ po 237
41
+ í 235
42
+ v_ 230
43
+ č 224
44
+ ý 217
45
+ ko 213
46
+ ro 209
47
+ ve 201
48
+ š 201
49
+ ne 198
50
+ é 192
51
+ ú 191
52
+ ch 187
53
+ sl 187
54
+ _po 185
55
+ ie 183
56
+ i_ 181
57
+ _r 180
58
+ pr 177
59
+ _a_ 176
60
+ _k 170
61
+ na_ 168
62
+ y_ 167
63
+ od 164
64
+ _o 162
65
+ ia 162
66
+ re 159
67
+ _m 158
68
+ m_ 155
69
+ ra 155
70
+ to 154
71
+ va 154
72
+ _z 151
73
+ ns 149
74
+ lov 146
75
+ la 146
76
+ nsk 145
77
+ aj 145
78
+ an 143
79
+ ho 143
80
+ _d 143
81
+ _pr 141
82
+ _sl 138
83
+ slo 138
84
+ or 137
85
+ ove 136
86
+ je 135
87
+ ni 133
88
+ é_ 131
89
+ at 131
90
+ _v_ 130
91
+ _t 130
92
+ ven 130
93
+ _j 128
94
+ ž 127
95
+ om 126
96
+ ed 125
97
+ ens 124
98
+ ok 123
111
99
  h_ 122
112
- �_ 120
113
- é_ 118
114
- �_ 118
115
- ch_ 116
116
- á_ 114
117
- ok 113
118
- te 113
100
+ te 121
101
+ ch_ 118
102
+ ku 114
103
+ ta 114
104
+ á_ 112
119
105
  me 109
120
- ri 108
121
- ku 106
106
+ ri 109
107
+ _ro 107
108
+ ej 106
109
+ le 106
122
110
  do 106
123
- le 105
124
- tr 104
125
- ta 103
126
- ej 102
127
- al 99
128
- _ro 99
129
- vo 99
130
- je_ 99
111
+ in 105
112
+ je_ 103
113
+ tr 103
114
+ al 100
115
+ vo 100
116
+ os 98
117
+ _je 97
118
+ ku_ 96
131
119
  ná 96
132
- _je 96
133
- in 96
134
- sa 93
135
- ú_ 92
136
- �_ 92
137
- no 91
138
- mi 91
139
- dn 90
140
- os 90
141
- es 90
142
- av 89
143
- _sa 88
144
- ad 87
145
- li 87
146
- ku_ 87
147
- el 87
148
- j_ 86
149
- _� 84
150
- er 84
151
- ov_ 84
152
- t� 84
120
+ ú_ 95
121
+ sa 94
122
+ 92
123
+ er 92
124
+ ad 90
125
+ mi 90
126
+ no 90
127
+ es 89
128
+ ia_ 89
129
+ el 89
130
+ _sa 89
131
+ li 89
132
+ dn 89
133
+ j_ 88
134
+ av 88
135
+ ov_ 87
136
+ ti 86
137
+ ka 83
153
138
  ľ 83
154
- ti 82
155
- ia_ 82
156
- 80
157
- ka 79
158
- ol 78
159
- sa_ 78
160
- ob 78
161
- ce 77
162
- ho_ 77
163
- ie_ 76
164
- í_ 75
165
- ic 75
166
- �_ 75
139
+ as 81
140
+ ol 80
141
+ í_ 79
142
+ sa_ 79
143
+ ob 79
144
+ 78
145
+ ho_ 78
146
+ ie_ 77
147
+ d_ 77
148
+ né_ 75
149
+ ce 75
150
+ om_ 75
167
151
  de 75
168
- om_ 74
169
- d_ 74
170
- as 74
171
- 73
172
- ko_ 73
173
- naj 73
174
- tu 71
175
- ci 70
176
- ne_ 70
177
- _st 70
178
- _do 70
179
- _h 69
180
- em 69
181
- ky 68
182
- sk� 68
152
+ naj 74
153
+ ci 74
154
+ ic 74
155
+ tu 73
156
+ ne_ 72
157
+ _h 71
158
+ _st 71
159
+ ko_ 70
160
+ em 70
161
+ ky 70
162
+ ých 69
163
+ _do 69
164
+ ýc 69
165
+ ej_ 67
166
+ sta 67
167
+ g 67
183
168
  za 66
184
- �ch 66
185
- ýc 66
186
- ej_ 66
187
- �c 66
188
- sko 66
189
- g 65
190
- _� 63
191
- _b 63
192
- o� 63
193
- pre 62
194
- m� 61
195
- s� 61
196
- sta 61
197
- vy 61
198
- �t 61
169
+ rok 65
170
+ _b 65
171
+ sko 63
172
+ ý_ 63
173
+ pre 63
174
+ pa 63
199
175
  ke 61
200
- �i 60
201
- pa 60
202
- �_ 60
203
- ši 60
176
+ zi 61
177
+ vy 60
178
+ vi 60
204
179
  ck 60
205
- ý_ 60
206
- ou 58
180
+ is 59
181
+ ši 59
207
182
  ka_ 58
183
+ ac 57
208
184
  ť 57
209
- 57
210
- s_ 57
211
- rok 57
212
- vi 57
213
- l� 56
214
- et 56
215
- e� 56
216
- ac 56
217
- zi 55
218
- kr 54
219
- ky_ 54
220
- ou_ 54
221
- tv 54
222
- dz 53
223
- _c 53
224
- j� 53
225
- ak 53
226
- 53
227
- ma 52
228
- is 52
229
- di 52
230
- lo_ 52
231
- z� 51
232
- ar 51
233
- kt 51
234
- nt 51
235
- 50
236
- k_ 50
185
+ k_ 57
186
+ et 57
187
+ ma 56
188
+ ky_ 56
189
+ dz 55
190
+ kr 55
191
+ ou 55
192
+ tv 55
193
+ 55
194
+ ost 55
195
+ 54
196
+ s_ 54
197
+ _c 54
198
+ di 53
199
+ ar 53
200
+ lo_ 53
201
+ kt 52
202
+ ak 52
203
+ tn 51
204
+ ou_ 49
205
+ 49
206
+ mo 49
207
+ nt 49
208
+ sp 49
209
+ tor 49
210
+ 49
211
+ _i 48
237
212
  eľ 48
238
- _me 48
239
- ost 48
240
- _s� 48
241
- ký 48
242
- tor 48
243
- jú 47
244
- mo 47
245
- _v� 47
246
- am 47
247
- sp 47
213
+ _me 47
248
214
  bo 47
249
- _i 47
250
- pri 46
251
- �l 46
215
+ oku 47
216
+ pod 47
217
+ 47
252
218
  by 46
253
219
  vý 46
254
- pod 46
220
+ am 46
221
+ _ú 46
222
+ jú_ 45
223
+ _sú 45
255
224
  oz 45
256
- tn 45
257
- _� 45
258
- ova 44
259
- �ho 44
260
- �h 44
261
- sú 44
262
- _š 44
263
- éh 44
264
- ik 44
225
+ on 45
226
+ _ob 44
227
+ ého 44
265
228
  it 44
266
- sku 43
267
- _vy 43
268
- on 43
269
- _ob 43
229
+ éh 44
230
+ sku 44
231
+ 44
232
+ pri 44
233
+ z_ 44
234
+ ova 44
270
235
  va_ 43
271
- si 42
272
- zn 42
273
- r_ 42
274
- l_ 42
275
- vn 42
276
- en� 42
236
+ ik 43
237
+ ác 43
238
+ _vy 43
239
+ ani 43
240
+ r_ 43
241
+ ná_ 42
242
+ ot 42
277
243
  od_ 42
278
- _u 42
244
+ vn 42
279
245
  _ko 42
280
- ov� 41
281
- 41
246
+ si 42
247
+ ád 41
248
+ l_ 41
249
+ ek 41
250
+ ní 41
251
+ zn 41
282
252
  rie 41
283
- il 41
284
- �c 41
285
- a� 41
286
- ot 41
287
- ác 41
288
- 41
289
- 40
290
- _za 40
291
- oku 40
292
- mi_ 40
293
- ek 40
294
- ck� 39
295
- ani 39
296
- ál 39
297
- ick 39
253
+ 41
254
+ _u 40
255
+ ál 40
256
+ _od 40
257
+ il 40
258
+ hl 39
259
+ 39
260
+ čn 39
298
261
  t_ 39
299
- z_ 39
300
- �d 38
301
- te� 38
302
- so 38
303
- ád 38
304
- _s_ 38
262
+ mi_ 39
263
+ _za 39
264
+ so 39
265
+ 38
266
+ či 38
267
+ 38
268
+ teľ 38
305
269
  uj 38
306
- _n� 38
307
- _od 38
308
- ska 37
309
- 37
310
- 37
311
- �n 37
312
- odn 37
270
+ ick 38
271
+ _s_ 38
272
+ ča 37
273
+ ate 37
274
+ eh 37
275
+ _z_ 37
313
276
  la_ 37
314
- čn 37
315
- ent 37
316
- tá 37
317
- hl 37
318
277
  _ce 37
319
- kto 36
320
- �m 36
321
- eh 36
322
- 36
323
- ým 36
324
- _e 36
325
- or� 36
278
+ kto 37
279
+ ým 37
280
+ 37
281
+ ny 37
326
282
  str 36
283
+ nýc 36
284
+ ent 36
285
+ _e 36
286
+ nej 36
287
+ ska 36
327
288
  est 36
328
289
  rn 36
329
- ár 35
330
- nej 35
331
- _z� 35
332
- red 35
333
- �r 35
334
- ep 35
335
- ate 35
290
+ 35
291
+ ev 35
292
+ ó 35
293
+ _ma 35
336
294
  iac 35
337
- ä 35
338
- 35
339
- �a 34
340
- e� 34
341
- roz 34
342
- má 34
343
- ča 34
344
- ny 34
295
+ red 35
296
+ _vý 35
345
297
  kl 34
346
- dne 33
347
- stu 33
348
- f 33
298
+ _sp 34
299
+ spo 34
300
+ ár 34
301
+ odn 34
302
+ ep 34
303
+ da 33
304
+ _ne 33
349
305
  stv 33
350
- _sp 33
306
+ roz 33
307
+ stu 33
308
+ ži 33
309
+ van 33
310
+ _kt 33
351
311
  pl 33
352
- _pa 32
353
- oh 32
354
- �i 32
355
- � 32
356
- ó 32
357
- spo 32
358
- h� 32
312
+ ä 33
359
313
  št 32
360
- _z_ 32
361
- ev 32
362
- _kt 32
363
- ži 32
364
- _ma 31
365
- a� 31
366
- _vo 31
314
+ 32
315
+ _l 32
316
+ 32
317
+ sti 32
318
+ oh 32
319
+ dne 32
320
+ f 31
321
+ _pa 31
322
+ čas 31
323
+ _zá 31
367
324
  lav 31
368
- yv 31
369
- lá 31
370
325
  kej 31
371
- rov 31
372
- �i 30
326
+ yv 31
327
+ 31
328
+ oby 30
329
+ rov 30
373
330
  sto 30
374
331
  olo 30
375
- _re 30
376
- �� 30
332
+ eb 30
333
+ če 30
334
+ ajú 30
377
335
  ys 30
378
- š� 30
379
- či 30
336
+ át 30
337
+ _vo 30
338
+ há 30
339
+ _re 30
340
+ ze 30
341
+ eho 30
342
+ ez 30
380
343
  _te 30
381
- eb 30
382
- j� 30
383
- �n 30
384
- aj� 30
385
- oby 30
386
- jš 30
387
- �í 30
388
- �n� 29
389
- ec 29
390
- pr� 29
391
- �e 29
392
344
  kon 29
393
- dn� 29
394
- up 29
395
- 29
396
- át 29
397
- _l 29
398
- sti 29
399
- ze 29
345
+ ký_ 29
346
+ ší 29
347
+ kov 29
348
+ hla 29
400
349
  ô 29
350
+ ejš 29
351
+ ajv 29
352
+ jv 29
353
+ se 29
354
+ tre 28
355
+ vod 28
356
+ ln 28
357
+ _ná 28
358
+ nie 28
359
+ ti_ 28
360
+ kom 28
361
+ že 28
362
+ zem 28
363
+ op 28
364
+ ec 28
365
+ ba 28
366
+ dy_ 28
367
+ dy 28
368
+ vat 28
369
+ up 28
370
+ ast 28
371
+ ká 28
372
+ šie 28
373
+ to_ 28
374
+ tu_ 27
375
+ byv 27
376
+ _bo 27
377
+ sla 27
378
+ ský 27
379
+ ran 27
380
+ rs 27
381
+ sú_ 27
382
+ oj 27
383
+ ť_ 27
384
+ yva 27
385
+ ske 27
386
+ ým_ 26
387
+ ádz 26
388
+ vá 26
389
+ tup 26
390
+ oc 26
391
+ hr 26
392
+ kra 25
393
+ rat 25
394
+ oko 25
395
+ ca 25
396
+ áv 25
397
+ tov 25
398
+ chá 25
399
+ med 25
400
+ ny_ 25