scylla 0.9.3 → 1.0.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- _ 7180
2
- o 1875
3
- a 1845
4
- e 1616
5
- n 1363
6
- 1300
7
- s 1174
8
- v 1082
9
- i 1034
10
- r 981
11
- t 926
12
- k 885
13
- l 785
14
- a_ 755
15
- d 666
16
- p 642
17
- 614
18
- m 566
19
- _s 498
20
- u 491
21
- c 460
22
- j 436
23
- h 430
24
- á 412
25
- 404
26
- _p 395
27
- z 386
28
- e_ 368
29
- ov 361
1
+ _ 7370
2
+ a 1923
3
+ o 1917
4
+ e 1653
5
+ n 1417
6
+ s 1212
7
+ v 1099
8
+ i 1068
9
+ r 1004
10
+ t 961
11
+ k 907
12
+ l 799
13
+ a_ 781
14
+ d 681
15
+ p 648
16
+ m 576
17
+ _s 515
18
+ u 498
19
+ c 468
20
+ j 455
21
+ h 436
22
+ á 419
23
+ z 410
24
+ _p 396
25
+ e_ 374
26
+ ov 370
30
27
  _v 340
31
- o_ 331
32
- y 323
33
- _n 319
34
- 310
35
- na 305
36
- n� 304
37
- en 272
38
- st 263
39
- sk 261
40
- _a 251
41
- lo 249
42
- u_ 245
43
- b 238
44
- _na 232
45
- po 228
46
- v_ 226
47
- í 222
48
- 222
49
- ko 214
50
- ý 209
51
- 209
52
- 205
53
- ro 204
54
- č 203
55
- 203
56
- š 202
57
- ve 196
58
- 190
59
- ne 190
60
- ch 184
61
- ú 182
62
- sl 182
63
- ie 181
64
- pr 180
65
- 178
66
- _po 178
67
- é 178
68
- i_ 172
69
- _r 168
70
- _a_ 168
71
- _k 166
72
- y_ 162
73
- od 162
74
- na_ 158
75
- _m 156
76
- ra 156
77
- ia 155
78
- re 155
79
- m_ 154
80
- _o 153
81
- to 152
82
- va 150
83
- ns 148
84
- la 147
85
- _pr 144
86
- nsk 143
87
- _d 142
88
- ho 141
89
- _z 141
90
- lov 140
91
- k� 139
92
- aj 136
93
- _sl 133
94
- slo 133
95
- ove 132
96
- or 132
97
- v� 132
98
- _t 129
99
- _v_ 129
100
- ni 129
101
- an 128
102
- je 128
103
- r� 126
104
- ven 126
105
- ens 125
106
- at 124
107
- om 124
108
- ed 123
109
- _j 123
110
- ž 122
28
+ o_ 334
29
+ y 333
30
+ _n 328
31
+ na 319
32
+ st 283
33
+ en 279
34
+ _a 263
35
+ sk 262
36
+ lo 256
37
+ u_ 254
38
+ b 239
39
+ _na 237
40
+ po 237
41
+ í 235
42
+ v_ 230
43
+ č 224
44
+ ý 217
45
+ ko 213
46
+ ro 209
47
+ ve 201
48
+ š 201
49
+ ne 198
50
+ é 192
51
+ ú 191
52
+ ch 187
53
+ sl 187
54
+ _po 185
55
+ ie 183
56
+ i_ 181
57
+ _r 180
58
+ pr 177
59
+ _a_ 176
60
+ _k 170
61
+ na_ 168
62
+ y_ 167
63
+ od 164
64
+ _o 162
65
+ ia 162
66
+ re 159
67
+ _m 158
68
+ m_ 155
69
+ ra 155
70
+ to 154
71
+ va 154
72
+ _z 151
73
+ ns 149
74
+ lov 146
75
+ la 146
76
+ nsk 145
77
+ aj 145
78
+ an 143
79
+ ho 143
80
+ _d 143
81
+ _pr 141
82
+ _sl 138
83
+ slo 138
84
+ or 137
85
+ ove 136
86
+ je 135
87
+ ni 133
88
+ é_ 131
89
+ at 131
90
+ _v_ 130
91
+ _t 130
92
+ ven 130
93
+ _j 128
94
+ ž 127
95
+ om 126
96
+ ed 125
97
+ ens 124
98
+ ok 123
111
99
  h_ 122
112
- �_ 120
113
- é_ 118
114
- �_ 118
115
- ch_ 116
116
- á_ 114
117
- ok 113
118
- te 113
100
+ te 121
101
+ ch_ 118
102
+ ku 114
103
+ ta 114
104
+ á_ 112
119
105
  me 109
120
- ri 108
121
- ku 106
106
+ ri 109
107
+ _ro 107
108
+ ej 106
109
+ le 106
122
110
  do 106
123
- le 105
124
- tr 104
125
- ta 103
126
- ej 102
127
- al 99
128
- _ro 99
129
- vo 99
130
- je_ 99
111
+ in 105
112
+ je_ 103
113
+ tr 103
114
+ al 100
115
+ vo 100
116
+ os 98
117
+ _je 97
118
+ ku_ 96
131
119
  ná 96
132
- _je 96
133
- in 96
134
- sa 93
135
- ú_ 92
136
- �_ 92
137
- no 91
138
- mi 91
139
- dn 90
140
- os 90
141
- es 90
142
- av 89
143
- _sa 88
144
- ad 87
145
- li 87
146
- ku_ 87
147
- el 87
148
- j_ 86
149
- _� 84
150
- er 84
151
- ov_ 84
152
- t� 84
120
+ ú_ 95
121
+ sa 94
122
+ 92
123
+ er 92
124
+ ad 90
125
+ mi 90
126
+ no 90
127
+ es 89
128
+ ia_ 89
129
+ el 89
130
+ _sa 89
131
+ li 89
132
+ dn 89
133
+ j_ 88
134
+ av 88
135
+ ov_ 87
136
+ ti 86
137
+ ka 83
153
138
  ľ 83
154
- ti 82
155
- ia_ 82
156
- 80
157
- ka 79
158
- ol 78
159
- sa_ 78
160
- ob 78
161
- ce 77
162
- ho_ 77
163
- ie_ 76
164
- í_ 75
165
- ic 75
166
- �_ 75
139
+ as 81
140
+ ol 80
141
+ í_ 79
142
+ sa_ 79
143
+ ob 79
144
+ 78
145
+ ho_ 78
146
+ ie_ 77
147
+ d_ 77
148
+ né_ 75
149
+ ce 75
150
+ om_ 75
167
151
  de 75
168
- om_ 74
169
- d_ 74
170
- as 74
171
- 73
172
- ko_ 73
173
- naj 73
174
- tu 71
175
- ci 70
176
- ne_ 70
177
- _st 70
178
- _do 70
179
- _h 69
180
- em 69
181
- ky 68
182
- sk� 68
152
+ naj 74
153
+ ci 74
154
+ ic 74
155
+ tu 73
156
+ ne_ 72
157
+ _h 71
158
+ _st 71
159
+ ko_ 70
160
+ em 70
161
+ ky 70
162
+ ých 69
163
+ _do 69
164
+ ýc 69
165
+ ej_ 67
166
+ sta 67
167
+ g 67
183
168
  za 66
184
- �ch 66
185
- ýc 66
186
- ej_ 66
187
- �c 66
188
- sko 66
189
- g 65
190
- _� 63
191
- _b 63
192
- o� 63
193
- pre 62
194
- m� 61
195
- s� 61
196
- sta 61
197
- vy 61
198
- �t 61
169
+ rok 65
170
+ _b 65
171
+ sko 63
172
+ ý_ 63
173
+ pre 63
174
+ pa 63
199
175
  ke 61
200
- �i 60
201
- pa 60
202
- �_ 60
203
- ši 60
176
+ zi 61
177
+ vy 60
178
+ vi 60
204
179
  ck 60
205
- ý_ 60
206
- ou 58
180
+ is 59
181
+ ši 59
207
182
  ka_ 58
183
+ ac 57
208
184
  ť 57
209
- 57
210
- s_ 57
211
- rok 57
212
- vi 57
213
- l� 56
214
- et 56
215
- e� 56
216
- ac 56
217
- zi 55
218
- kr 54
219
- ky_ 54
220
- ou_ 54
221
- tv 54
222
- dz 53
223
- _c 53
224
- j� 53
225
- ak 53
226
- 53
227
- ma 52
228
- is 52
229
- di 52
230
- lo_ 52
231
- z� 51
232
- ar 51
233
- kt 51
234
- nt 51
235
- 50
236
- k_ 50
185
+ k_ 57
186
+ et 57
187
+ ma 56
188
+ ky_ 56
189
+ dz 55
190
+ kr 55
191
+ ou 55
192
+ tv 55
193
+ 55
194
+ ost 55
195
+ 54
196
+ s_ 54
197
+ _c 54
198
+ di 53
199
+ ar 53
200
+ lo_ 53
201
+ kt 52
202
+ ak 52
203
+ tn 51
204
+ ou_ 49
205
+ 49
206
+ mo 49
207
+ nt 49
208
+ sp 49
209
+ tor 49
210
+ 49
211
+ _i 48
237
212
  eľ 48
238
- _me 48
239
- ost 48
240
- _s� 48
241
- ký 48
242
- tor 48
243
- jú 47
244
- mo 47
245
- _v� 47
246
- am 47
247
- sp 47
213
+ _me 47
248
214
  bo 47
249
- _i 47
250
- pri 46
251
- �l 46
215
+ oku 47
216
+ pod 47
217
+ 47
252
218
  by 46
253
219
  vý 46
254
- pod 46
220
+ am 46
221
+ _ú 46
222
+ jú_ 45
223
+ _sú 45
255
224
  oz 45
256
- tn 45
257
- _� 45
258
- ova 44
259
- �ho 44
260
- �h 44
261
- sú 44
262
- _š 44
263
- éh 44
264
- ik 44
225
+ on 45
226
+ _ob 44
227
+ ého 44
265
228
  it 44
266
- sku 43
267
- _vy 43
268
- on 43
269
- _ob 43
229
+ éh 44
230
+ sku 44
231
+ 44
232
+ pri 44
233
+ z_ 44
234
+ ova 44
270
235
  va_ 43
271
- si 42
272
- zn 42
273
- r_ 42
274
- l_ 42
275
- vn 42
276
- en� 42
236
+ ik 43
237
+ ác 43
238
+ _vy 43
239
+ ani 43
240
+ r_ 43
241
+ ná_ 42
242
+ ot 42
277
243
  od_ 42
278
- _u 42
244
+ vn 42
279
245
  _ko 42
280
- ov� 41
281
- 41
246
+ si 42
247
+ ád 41
248
+ l_ 41
249
+ ek 41
250
+ ní 41
251
+ zn 41
282
252
  rie 41
283
- il 41
284
- �c 41
285
- a� 41
286
- ot 41
287
- ác 41
288
- 41
289
- 40
290
- _za 40
291
- oku 40
292
- mi_ 40
293
- ek 40
294
- ck� 39
295
- ani 39
296
- ál 39
297
- ick 39
253
+ 41
254
+ _u 40
255
+ ál 40
256
+ _od 40
257
+ il 40
258
+ hl 39
259
+ 39
260
+ čn 39
298
261
  t_ 39
299
- z_ 39
300
- �d 38
301
- te� 38
302
- so 38
303
- ád 38
304
- _s_ 38
262
+ mi_ 39
263
+ _za 39
264
+ so 39
265
+ 38
266
+ či 38
267
+ 38
268
+ teľ 38
305
269
  uj 38
306
- _n� 38
307
- _od 38
308
- ska 37
309
- 37
310
- 37
311
- �n 37
312
- odn 37
270
+ ick 38
271
+ _s_ 38
272
+ ča 37
273
+ ate 37
274
+ eh 37
275
+ _z_ 37
313
276
  la_ 37
314
- čn 37
315
- ent 37
316
- tá 37
317
- hl 37
318
277
  _ce 37
319
- kto 36
320
- �m 36
321
- eh 36
322
- 36
323
- ým 36
324
- _e 36
325
- or� 36
278
+ kto 37
279
+ ým 37
280
+ 37
281
+ ny 37
326
282
  str 36
283
+ nýc 36
284
+ ent 36
285
+ _e 36
286
+ nej 36
287
+ ska 36
327
288
  est 36
328
289
  rn 36
329
- ár 35
330
- nej 35
331
- _z� 35
332
- red 35
333
- �r 35
334
- ep 35
335
- ate 35
290
+ 35
291
+ ev 35
292
+ ó 35
293
+ _ma 35
336
294
  iac 35
337
- ä 35
338
- 35
339
- �a 34
340
- e� 34
341
- roz 34
342
- má 34
343
- ča 34
344
- ny 34
295
+ red 35
296
+ _vý 35
345
297
  kl 34
346
- dne 33
347
- stu 33
348
- f 33
298
+ _sp 34
299
+ spo 34
300
+ ár 34
301
+ odn 34
302
+ ep 34
303
+ da 33
304
+ _ne 33
349
305
  stv 33
350
- _sp 33
306
+ roz 33
307
+ stu 33
308
+ ži 33
309
+ van 33
310
+ _kt 33
351
311
  pl 33
352
- _pa 32
353
- oh 32
354
- �i 32
355
- � 32
356
- ó 32
357
- spo 32
358
- h� 32
312
+ ä 33
359
313
  št 32
360
- _z_ 32
361
- ev 32
362
- _kt 32
363
- ži 32
364
- _ma 31
365
- a� 31
366
- _vo 31
314
+ 32
315
+ _l 32
316
+ 32
317
+ sti 32
318
+ oh 32
319
+ dne 32
320
+ f 31
321
+ _pa 31
322
+ čas 31
323
+ _zá 31
367
324
  lav 31
368
- yv 31
369
- lá 31
370
325
  kej 31
371
- rov 31
372
- �i 30
326
+ yv 31
327
+ 31
328
+ oby 30
329
+ rov 30
373
330
  sto 30
374
331
  olo 30
375
- _re 30
376
- �� 30
332
+ eb 30
333
+ če 30
334
+ ajú 30
377
335
  ys 30
378
- š� 30
379
- či 30
336
+ át 30
337
+ _vo 30
338
+ há 30
339
+ _re 30
340
+ ze 30
341
+ eho 30
342
+ ez 30
380
343
  _te 30
381
- eb 30
382
- j� 30
383
- �n 30
384
- aj� 30
385
- oby 30
386
- jš 30
387
- �í 30
388
- �n� 29
389
- ec 29
390
- pr� 29
391
- �e 29
392
344
  kon 29
393
- dn� 29
394
- up 29
395
- 29
396
- át 29
397
- _l 29
398
- sti 29
399
- ze 29
345
+ ký_ 29
346
+ ší 29
347
+ kov 29
348
+ hla 29
400
349
  ô 29
350
+ ejš 29
351
+ ajv 29
352
+ jv 29
353
+ se 29
354
+ tre 28
355
+ vod 28
356
+ ln 28
357
+ _ná 28
358
+ nie 28
359
+ ti_ 28
360
+ kom 28
361
+ že 28
362
+ zem 28
363
+ op 28
364
+ ec 28
365
+ ba 28
366
+ dy_ 28
367
+ dy 28
368
+ vat 28
369
+ up 28
370
+ ast 28
371
+ ká 28
372
+ šie 28
373
+ to_ 28
374
+ tu_ 27
375
+ byv 27
376
+ _bo 27
377
+ sla 27
378
+ ský 27
379
+ ran 27
380
+ rs 27
381
+ sú_ 27
382
+ oj 27
383
+ ť_ 27
384
+ yva 27
385
+ ske 27
386
+ ým_ 26
387
+ ádz 26
388
+ vá 26
389
+ tup 26
390
+ oc 26
391
+ hr 26
392
+ kra 25
393
+ rat 25
394
+ oko 25
395
+ ca 25
396
+ áv 25
397
+ tov 25
398
+ chá 25
399
+ med 25
400
+ ny_ 25