scylla 0.9.3 → 1.0.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- _ 5514
2
- o 1351
3
- e 1215
4
- 1119
5
- n 1108
6
- a 1022
7
- s 894
8
- t 790
9
- l 788
10
- v 770
11
- i 714
12
- k 665
13
- r 538
14
- d 528
15
- p 474
16
- m 473
17
- 470
18
- 460
19
- 423
20
- u 392
21
- c 392
22
- í 374
23
- 374
24
- a_ 368
25
- á 363
26
- z 358
27
- y 337
28
- n� 323
29
- _p 314
30
- _s 310
31
- h 291
32
- _v 275
33
- _n 260
34
- b 259
35
- o_ 255
36
- st 254
37
- � 240
38
- ě 237
39
- e_ 217
40
- j 217
41
- ov 209
1
+ _ 5184
2
+ o 1269
3
+ e 1171
4
+ n 1031
5
+ a 962
6
+ s 864
7
+ l 758
8
+ v 751
9
+ t 748
10
+ i 684
11
+ k 648
12
+ r 529
13
+ d 508
14
+ p 442
15
+ m 438
16
+ c 373
17
+ u 371
18
+ í 354
19
+ á 352
20
+ a_ 349
21
+ z 331
22
+ y 314
23
+ _p 294
24
+ _s 289
25
+ h 279
26
+ _v 266
27
+ o_ 241
28
+ b 240
29
+ st 239
30
+ _n 234
31
+ ě 218
42
32
  en 206
43
- í_ 202
44
- �_ 202
45
- é 184
46
- 184
47
- 177
48
- č 177
49
- sk 177
50
- i_ 175
51
- po 167
52
- ko 165
53
- ý 162
54
- _z 162
55
- 162
56
- u_ 161
57
- ro 160
58
- na 159
59
- 158
60
- y_ 157
61
- _a 153
62
- _o 150
63
- lo 145
64
- 144
65
- ř 144
66
- k� 142
67
- li 141
68
- m_ 138
69
- v_ 138
70
- _d 134
71
- _k 132
72
- os 125
73
- _po 124
74
- od 124
75
- ž 123
76
- 123
77
- v� 122
78
- ch 121
79
- sl 116
80
- é_ 116
81
- �_ 116
82
- la 116
83
- ve 115
84
- _b 115
85
- al 115
86
- pr 115
87
- t� 112
88
- te 111
89
- _a_ 111
90
- le 111
91
- l_ 109
92
- _v_ 109
93
- _r 108
94
- š 107
95
- n� 106
96
- em 105
33
+ j 203
34
+ ov 203
35
+ e_ 202
36
+ í_ 192
37
+ sk 176
38
+ é 173
39
+ č 171
40
+ i_ 163
41
+ ko 158
42
+ po 154
43
+ 153
44
+ _z 149
45
+ ý 148
46
+ ro 148
47
+ lo 146
48
+ u_ 146
49
+ _a 144
50
+ y_ 141
51
+ na 140
52
+ ř 137
53
+ v_ 136
54
+ li 134
55
+ _k 133
56
+ m_ 132
57
+ _o 130
58
+ _d 123
59
+ od 118
60
+ sl 117
61
+ _po 116
62
+ os 116
63
+ ch 116
64
+ ve 114
65
+ ž 112
66
+ _r 111
67
+ la 108
68
+ al 108
69
+ le 108
70
+ l_ 107
71
+ pr 107
72
+ _v_ 106
73
+ é_ 105
74
+ _b 104
75
+ š 104
97
76
  es 103
98
- na_ 103
99
- by 102
100
- 101
101
- _t 99
102
- _pr 98
103
- no 96
104
- _� 96
105
- _j 95
106
- 95
107
- če 90
108
- ho 90
109
- ce 90
110
- �e 90
111
- ra 89
112
- do 86
113
- ti 86
114
- va 86
115
- ni 86
116
- _na 85
117
- ch_ 84
118
- h_ 84
119
- 84
120
- �_ 83
121
- ou 83
122
- _by 82
123
- yl 82
124
- ze 82
125
- ě_ 82
126
- byl 82
127
- de 81
128
- an 80
129
- ta 78
130
- �e 77
131
- ře 77
132
- ic 76
133
- ké 76
134
- _m 76
77
+ te 103
78
+ _a_ 102
79
+ em 100
80
+ ní_ 99
81
+ na_ 97
82
+ _t 95
83
+ by 92
84
+ 91
85
+ ce 91
86
+ _pr 90
87
+ ho 87
88
+ če 87
89
+ no 87
90
+ 85
91
+ _j 85
92
+ ti 82
93
+ ra 82
94
+ 80
95
+ ze 80
96
+ de 80
97
+ va 78
98
+ ch_ 78
99
+ h_ 78
100
+ _na 77
101
+ ě_ 77
102
+ ni 77
103
+ ou 76
104
+ _by 75
135
105
  ed 75
106
+ yl 75
107
+ byl 75
108
+ ře 74
109
+ do 74
136
110
  lov 74
137
- se 73
138
- _st 73
139
- p� 73
140
- ne 72
141
- ů 72
142
- 72
143
- to 71
144
- slo 70
145
- ak 70
146
- sk� 70
147
- 69
148
- ven 68
149
- je 68
150
- sko 67
151
- ck 67
152
- ol 66
153
- dn 65
154
- ns 65
155
- t_ 65
156
- _p� 65
157
- �t 64
158
- is 64
159
- ove 64
160
- _n� 63
161
- k_ 63
162
- vo 63
111
+ _m 73
112
+ slo 72
113
+ ta 71
114
+ to 70
115
+ re 70
116
+ _če 70
117
+ ic 69
118
+ is 69
119
+ se 69
120
+ 69
121
+ ven 69
122
+ an 68
123
+ 68
124
+ sko 68
125
+ ns 68
126
+ ů 67
127
+ ove 66
128
+ _st 65
129
+ ak 64
130
+ vo 64
131
+ ne 63
163
132
  ce_ 63
164
- re 63
133
+ nsk 63
134
+ ens 62
165
135
  vá 62
166
- r� 62
167
- il 62
168
- _se 62
169
- el 62
170
- nsk 61
171
- za 61
172
- la_ 61
173
- _do 61
174
- st� 61
175
- in 60
176
- ob 60
136
+ ka 62
137
+ ck 62
138
+ _př 62
139
+ dn 60
140
+ el 60
141
+ ol 60
142
+ t_ 60
177
143
  esk 60
178
- �es 59
179
- at 59
180
- ens 59
181
- se_ 57
182
- ci 57
183
- em_ 56
184
- át 56
185
- �n 55
186
- ka 55
187
- �_ 55
188
- ý_ 55
189
- �l 54
190
- n_ 54
191
- it 54
144
+ čes 60
145
+ je 60
146
+ _ná 59
147
+ il 58
148
+ _se 58
149
+ k_ 58
150
+ n_ 57
151
+ at 57
152
+ za 55
153
+ in 55
154
+ osl 54
155
+ ci 54
192
156
  lo_ 54
193
- _ne 53
194
- osl 52
195
- _za 52
157
+ em_ 54
158
+ ý_ 53
159
+ se_ 53
160
+ la_ 53
196
161
  ho_ 52
197
- 52
198
- m� 52
199
- ost 51
200
- _ro 51
201
- án 51
202
- tn 51
203
- pro 50
204
- me 50
205
- on 50
206
- ck� 50
207
- ik 49
208
- _od 49
209
- ec 49
210
- l� 48
211
- ej 48
212
- ick 48
213
- ova 48
214
- ad 47
215
- ou_ 47
216
- o� 47
217
- 47
218
- ov� 47
219
- er 47
220
- ž_ 47
221
- �_ 47
222
- ýc 47
223
- �c 47
224
- sta 47
225
- li_ 46
226
- ký 46
227
- �ch 46
228
- kos 45
229
- kt 44
230
- ja 44
162
+ ob 51
163
+ án 50
164
+ _do 50
165
+ _ro 50
166
+ át 49
167
+ er 49
168
+ ik 48
169
+ 47
170
+ _od 47
171
+ _ne 47
172
+ kos 47
173
+ it 47
174
+ ick 46
175
+ ad 46
176
+ on 45
177
+ _za 45
178
+ ké_ 45
179
+ ýc 45
180
+ ej 45
181
+ ost 44
182
+ oc 44
183
+ ých 44
184
+ ál 44
185
+ me 44
231
186
  vy 44
232
- ku 43
233
- ím 43
234
- �m 43
235
- mu 43
236
- �_ 42
237
- mi 42
238
- ky 42
239
- oc 42
240
- ál 42
241
- _re 41
187
+ pro 44
188
+ li_ 43
189
+ _re 43
190
+ ova 43
191
+ ja 43
192
+ 43
193
+ sta 42
194
+ kt 42
195
+ ím 42
196
+ ec 42
197
+ ně_ 41
198
+ tá 41
199
+ tn 41
200
+ ž_ 41
242
201
  et 41
243
- ot 41
244
- s_ 41
245
- e� 40
246
- av 40
247
- pol 39
248
- _ja 39
249
- om 39
250
- or 39
251
- ky_ 38
252
- ist 38
253
- tic 37
254
- en� 37
255
- ez 37
256
- ok 37
257
- so 37
258
- á_ 37
259
- v� 37
260
- ac 37
261
- _je 37
262
- tr 37
202
+ ou_ 40
203
+ ist 40
204
+ ky 40
205
+ mu 40
206
+ ka_ 40
207
+ ku 39
208
+ pře 39
209
+ mi 39
210
+ tr 39
211
+ á_ 39
212
+ om 38
213
+ ot 38
214
+ av 38
215
+ or 38
216
+ _ja 38
263
217
  rá 37
264
- �t 36
265
- 36
266
- 36
267
- ko_ 36
268
- ět 36
269
- vi 36
270
- _n� 36
271
- vě 36
272
- t� 36
273
- � 36
274
- ln 36
218
+ 37
219
+ so 37
220
+ ky_ 36
221
+ _l 36
222
+ ev 36
223
+ tu 36
275
224
  vn 36
276
- �_ 35
277
- ev 35
225
+ tic 35
226
+ s_ 35
227
+ éh 35
228
+ ého 35
278
229
  _vy 35
279
- _ob 35
280
- ů_ 35
281
- �ho 34
282
- �h 34
283
- nov 34
284
- nt 34
285
- tí 34
286
- _l 34
287
- éh 34
288
- ým 34
289
- ka_ 34
290
- �m 34
291
- kon 34
292
- tu 34
230
+ ln 35
231
+ stá 35
232
+ oj 34
233
+ ac 34
293
234
  _u 34
294
- ú 33
295
- m� 33
296
- val 33
297
- � 33
298
- id 33
299
- d� 33
235
+ ět 34
236
+ nt 33
237
+ pol 33
300
238
  da 33
239
+ ko_ 33
301
240
  ep 33
302
241
  _i 33
303
- ci_ 33
304
- _ 32
305
- f 32
306
- 32
307
- 32
308
- 32
309
- z� 32
310
- odn 32
311
- sp 32
312
- oj 32
313
- _� 32
314
- _h 32
315
- zn 31
316
- _v� 31
242
+ f 33
243
+ ů_ 32
244
+ ú 32
245
+ ar 32
246
+ ím_ 32
247
+ _je 31
248
+ ová 31
249
+ 31
250
+ id 31
251
+ ez 31
252
+ _h 31
253
+ _ob 31
254
+ vi 31
255
+ ské 31
317
256
  up 31
318
- d_ 31
319
- 31
320
- ter 31
321
- �n� 31
322
- �m_ 30
323
- iv 30
324
- íc 30
325
- lá 30
326
- pu 30
327
- yl_ 30
328
- mo 30
329
- �c 30
330
- rod 30
331
- sti 30
257
+ ci_ 31
258
+ 31
332
259
  al_ 30
333
- hl 30
334
- kte 29
335
- op 29
336
- er� 29
337
- _kt 29
338
- _s_ 29
339
- ár 29
340
- az 29
341
- ěm 29
342
- nu 29
343
- 29
344
- �m 29
345
- �r 29
346
- ar 29
347
- am 29
348
- ji 29
349
- oz 28
350
- zem 28
351
- vn� 28
352
- _ve 28
353
- a� 28
354
- 28
355
- bo 28
356
- �ro 28
357
- ny 28
358
- ny_ 27
359
- �í 27
360
- as 27
361
- �� 27
362
- _sl 27
363
- ř� 27
364
- dy 27
365
- tn� 26
366
- z_ 26
367
- vl 26
368
- g 26
369
- _z� 26
260
+ 30
261
+ d_ 30
262
+ ter 30
263
+ nov 30
264
+ kon 30
265
+ ok 30
266
+ bo 29
267
+ _ně 29
268
+ 29
269
+ ár 28
270
+ pu 28
271
+ 28
272
+ sp 28
273
+ r_ 28
274
+ odn 28
275
+ az 28
276
+ _so 28
277
+ iv 28
278
+ rod 28
279
+ sti 28
280
+ val 27
281
+ zem 27
282
+ g 27
283
+ ří 27
284
+ ým 27
285
+ áro 27
286
+ ny 27
287
+ ali 27
288
+ yl_ 27
289
+ nu 27
290
+ 27
291
+ ván 27
292
+ op 26
293
+ ny_ 26
294
+ hl 26
295
+ as 26
296
+ mo 26
370
297
  kr 26
371
- _so 26
372
- ech 26
373
- mi_ 25
374
- roc 25
375
- ali 25
376
- ku_ 25
377
- ma 25
378
- spo 25
379
- tv 25
380
- ly 25
381
- dn� 25
382
- _ko 25
383
- �v 25
384
- to_ 25
385
- oli 25
386
- nos 25
387
- r_ 25
388
- ži 25
389
- �i 25
298
+ ek 26
299
+ _sl 26
300
+ vl 26
301
+ 26
302
+ íc 26
303
+ 26
304
+ cké 26
305
+ ání 26
306
+ un 25
307
+ ší 25
308
+ _ve 25
309
+ ji 25
310
+ di 25
311
+ _kt 25
312
+ tát 25
390
313
  sa 25
391
- ly_ 25
392
- vat 24
393
- _k_ 24
394
- jak 24
395
- tel 24
314
+ nár 25
315
+ _ko 25
316
+ tv 25
317
+ ěm 25
318
+ něm 25
319
+ dy 25
320
+ kte 25
321
+ roc 25
322
+ ním 25
323
+ vět 25
324
+ ži 24
396
325
  oce 24
397
- zi 24
398
- š� 24
399
- čn 24
400
- c� 24
326
+ den 24
327
+ am 24
328
+ oz 24
329
+ zn 24
330
+ ku_ 24
331
+ _s_ 24
332
+ ský 24
333
+ vat 23
334
+ jak 23
335
+ ech 23
336
+ áv 23
337
+ ma 23
338
+ to_ 23
339
+ řed 23
340
+ str 23
341
+ _k_ 23
342
+ ení 23
343
+ ent 23
344
+ _vl 23
345
+ dl 23
346
+ zi 23
347
+ _ze 22
348
+ dě 22
349
+ bl 22
350
+ ub 22
351
+ ný_ 22
352
+ oli 22
353
+ _de 22
354
+ _c 22
355
+ nos 22
356
+ zv 22
357
+ dy_ 22
358
+ dní 22
359
+ ři 22
360
+ spo 22
361
+ tel 22
362
+ tí_ 22
363
+ le_ 22
364
+ ěn 21
365
+ lik 21
366
+ ly 21
367
+ tě 21
368
+ ká 21
369
+ pra 21
370
+ vní 21
371
+ ád 21
372
+ en_ 21
373
+ el_ 21
374
+ mi_ 21
375
+ _sp 21
376
+ sto 21
377
+ z_ 21
378
+ ly_ 21
379
+ še 21
380
+ edn 21
381
+ té 21
382
+ oh 20
383
+ do_ 20
384
+ cí 20
385
+ ás 20
386
+ _ta 20
387
+ rep 20
388
+ nis 20
389
+ ylo 20
390
+ pa 20
391
+ po_ 20
392
+ dá 20
393
+ čn 20
394
+ ys 20
395
+ ako 20
396
+ zá 20
397
+ yv 19
398
+ lit 19
399
+ ri 19
400
+ kl 19