scylla 0.9.3 → 1.0.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- _ 5514
2
- o 1351
3
- e 1215
4
- 1119
5
- n 1108
6
- a 1022
7
- s 894
8
- t 790
9
- l 788
10
- v 770
11
- i 714
12
- k 665
13
- r 538
14
- d 528
15
- p 474
16
- m 473
17
- 470
18
- 460
19
- 423
20
- u 392
21
- c 392
22
- í 374
23
- 374
24
- a_ 368
25
- á 363
26
- z 358
27
- y 337
28
- n� 323
29
- _p 314
30
- _s 310
31
- h 291
32
- _v 275
33
- _n 260
34
- b 259
35
- o_ 255
36
- st 254
37
- � 240
38
- ě 237
39
- e_ 217
40
- j 217
41
- ov 209
1
+ _ 5184
2
+ o 1269
3
+ e 1171
4
+ n 1031
5
+ a 962
6
+ s 864
7
+ l 758
8
+ v 751
9
+ t 748
10
+ i 684
11
+ k 648
12
+ r 529
13
+ d 508
14
+ p 442
15
+ m 438
16
+ c 373
17
+ u 371
18
+ í 354
19
+ á 352
20
+ a_ 349
21
+ z 331
22
+ y 314
23
+ _p 294
24
+ _s 289
25
+ h 279
26
+ _v 266
27
+ o_ 241
28
+ b 240
29
+ st 239
30
+ _n 234
31
+ ě 218
42
32
  en 206
43
- í_ 202
44
- �_ 202
45
- é 184
46
- 184
47
- 177
48
- č 177
49
- sk 177
50
- i_ 175
51
- po 167
52
- ko 165
53
- ý 162
54
- _z 162
55
- 162
56
- u_ 161
57
- ro 160
58
- na 159
59
- 158
60
- y_ 157
61
- _a 153
62
- _o 150
63
- lo 145
64
- 144
65
- ř 144
66
- k� 142
67
- li 141
68
- m_ 138
69
- v_ 138
70
- _d 134
71
- _k 132
72
- os 125
73
- _po 124
74
- od 124
75
- ž 123
76
- 123
77
- v� 122
78
- ch 121
79
- sl 116
80
- é_ 116
81
- �_ 116
82
- la 116
83
- ve 115
84
- _b 115
85
- al 115
86
- pr 115
87
- t� 112
88
- te 111
89
- _a_ 111
90
- le 111
91
- l_ 109
92
- _v_ 109
93
- _r 108
94
- š 107
95
- n� 106
96
- em 105
33
+ j 203
34
+ ov 203
35
+ e_ 202
36
+ í_ 192
37
+ sk 176
38
+ é 173
39
+ č 171
40
+ i_ 163
41
+ ko 158
42
+ po 154
43
+ 153
44
+ _z 149
45
+ ý 148
46
+ ro 148
47
+ lo 146
48
+ u_ 146
49
+ _a 144
50
+ y_ 141
51
+ na 140
52
+ ř 137
53
+ v_ 136
54
+ li 134
55
+ _k 133
56
+ m_ 132
57
+ _o 130
58
+ _d 123
59
+ od 118
60
+ sl 117
61
+ _po 116
62
+ os 116
63
+ ch 116
64
+ ve 114
65
+ ž 112
66
+ _r 111
67
+ la 108
68
+ al 108
69
+ le 108
70
+ l_ 107
71
+ pr 107
72
+ _v_ 106
73
+ é_ 105
74
+ _b 104
75
+ š 104
97
76
  es 103
98
- na_ 103
99
- by 102
100
- 101
101
- _t 99
102
- _pr 98
103
- no 96
104
- _� 96
105
- _j 95
106
- 95
107
- če 90
108
- ho 90
109
- ce 90
110
- �e 90
111
- ra 89
112
- do 86
113
- ti 86
114
- va 86
115
- ni 86
116
- _na 85
117
- ch_ 84
118
- h_ 84
119
- 84
120
- �_ 83
121
- ou 83
122
- _by 82
123
- yl 82
124
- ze 82
125
- ě_ 82
126
- byl 82
127
- de 81
128
- an 80
129
- ta 78
130
- �e 77
131
- ře 77
132
- ic 76
133
- ké 76
134
- _m 76
77
+ te 103
78
+ _a_ 102
79
+ em 100
80
+ ní_ 99
81
+ na_ 97
82
+ _t 95
83
+ by 92
84
+ 91
85
+ ce 91
86
+ _pr 90
87
+ ho 87
88
+ če 87
89
+ no 87
90
+ 85
91
+ _j 85
92
+ ti 82
93
+ ra 82
94
+ 80
95
+ ze 80
96
+ de 80
97
+ va 78
98
+ ch_ 78
99
+ h_ 78
100
+ _na 77
101
+ ě_ 77
102
+ ni 77
103
+ ou 76
104
+ _by 75
135
105
  ed 75
106
+ yl 75
107
+ byl 75
108
+ ře 74
109
+ do 74
136
110
  lov 74
137
- se 73
138
- _st 73
139
- p� 73
140
- ne 72
141
- ů 72
142
- 72
143
- to 71
144
- slo 70
145
- ak 70
146
- sk� 70
147
- 69
148
- ven 68
149
- je 68
150
- sko 67
151
- ck 67
152
- ol 66
153
- dn 65
154
- ns 65
155
- t_ 65
156
- _p� 65
157
- �t 64
158
- is 64
159
- ove 64
160
- _n� 63
161
- k_ 63
162
- vo 63
111
+ _m 73
112
+ slo 72
113
+ ta 71
114
+ to 70
115
+ re 70
116
+ _če 70
117
+ ic 69
118
+ is 69
119
+ se 69
120
+ 69
121
+ ven 69
122
+ an 68
123
+ 68
124
+ sko 68
125
+ ns 68
126
+ ů 67
127
+ ove 66
128
+ _st 65
129
+ ak 64
130
+ vo 64
131
+ ne 63
163
132
  ce_ 63
164
- re 63
133
+ nsk 63
134
+ ens 62
165
135
  vá 62
166
- r� 62
167
- il 62
168
- _se 62
169
- el 62
170
- nsk 61
171
- za 61
172
- la_ 61
173
- _do 61
174
- st� 61
175
- in 60
176
- ob 60
136
+ ka 62
137
+ ck 62
138
+ _př 62
139
+ dn 60
140
+ el 60
141
+ ol 60
142
+ t_ 60
177
143
  esk 60
178
- �es 59
179
- at 59
180
- ens 59
181
- se_ 57
182
- ci 57
183
- em_ 56
184
- át 56
185
- �n 55
186
- ka 55
187
- �_ 55
188
- ý_ 55
189
- �l 54
190
- n_ 54
191
- it 54
144
+ čes 60
145
+ je 60
146
+ _ná 59
147
+ il 58
148
+ _se 58
149
+ k_ 58
150
+ n_ 57
151
+ at 57
152
+ za 55
153
+ in 55
154
+ osl 54
155
+ ci 54
192
156
  lo_ 54
193
- _ne 53
194
- osl 52
195
- _za 52
157
+ em_ 54
158
+ ý_ 53
159
+ se_ 53
160
+ la_ 53
196
161
  ho_ 52
197
- 52
198
- m� 52
199
- ost 51
200
- _ro 51
201
- án 51
202
- tn 51
203
- pro 50
204
- me 50
205
- on 50
206
- ck� 50
207
- ik 49
208
- _od 49
209
- ec 49
210
- l� 48
211
- ej 48
212
- ick 48
213
- ova 48
214
- ad 47
215
- ou_ 47
216
- o� 47
217
- 47
218
- ov� 47
219
- er 47
220
- ž_ 47
221
- �_ 47
222
- ýc 47
223
- �c 47
224
- sta 47
225
- li_ 46
226
- ký 46
227
- �ch 46
228
- kos 45
229
- kt 44
230
- ja 44
162
+ ob 51
163
+ án 50
164
+ _do 50
165
+ _ro 50
166
+ át 49
167
+ er 49
168
+ ik 48
169
+ 47
170
+ _od 47
171
+ _ne 47
172
+ kos 47
173
+ it 47
174
+ ick 46
175
+ ad 46
176
+ on 45
177
+ _za 45
178
+ ké_ 45
179
+ ýc 45
180
+ ej 45
181
+ ost 44
182
+ oc 44
183
+ ých 44
184
+ ál 44
185
+ me 44
231
186
  vy 44
232
- ku 43
233
- ím 43
234
- �m 43
235
- mu 43
236
- �_ 42
237
- mi 42
238
- ky 42
239
- oc 42
240
- ál 42
241
- _re 41
187
+ pro 44
188
+ li_ 43
189
+ _re 43
190
+ ova 43
191
+ ja 43
192
+ 43
193
+ sta 42
194
+ kt 42
195
+ ím 42
196
+ ec 42
197
+ ně_ 41
198
+ tá 41
199
+ tn 41
200
+ ž_ 41
242
201
  et 41
243
- ot 41
244
- s_ 41
245
- e� 40
246
- av 40
247
- pol 39
248
- _ja 39
249
- om 39
250
- or 39
251
- ky_ 38
252
- ist 38
253
- tic 37
254
- en� 37
255
- ez 37
256
- ok 37
257
- so 37
258
- á_ 37
259
- v� 37
260
- ac 37
261
- _je 37
262
- tr 37
202
+ ou_ 40
203
+ ist 40
204
+ ky 40
205
+ mu 40
206
+ ka_ 40
207
+ ku 39
208
+ pře 39
209
+ mi 39
210
+ tr 39
211
+ á_ 39
212
+ om 38
213
+ ot 38
214
+ av 38
215
+ or 38
216
+ _ja 38
263
217
  rá 37
264
- �t 36
265
- 36
266
- 36
267
- ko_ 36
268
- ět 36
269
- vi 36
270
- _n� 36
271
- vě 36
272
- t� 36
273
- � 36
274
- ln 36
218
+ 37
219
+ so 37
220
+ ky_ 36
221
+ _l 36
222
+ ev 36
223
+ tu 36
275
224
  vn 36
276
- �_ 35
277
- ev 35
225
+ tic 35
226
+ s_ 35
227
+ éh 35
228
+ ého 35
278
229
  _vy 35
279
- _ob 35
280
- ů_ 35
281
- �ho 34
282
- �h 34
283
- nov 34
284
- nt 34
285
- tí 34
286
- _l 34
287
- éh 34
288
- ým 34
289
- ka_ 34
290
- �m 34
291
- kon 34
292
- tu 34
230
+ ln 35
231
+ stá 35
232
+ oj 34
233
+ ac 34
293
234
  _u 34
294
- ú 33
295
- m� 33
296
- val 33
297
- � 33
298
- id 33
299
- d� 33
235
+ ět 34
236
+ nt 33
237
+ pol 33
300
238
  da 33
239
+ ko_ 33
301
240
  ep 33
302
241
  _i 33
303
- ci_ 33
304
- _ 32
305
- f 32
306
- 32
307
- 32
308
- 32
309
- z� 32
310
- odn 32
311
- sp 32
312
- oj 32
313
- _� 32
314
- _h 32
315
- zn 31
316
- _v� 31
242
+ f 33
243
+ ů_ 32
244
+ ú 32
245
+ ar 32
246
+ ím_ 32
247
+ _je 31
248
+ ová 31
249
+ 31
250
+ id 31
251
+ ez 31
252
+ _h 31
253
+ _ob 31
254
+ vi 31
255
+ ské 31
317
256
  up 31
318
- d_ 31
319
- 31
320
- ter 31
321
- �n� 31
322
- �m_ 30
323
- iv 30
324
- íc 30
325
- lá 30
326
- pu 30
327
- yl_ 30
328
- mo 30
329
- �c 30
330
- rod 30
331
- sti 30
257
+ ci_ 31
258
+ 31
332
259
  al_ 30
333
- hl 30
334
- kte 29
335
- op 29
336
- er� 29
337
- _kt 29
338
- _s_ 29
339
- ár 29
340
- az 29
341
- ěm 29
342
- nu 29
343
- 29
344
- �m 29
345
- �r 29
346
- ar 29
347
- am 29
348
- ji 29
349
- oz 28
350
- zem 28
351
- vn� 28
352
- _ve 28
353
- a� 28
354
- 28
355
- bo 28
356
- �ro 28
357
- ny 28
358
- ny_ 27
359
- �í 27
360
- as 27
361
- �� 27
362
- _sl 27
363
- ř� 27
364
- dy 27
365
- tn� 26
366
- z_ 26
367
- vl 26
368
- g 26
369
- _z� 26
260
+ 30
261
+ d_ 30
262
+ ter 30
263
+ nov 30
264
+ kon 30
265
+ ok 30
266
+ bo 29
267
+ _ně 29
268
+ 29
269
+ ár 28
270
+ pu 28
271
+ 28
272
+ sp 28
273
+ r_ 28
274
+ odn 28
275
+ az 28
276
+ _so 28
277
+ iv 28
278
+ rod 28
279
+ sti 28
280
+ val 27
281
+ zem 27
282
+ g 27
283
+ ří 27
284
+ ým 27
285
+ áro 27
286
+ ny 27
287
+ ali 27
288
+ yl_ 27
289
+ nu 27
290
+ 27
291
+ ván 27
292
+ op 26
293
+ ny_ 26
294
+ hl 26
295
+ as 26
296
+ mo 26
370
297
  kr 26
371
- _so 26
372
- ech 26
373
- mi_ 25
374
- roc 25
375
- ali 25
376
- ku_ 25
377
- ma 25
378
- spo 25
379
- tv 25
380
- ly 25
381
- dn� 25
382
- _ko 25
383
- �v 25
384
- to_ 25
385
- oli 25
386
- nos 25
387
- r_ 25
388
- ži 25
389
- �i 25
298
+ ek 26
299
+ _sl 26
300
+ vl 26
301
+ 26
302
+ íc 26
303
+ 26
304
+ cké 26
305
+ ání 26
306
+ un 25
307
+ ší 25
308
+ _ve 25
309
+ ji 25
310
+ di 25
311
+ _kt 25
312
+ tát 25
390
313
  sa 25
391
- ly_ 25
392
- vat 24
393
- _k_ 24
394
- jak 24
395
- tel 24
314
+ nár 25
315
+ _ko 25
316
+ tv 25
317
+ ěm 25
318
+ něm 25
319
+ dy 25
320
+ kte 25
321
+ roc 25
322
+ ním 25
323
+ vět 25
324
+ ži 24
396
325
  oce 24
397
- zi 24
398
- š� 24
399
- čn 24
400
- c� 24
326
+ den 24
327
+ am 24
328
+ oz 24
329
+ zn 24
330
+ ku_ 24
331
+ _s_ 24
332
+ ský 24
333
+ vat 23
334
+ jak 23
335
+ ech 23
336
+ áv 23
337
+ ma 23
338
+ to_ 23
339
+ řed 23
340
+ str 23
341
+ _k_ 23
342
+ ení 23
343
+ ent 23
344
+ _vl 23
345
+ dl 23
346
+ zi 23
347
+ _ze 22
348
+ dě 22
349
+ bl 22
350
+ ub 22
351
+ ný_ 22
352
+ oli 22
353
+ _de 22
354
+ _c 22
355
+ nos 22
356
+ zv 22
357
+ dy_ 22
358
+ dní 22
359
+ ři 22
360
+ spo 22
361
+ tel 22
362
+ tí_ 22
363
+ le_ 22
364
+ ěn 21
365
+ lik 21
366
+ ly 21
367
+ tě 21
368
+ ká 21
369
+ pra 21
370
+ vní 21
371
+ ád 21
372
+ en_ 21
373
+ el_ 21
374
+ mi_ 21
375
+ _sp 21
376
+ sto 21
377
+ z_ 21
378
+ ly_ 21
379
+ še 21
380
+ edn 21
381
+ té 21
382
+ oh 20
383
+ do_ 20
384
+ cí 20
385
+ ás 20
386
+ _ta 20
387
+ rep 20
388
+ nis 20
389
+ ylo 20
390
+ pa 20
391
+ po_ 20
392
+ dá 20
393
+ čn 20
394
+ ys 20
395
+ ako 20
396
+ zá 20
397
+ yv 19
398
+ lit 19
399
+ ri 19
400
+ kl 19