scylla 0.9.3 → 1.0.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- _ 10756
2
- e 4307
3
- r 2459
4
- n 2177
5
- t 1946
6
- d 1838
7
- a 1791
8
- s 1699
9
- i 1610
10
- o 1392
11
- g 1329
12
- l 1312
13
- e_ 977
14
- m 969
15
- k 956
16
- er 925
17
- r_ 850
18
- de 848
19
- 775
20
- f 771
21
- t_ 711
22
- en 698
23
- _d 614
24
- b 545
25
- an 536
26
- er_ 526
27
- v 515
28
- n_ 513
29
- _s 501
30
- g_ 463
31
- _o 451
32
- et 443
33
- u 433
34
- nd 430
35
- en_ 428
36
- _f 404
37
- re 398
38
- _e 396
39
- st 380
40
- ge 379
41
- ar 364
42
- te 360
43
- et_ 356
44
- p 352
45
- _a 351
46
- og 344
47
- _i 340
48
- h 336
49
- _de 331
50
- _m 329
51
- in 325
52
- 314
53
- ø 314
54
- _b 299
55
- _og 298
56
- d_ 291
57
- og_ 291
58
- ed 284
59
- sk 283
60
- or 280
61
- ti 271
62
- be 266
63
- ne 265
64
- 265
65
- å 265
66
- me 263
67
- i_ 262
68
- ng 259
69
- es 249
70
- le 242
71
- de_ 240
72
- ke 239
73
- el 236
74
- _t 236
75
- k_ 228
76
- _i_ 224
77
- da 222
78
- s_ 216
79
- _h 214
80
- _da 211
81
- om 206
82
- ig 201
83
- dan 200
84
- af 200
85
- ma 195
86
- 193
87
- ri 193
88
- æ 193
89
- nde 192
90
- den 189
91
- _me 189
92
- li 189
93
- fo 188
94
- _p 178
95
- m_ 177
96
- _af 174
97
- il 174
98
- and 173
99
- ve 173
100
- la 170
101
- ing 167
102
- _k 166
103
- _l 165
104
- _be 163
105
- f_ 163
106
- ns 160
107
- ar_ 157
108
- se 157
109
- rk 156
110
- y 155
111
- _v 154
112
- is 153
113
- l_ 153
114
- der 151
115
- af_ 149
116
- at 147
117
- for 144
118
- _fo 140
119
- j 139
120
- ed_ 139
121
- gt 139
122
- s� 138
123
- _er 135
124
- al 135
125
- _st 135
126
- det 133
127
- re_ 132
128
- te_ 132
129
- lan 131
130
- ere 130
131
- ra 129
132
- om_ 127
133
- ske 126
134
- mar 126
135
- _en 124
136
- å_ 123
137
- ni 123
138
- �_ 123
139
- ol 122
140
- ger 121
141
- ste 121
142
- ark 121
143
- nge 115
144
- on 115
145
- so 115
146
- ke_ 113
147
- gt_ 111
148
- _ti 109
149
- til 108
150
- ne_ 108
151
- med 108
152
- a_ 105
153
- ll 105
154
- nm 105
155
- anm 104
156
- nma 104
157
- som 104
158
- _u 103
159
- ta 103
160
- _so 102
161
- ans 100
162
- _r 99
163
- em 99
164
- ter 98
165
- ng_ 97
166
- ha 96
167
- ede 95
168
- to 95
169
- _n 95
170
- rs 94
171
- ind 93
172
- ds 93
173
- _g 93
174
- vi 92
175
- rk_ 91
176
- p� 90
177
- nsk 90
178
- il_ 90
179
- bes 89
180
- un 89
181
- rn 89
182
- del 87
183
- ge_ 86
184
- _la 86
185
- eg 86
186
- si 86
187
- ern 86
188
- ør 85
189
- c 85
190
- fr 85
191
- t� 85
192
- �r 85
193
- nin 84
194
- id 84
195
- 83
196
- ru 82
197
- ko 82
198
- 82
199
- _ha 82
200
- �g 81
1
+ _ 11446
2
+ e 4619
3
+ r 2658
4
+ n 2341
5
+ t 2053
6
+ d 1971
7
+ a 1919
8
+ s 1784
9
+ i 1735
10
+ o 1493
11
+ l 1425
12
+ g 1414
13
+ e_ 1051
14
+ m 1023
15
+ k 1016
16
+ er 1009
17
+ r_ 915
18
+ de 909
19
+ f 828
20
+ en 752
21
+ t_ 748
22
+ _d 645
23
+ er_ 575
24
+ an 573
25
+ b 569
26
+ v 559
27
+ n_ 538
28
+ _s 525
29
+ g_ 490
30
+ u 483
31
+ nd 475
32
+ _o 472
33
+ et 466
34
+ en_ 450
35
+ re 443
36
+ _f 435
37
+ _e 431
38
+ ge 406
39
+ st 394
40
+ p 387
41
+ ar 383
42
+ te 379
43
+ et_ 374
44
+ _i 371
45
+ _a 368
46
+ og 363
47
+ h 355
48
+ _de 349
49
+ in 348
50
+ _m 341
51
+ ø 322
52
+ _og 316
53
+ _b 311
54
+ og_ 309
55
+ or 309
56
+ d_ 304
57
+ ed 297
58
+ sk 294
59
+ ne 287
60
+ i_ 285
61
+ ti 284
62
+ me 279
63
+ å 277
64
+ ng 273
65
+ be 271
66
+ es 262
67
+ le 260
68
+ de_ 257
69
+ el 255
70
+ ke 250
71
+ _t 249
72
+ _i_ 243
73
+ da 241
74
+ k_ 241
75
+ _h 228
76
+ s_ 227
77
+ _da 223
78
+ nde 218
79
+ ig 216
80
+ om 214
81
+ dan 213
82
+ af 211
83
+ ma 208
84
+ li 207
85
+ æ 206
86
+ ri 205
87
+ fo 204
88
+ den 201
89
+ _me 196
90
+ _p 190
91
+ m_ 190
92
+ and 189
93
+ la 186
94
+ ve 185
95
+ il 185
96
+ _af 183
97
+ _k 179
98
+ _v 178
99
+ ing 175
100
+ f_ 174
101
+ _l 172
102
+ der 171
103
+ rk 168
104
+ _be 166
105
+ ns 165
106
+ se 165
107
+ ar_ 164
108
+ y 162
109
+ is 161
110
+ l_ 160
111
+ af_ 159
112
+ for 158
113
+ at 155
114
+ j 153
115
+ al 152
116
+ _fo 152
117
+ re_ 150
118
+ _er 146
119
+ ere 144
120
+ det 143
121
+ ed_ 142
122
+ gt 141
123
+ lan 140
124
+ ra 140
125
+ _st 138
126
+ mar 136
127
+ ol 135
128
+ ske 134
129
+ te_ 134
130
+ om_ 133
131
+ _en 132
132
+ ark 131
133
+ ni 127
134
+ ger 127
135
+ on 127
136
+ å_ 127
137
+ ste 124
138
+ nge 122
139
+ so 121
140
+ ke_ 118
141
+ a_ 116
142
+ nm 115
143
+ ll 115
144
+ ne_ 114
145
+ _ti 114
146
+ nma 114
147
+ anm 113
148
+ med 113
149
+ gt_ 113
150
+ til 112
151
+ _u 112
152
+ som 109
153
+ _r 108
154
+ em 107
155
+ ta 106
156
+ _so 106
157
+ ter 105
158
+ vi 104
159
+ _n 103
160
+ ha 102
161
+ ans 102
162
+ to 102
163
+ ind 101
164
+ ng_ 101
165
+ rk_ 100
166
+ _g 99
167
+ ds 99
168
+ rs 99
169
+ ge_ 97
170
+ un 97
171
+ c 97
172
+ ede 96
173
+ il_ 95
174
+ rn 94
175
+ fr 93
176
+ si 92
177
+ lig 91
178
+ nsk 91
179
+ _la 91
180
+ bes 91
181
+ va 90
182
+ eg 90
183
+ ern 90
184
+ del 89
185
+ ru 89
186
+ ik 88
187
+ ør 88
188
+ _ha 87
189
+ id 87
190
+ ko 86
191
+ nin 86
192
+ 86
193
+ _fr 86
194
+ ud 86
195
+ end 86
196
+ på_ 84
197
+ _på 84
198
+ 84
199
+ or_ 83
200
+ _re 81
201
201
  øg 81
202
- va 81
203
- ik 81
204
- lig 81
205
- _� 80
206
- _p� 80
207
- ud 79
208
- _fr 78
209
- gs 78
210
- _re 77
211
- end 77
212
- or_ 77
213
- ag 77
214
- f� 76
215
- rne 76
216
- ls 75
217
- mi 75
218
- bl 74
219
- tr 73
220
- lle 73
221
- rt 71
222
- es_ 71
223
- ka 71
224
- ner 71
225
- �gt 71
226
- es� 71
227
- ev 70
228
- _in 70
229
- ua 70
230
- r� 69
231
- ige 68
232
- gen 68
233
- tt 68
234
- men 67
202
+ ld 81
203
+ gs 80
204
+ rt 80
205
+ tr 79
206
+ ag 79
207
+ rne 79
208
+ lle 78
209
+ ige 78
210
+ bl 78
211
+ _in 78
212
+ ner 78
213
+ ls 78
214
+ ka 77
215
+ mi 77
216
+ ær 76
217
+ ie 76
218
+ søg 76
219
+ ene 75
220
+ es_ 74
221
+ op 74
222
+ gen 74
223
+ ro 73
224
+ tt 73
225
+ ev 73
226
+ est 71
227
+ øgt 71
228
+ ua 71
229
+ els 70
230
+ esø 69
231
+ kt 69
232
+ men 68
233
+ at_ 68
234
+ io 68
235
+ _ud 67
236
+ _si 67
235
237
  sk_ 67
236
- op 67
237
- ie 67
238
- �r 67
239
- ær 67
240
- els 67
241
- at_ 66
242
- ro 66
243
- uar 66
244
- ld 65
238
+ nd_ 67
239
+ uar 67
240
+ he 66
241
+ kr 66
242
+ isk 66
243
+ ef 66
244
+ dt 65
245
245
  lt 65
246
- kt 65
247
- est 64
248
- ene 64
249
- nd_ 64
250
- he 64
251
- _si 63
252
- io 63
253
- kr 63
254
- _ud 62
246
+ _j 64
247
+ ver 64
248
+ _bl 63
249
+ rd 63
250
+ nt 63
251
+ pr 63
252
+ eri 62
253
+ und 62
254
+ år 62
255
+ tte 62
255
256
  sa 62
256
- st� 62
257
- ef 62
258
- isk 62
259
- år 61
260
- �r 61
261
- dt 61
262
- _bl 60
263
- eri 59
264
- pr 59
265
- _at 59
266
- ver 59
267
- rd 59
268
- v_ 59
269
- tte 59
270
- _j 58
271
- no 57
272
- br 57
257
+ gr 62
258
+ fi 62
259
+ fra 62
260
+ _at 61
261
+ br 60
262
+ v_ 60
263
+ no 60
264
+ it 59
265
+ ft 59
266
+ _va 58
267
+ na 58
268
+ har 57
269
+ ret 57
270
+ mm 56
271
+ ra_ 56
272
+ po 56
273
+ le_ 56
274
+ rin 56
273
275
  ov 56
274
- fi 56
275
- fra 56
276
- nt 55
277
- gr 55
278
- und 54
279
- har 53
280
- _et 53
281
- ble 53
282
- rin 53
283
- ft 53
284
- ret 53
285
- it 52
286
- am 52
287
- _f� 52
288
- mm 52
289
- _va 52
290
- fø 52
276
+ gi 55
277
+ _et 55
278
+ am 55
279
+ 55
280
+ od 55
281
+ se_ 54
282
+ ble 54
283
+ var 54
284
+ ho 53
285
+ _ma 53
286
+ mme 52
291
287
  lk 52
292
- var 51
293
- _ma 51
294
- od 50
295
- get 50
296
- se_ 50
297
- le_ 50
298
- ra_ 50
299
- ho 49
300
- ege 49
301
- lse 48
302
- _om 48
303
- _ko 48
304
- ig_ 48
305
- sto 48
306
- mme 48
307
- rb 47
308
- gi 47
309
- lev 46
310
- st_ 46
311
- ion 46
312
- na 46
313
- po 45
314
- ang 45
315
- tor 45
316
- _fi 45
317
- bru 45
318
- ber 44
319
- ist 44
320
- ty 44
321
- sen 44
322
- dl 44
323
- 43
324
- �r_ 43
325
- dr 43
326
- nu 43
288
+ ion 52
289
+ lse 51
290
+ _ko 51
291
+ get 51
292
+ ege 51
293
+ ren 50
294
+ sto 50
295
+ ig_ 50
296
+ _fi 50
297
+ _om 50
298
+ ang 50
299
+ st_ 49
300
+ rb 49
301
+ sp 49
302
+ lev 49
303
+ ur 48
304
+ tor 47
305
+ bru 47
306
+ nu 47
307
+ ist 46
308
+ ty 46
309
+ _ve 46
310
+ ber 46
311
+ dl 46
312
+ dr 46
313
+ ell 45
314
+ sen 45
315
+ 45
316
+ før 44
317
+ år_ 44
318
+ iv 44
319
+ av 44
320
+ ja 44
321
+ _sk 43
327
322
  _op 43
328
- l� 42
329
- _sk 42
330
- ja 42
331
- h� 41
332
- _ja 41
333
- ur 41
323
+ lde 43
324
+ rg 43
325
+ _vi 43
326
+ old 43
327
+ _ja 42
328
+ kon 42
329
+ fl 41
330
+ ev_ 41
331
+ ler 41
332
+ ks 41
333
+ så 41
334
334
  ove 41
335
+ ide 41
336
+ fe 41
337
+ di 41
338
+ pe 40
339
+ lo 40
340
+ hv 40
341
+ ens 40
342
+ reg 40
343
+ ga 40
344
+ eb 40
345
+ ad 40
346
+ _c 40
347
+ rig 40
348
+ ved 40
335
349
  _å 40
336
- 40
337
- ev_ 40
338
- ide 40
339
- _ve 40
340
- av 40
341
- hv 39
342
- ell 39
343
- _se 39
344
- ks 39
345
- sp 39
346
- di 39
347
- kon 39
348
- fl 39
350
+ anu 39
351
+ jan 39
349
352
  one 39
350
- fe 39
351
- eb 39
352
- iv 39
353
- lo 38
354
- ved 38
355
- anu 38
356
- rig 38
357
- ler 38
358
- jan 38
359
- nua 38
360
- ens 38
361
- sta 38
353
+ sl 39
354
+ ss 39
355
+ ska 39
356
+ sta 39
357
+ _se 39
358
+ rde 39
359
+ nua 39
360
+ 38
361
+ _gr 38
362
362
  fol 38
363
- 37
364
- _vi 37
365
- ss 37
366
- ska 37
367
- ren 37
368
- _mi 37
369
- ga 37
370
- reg 37
371
- pe 37
363
+ _mi 38
364
+ ord 37
372
365
  _sa 37
366
+ ts 37
367
+ je 37
368
+ em_ 37
369
+ _hv 37
370
+ _år 37
373
371
  olk 37
374
- _gr 36
372
+ bet 36
373
+ så_ 36
374
+ væ 36
375
+ age 36
375
376
  sam 36
376
- rde 36
377
- m� 36
378
- _hv 36
377
+ ik_ 36
379
378
  lit 36
380
- ad 36
381
- ord 36
382
- age 35
383
- lde 35
384
- bet 35
385
- rg 35
379
+ _an 36
380
+ ker 35
381
+ nds 35
382
+ _no 35
383
+ ul 35
386
384
  us 35
387
- _c 35
385
+ _he 35
388
386
  rst 35
389
- _no 34
390
- old 34
391
- sl 34
392
- _an 33
393
- ob 33
394
- ker 33
395
- lt_ 33
396
- _he 33
397
- nds 33
398
- an_ 33
399
- elt 33
400
- _fe 33
387
+ dt_ 35
388
+ stø 35
389
+ ndt 35
390
+ tio 35
391
+ kke 34
392
+ ek 34
393
+ kri 34
394
+ _fø 34
395
+ kk 34
396
+ ok 34
397
+ db 34
398
+ _fe 34
399
+ all 34
400
+ oli 34