scylla 0.9.3 → 1.0.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- _ 20786
2
- e 10748
3
- n 5728
4
- d 3982
5
- a 3786
6
- r 3636
7
- i 3528
8
- t 3355
9
- o 3185
10
- n_ 2897
11
- e_ 2435
12
- en 2373
13
- de 2277
14
- l 2188
15
- s 2116
16
- en_ 1832
17
- _d 1624
18
- er 1620
19
- g 1610
20
- v 1373
21
- de_ 1300
22
- t_ 1300
23
- an 1293
24
- h 1261
25
- _de 1171
26
- k 1088
27
- _e 1061
28
- m 1014
29
- _v 943
30
- u 871
31
- te 866
32
- nd 860
33
- w 859
34
- in 842
35
- ee 839
36
- ge 783
37
- r_ 761
38
- b 750
39
- et 708
40
- _h 706
41
- j 705
42
- s_ 700
43
- p 694
44
- he 692
45
- c 671
46
- d_ 669
47
- or 667
48
- el 634
49
- st 623
50
- et_ 621
51
- ij 609
52
- aa 596
53
- oo 595
54
- _i 592
55
- ie 569
56
- z 560
57
- _o 546
58
- an_ 542
59
- _he 540
60
- la 529
61
- va 528
62
- _en 506
63
- _w 493
64
- van 477
65
- het 466
66
- _va 464
67
- _b 462
68
- _g 460
69
- der 451
70
- _n 445
71
- and 437
72
- on 432
73
- ed 432
74
- me 429
75
- _in 412
76
- rd 411
77
- nde 410
78
- _m 405
79
- lan 402
80
- oor 395
81
- re 389
82
- ch 387
83
- al 387
84
- er_ 385
85
- _z 381
86
- _a 377
87
- ng 375
88
- _t 374
89
- be 365
90
- le 365
91
- ar 359
92
- _s 350
93
- is 344
94
- in_ 342
95
- li 342
96
- we 341
97
- ve 339
98
- ke 339
99
- ne 332
100
- f 331
101
- den 328
102
- ro 324
103
- g_ 324
104
- een 322
105
- _ee 321
106
- ri 320
107
- ede 320
108
- vo 319
109
- ti 313
110
- _ge 307
111
- _be 297
112
- at 295
113
- it 293
114
- l_ 279
115
- ste 267
116
- na 259
117
- nd_ 256
118
- di 256
119
- _l 255
120
- rl 254
121
- te_ 251
122
- es 249
123
- aar 248
124
- k_ 246
125
- ra 232
126
- ui 228
127
- ing 226
128
- op 226
129
- _me 225
130
- zi 224
131
- ver 224
132
- _vo 223
133
- nt 220
134
- ijk 219
135
- jk 219
136
- erd 218
137
- erl 217
138
- wa 213
139
- ter 210
140
- or_ 207
141
- _k 206
142
- _ne 206
143
- ten 206
144
- ie_ 204
145
- ei 201
146
- gen 199
147
- _p 199
148
- da 199
149
- gr 195
150
- rla 195
151
- rs 189
152
- ned 188
153
- _we 188
154
- oe 188
155
- se 187
156
- ond 185
157
- is_ 184
158
- _ve 179
159
- _zi 177
160
- eg 176
161
- id 174
162
- sc 172
163
- ig 172
164
- ot 171
165
- sch 170
166
- eer 168
167
- ni 168
168
- _wa 166
169
- ng_ 166
170
- _r 165
171
- ta 165
172
- _on 164
173
- ord 161
174
- _is 158
175
- ere 158
176
- ur 158
177
- voo 157
178
- rde 157
179
- bi 156
180
- lij 155
181
- ol 154
182
- _op 154
183
- ev 153
184
- cht 152
185
- ht 152
186
- ers 151
187
- ds 151
188
- p_ 148
189
- om 148
190
- do 147
191
- ze 146
192
- _te 146
193
- to 146
194
- _di 145
195
- el_ 145
196
- wo 144
197
- ls 144
198
- aan 143
199
- rt 142
200
- est 142
201
- _la 142
202
- ma 140
203
- pe 140
204
- jn 137
205
- ijn 137
206
- ek 137
207
- wer 135
208
- met 134
209
- eu 133
210
- doo 133
211
- am 133
212
- ls_ 132
213
- ns 132
214
- _al 131
215
- uit 131
216
- end 131
217
- _da 130
218
- ken 129
219
- zij 129
220
- mi 128
221
- nge 127
222
- tie 127
223
- _do 127
224
- eli 127
225
- ts 126
226
- no 125
227
- jn_ 124
228
- zo 123
229
- rij 123
230
- ren 122
231
- m_ 121
232
- gro 121
233
- eel 120
234
- lo 120
235
- rd_ 120
236
- men 119
237
- a_ 119
238
- ic 118
239
- _gr 118
240
- ar_ 118
241
- tr 117
242
- als 117
243
- _na 117
244
- ha 116
245
- nds 116
246
- _st 116
247
- em 116
248
- as 116
249
- op_ 115
250
- og 114
251
- se_ 111
252
- ang 111
253
- ke_ 110
254
- die 110
255
- _aa 108
256
- it_ 107
257
- wi 104
258
- tu 103
259
- le_ 103
260
- _u 103
261
- wor 102
262
- mee 102
263
- vi 101
264
- _wo 100
265
- ho 99
266
- ind 98
267
- eid 98
268
- al_ 98
269
- eb 98
270
- ege 98
271
- ec 97
272
- _oo 96
273
- _zo 96
274
- ld 95
275
- sta 94
276
- _to 94
277
- _ui 92
278
- ele 92
279
- rk 91
280
- jke 91
281
- f_ 90
282
- ich 89
283
- ok 88
284
- rm 88
285
- st_ 87
286
- j_ 87
287
- ak 87
288
- ij_ 86
1
+ _ 22244
2
+ e 11500
3
+ n 6122
4
+ d 4278
5
+ a 4090
6
+ r 3921
7
+ i 3793
8
+ t 3567
9
+ o 3449
10
+ n_ 3082
11
+ e_ 2627
12
+ en 2502
13
+ de 2434
14
+ l 2396
15
+ s 2267
16
+ en_ 1947
17
+ er 1753
18
+ _d 1731
19
+ g 1730
20
+ v 1472
21
+ an 1401
22
+ t_ 1376
23
+ de_ 1366
24
+ h 1342
25
+ _de 1235
26
+ k 1146
27
+ _e 1135
28
+ m 1078
29
+ _v 1000
30
+ u 930
31
+ te 925
32
+ nd 915
33
+ w 908
34
+ in 903
35
+ ee 877
36
+ ge 825
37
+ b 820
38
+ r_ 805
39
+ j 755
40
+ p 754
41
+ et 750
42
+ _h 748
43
+ s_ 743
44
+ he 732
45
+ c 725
46
+ d_ 709
47
+ or 709
48
+ el 677
49
+ et_ 651
50
+ st 648
51
+ ij 646
52
+ aa 646
53
+ oo 645
54
+ _i 632
55
+ _o 610
56
+ z 601
57
+ ie 600
58
+ la 578
59
+ an_ 577
60
+ _he 565
61
+ va 558
62
+ _en 533
63
+ _w 526
64
+ _b 502
65
+ van 501
66
+ der 495
67
+ _g 490
68
+ het 486
69
+ _va 484
70
+ _n 483
71
+ and 481
72
+ ed 476
73
+ on 461
74
+ me 447
75
+ _in 446
76
+ lan 443
77
+ rd 440
78
+ _m 433
79
+ oor 426
80
+ nde 422
81
+ ch 421
82
+ re 420
83
+ al 418
84
+ er_ 412
85
+ _a 410
86
+ le 407
87
+ ng 406
88
+ _t 400
89
+ _z 399
90
+ be 397
91
+ ar 393
92
+ ve 373
93
+ li 372
94
+ ne 371
95
+ we 370
96
+ g_ 369
97
+ is 368
98
+ _s 368
99
+ in_ 366
100
+ den 361
101
+ f 356
102
+ ede 355
103
+ ro 353
104
+ ke 351
105
+ ri 349
106
+ _ee 336
107
+ een 336
108
+ vo 335
109
+ _ge 323
110
+ ti 323
111
+ it 320
112
+ _be 319
113
+ at 317
114
+ l_ 297
115
+ rl 296
116
+ di 290
117
+ _l 282
118
+ nd_ 278
119
+ na 277
120
+ ste 275
121
+ te_ 273
122
+ es 266
123
+ aar 265
124
+ k_ 264
125
+ op 254
126
+ erl 249
127
+ ui 248
128
+ ver 248
129
+ ing 248
130
+ ra 246
131
+ _me 237
132
+ _vo 237
133
+ erd 234
134
+ zi 233
135
+ jk 231
136
+ ijk 231
137
+ _ne 230
138
+ nt 226
139
+ wa 225
140
+ ei 222
141
+ rla 222
142
+ ie_ 220
143
+ ten 219
144
+ ter 219
145
+ or_ 218
146
+ ned 215
147
+ _k 215
148
+ gr 212
149
+ da 211
150
+ _p 210
151
+ se 210
152
+ rs 208
153
+ gen 207
154
+ _we 205
155
+ oe 199
156
+ ot 196
157
+ sc 196
158
+ eg 195
159
+ _ve 195
160
+ ond 194
161
+ sch 193
162
+ is_ 191
163
+ id 188
164
+ ng_ 187
165
+ _zi 183
166
+ ig 182
167
+ ta 182
168
+ ni 181
169
+ eer 178
170
+ _wa 176
171
+ _on 176
172
+ _r 174
173
+ rde 174
174
+ _op 173
175
+ ze 170
176
+ bi 169
177
+ ur 168
178
+ ol 168
179
+ ord 168
180
+ ers 167
181
+ ere 167
182
+ p_ 167
183
+ ev 167
184
+ voo 167
185
+ lij 165
186
+ _is 164
187
+ ds 164
188
+ to 160
189
+ do 160
190
+ cht 159
191
+ _di 159
192
+ ht 159
193
+ om 158
194
+ aan 158
195
+ ls 154
196
+ _te 152
197
+ ma 152
198
+ el_ 152
199
+ pe 152
200
+ wo 150
201
+ _la 149
202
+ est 148
203
+ ns 145
204
+ wer 144
205
+ rt 144
206
+ uit 143
207
+ ls_ 142
208
+ doo 142
209
+ _al 142
210
+ ek 141
211
+ am 141
212
+ ijn 140
213
+ jn 140
214
+ ts 140
215
+ eu 139
216
+ lo 138
217
+ _da 137
218
+ mi 137
219
+ _do 135
220
+ met 135
221
+ gro 135
222
+ nge 134
223
+ rij 134
224
+ eli 132
225
+ no 132
226
+ _gr 132
227
+ zij 131
228
+ op_ 131
229
+ ren 130
230
+ ken 130
231
+ se_ 129
232
+ ic 127
233
+ zo 127
234
+ og 127
235
+ jn_ 126
236
+ nds 126
237
+ m_ 126
238
+ als 126
239
+ end 125
240
+ a_ 125
241
+ rd_ 123
242
+ _na 123
243
+ ar_ 122
244
+ ha 122
245
+ die 122
246
+ tr 122
247
+ tie 121
248
+ eel 121
249
+ as 121
250
+ men 120
251
+ _st 120
252
+ em 120
253
+ ang 117
254
+ _aa 116
255
+ le_ 116
256
+ ke_ 115
257
+ it_ 115
258
+ _u 110
259
+ ho 109
260
+ ld 109
261
+ _oo 108
262
+ mee 108
263
+ vi 107
264
+ eid 107
265
+ wor 106
266
+ _to 106
267
+ ind 106
268
+ tu 105
269
+ eb 105
270
+ ege 105
271
+ wi 105
272
+ al_ 105
273
+ _wo 104
274
+ f_ 101
275
+ ele 100
276
+ _zo 100
277
+ sta 99
278
+ ec 98
279
+ _ui 98
280
+ ok 95
281
+ rm 95
282
+ st_ 94
283
+ jke 94
284
+ ll 93
285
+ j_ 93
286
+ rk 93
287
+ ich 93
288
+ _ma 92
289
+ ij_ 92
290
+ ko 91
291
+ kt 90
292
+ at_ 90
293
+ jk_ 90
294
+ ak 90
295
+ nk 90
296
+ waa 89
297
+ _c 89
298
+ ot_ 88
299
+ pa 88
300
+ ge_ 87
301
+ ag 86
302
+ uw 86
303
+ il 86
304
+ _f 86
305
+ len 85
289
306
  erk 85
290
- waa 85
291
- uw 85
292
- at_ 84
293
- _f 84
294
- _ma 83
295
- kt 83
296
- ko 83
297
- _c 83
298
- ge_ 83
299
- ag 83
300
- nk 82
301
- ll 81
302
- jk_ 81
303
- pr 80
304
- del 80
305
- geb 79
306
- _er 79
307
- ot_ 79
308
- pa 78
309
- af 76
310
- eri 76
311
- ela 76
312
- bij 76
313
- ov 76
314
- po 75
315
- il 75
316
- re_ 75
317
- aat 75
318
- ent 74
319
- gel 74
320
- eld 74
321
- ch_ 73
322
- hi 73
323
- dt_ 73
324
- gi 73
325
- len 73
326
- bel 73
327
- dt 73
328
- id_ 73
329
- h_ 73
330
- ens 72
331
- ati 72
332
- _re 72
333
- rg 71
334
- _bi 71
335
- uu 71
336
- ac 71
337
- ale 71
338
- uur 70
339
- _mi 69
340
- vol 69
341
- _no 69
342
- ok_ 68
343
- nte 68
344
- si 68
345
- ran 67
346
- ez 67
347
- ook 66
348
- ort 66
349
- ied 66
350
- lle 65
351
- eke 65
352
- tw 65
353
- rs_ 65
354
- maa 65
355
- ru 64
356
- ist 64
357
- ite 64
358
- dee 64
359
- io 64
360
- tot 63
361
- taa 63
362
- as_ 63
363
- un 63
364
- jd 63
365
- ier 63
366
- _ze 63
367
- ijd 63
368
- ad 63
369
- ige 62
370
- gev 62
371
- so 62
307
+ bij 84
308
+ geb 84
309
+ eld 84
310
+ re_ 83
311
+ del 83
312
+ _er 82
313
+ eri 82
314
+ ov 82
315
+ af 82
316
+ pr 81
317
+ ez 81
318
+ ela 81
319
+ gi 80
320
+ aat 80
321
+ hi 79
322
+ ch_ 79
323
+ h_ 79
324
+ ati 79
325
+ po 78
326
+ gel 78
327
+ id_ 77
328
+ ac 77
329
+ _bi 77
330
+ _re 76
331
+ ent 76
332
+ ens 76
333
+ bel 75
334
+ _mi 75
335
+ ok_ 75
336
+ rg 75
337
+ rs_ 75
338
+ dt 75
339
+ vol 74
340
+ ale 74
341
+ dt_ 74
342
+ lle 74
343
+ si 73
344
+ isc 73
345
+ ook 73
346
+ uu 72
347
+ _no 72
348
+ uur 71
349
+ nte 71
350
+ ite 71
351
+ tot 71
352
+ taa 71
353
+ du 70
354
+ ep 70
355
+ jd 70
356
+ ijd 70
357
+ _ze 69
358
+ _j 69
359
+ io 69
360
+ un 69
361
+ _ko 68
362
+ ad 68
363
+ eke 68
364
+ ied 68
365
+ che 68
366
+ ran 68
367
+ od 68
368
+ ru 67
369
+ ort 67
370
+ dee 67
371
+ maa 67
372
+ so 67
373
+ per 66
374
+ ist 66
375
+ ige 66
376
+ tw 66
377
+ ote 64
378
+ as_ 64
379
+ tij 64
380
+ ier 64
381
+ ove 63
382
+ sp 63
383
+ gev 63
384
+ ed_ 63
385
+ ew 63
386
+ ht_ 62
387
+ of 62
388
+ tuu 62
372
389
  euw 62
373
- isc 62
374
- sp 62
375
- ep 61
376
- per 61
377
- du 61
378
- 61
379
- tij 61
380
- tuu 61
381
- ed_ 60
382
- od 60
383
- _ko 60
384
- ame 59
385
- rdt 59
386
- pro 59
387
- ht_ 58
388
- ew 58
389
- _j 58
390
- zic 58
391
- orm 58
392
- naa 57
393
- ove 57
394
- kel 57
395
- che 57
396
- evo 57
397
- roo 57
398
- ou 57
399
- _ho 56
400
- ef 56
390
+ zic 62
391
+ roo 62
392
+ ame 62
393
+ _ho 61
394
+ kel 61
395
+ rb 61
396
+ ach 61
397
+ orm 61
398
+ rot 61
399
+ ja 60
400
+ rdt 60