scylla 0.9.3 → 1.0.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- _ 20786
2
- e 10748
3
- n 5728
4
- d 3982
5
- a 3786
6
- r 3636
7
- i 3528
8
- t 3355
9
- o 3185
10
- n_ 2897
11
- e_ 2435
12
- en 2373
13
- de 2277
14
- l 2188
15
- s 2116
16
- en_ 1832
17
- _d 1624
18
- er 1620
19
- g 1610
20
- v 1373
21
- de_ 1300
22
- t_ 1300
23
- an 1293
24
- h 1261
25
- _de 1171
26
- k 1088
27
- _e 1061
28
- m 1014
29
- _v 943
30
- u 871
31
- te 866
32
- nd 860
33
- w 859
34
- in 842
35
- ee 839
36
- ge 783
37
- r_ 761
38
- b 750
39
- et 708
40
- _h 706
41
- j 705
42
- s_ 700
43
- p 694
44
- he 692
45
- c 671
46
- d_ 669
47
- or 667
48
- el 634
49
- st 623
50
- et_ 621
51
- ij 609
52
- aa 596
53
- oo 595
54
- _i 592
55
- ie 569
56
- z 560
57
- _o 546
58
- an_ 542
59
- _he 540
60
- la 529
61
- va 528
62
- _en 506
63
- _w 493
64
- van 477
65
- het 466
66
- _va 464
67
- _b 462
68
- _g 460
69
- der 451
70
- _n 445
71
- and 437
72
- on 432
73
- ed 432
74
- me 429
75
- _in 412
76
- rd 411
77
- nde 410
78
- _m 405
79
- lan 402
80
- oor 395
81
- re 389
82
- ch 387
83
- al 387
84
- er_ 385
85
- _z 381
86
- _a 377
87
- ng 375
88
- _t 374
89
- be 365
90
- le 365
91
- ar 359
92
- _s 350
93
- is 344
94
- in_ 342
95
- li 342
96
- we 341
97
- ve 339
98
- ke 339
99
- ne 332
100
- f 331
101
- den 328
102
- ro 324
103
- g_ 324
104
- een 322
105
- _ee 321
106
- ri 320
107
- ede 320
108
- vo 319
109
- ti 313
110
- _ge 307
111
- _be 297
112
- at 295
113
- it 293
114
- l_ 279
115
- ste 267
116
- na 259
117
- nd_ 256
118
- di 256
119
- _l 255
120
- rl 254
121
- te_ 251
122
- es 249
123
- aar 248
124
- k_ 246
125
- ra 232
126
- ui 228
127
- ing 226
128
- op 226
129
- _me 225
130
- zi 224
131
- ver 224
132
- _vo 223
133
- nt 220
134
- ijk 219
135
- jk 219
136
- erd 218
137
- erl 217
138
- wa 213
139
- ter 210
140
- or_ 207
141
- _k 206
142
- _ne 206
143
- ten 206
144
- ie_ 204
145
- ei 201
146
- gen 199
147
- _p 199
148
- da 199
149
- gr 195
150
- rla 195
151
- rs 189
152
- ned 188
153
- _we 188
154
- oe 188
155
- se 187
156
- ond 185
157
- is_ 184
158
- _ve 179
159
- _zi 177
160
- eg 176
161
- id 174
162
- sc 172
163
- ig 172
164
- ot 171
165
- sch 170
166
- eer 168
167
- ni 168
168
- _wa 166
169
- ng_ 166
170
- _r 165
171
- ta 165
172
- _on 164
173
- ord 161
174
- _is 158
175
- ere 158
176
- ur 158
177
- voo 157
178
- rde 157
179
- bi 156
180
- lij 155
181
- ol 154
182
- _op 154
183
- ev 153
184
- cht 152
185
- ht 152
186
- ers 151
187
- ds 151
188
- p_ 148
189
- om 148
190
- do 147
191
- ze 146
192
- _te 146
193
- to 146
194
- _di 145
195
- el_ 145
196
- wo 144
197
- ls 144
198
- aan 143
199
- rt 142
200
- est 142
201
- _la 142
202
- ma 140
203
- pe 140
204
- jn 137
205
- ijn 137
206
- ek 137
207
- wer 135
208
- met 134
209
- eu 133
210
- doo 133
211
- am 133
212
- ls_ 132
213
- ns 132
214
- _al 131
215
- uit 131
216
- end 131
217
- _da 130
218
- ken 129
219
- zij 129
220
- mi 128
221
- nge 127
222
- tie 127
223
- _do 127
224
- eli 127
225
- ts 126
226
- no 125
227
- jn_ 124
228
- zo 123
229
- rij 123
230
- ren 122
231
- m_ 121
232
- gro 121
233
- eel 120
234
- lo 120
235
- rd_ 120
236
- men 119
237
- a_ 119
238
- ic 118
239
- _gr 118
240
- ar_ 118
241
- tr 117
242
- als 117
243
- _na 117
244
- ha 116
245
- nds 116
246
- _st 116
247
- em 116
248
- as 116
249
- op_ 115
250
- og 114
251
- se_ 111
252
- ang 111
253
- ke_ 110
254
- die 110
255
- _aa 108
256
- it_ 107
257
- wi 104
258
- tu 103
259
- le_ 103
260
- _u 103
261
- wor 102
262
- mee 102
263
- vi 101
264
- _wo 100
265
- ho 99
266
- ind 98
267
- eid 98
268
- al_ 98
269
- eb 98
270
- ege 98
271
- ec 97
272
- _oo 96
273
- _zo 96
274
- ld 95
275
- sta 94
276
- _to 94
277
- _ui 92
278
- ele 92
279
- rk 91
280
- jke 91
281
- f_ 90
282
- ich 89
283
- ok 88
284
- rm 88
285
- st_ 87
286
- j_ 87
287
- ak 87
288
- ij_ 86
1
+ _ 22244
2
+ e 11500
3
+ n 6122
4
+ d 4278
5
+ a 4090
6
+ r 3921
7
+ i 3793
8
+ t 3567
9
+ o 3449
10
+ n_ 3082
11
+ e_ 2627
12
+ en 2502
13
+ de 2434
14
+ l 2396
15
+ s 2267
16
+ en_ 1947
17
+ er 1753
18
+ _d 1731
19
+ g 1730
20
+ v 1472
21
+ an 1401
22
+ t_ 1376
23
+ de_ 1366
24
+ h 1342
25
+ _de 1235
26
+ k 1146
27
+ _e 1135
28
+ m 1078
29
+ _v 1000
30
+ u 930
31
+ te 925
32
+ nd 915
33
+ w 908
34
+ in 903
35
+ ee 877
36
+ ge 825
37
+ b 820
38
+ r_ 805
39
+ j 755
40
+ p 754
41
+ et 750
42
+ _h 748
43
+ s_ 743
44
+ he 732
45
+ c 725
46
+ d_ 709
47
+ or 709
48
+ el 677
49
+ et_ 651
50
+ st 648
51
+ ij 646
52
+ aa 646
53
+ oo 645
54
+ _i 632
55
+ _o 610
56
+ z 601
57
+ ie 600
58
+ la 578
59
+ an_ 577
60
+ _he 565
61
+ va 558
62
+ _en 533
63
+ _w 526
64
+ _b 502
65
+ van 501
66
+ der 495
67
+ _g 490
68
+ het 486
69
+ _va 484
70
+ _n 483
71
+ and 481
72
+ ed 476
73
+ on 461
74
+ me 447
75
+ _in 446
76
+ lan 443
77
+ rd 440
78
+ _m 433
79
+ oor 426
80
+ nde 422
81
+ ch 421
82
+ re 420
83
+ al 418
84
+ er_ 412
85
+ _a 410
86
+ le 407
87
+ ng 406
88
+ _t 400
89
+ _z 399
90
+ be 397
91
+ ar 393
92
+ ve 373
93
+ li 372
94
+ ne 371
95
+ we 370
96
+ g_ 369
97
+ is 368
98
+ _s 368
99
+ in_ 366
100
+ den 361
101
+ f 356
102
+ ede 355
103
+ ro 353
104
+ ke 351
105
+ ri 349
106
+ _ee 336
107
+ een 336
108
+ vo 335
109
+ _ge 323
110
+ ti 323
111
+ it 320
112
+ _be 319
113
+ at 317
114
+ l_ 297
115
+ rl 296
116
+ di 290
117
+ _l 282
118
+ nd_ 278
119
+ na 277
120
+ ste 275
121
+ te_ 273
122
+ es 266
123
+ aar 265
124
+ k_ 264
125
+ op 254
126
+ erl 249
127
+ ui 248
128
+ ver 248
129
+ ing 248
130
+ ra 246
131
+ _me 237
132
+ _vo 237
133
+ erd 234
134
+ zi 233
135
+ jk 231
136
+ ijk 231
137
+ _ne 230
138
+ nt 226
139
+ wa 225
140
+ ei 222
141
+ rla 222
142
+ ie_ 220
143
+ ten 219
144
+ ter 219
145
+ or_ 218
146
+ ned 215
147
+ _k 215
148
+ gr 212
149
+ da 211
150
+ _p 210
151
+ se 210
152
+ rs 208
153
+ gen 207
154
+ _we 205
155
+ oe 199
156
+ ot 196
157
+ sc 196
158
+ eg 195
159
+ _ve 195
160
+ ond 194
161
+ sch 193
162
+ is_ 191
163
+ id 188
164
+ ng_ 187
165
+ _zi 183
166
+ ig 182
167
+ ta 182
168
+ ni 181
169
+ eer 178
170
+ _wa 176
171
+ _on 176
172
+ _r 174
173
+ rde 174
174
+ _op 173
175
+ ze 170
176
+ bi 169
177
+ ur 168
178
+ ol 168
179
+ ord 168
180
+ ers 167
181
+ ere 167
182
+ p_ 167
183
+ ev 167
184
+ voo 167
185
+ lij 165
186
+ _is 164
187
+ ds 164
188
+ to 160
189
+ do 160
190
+ cht 159
191
+ _di 159
192
+ ht 159
193
+ om 158
194
+ aan 158
195
+ ls 154
196
+ _te 152
197
+ ma 152
198
+ el_ 152
199
+ pe 152
200
+ wo 150
201
+ _la 149
202
+ est 148
203
+ ns 145
204
+ wer 144
205
+ rt 144
206
+ uit 143
207
+ ls_ 142
208
+ doo 142
209
+ _al 142
210
+ ek 141
211
+ am 141
212
+ ijn 140
213
+ jn 140
214
+ ts 140
215
+ eu 139
216
+ lo 138
217
+ _da 137
218
+ mi 137
219
+ _do 135
220
+ met 135
221
+ gro 135
222
+ nge 134
223
+ rij 134
224
+ eli 132
225
+ no 132
226
+ _gr 132
227
+ zij 131
228
+ op_ 131
229
+ ren 130
230
+ ken 130
231
+ se_ 129
232
+ ic 127
233
+ zo 127
234
+ og 127
235
+ jn_ 126
236
+ nds 126
237
+ m_ 126
238
+ als 126
239
+ end 125
240
+ a_ 125
241
+ rd_ 123
242
+ _na 123
243
+ ar_ 122
244
+ ha 122
245
+ die 122
246
+ tr 122
247
+ tie 121
248
+ eel 121
249
+ as 121
250
+ men 120
251
+ _st 120
252
+ em 120
253
+ ang 117
254
+ _aa 116
255
+ le_ 116
256
+ ke_ 115
257
+ it_ 115
258
+ _u 110
259
+ ho 109
260
+ ld 109
261
+ _oo 108
262
+ mee 108
263
+ vi 107
264
+ eid 107
265
+ wor 106
266
+ _to 106
267
+ ind 106
268
+ tu 105
269
+ eb 105
270
+ ege 105
271
+ wi 105
272
+ al_ 105
273
+ _wo 104
274
+ f_ 101
275
+ ele 100
276
+ _zo 100
277
+ sta 99
278
+ ec 98
279
+ _ui 98
280
+ ok 95
281
+ rm 95
282
+ st_ 94
283
+ jke 94
284
+ ll 93
285
+ j_ 93
286
+ rk 93
287
+ ich 93
288
+ _ma 92
289
+ ij_ 92
290
+ ko 91
291
+ kt 90
292
+ at_ 90
293
+ jk_ 90
294
+ ak 90
295
+ nk 90
296
+ waa 89
297
+ _c 89
298
+ ot_ 88
299
+ pa 88
300
+ ge_ 87
301
+ ag 86
302
+ uw 86
303
+ il 86
304
+ _f 86
305
+ len 85
289
306
  erk 85
290
- waa 85
291
- uw 85
292
- at_ 84
293
- _f 84
294
- _ma 83
295
- kt 83
296
- ko 83
297
- _c 83
298
- ge_ 83
299
- ag 83
300
- nk 82
301
- ll 81
302
- jk_ 81
303
- pr 80
304
- del 80
305
- geb 79
306
- _er 79
307
- ot_ 79
308
- pa 78
309
- af 76
310
- eri 76
311
- ela 76
312
- bij 76
313
- ov 76
314
- po 75
315
- il 75
316
- re_ 75
317
- aat 75
318
- ent 74
319
- gel 74
320
- eld 74
321
- ch_ 73
322
- hi 73
323
- dt_ 73
324
- gi 73
325
- len 73
326
- bel 73
327
- dt 73
328
- id_ 73
329
- h_ 73
330
- ens 72
331
- ati 72
332
- _re 72
333
- rg 71
334
- _bi 71
335
- uu 71
336
- ac 71
337
- ale 71
338
- uur 70
339
- _mi 69
340
- vol 69
341
- _no 69
342
- ok_ 68
343
- nte 68
344
- si 68
345
- ran 67
346
- ez 67
347
- ook 66
348
- ort 66
349
- ied 66
350
- lle 65
351
- eke 65
352
- tw 65
353
- rs_ 65
354
- maa 65
355
- ru 64
356
- ist 64
357
- ite 64
358
- dee 64
359
- io 64
360
- tot 63
361
- taa 63
362
- as_ 63
363
- un 63
364
- jd 63
365
- ier 63
366
- _ze 63
367
- ijd 63
368
- ad 63
369
- ige 62
370
- gev 62
371
- so 62
307
+ bij 84
308
+ geb 84
309
+ eld 84
310
+ re_ 83
311
+ del 83
312
+ _er 82
313
+ eri 82
314
+ ov 82
315
+ af 82
316
+ pr 81
317
+ ez 81
318
+ ela 81
319
+ gi 80
320
+ aat 80
321
+ hi 79
322
+ ch_ 79
323
+ h_ 79
324
+ ati 79
325
+ po 78
326
+ gel 78
327
+ id_ 77
328
+ ac 77
329
+ _bi 77
330
+ _re 76
331
+ ent 76
332
+ ens 76
333
+ bel 75
334
+ _mi 75
335
+ ok_ 75
336
+ rg 75
337
+ rs_ 75
338
+ dt 75
339
+ vol 74
340
+ ale 74
341
+ dt_ 74
342
+ lle 74
343
+ si 73
344
+ isc 73
345
+ ook 73
346
+ uu 72
347
+ _no 72
348
+ uur 71
349
+ nte 71
350
+ ite 71
351
+ tot 71
352
+ taa 71
353
+ du 70
354
+ ep 70
355
+ jd 70
356
+ ijd 70
357
+ _ze 69
358
+ _j 69
359
+ io 69
360
+ un 69
361
+ _ko 68
362
+ ad 68
363
+ eke 68
364
+ ied 68
365
+ che 68
366
+ ran 68
367
+ od 68
368
+ ru 67
369
+ ort 67
370
+ dee 67
371
+ maa 67
372
+ so 67
373
+ per 66
374
+ ist 66
375
+ ige 66
376
+ tw 66
377
+ ote 64
378
+ as_ 64
379
+ tij 64
380
+ ier 64
381
+ ove 63
382
+ sp 63
383
+ gev 63
384
+ ed_ 63
385
+ ew 63
386
+ ht_ 62
387
+ of 62
388
+ tuu 62
372
389
  euw 62
373
- isc 62
374
- sp 62
375
- ep 61
376
- per 61
377
- du 61
378
- 61
379
- tij 61
380
- tuu 61
381
- ed_ 60
382
- od 60
383
- _ko 60
384
- ame 59
385
- rdt 59
386
- pro 59
387
- ht_ 58
388
- ew 58
389
- _j 58
390
- zic 58
391
- orm 58
392
- naa 57
393
- ove 57
394
- kel 57
395
- che 57
396
- evo 57
397
- roo 57
398
- ou 57
399
- _ho 56
400
- ef 56
390
+ zic 62
391
+ roo 62
392
+ ame 62
393
+ _ho 61
394
+ kel 61
395
+ rb 61
396
+ ach 61
397
+ orm 61
398
+ rot 61
399
+ ja 60
400
+ rdt 60