scylla 0.9.3 → 1.0.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- _ 18778
2
- e 5609
3
- t 4175
4
- n 3756
5
- a 3611
6
- i 3331
7
- o 3167
8
- s 2888
9
- r 2806
10
- h 2421
11
- e_ 2062
12
- d 1953
13
- l 1928
14
- _t 1719
15
- th 1568
16
- c 1377
17
- s_ 1355
18
- he 1352
19
- _th 1323
20
- _a 1261
21
- d_ 1245
22
- the 1241
23
- u 1130
24
- g 1061
25
- he_ 1060
26
- in 1034
27
- m 1018
28
- f 963
29
- an 954
30
- n_ 868
31
- p 815
32
- _i 790
33
- nd 756
34
- w 729
35
- re 703
36
- t_ 678
37
- _o 641
38
- nd_ 636
39
- y 630
40
- er 625
41
- en 624
42
- and 608
1
+ _ 19026
2
+ e 5658
3
+ t 4138
4
+ n 3839
5
+ a 3693
6
+ i 3421
7
+ o 3229
8
+ s 2963
9
+ r 2878
10
+ h 2469
11
+ e_ 2091
12
+ d 1994
13
+ l 1971
14
+ _t 1697
15
+ th 1590
16
+ c 1418
17
+ s_ 1392
18
+ he 1376
19
+ _th 1342
20
+ _a 1278
21
+ d_ 1264
22
+ the 1260
23
+ u 1163
24
+ he_ 1078
25
+ g 1067
26
+ in 1053
27
+ m 1032
28
+ f 978
29
+ an 974
30
+ n_ 894
31
+ p 830
32
+ _i 809
33
+ nd 776
34
+ w 738
35
+ re 710
36
+ _o 653
37
+ nd_ 645
38
+ y 643
39
+ er 640
40
+ t_ 638
41
+ en 628
42
+ and 620
43
+ on 605
44
+ b 605
43
45
  _s 601
44
- ng 587
45
- on 581
46
- b 575
47
- y_ 525
48
- _w 508
49
- ar 506
50
- ed 496
51
- is 489
52
- es 488
53
- _an 476
54
- _in 470
55
- ed_ 469
56
- te 463
57
- _c 463
58
- _e 463
59
- or 444
60
- ti 438
61
- st 430
62
- it 426
63
- h_ 422
64
- of 421
65
- la 414
66
- _of 414
67
- f_ 414
68
- nt 404
69
- as 403
70
- of_ 400
71
- _b 398
72
- v 390
73
- at 385
74
- r_ 381
75
- ri 370
76
- _f 369
77
- in_ 363
78
- al 357
79
- _p 352
80
- ro 323
81
- ing 307
82
- as_ 297
83
- re_ 297
84
- to 292
85
- _m 282
86
- co 281
87
- g_ 279
88
- o_ 279
89
- de 278
90
- ng_ 274
91
- om 260
92
- l_ 260
93
- io 258
94
- le 255
95
- ou 254
96
- li 250
97
- _l 250
98
- es_ 248
99
- _r 246
100
- se 245
46
+ ng 589
47
+ y_ 535
48
+ _w 519
49
+ ar 518
50
+ es 508
51
+ ed 502
52
+ is 496
53
+ _an 482
54
+ _in 480
55
+ _c 478
56
+ ed_ 475
57
+ _e 464
58
+ or 459
59
+ ti 449
60
+ st 443
61
+ it 440
62
+ of 429
63
+ la 425
64
+ f_ 425
65
+ _of 422
66
+ h_ 421
67
+ te 418
68
+ as 416
69
+ _b 410
70
+ of_ 409
71
+ nt 407
72
+ v 398
73
+ r_ 392
74
+ at 391
75
+ ri 382
76
+ _f 375
77
+ al 368
78
+ in_ 368
79
+ _p 358
80
+ ro 326
81
+ ing 310
82
+ as_ 307
83
+ re_ 301
84
+ to 296
85
+ _m 288
86
+ co 287
87
+ de 283
88
+ o_ 282
89
+ g_ 282
90
+ ng_ 277
91
+ io 267
92
+ l_ 266
93
+ es_ 263
94
+ le 263
95
+ om 262
96
+ ou 258
97
+ li 255
98
+ _l 253
99
+ se 251
100
+ _r 251
101
+ ve 248
101
102
  me 244
102
- ve 242
103
- _en 241
104
- ea 236
105
- _h 236
106
- ch 234
107
- a_ 231
108
- ur 227
109
- on_ 226
110
- is_ 223
111
- ion 222
112
- gl 220
113
- ent 218
114
- lan 216
115
- ngl 216
116
- eng 214
117
- ce 214
118
- _co 213
119
- _to 212
120
- er_ 211
121
- ic 209
103
+ _h 244
104
+ ea 242
105
+ _en 242
106
+ ch 242
107
+ on_ 241
108
+ ur 234
109
+ ion 230
110
+ is_ 229
111
+ a_ 229
112
+ ce 223
113
+ gl 221
114
+ ic 221
115
+ lan 220
116
+ _co 217
117
+ ent 217
118
+ er_ 217
119
+ ngl 217
120
+ eng 215
121
+ _to 213
122
+ _d 207
122
123
  to_ 206
123
- _d 203
124
- st_ 197
125
- _ar 196
126
- hi 195
127
- ha 193
128
- _is 190
129
- k 189
130
- ra 188
131
- si 188
132
- un 180
124
+ hi 203
125
+ st_ 202
126
+ _ar 199
127
+ ha 198
128
+ ra 197
129
+ si 197
130
+ k 195
131
+ _is 193
132
+ un 193
133
+ al_ 183
134
+ nc 181
133
135
  m_ 180
134
- nc 178
135
- al_ 178
136
- _a_ 176
137
- _n 171
138
- ns 168
139
- tr 167
140
- fo 167
136
+ _n 174
137
+ _a_ 174
138
+ ns 174
139
+ fo 173
140
+ tr 169
141
+ wa 162
142
+ _re 162
141
143
  pe 161
144
+ ma 159
142
145
  ll 159
143
- _re 159
144
- wa 158
145
- th_ 155
146
- ma 155
147
- _fo 154
148
- rt 152
149
- na 151
150
- ne 151
151
- el 150
152
- her 150
153
- ly 150
154
- ly_ 148
155
- are 147
156
- po 147
157
- tio 145
158
- gla 145
159
- ere 145
160
- no 145
161
- ec 145
146
+ _fo 158
147
+ ne 155
148
+ th_ 154
149
+ ly 154
150
+ her 153
151
+ rt 153
152
+ ly_ 152
153
+ po 151
154
+ are 151
155
+ el 151
156
+ tio 150
157
+ be 150
158
+ na 150
159
+ ca 147
160
+ gla 147
161
+ ec 147
162
162
  ge 144
163
- sh 143
164
- be 143
165
- _as 142
166
- mo 142
167
- ho 141
168
- ca 139
169
- ol 138
170
- _wa 136
171
- ie 135
172
- ch_ 135
163
+ _as 144
164
+ ho 144
165
+ sh 144
166
+ ol 144
167
+ mo 143
168
+ ere 143
169
+ no 142
170
+ ie 141
171
+ _wa 140
172
+ ni 140
173
+ _u 137
174
+ ch_ 136
175
+ lo 134
176
+ ta 133
173
177
  we 132
174
- lo 130
175
- ta 130
176
- ni 128
177
- est 128
178
- _u 126
179
- ted 126
180
- ot 126
181
- pr 125
182
- il 124
183
- om_ 124
184
- ts 123
185
- _be 123
186
- di 121
178
+ est 131
179
+ il 129
180
+ _be 128
181
+ ts 126
182
+ ted 125
183
+ om_ 125
184
+ wh 124
185
+ pr 124
186
+ tu 123
187
+ di 122
188
+ ot 122
189
+ pa 122
187
190
  ct 121
188
- tu 120
189
- wh 120
190
- x 119
191
- pa 118
192
- os 118
193
- ati 117
194
- ts_ 117
191
+ ate 120
192
+ os 119
193
+ ati 119
194
+ ts_ 119
195
+ op 119
196
+ rs 119
197
+ rom 118
198
+ _wh 117
195
199
  wi 117
196
- op 116
197
- rom 116
198
- ate 116
199
- ai 114
200
- fr 114
201
- an_ 114
202
- _wh 113
203
- _fr 112
204
- _s_ 112
205
- ow 112
206
- nt_ 111
207
- ish 111
208
- or_ 110
209
- _ha 110
200
+ fr 116
201
+ _ha 115
202
+ ai 115
203
+ an_ 115
204
+ for 115
205
+ or_ 114
206
+ _fr 113
207
+ am 113
208
+ ter 112
209
+ us 111
210
+ ia 111
211
+ nt_ 110
210
212
  su 110
211
- for 109
212
- ry 108
213
- ter 108
213
+ ry 110
214
+ ish 109
215
+ ow 109
214
216
  _mo 107
215
- ia 107
216
- am 107
217
- rs 106
218
- _pr 106
219
- us 105
217
+ _pr 107
220
218
  _by 105
221
219
  by_ 105
220
+ _s_ 105
222
221
  by 105
222
+ iv 104
223
223
  _wi 104
224
- _la 103
225
- em 102
224
+ ry_ 104
226
225
  con 102
227
226
  so 102
228
- ry_ 102
229
- iv 100
230
- ex 100
231
- _g 99
232
- et 99
233
- was 97
234
- me_ 96
235
- ad 96
236
- ut 96
237
- ig 95
238
- sh_ 95
239
- le_ 95
240
- cl 94
241
- mi 94
242
- _it 94
227
+ _la 101
228
+ em 100
229
+ le_ 100
230
+ _g 100
231
+ was 99
232
+ ut 99
233
+ ad 99
234
+ et 98
235
+ _it 97
236
+ cl 97
237
+ ns_ 96
238
+ ul 96
239
+ me_ 95
240
+ mi 95
241
+ wo 95
242
+ ac 95
243
+ ee 95
244
+ inc 94
245
+ ig 94
246
+ do 94
247
+ ons 94
248
+ oun 94
249
+ ir 93
250
+ sh_ 93
243
251
  ci 93
244
- wo 93
245
- ul 93
246
- ac 92
247
- inc 92
248
- oun 91
249
- fro 91
250
- ons 91
251
- tur 91
252
- uc 90
253
- ver 89
254
- ns_ 89
255
- _pa 88
256
- ir 88
257
- ee 87
258
- do 87
259
- _ma 87
260
- _on 86
261
- ith 86
262
- ce_ 86
263
- _we 85
252
+ ver 93
253
+ tur 92
254
+ uc 92
255
+ fro 92
256
+ _ma 91
257
+ ce_ 90
258
+ ies 90
259
+ _pa 89
260
+ ith 87
261
+ _on 87
262
+ du 86
263
+ _we 86
264
264
  wit 85
265
265
  lis 85
266
- ies 85
267
- tin 85
268
- mp 84
269
- du 84
266
+ tin 84
267
+ rl 84
268
+ iti 84
269
+ nce 84
270
270
  at_ 84
271
- nce 82
272
- rl 81
273
- all 81
274
- ld 81
275
- _de 81
276
- ev 81
277
- _no 80
278
- id 80
279
- _k 80
271
+ _de 84
272
+ mp 83
273
+ en_ 83
274
+ ev 82
275
+ id 82
276
+ ld 82
277
+ all 82
278
+ lu 82
279
+ _k 82
280
280
  _su 80
281
- lu 80
282
- iti 79
283
- te_ 79
284
- pl 78
285
- im 78
286
- fi 77
287
- en_ 77
288
- _te 77
289
- ov 77
290
- _se 76
291
- sp 76
281
+ pl 80
282
+ fi 79
283
+ sp 78
284
+ _se 78
285
+ par 77
286
+ _no 77
287
+ rs_ 76
288
+ im 76
289
+ ov 76
290
+ rea 76
291
+ te_ 76
292
+ gh 75
293
+ vi 75
294
+ _un 75
295
+ ss 75
296
+ man 74
297
+ x 74
292
298
  art 74
293
- vi 74
294
- ss 73
295
- par 73
296
- gh 73
297
- rs_ 73
298
- rea 72
299
- ain 72
300
- ag 72
299
+ ite 73
300
+ gi 72
301
301
  rit 71
302
- man 71
303
- gi 71
302
+ ain 71
304
303
  od 71
305
- ite 71
306
- rn 69
304
+ it_ 71
305
+ ag 71
306
+ und 70
307
+ whi 70
308
+ br 70
309
+ ve_ 69
307
310
  res 69
308
- it_ 69
309
- br 68
310
- ve_ 68
311
- whi 68
312
- gli 68
313
- ist 67
314
- ntr 67
315
- _un 67
316
- und 67
317
- _so 65
311
+ ntr 68
312
+ rn 68
313
+ ist 68
314
+ gli 67
315
+ _wo 65
316
+ _st 65
318
317
  cen 65
319
- _st 64
320
- _wo 63
321
- ove 63
318
+ _so 64
319
+ der 64
320
+ ive 64
321
+ ba 63
322
+ int 63
323
+ lar 63
324
+ _si 63
322
325
  ost 63
323
- men 63
324
- der 63
325
- int 62
326
- _si 62
327
- lar 62
326
+ _po 63
327
+ eg 62
328
+ ki 62
329
+ ud 62
328
330
  ty 62
329
- ud 61
331
+ ove 62
332
+ men 62
333
+ nti 62
334
+ ers 61
330
335
  _ce 61
331
- ki 61
336
+ cou 61
332
337
  pro 60
338
+ ld_ 60
339
+ rin 60
340
+ has 60
333
341
  _br 60
334
- _po 60
335
- nti 60
336
- eg 59
337
- ive 59
338
- rin 59
339
- _pe 59
342
+ rm 60
343
+ rd 59
344
+ ame 59
340
345
  ern 59
341
- rm 59
342
- cou 59
343
- ug 59
344
- ld_ 59
345
- ba 58
346
- xt 58
346
+ _al 59
347
+ ort 59
348
+ lat 58
349
+ gr 58
350
+ _pe 58
351
+ bo 58
352
+ ug 58
353
+ ine 58
354
+ ica 57
355
+ wor 57
347
356
  rou 57
348
- ort 57
349
- _al 57
350
- ame 57
351
- ext 57
357
+ ect 56
352
358
  uri 56
353
- ine 56
354
- has 56
359
+ kin 56
360
+ clu 56
361
+ sc 56
362
+ oth 56
355
363
  ue 56
356
- lat 56
357
- ect 56
364
+ av 55
358
365
  _le 55
359
- oth 55
360
- rd 55
361
- ers 55
362
- sc 55
363
- bo 55
364
- wor 55
365
- gr 55
366
- kin 55
366
+ _lo 55
367
+ uch 55
367
368
  eve 54
368
369
  se_ 54
369
- clu 54
370
- ica 54
371
- wer 54
370
+ bri 54
371
+ cal 54
372
372
  com 53
373
+ rie 53
374
+ uni 53
375
+ ex 53
376
+ wer 53
373
377
  his 53
374
- av 53
375
- uch 53
376
- ear 52
377
- bri 52
378
- _lo 52
379
- ls 52
378
+ ear 53
379
+ eat 53
380
380
  cr 52
381
- ona 52
382
- nal 52
383
- eat 52
384
- ide 51
385
- rc 51
386
- rie 51
381
+ c_ 52
382
+ ori 52
383
+ _at 51
384
+ ona 51
385
+ nal 51
387
386
  tra 51
388
- ori 51
389
- sed 50
387
+ sed 51
388
+ ls 51
389
+ rc 51
390
+ ncl 51
391
+ ide 51
392
+ rg 50
393
+ hic 50
390
394
  ga 50
391
- _at 50
392
- cal 50
393
- de_ 50
394
- rg 49
395
- ncl 49
396
- red 49
397
- va 49
398
- _ki 49
399
- xt_ 49
400
- ugh 49
395
+ lud 50
396
+ unt 50
397
+ bl 50
398
+ suc 50
399
+ _ki 50
400
+ de_ 49