scylla 0.9.3 → 1.0.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- _ 18778
2
- e 5609
3
- t 4175
4
- n 3756
5
- a 3611
6
- i 3331
7
- o 3167
8
- s 2888
9
- r 2806
10
- h 2421
11
- e_ 2062
12
- d 1953
13
- l 1928
14
- _t 1719
15
- th 1568
16
- c 1377
17
- s_ 1355
18
- he 1352
19
- _th 1323
20
- _a 1261
21
- d_ 1245
22
- the 1241
23
- u 1130
24
- g 1061
25
- he_ 1060
26
- in 1034
27
- m 1018
28
- f 963
29
- an 954
30
- n_ 868
31
- p 815
32
- _i 790
33
- nd 756
34
- w 729
35
- re 703
36
- t_ 678
37
- _o 641
38
- nd_ 636
39
- y 630
40
- er 625
41
- en 624
42
- and 608
1
+ _ 19026
2
+ e 5658
3
+ t 4138
4
+ n 3839
5
+ a 3693
6
+ i 3421
7
+ o 3229
8
+ s 2963
9
+ r 2878
10
+ h 2469
11
+ e_ 2091
12
+ d 1994
13
+ l 1971
14
+ _t 1697
15
+ th 1590
16
+ c 1418
17
+ s_ 1392
18
+ he 1376
19
+ _th 1342
20
+ _a 1278
21
+ d_ 1264
22
+ the 1260
23
+ u 1163
24
+ he_ 1078
25
+ g 1067
26
+ in 1053
27
+ m 1032
28
+ f 978
29
+ an 974
30
+ n_ 894
31
+ p 830
32
+ _i 809
33
+ nd 776
34
+ w 738
35
+ re 710
36
+ _o 653
37
+ nd_ 645
38
+ y 643
39
+ er 640
40
+ t_ 638
41
+ en 628
42
+ and 620
43
+ on 605
44
+ b 605
43
45
  _s 601
44
- ng 587
45
- on 581
46
- b 575
47
- y_ 525
48
- _w 508
49
- ar 506
50
- ed 496
51
- is 489
52
- es 488
53
- _an 476
54
- _in 470
55
- ed_ 469
56
- te 463
57
- _c 463
58
- _e 463
59
- or 444
60
- ti 438
61
- st 430
62
- it 426
63
- h_ 422
64
- of 421
65
- la 414
66
- _of 414
67
- f_ 414
68
- nt 404
69
- as 403
70
- of_ 400
71
- _b 398
72
- v 390
73
- at 385
74
- r_ 381
75
- ri 370
76
- _f 369
77
- in_ 363
78
- al 357
79
- _p 352
80
- ro 323
81
- ing 307
82
- as_ 297
83
- re_ 297
84
- to 292
85
- _m 282
86
- co 281
87
- g_ 279
88
- o_ 279
89
- de 278
90
- ng_ 274
91
- om 260
92
- l_ 260
93
- io 258
94
- le 255
95
- ou 254
96
- li 250
97
- _l 250
98
- es_ 248
99
- _r 246
100
- se 245
46
+ ng 589
47
+ y_ 535
48
+ _w 519
49
+ ar 518
50
+ es 508
51
+ ed 502
52
+ is 496
53
+ _an 482
54
+ _in 480
55
+ _c 478
56
+ ed_ 475
57
+ _e 464
58
+ or 459
59
+ ti 449
60
+ st 443
61
+ it 440
62
+ of 429
63
+ la 425
64
+ f_ 425
65
+ _of 422
66
+ h_ 421
67
+ te 418
68
+ as 416
69
+ _b 410
70
+ of_ 409
71
+ nt 407
72
+ v 398
73
+ r_ 392
74
+ at 391
75
+ ri 382
76
+ _f 375
77
+ al 368
78
+ in_ 368
79
+ _p 358
80
+ ro 326
81
+ ing 310
82
+ as_ 307
83
+ re_ 301
84
+ to 296
85
+ _m 288
86
+ co 287
87
+ de 283
88
+ o_ 282
89
+ g_ 282
90
+ ng_ 277
91
+ io 267
92
+ l_ 266
93
+ es_ 263
94
+ le 263
95
+ om 262
96
+ ou 258
97
+ li 255
98
+ _l 253
99
+ se 251
100
+ _r 251
101
+ ve 248
101
102
  me 244
102
- ve 242
103
- _en 241
104
- ea 236
105
- _h 236
106
- ch 234
107
- a_ 231
108
- ur 227
109
- on_ 226
110
- is_ 223
111
- ion 222
112
- gl 220
113
- ent 218
114
- lan 216
115
- ngl 216
116
- eng 214
117
- ce 214
118
- _co 213
119
- _to 212
120
- er_ 211
121
- ic 209
103
+ _h 244
104
+ ea 242
105
+ _en 242
106
+ ch 242
107
+ on_ 241
108
+ ur 234
109
+ ion 230
110
+ is_ 229
111
+ a_ 229
112
+ ce 223
113
+ gl 221
114
+ ic 221
115
+ lan 220
116
+ _co 217
117
+ ent 217
118
+ er_ 217
119
+ ngl 217
120
+ eng 215
121
+ _to 213
122
+ _d 207
122
123
  to_ 206
123
- _d 203
124
- st_ 197
125
- _ar 196
126
- hi 195
127
- ha 193
128
- _is 190
129
- k 189
130
- ra 188
131
- si 188
132
- un 180
124
+ hi 203
125
+ st_ 202
126
+ _ar 199
127
+ ha 198
128
+ ra 197
129
+ si 197
130
+ k 195
131
+ _is 193
132
+ un 193
133
+ al_ 183
134
+ nc 181
133
135
  m_ 180
134
- nc 178
135
- al_ 178
136
- _a_ 176
137
- _n 171
138
- ns 168
139
- tr 167
140
- fo 167
136
+ _n 174
137
+ _a_ 174
138
+ ns 174
139
+ fo 173
140
+ tr 169
141
+ wa 162
142
+ _re 162
141
143
  pe 161
144
+ ma 159
142
145
  ll 159
143
- _re 159
144
- wa 158
145
- th_ 155
146
- ma 155
147
- _fo 154
148
- rt 152
149
- na 151
150
- ne 151
151
- el 150
152
- her 150
153
- ly 150
154
- ly_ 148
155
- are 147
156
- po 147
157
- tio 145
158
- gla 145
159
- ere 145
160
- no 145
161
- ec 145
146
+ _fo 158
147
+ ne 155
148
+ th_ 154
149
+ ly 154
150
+ her 153
151
+ rt 153
152
+ ly_ 152
153
+ po 151
154
+ are 151
155
+ el 151
156
+ tio 150
157
+ be 150
158
+ na 150
159
+ ca 147
160
+ gla 147
161
+ ec 147
162
162
  ge 144
163
- sh 143
164
- be 143
165
- _as 142
166
- mo 142
167
- ho 141
168
- ca 139
169
- ol 138
170
- _wa 136
171
- ie 135
172
- ch_ 135
163
+ _as 144
164
+ ho 144
165
+ sh 144
166
+ ol 144
167
+ mo 143
168
+ ere 143
169
+ no 142
170
+ ie 141
171
+ _wa 140
172
+ ni 140
173
+ _u 137
174
+ ch_ 136
175
+ lo 134
176
+ ta 133
173
177
  we 132
174
- lo 130
175
- ta 130
176
- ni 128
177
- est 128
178
- _u 126
179
- ted 126
180
- ot 126
181
- pr 125
182
- il 124
183
- om_ 124
184
- ts 123
185
- _be 123
186
- di 121
178
+ est 131
179
+ il 129
180
+ _be 128
181
+ ts 126
182
+ ted 125
183
+ om_ 125
184
+ wh 124
185
+ pr 124
186
+ tu 123
187
+ di 122
188
+ ot 122
189
+ pa 122
187
190
  ct 121
188
- tu 120
189
- wh 120
190
- x 119
191
- pa 118
192
- os 118
193
- ati 117
194
- ts_ 117
191
+ ate 120
192
+ os 119
193
+ ati 119
194
+ ts_ 119
195
+ op 119
196
+ rs 119
197
+ rom 118
198
+ _wh 117
195
199
  wi 117
196
- op 116
197
- rom 116
198
- ate 116
199
- ai 114
200
- fr 114
201
- an_ 114
202
- _wh 113
203
- _fr 112
204
- _s_ 112
205
- ow 112
206
- nt_ 111
207
- ish 111
208
- or_ 110
209
- _ha 110
200
+ fr 116
201
+ _ha 115
202
+ ai 115
203
+ an_ 115
204
+ for 115
205
+ or_ 114
206
+ _fr 113
207
+ am 113
208
+ ter 112
209
+ us 111
210
+ ia 111
211
+ nt_ 110
210
212
  su 110
211
- for 109
212
- ry 108
213
- ter 108
213
+ ry 110
214
+ ish 109
215
+ ow 109
214
216
  _mo 107
215
- ia 107
216
- am 107
217
- rs 106
218
- _pr 106
219
- us 105
217
+ _pr 107
220
218
  _by 105
221
219
  by_ 105
220
+ _s_ 105
222
221
  by 105
222
+ iv 104
223
223
  _wi 104
224
- _la 103
225
- em 102
224
+ ry_ 104
226
225
  con 102
227
226
  so 102
228
- ry_ 102
229
- iv 100
230
- ex 100
231
- _g 99
232
- et 99
233
- was 97
234
- me_ 96
235
- ad 96
236
- ut 96
237
- ig 95
238
- sh_ 95
239
- le_ 95
240
- cl 94
241
- mi 94
242
- _it 94
227
+ _la 101
228
+ em 100
229
+ le_ 100
230
+ _g 100
231
+ was 99
232
+ ut 99
233
+ ad 99
234
+ et 98
235
+ _it 97
236
+ cl 97
237
+ ns_ 96
238
+ ul 96
239
+ me_ 95
240
+ mi 95
241
+ wo 95
242
+ ac 95
243
+ ee 95
244
+ inc 94
245
+ ig 94
246
+ do 94
247
+ ons 94
248
+ oun 94
249
+ ir 93
250
+ sh_ 93
243
251
  ci 93
244
- wo 93
245
- ul 93
246
- ac 92
247
- inc 92
248
- oun 91
249
- fro 91
250
- ons 91
251
- tur 91
252
- uc 90
253
- ver 89
254
- ns_ 89
255
- _pa 88
256
- ir 88
257
- ee 87
258
- do 87
259
- _ma 87
260
- _on 86
261
- ith 86
262
- ce_ 86
263
- _we 85
252
+ ver 93
253
+ tur 92
254
+ uc 92
255
+ fro 92
256
+ _ma 91
257
+ ce_ 90
258
+ ies 90
259
+ _pa 89
260
+ ith 87
261
+ _on 87
262
+ du 86
263
+ _we 86
264
264
  wit 85
265
265
  lis 85
266
- ies 85
267
- tin 85
268
- mp 84
269
- du 84
266
+ tin 84
267
+ rl 84
268
+ iti 84
269
+ nce 84
270
270
  at_ 84
271
- nce 82
272
- rl 81
273
- all 81
274
- ld 81
275
- _de 81
276
- ev 81
277
- _no 80
278
- id 80
279
- _k 80
271
+ _de 84
272
+ mp 83
273
+ en_ 83
274
+ ev 82
275
+ id 82
276
+ ld 82
277
+ all 82
278
+ lu 82
279
+ _k 82
280
280
  _su 80
281
- lu 80
282
- iti 79
283
- te_ 79
284
- pl 78
285
- im 78
286
- fi 77
287
- en_ 77
288
- _te 77
289
- ov 77
290
- _se 76
291
- sp 76
281
+ pl 80
282
+ fi 79
283
+ sp 78
284
+ _se 78
285
+ par 77
286
+ _no 77
287
+ rs_ 76
288
+ im 76
289
+ ov 76
290
+ rea 76
291
+ te_ 76
292
+ gh 75
293
+ vi 75
294
+ _un 75
295
+ ss 75
296
+ man 74
297
+ x 74
292
298
  art 74
293
- vi 74
294
- ss 73
295
- par 73
296
- gh 73
297
- rs_ 73
298
- rea 72
299
- ain 72
300
- ag 72
299
+ ite 73
300
+ gi 72
301
301
  rit 71
302
- man 71
303
- gi 71
302
+ ain 71
304
303
  od 71
305
- ite 71
306
- rn 69
304
+ it_ 71
305
+ ag 71
306
+ und 70
307
+ whi 70
308
+ br 70
309
+ ve_ 69
307
310
  res 69
308
- it_ 69
309
- br 68
310
- ve_ 68
311
- whi 68
312
- gli 68
313
- ist 67
314
- ntr 67
315
- _un 67
316
- und 67
317
- _so 65
311
+ ntr 68
312
+ rn 68
313
+ ist 68
314
+ gli 67
315
+ _wo 65
316
+ _st 65
318
317
  cen 65
319
- _st 64
320
- _wo 63
321
- ove 63
318
+ _so 64
319
+ der 64
320
+ ive 64
321
+ ba 63
322
+ int 63
323
+ lar 63
324
+ _si 63
322
325
  ost 63
323
- men 63
324
- der 63
325
- int 62
326
- _si 62
327
- lar 62
326
+ _po 63
327
+ eg 62
328
+ ki 62
329
+ ud 62
328
330
  ty 62
329
- ud 61
331
+ ove 62
332
+ men 62
333
+ nti 62
334
+ ers 61
330
335
  _ce 61
331
- ki 61
336
+ cou 61
332
337
  pro 60
338
+ ld_ 60
339
+ rin 60
340
+ has 60
333
341
  _br 60
334
- _po 60
335
- nti 60
336
- eg 59
337
- ive 59
338
- rin 59
339
- _pe 59
342
+ rm 60
343
+ rd 59
344
+ ame 59
340
345
  ern 59
341
- rm 59
342
- cou 59
343
- ug 59
344
- ld_ 59
345
- ba 58
346
- xt 58
346
+ _al 59
347
+ ort 59
348
+ lat 58
349
+ gr 58
350
+ _pe 58
351
+ bo 58
352
+ ug 58
353
+ ine 58
354
+ ica 57
355
+ wor 57
347
356
  rou 57
348
- ort 57
349
- _al 57
350
- ame 57
351
- ext 57
357
+ ect 56
352
358
  uri 56
353
- ine 56
354
- has 56
359
+ kin 56
360
+ clu 56
361
+ sc 56
362
+ oth 56
355
363
  ue 56
356
- lat 56
357
- ect 56
364
+ av 55
358
365
  _le 55
359
- oth 55
360
- rd 55
361
- ers 55
362
- sc 55
363
- bo 55
364
- wor 55
365
- gr 55
366
- kin 55
366
+ _lo 55
367
+ uch 55
367
368
  eve 54
368
369
  se_ 54
369
- clu 54
370
- ica 54
371
- wer 54
370
+ bri 54
371
+ cal 54
372
372
  com 53
373
+ rie 53
374
+ uni 53
375
+ ex 53
376
+ wer 53
373
377
  his 53
374
- av 53
375
- uch 53
376
- ear 52
377
- bri 52
378
- _lo 52
379
- ls 52
378
+ ear 53
379
+ eat 53
380
380
  cr 52
381
- ona 52
382
- nal 52
383
- eat 52
384
- ide 51
385
- rc 51
386
- rie 51
381
+ c_ 52
382
+ ori 52
383
+ _at 51
384
+ ona 51
385
+ nal 51
387
386
  tra 51
388
- ori 51
389
- sed 50
387
+ sed 51
388
+ ls 51
389
+ rc 51
390
+ ncl 51
391
+ ide 51
392
+ rg 50
393
+ hic 50
390
394
  ga 50
391
- _at 50
392
- cal 50
393
- de_ 50
394
- rg 49
395
- ncl 49
396
- red 49
397
- va 49
398
- _ki 49
399
- xt_ 49
400
- ugh 49
395
+ lud 50
396
+ unt 50
397
+ bl 50
398
+ suc 50
399
+ _ki 50
400
+ de_ 49