scylla 0.9.3 → 1.0.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- _ 19654
2
- a 5641
3
- e 5390
4
- o 4867
5
- s 3685
6
- i 3424
7
- r 3268
8
- d 2645
9
- n 2355
10
- o_ 2242
11
- t 2240
12
- m 2076
13
- a_ 1760
14
- s_ 1750
15
- e_ 1687
16
- 1633
17
- u 1573
18
- c 1552
19
- l 1549
20
- p 1453
21
- _d 1324
22
- _e 1153
23
- de 1000
24
- _a 1000
25
- _p 945
26
- ra 902
27
- as 848
28
- es 751
29
- do 747
30
- m_ 729
31
- _de 708
32
- de_ 667
33
- b 654
34
- _c 640
35
- _o 626
36
- os 621
37
- g 577
38
- en 573
39
- v 568
40
- do_ 561
41
- _s 554
42
- te 549
43
- nt 537
44
- co 537
45
- er 536
46
- or 518
47
- os_ 517
48
- as_ 512
49
- da 500
50
- re 478
51
- em 452
52
- f 448
53
- ad 442
54
- ri 437
55
- _m 435
56
- _a_ 425
57
- ta 423
1
+ _ 20180
2
+ a 5778
3
+ e 5540
4
+ o 5022
5
+ s 3817
6
+ i 3527
7
+ r 3350
8
+ d 2736
9
+ n 2416
10
+ t 2304
11
+ o_ 2303
12
+ m 2139
13
+ s_ 1812
14
+ a_ 1803
15
+ e_ 1737
16
+ c 1601
17
+ u 1599
18
+ l 1572
19
+ p 1504
20
+ _d 1370
21
+ _e 1177
22
+ de 1049
23
+ _a 1020
24
+ _p 982
25
+ ra 911
26
+ as 859
27
+ es 777
28
+ do 769
29
+ m_ 751
30
+ _de 745
31
+ de_ 706
32
+ b 674
33
+ os 661
34
+ _c 654
35
+ _o 644
36
+ en 586
37
+ v 583
38
+ g 581
39
+ _s 573
40
+ do_ 572
41
+ te 570
42
+ os_ 554
43
+ er 552
44
+ nt 551
45
+ co 546
46
+ or 540
47
+ as_ 517
48
+ da 510
49
+ re 488
50
+ em 474
51
+ ad 460
52
+ f 454
53
+ ri 450
54
+ _m 447
55
+ ta 434
56
+ _a_ 431
57
+ ma 422
58
+ l_ 421
58
59
  ar 420
59
- l_ 418
60
- ma 409
61
- _e_ 401
62
- an 389
63
- _co 384
64
- _n 378
65
- _o_ 376
66
- to 372
67
- il 360
68
- si 357
69
- st 351
70
- na 350
71
- em_ 349
72
- al 345
73
- _b 341
74
- se 338
75
- po 337
76
- r_ 337
77
- in 334
78
- is 333
79
- es_ 333
80
- ent 327
81
- ia 326
82
- om 326
83
- pa 325
84
- 325
85
- ã 325
86
- _t 324
87
- �o 323
88
- ão 323
89
- �o_ 322
90
- ro 320
91
- ti 320
92
- ca 311
93
- no 309
94
- io 309
95
- on 308
96
- me 308
97
- nd 307
98
- br 307
99
- _do 301
100
- ras 295
101
- h 281
102
- da_ 278
103
- ic 278
104
- 277
105
- ç 277
106
- _em 275
107
- ci 271
108
- _f 270
109
- tr 266
110
- 262
111
- _r 262
112
- í 262
113
- bra 260
114
- _br 257
115
- nte 255
116
- am 252
117
- it 251
118
- _i 250
119
- q 248
120
- _pa 248
121
- qu 248
122
- a� 243
123
- com 243
124
- sil 241
125
- asi 238
126
- _po 236
127
- é 235
128
- � 235
129
- ei 229
130
- ra_ 228
60
+ _e_ 407
61
+ an 400
62
+ _o_ 386
63
+ to 386
64
+ _n 386
65
+ _co 386
66
+ si 365
67
+ em_ 365
68
+ il 362
69
+ st 360
70
+ na 357
71
+ po 351
72
+ al 350
73
+ se 349
74
+ in 346
75
+ is 345
76
+ r_ 345
77
+ _b 344
78
+ es_ 342
79
+ ia 340
80
+ _t 338
81
+ ro 337
82
+ ã 336
83
+ ão 334
84
+ pa 334
85
+ ent 333
86
+ ão_ 332
87
+ om 327
88
+ ca 326
89
+ ti 323
90
+ io 321
91
+ no 318
92
+ me 317
93
+ on 314
94
+ br 314
95
+ nd 312
96
+ _do 306
97
+ ras 298
98
+ ic 290
99
+ h 290
100
+ _em 289
101
+ ç 285
102
+ da_ 284
103
+ ci 283
104
+ _f 273
105
+ tr 271
106
+ í 271
107
+ _r 267
108
+ bra 262
109
+ nte 260
110
+ _br 259
111
+ am 258
112
+ it 257
113
+ _pa 255
114
+ _i 253
115
+ qu 249
116
+ q 249
117
+ _po 245
118
+ com 245
119
+ é 243
120
+ sil 243
121
+ ei 241
122
+ asi 240
123
+ ra_ 234
124
+ pr 231
131
125
  te_ 227
132
- pr 224
133
- le 219
134
- ir 215
135
- _se 212
136
- ue 211
137
- pe 211
138
- el 211
139
- _u 210
140
- ai 208
141
- ç� 208
142
- at 208
143
- �� 208
144
- um 207
145
- id 207
146
- di 200
147
- _re 196
126
+ ir 224
127
+ ai 222
128
+ _se 220
129
+ _u 218
130
+ pe 216
131
+ le 216
132
+ ue 215
133
+ id 213
134
+ at 211
135
+ um 210
136
+ el 209
137
+ di 202
138
+ li 202
139
+ _re 199
140
+ ado 196
148
141
  _da 192
149
- li 191
150
- to_ 189
151
- la 187
152
- mo 187
153
- ado 185
154
- _q 184
155
- _ma 184
156
- _qu 184
157
- _no 177
158
- _pr 177
142
+ to_ 192
143
+ mo 192
144
+ _ma 191
145
+ la 191
146
+ _q 188
147
+ _qu 188
148
+ _pr 183
149
+ ve 181
150
+ _no 181
151
+ ss 177
152
+ al_ 176
159
153
  il_ 176
160
- al_ 173
161
- ss 172
162
- _um 172
163
- ve 172
164
- _� 169
165
- no_ 163
166
- im 159
167
- or_ 159
168
- rt 158
169
- va 157
170
- ica 157
171
- ia_ 156
172
- que 156
173
- 155
174
- á 155
175
- �ã 155
176
- ce 154
177
- men 153
178
- eir 151
179
- un 151
180
- mi 149
181
- _l 147
182
- ua 147
183
- con 145
184
- _g 143
185
- is_ 143
186
- 143
187
- lo 141
188
- tu 141
189
- u_ 140
190
- ni 140
191
- res 140
192
- s� 140
193
- 139
194
- ec 138
195
- ou 138
196
- fo 137
197
- _in 137
198
- _es 137
199
- x 135
200
- z 135
201
- r� 135
202
- _v 133
154
+ _um 175
155
+ no_ 169
156
+ im 168
157
+ or_ 166
158
+ çã 162
159
+ ção 162
160
+ ica 162
161
+ ia_ 161
162
+ rt 161
163
+ ce 160
164
+ eir 159
165
+ va 159
166
+ que 158
167
+ á 158
168
+ men 157
169
+ un 156
170
+ mi 150
171
+ is_ 150
172
+ _l 148
173
+ con 146
174
+ ua 146
175
+ ni 146
176
+ 145
177
+ _g 145
178
+ u_ 144
179
+ lo 143
180
+ res 143
181
+ tu 142
182
+ _es 141
183
+ ou 140
184
+ ec 140
185
+ fo 139
186
+ por 139
187
+ dos 139
188
+ z 138
189
+ ol 138
190
+ _in 138
191
+ _v 137
192
+ x 136
193
+ iv 135
194
+ ns 134
195
+ nc 134
196
+ ul 134
197
+ est 134
198
+ ada 134
199
+ ue_ 134
200
+ sa 133
203
201
  su 132
204
- ue_ 132
205
- ul 132
206
- nc 131
207
- ol 131
208
- por 131
209
- ada 131
210
- est 131
211
- ns 131
212
- _na 131
213
- iv 130
214
- t� 129
215
- dos 127
202
+ _na 132
203
+ par 130
204
+ ma_ 128
205
+ ndo 127
216
206
  ara 127
217
- par 127
218
207
  ed 127
219
- �_ 127
220
- eg 127
221
- ndo 125
222
- ma_ 124
223
- io_ 122
224
- _pe 121
225
- ais 120
226
- � 120
208
+ ro_ 127
209
+ io_ 126
210
+ ais 126
211
+ _pe 125
212
+ vi 123
213
+ eg 123
214
+ mai 121
227
215
  é_ 119
228
- sa 119
229
- vi 119
230
- �_ 119
231
- ro_ 117
232
- _� 117
233
- _fo 117
234
- mai 116
235
- ur 116
236
- _te 113
237
- ter 113
238
- 112
239
-   112
240
- om_ 112
241
- des 112
242
- sta 112
243
- na_ 111
244
- i_ 110
245
- õ 110
246
- õe 110
247
- 110
248
- �e 110
249
- ca_ 109
250
- so 109
251
- ant 108
252
- am_ 108
253
- ria 107
254
- et 107
255
- �es 106
216
+ so 118
217
+ _fo 118
218
+ ca_ 117
219
+ ur 117
220
+ des 117
221
+ _te 115
222
+ sta 114
223
+ ter 114
224
+ ant 114
225
+ om_ 113
226
+ 113
227
+ et 113
228
+   113
229
+ na_ 112
230
+ ria 110
231
+ ac 110
232
+ i_ 109
233
+ j 109
234
+ õe 108
235
+ õ 108
236
+ am_ 107
256
237
  p_ 105
257
- i� 104
258
-  _ 104
259
- ac 103
260
- gu 103
261
- mp 102
238
+ _ _ 105
239
+  _ 105
240
+ mp 105
241
+ gu 104
242
+ açã 104
243
+ ões 104
244
+ od 102
262
245
  _en 102
263
- ui 102
246
+ uma 102
264
247
  era 101
265
- uma 101
266
- j 100
267
- 99
268
- od 98
269
- and 98
270
- _as 97
271
- ut 97
248
+ _os 101
249
+ 100
250
+ ut 100
251
+ _as 99
252
+ ui 99
253
+ lei 98
254
+ and 97
255
+ mo_ 97
256
+ ís 97
272
257
  tra 96
273
- mo_ 96
274
- _os 96
275
- lei 95
276
- das 95
277
- n� 92
278
- ís 92
279
- �s 92
280
- fi 92
281
- gi 91
282
- ita 91
283
- pa� 91
284
- ida 91
285
- rio 91
286
- _su 91
287
- ge 90
288
- nto 90
258
+ das 96
259
+ ita 96
260
+ fi 95
261
+ nto 95
262
+ cia 95
263
+ 94
264
+ gi 94
265
+ _h 94
266
+ ida 94
267
+ rio 93
268
+ ne 93
269
+ _su 92
270
+ _é_ 92
271
+ ist 92
272
+ dad 91
289
273
  se_ 90
290
- 90
274
+ ex 90
291
275
  mu 89
292
- ex 89
293
- ist 89
294
- cia 89
295
- _h 88
296
- ga 88
297
- ne 87
298
- dad 87
299
- um_ 86
300
- gr 86
301
- _s� 85
302
- ort 85
303
- _ex 84
304
- ó 84
305
- 84
306
- 84
307
- _di 83
308
- rn 83
309
- ess 83
276
+ aís 89
277
+ paí 89
278
+ 88
279
+ são 88
280
+ um_ 88
281
+ ess 88
282
+ gr 88
283
+ ort 88
284
+ ga 87
285
+ ó 87
286
+ _ca 87
287
+ ge 87
288
+ iro 86
289
+ rn 86
290
+ _ex 85
291
+ _di 84
310
292
  nde 83
311
- vo 82
312
- _ca 82
313
- iro 81
314
- ou_ 81
315
- lh 80
316
- ar_ 80
317
- ran 78
318
- ira 77
319
- ade 77
320
- ram 76
293
+ ou_ 83
294
+ tes 82
295
+ vo 81
296
+ ira 81
297
+ ar_ 81
298
+ ha 80
299
+ ade 80
300
+ ran 79
301
+ lh 79
302
+ pro 78
303
+ tad 77
304
+ omo 76
321
305
  tiv 76
322
- tad 75
323
- pro 75
324
- omo 75
325
- ha 74
306
+ rr 75
307
+ op 75
308
+ ta_ 75
309
+ nci 75
310
+ ram 75
311
+ _j 74
312
+ ile 74
313
+ au 74
314
+ rc 74
326
315
  der 73
327
316
  _p_ 73
328
- rr 73
329
- op 72
330
- rc 72
317
+ nta 72
318
+ for 72
319
+ ati 72
331
320
  oi 72
332
- au 72
333
- ito 72
334
- l� 72
335
- nci 72
336
- ile 71
337
- ati 71
338
- tes 71
339
- for 71
340
- ta_ 70
321
+ ior 71
322
+ rm 71
323
+ ito 71
324
+ ame 70
325
+ ev 70
341
326
  _mu 70
342
- nta 70
343
- rm 70
344
- pre 69
327
+ ís_ 70
328
+ mb 70
329
+ fe 69
330
+ cu 69
331
+ go 69
332
+ us 69
345
333
  ov 69
346
334
  er_ 69
347
- ame 69
348
- ev 68
349
- go 68
350
- ior 68
351
- fe 67
352
- _s_ 67
353
- cu 67
354
- und 67
355
- �s_ 66
356
- ial 66
357
- ntr 66
358
- ap 66
359
- us 66
360
- _j 66
361
- tor 65
335
+ pre 69
336
+ ntr 68
337
+ ial 68
338
+ ap 68
339
+ tem 67
340
+ tor 67
341
+ ime 67
342
+ ú 67
343
+ aio 66
344
+ und 66
345
+ iz 65
362
346
  tic 65
363
- _mi 64
364
- mb 63
365
- _me 63
366
- p� 63
367
- 63
368
- iz 63
369
- gra 62
370
- _at 62
371
- tem 62
372
- ura 62
373
- lo_ 62
374
- ime 62
375
- aio 61
376
- ê 61
377
- 61
378
- ont 61
379
- tro 60
380
- pri 60
381
- ver 60
382
- end 60
383
- ind 60
384
- _tr 60
385
- ab 59
386
- qua 59
387
- lu 59
388
- pel 59
389
- ona 59
347
+ _s_ 65
348
+ ver 65
349
+ ê 64
350
+ _sã 64
351
+ ab 64
352
+ _me 64
353
+ pri 64
354
+ end 63
355
+ lo_ 63
356
+ gra 63
357
+ ura 63
358
+ ind 63
359
+ _mi 63
360
+ _to 62
361
+ tro 62
362
+ ont 62
363
+ _at 61
364
+ tan 61
365
+ _tr 61
366
+ ona 61
367
+ lu 61
368
+ ros 60
369
+ pel 60
370
+ sp 60
371
+ ho 60
390
372
  pos 59
391
- ú 58
373
+ ste 59
374
+ qua 59
375
+ ico 59
376
+ ion 58
377
+ fa 58
378
+ ár 58
379
+ cio 58
380
+ du 58
381
+ bi 58
392
382
  ern 58
393
- _to 58
394
- ár 57
395
- fa 57
396
- ion 57
397
- ros 57
398
- �r 57
399
- cio 57
400
- egi 56
383
+ sc 57
384
+ nal 57
385
+ re_ 57
386
+ nh 57
387
+ ig 56
388
+ ela 56
389
+ rte 56
390
+ mun 56
391
+ ob 55
392
+ eu 55
393
+ sti 55
394
+ err 55
395
+ cr 55
396
+ egi 54
397
+ ons 54
398
+ ao 54
399
+ n_ 54
400
+ mas 53