scylla 0.9.3 → 1.0.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- _ 12996
2
- a 3889
3
- e 3745
4
- l 2385
5
- s 2307
6
- i 2249
7
- t 2164
8
- n 2052
9
- r 1861
10
- a_ 1424
11
- c 1346
12
- s_ 1331
13
- o 1317
14
- d 1272
15
- u 1118
16
- _d 927
17
- m 831
18
- _e 803
19
- 795
20
- es 793
21
- l_ 782
22
- de 776
1
+ _ 13166
2
+ a 3942
3
+ e 3779
4
+ l 2410
5
+ s 2334
6
+ i 2265
7
+ t 2187
8
+ n 2072
9
+ r 1870
10
+ a_ 1452
11
+ c 1355
12
+ s_ 1346
13
+ o 1335
14
+ d 1286
15
+ u 1132
16
+ _d 936
17
+ m 838
18
+ _e 814
19
+ es 802
20
+ l_ 787
21
+ de 779
23
22
  p 759
24
- _l 712
25
- _de 687
26
- e_ 663
27
- el 636
28
- _a 630
29
- al 605
30
- ta 594
31
- _c 583
32
- en 561
33
- la 505
34
- es_ 475
35
- er 449
36
- at 448
37
- t_ 435
38
- de_ 431
39
- _p 410
40
- el_ 405
41
- n_ 394
42
- nt 389
43
- i_ 384
44
- ca 383
45
- g 377
46
- an 375
47
- _i 371
48
- la_ 366
49
- _el 360
23
+ _l 723
24
+ _de 690
25
+ e_ 669
26
+ el 640
27
+ _a 638
28
+ al 607
29
+ ta 602
30
+ _c 586
31
+ en 566
32
+ la 511
33
+ es_ 482
34
+ at 455
35
+ er 453
36
+ t_ 442
37
+ de_ 434
38
+ _p 411
39
+ el_ 408
40
+ n_ 401
41
+ nt 394
42
+ i_ 388
43
+ g 387
44
+ ca 386
45
+ _i 378
46
+ an 377
47
+ la_ 369
48
+ _el 364
50
49
  re 355
51
- ci 351
52
- _la 348
53
- b 347
54
- un 329
55
- ra 327
56
- v 320
57
- on 312
58
- st 308
59
- _s 305
50
+ ci 354
51
+ b 353
52
+ _la 352
53
+ un 335
54
+ ra 329
55
+ v 321
56
+ on 318
57
+ st 311
58
+ _s 308
60
59
  it 295
61
- _i_ 278
62
- co 270
63
- ar 264
64
- or 261
60
+ _i_ 283
61
+ co 272
62
+ ar 265
63
+ or 264
64
+ na 250
65
65
  ri 248
66
- _ca 247
67
- na 245
68
- _co 244
66
+ _ca 246
67
+ _co 246
68
+ _t 245
69
69
  te 242
70
- _t 241
71
- _m 233
72
- r_ 232
73
- le 228
70
+ _m 236
71
+ r_ 233
72
+ le 232
74
73
  ls 224
74
+ q 222
75
+ qu 222
75
76
  ls_ 220
76
- qu 218
77
- q 218
78
- ent 215
79
- tal 215
80
- f 214
81
- in 210
82
- se 202
83
- en_ 197
84
- y 196
85
- ns 195
86
- 194
87
- ó 194
88
- me 192
89
- cat 190
90
- ue 190
91
- ic 188
92
- ny 187
93
- _es 186
94
- tr 184
95
- al_ 184
96
- ata 183
97
- nt_ 181
98
- ac 179
99
- � 177
77
+ f 220
78
+ tal 218
79
+ ent 217
80
+ in 207
81
+ se 204
82
+ en_ 200
83
+ y 200
84
+ ns 197
85
+ ó 197
86
+ me 194
87
+ ue 194
88
+ ic 191
89
+ ny 190
90
+ cat 189
91
+ _es 188
92
+ tr 185
93
+ al_ 183
94
+ ata 182
95
+ nt_ 182
96
+ ac 181
97
+ _a_ 179
100
98
  é 177
101
- _a_ 175
102
- del 170
103
- pe 168
99
+ pe 171
100
+ del 169
101
+ _en 168
104
102
  om 167
105
- ia 165
106
- _en 165
107
- est 163
108
- d_ 161
109
- _l_ 161
103
+ ia 167
104
+ d_ 164
105
+ est 164
106
+ x 163
107
+ _l_ 163
108
+ que 163
110
109
  ti 161
111
- x 159
112
- que 159
113
- 158
114
- am 156
115
- lu 154
116
- à 150
117
- _u 150
118
- nya 149
119
- ya 149
120
- ó_ 146
121
- �_ 146
122
- ya_ 144
123
- pr 143
124
- i� 143
125
- tat 142
126
- ts_ 142
127
- ts 142
128
- les 140
129
- _qu 138
130
- _se 138
131
- _q 138
110
+ lu 159
111
+ am 158
112
+ _u 154
113
+ ya 153
114
+ nya 152
115
+ à 149
116
+ ya_ 148
117
+ ó_ 148
118
+ ts 147
119
+ ts_ 146
120
+ tat 144
121
+ les 143
122
+ pr 141
123
+ _qu 140
124
+ _q 140
125
+ _se 139
126
+ na_ 139
127
+ _un 139
128
+ 138
129
+ mb 138
130
+ at_ 137
132
131
  li 137
133
132
  ni 137
134
- ne 137
135
- mb 136
136
- ió 136
137
- _un 136
138
133
  és 135
139
- �s 135
140
134
  to 135
141
- na_ 135
142
- �s_ 134
135
+ lun 135
136
+ ne 135
137
+ po 135
143
138
  els 134
144
- at_ 133
145
- po 133
146
- pa 132
147
- lun 132
148
- uny 130
149
- alu 129
150
- tu 129
151
- ns_ 127
152
- res 126
153
- di 125
154
- _le 125
155
- va 124
156
- h 123
157
- _d_ 123
158
- ad 122
159
- _f 121
160
- _r 120
161
- io 117
162
- sta 116
163
- men 115
139
+ ió_ 134
140
+ és_ 134
141
+ alu 133
142
+ uny 132
143
+ pa 131
144
+ di 129
145
+ ns_ 129
146
+ tu 128
147
+ _le 128
148
+ res 127
149
+ _d_ 125
150
+ va 125
151
+ _f 124
152
+ h 124
153
+ ad 123
154
+ _r 122
155
+ is 118
156
+ sta 118
157
+ io 118
158
+ men 116
164
159
  _al 115
165
- is 115
160
+ per 115
161
+ aci 115
166
162
  _v 113
167
- aci 113
168
- per 112
169
- _g 111
170
- _pr 110
171
- _h 110
172
- ma 110
163
+ _g 112
164
+ ma 112
165
+ _h 111
166
+ _pe 110
167
+ amb 109
173
168
  com 109
174
- _pe 108
175
- nc 107
176
- ci� 107
177
- amb 107
178
- er_ 106
169
+ _pr 108
170
+ er_ 107
171
+ nc 106
172
+ ció 105
173
+ ita 105
179
174
  ro 105
180
- ita 104
181
- ia_ 103
182
- con 103
183
- si 102
184
- _re 101
185
- ant 100
186
- _� 99
187
- rr 99
188
- da 98
189
- os 98
190
- ol 96
191
- ve 96
175
+ con 104
176
+ ia_ 104
177
+ _re 103
178
+ ant 102
179
+ si 101
180
+ da 100
181
+ rr 100
182
+ _o 100
183
+ os 99
184
+ ue_ 98
185
+ ol 97
192
186
  ter 96
193
- _o 96
194
- ue_ 95
195
- ion 95
196
- ons 94
187
+ ve 96
188
+ ons 96
189
+ ion 96
190
+ rt 95
191
+ í 94
197
192
  no 94
198
193
  _n 94
199
- rt 93
200
- 92
201
- í 92
194
+ ll 93
195
+ ei 93
196
+ ona 92
202
197
  ur 91
203
- ll 90
204
- ona 90
205
- ua 90
206
- ei 89
207
- ix 87
208
- mi 87
209
- des 87
210
- b_ 86
211
- eg 86
212
- _am 85
213
- tre 84
214
- fi 83
198
+ eg 90
199
+ ix 89
200
+ ua 89
201
+ des 88
202
+ b_ 88
203
+ _am 87
204
+ mi 86
205
+ tre 85
206
+ fi 84
207
+ ge 83
215
208
  ec 82
216
- ce 80
217
- ra_ 79
218
- ut 79
209
+ ce 81
210
+ ra_ 80
211
+ ut 80
212
+ mb_ 80
213
+ ta_ 79
219
214
  m_ 79
220
- ge 79
221
- mb_ 78
222
- ta_ 78
223
- m� 77
224
- r� 77
215
+ ò 77
225
216
  im 77
226
- _te 76
227
217
  als 76
228
- l� 75
229
- 75
230
- ò 74
231
- ran 74
218
+ _te 75
219
+ sp 75
232
220
  err 74
233
- ral 74
234
- sp 74
235
- era 73
236
- t� 73
221
+ era 74
222
+ ran 74
237
223
  _po 73
238
- cio 72
224
+ cio 73
225
+ ral 72
226
+ lt 72
239
227
  vi 71
240
- lt 71
241
- pi 71
242
- ir 71
243
- à_ 70
228
+ ba 71
244
229
  _é 70
245
- �_ 70
246
- ba 69
230
+ va_ 70
231
+ _és 70
232
+ lo 70
247
233
  ot 69
248
- va_ 69
249
- lo 69
250
- ct 68
234
+ à_ 69
235
+ ir 68
236
+ ct 67
237
+ pi 67
238
+ ica 67
239
+ da_ 66
251
240
  tor 66
241
+ ca_ 66
252
242
  ar_ 65
253
243
  nci 65
254
- ca_ 65
255
- lit 64
256
- _in 64
257
- ica 64
258
- da_ 64
244
+ eix 64
259
245
  esp 64
260
- gu 63
246
+ _b 64
247
+ gu 64
248
+ _in 64
261
249
  cia 63
262
250
  iv 63
263
- _b 63
251
+ lit 63
264
252
  ici 62
265
- _m� 62
266
- eix 62
267
- eu 62
268
- re_ 61
253
+ ues 61
254
+ _di 61
255
+ ist 61
269
256
  tan 61
270
- ist 60
271
- ues 60
272
- _di 59
273
- _pa 58
274
- ie 58
275
- rc 58
257
+ re_ 61
258
+ rc 59
276
259
  _va 58
277
- sti 58
278
- un_ 57
279
- us 56
280
- _no 56
260
+ un_ 58
261
+ eu 58
262
+ ie 58
263
+ sti 57
264
+ _pa 57
265
+ una 56
266
+ més 56
281
267
  mé 56
282
- una 55
283
- ori 55
284
- gr 54
285
- il 54
286
- mp 54
268
+ _no 56
269
+ ori 56
270
+ us 56
271
+ gr 55
272
+ j 54
273
+ rs 54
287
274
  so 54
288
275
  om_ 54
289
- rs 54
276
+ mp 54
277
+ il 54
290
278
  ada 53
279
+ et 53
291
280
  tra 53
292
- j 53
293
- et 52
294
281
  ov 52
282
+ sa 52
283
+ as 51
295
284
  em 51
296
285
  ha 51
286
+ _ta 51
297
287
  op 51
288
+ o_ 51
298
289
  any 51
299
- s� 50
290
+ nts 50
291
+ _mé 50
292
+ ntr 50
300
293
  ala 50
301
- ntr 49
302
- pre 49
303
- u_ 48
304
- as 48
294
+ id 48
295
+ an_ 48
296
+ go 48
305
297
  itu 48
298
+ ats 48
306
299
  _ha 48
307
- nts 48
308
- o_ 48
309
- _ac 48
310
- sa 48
311
- an_ 48
300
+ è 48
301
+ hi 47
302
+ fe 47
303
+ u_ 47
304
+ _ba 47
305
+ ga 47
306
+ _ac 47
307
+ oc 47
312
308
  _tr 47
313
- _ta 47
314
- id 47
315
- ats 47
316
- ito 46
317
- ali 46
318
- go 46
319
309
  alt 46
320
- 46
321
- hi 46
322
- _to 46
323
- _ba 46
324
- oc 46
325
- è 46
310
+ _hi 46
326
311
  _ma 46
327
- ga 46
328
- _s� 45
329
- ss 45
312
+ mu 46
313
+ ali 46
314
+ pre 46
315
+ _to 46
316
+ ura 45
330
317
  lan 45
331
- mu 45
332
- _hi 45
333
- fe 45
334
- ura 44
318
+ x_ 45
319
+ ito 45
320
+ ort 45
321
+ bl 44
335
322
  por 44
336
- ort 44
323
+ uni 44
337
324
  su 44
338
- ial 43
339
- bl 43
340
- uni 43
341
- x_ 43
325
+ ss 44
342
326
  au 43
327
+ ob 43
328
+ c_ 43
329
+ ial 43
343
330
  ip 43
344
- tur 42
345
- ob 42
331
+ ix_ 43
332
+ _ge 42
333
+ ón 42
346
334
  rit 42
347
- ix_ 41
348
- pri 41
349
- nal 41
350
- tes 41
351
- ual 41
352
- par 41
353
- ans 41
354
- ón 41
355
- c_ 41
356
- �n_ 41
335
+ ón_ 42
336
+ _ll 42
337
+ nal 42
338
+ tur 42
339
+ fo 41
340
+ str 41
357
341
  os_ 41
358
- �n 41
359
- n� 41
360
342
  rm 41
361
- str 41
362
- _ge 41
343
+ pri 41
363
344
  nom 41
364
- tit 40
345
+ ans 41
346
+ ui 40
347
+ iu 40
365
348
  pro 40
366
- ser 40
367
- _ll 40
349
+ nta 40
350
+ par 40
368
351
  xe 40
369
- ui 40
370
- �_ 39
371
- nta 39
372
- iu 39
373
- fo 39
352
+ ul 40
353
+ tit 40
354
+ tes 40
355
+ ual 40
356
+ ser 40
357
+ ria 39
374
358
  _ar 39
359
+ lle 39
360
+ do 39
361
+ ste 39
375
362
  nd 39
376
363
  é_ 39
377
- ria 39
378
- us_ 38
379
- nte 38
364
+ gi 38
365
+ pl 38
366
+ seg 38
367
+ _só 38
380
368
  ig 38
381
- do 38
382
- lle 38
383
- ul 38
384
- ste 38
385
- rin 38
386
- gi 37
387
- só 37
369
+ 38
370
+ nte 38
371
+ ex 37
388
372
  ev 37
373
+ arc 37
374
+ ame 37
375
+ gen 37
376
+ rce 37
389
377
  ver 37
390
- � 37
391
378
  mun 37
392
- seg 37
393
- _su 37
394
- ame 37
395
- tic 36
379
+ són 37
380
+ rra 37
381
+ _fo 36
382
+ rri 36
396
383
  tot 36
397
- ap 36
398
- rra 36
399
- pl 36
384
+ us_ 36
385
+ ab 36
386
+ ud 36
387
+ _su 36
388
+ cel 36
389
+ tic 36
390
+ ed 36
391
+ bar 36
400
392
  cu 36
393
+ rd 36
394
+ ap 35
395
+ cip 35
396
+ up 35
397
+ art 35
398
+ ies 35
399
+ _an 35
400
+ lon 35