scylla 0.9.3 → 1.0.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- _ 19654
2
- a 5641
3
- e 5390
4
- o 4867
5
- s 3685
6
- i 3424
7
- r 3268
8
- d 2645
9
- n 2355
10
- o_ 2242
11
- t 2240
12
- m 2076
13
- a_ 1760
14
- s_ 1750
15
- e_ 1687
16
- 1633
17
- u 1573
18
- c 1552
19
- l 1549
20
- p 1453
21
- _d 1324
22
- _e 1153
23
- de 1000
24
- _a 1000
25
- _p 945
26
- ra 902
27
- as 848
28
- es 751
29
- do 747
30
- m_ 729
31
- _de 708
32
- de_ 667
33
- b 654
34
- _c 640
35
- _o 626
36
- os 621
37
- g 577
38
- en 573
39
- v 568
40
- do_ 561
41
- _s 554
42
- te 549
43
- nt 537
44
- co 537
45
- er 536
46
- or 518
47
- os_ 517
48
- as_ 512
49
- da 500
50
- re 478
51
- em 452
52
- f 448
53
- ad 442
54
- ri 437
55
- _m 435
56
- _a_ 425
57
- ta 423
1
+ _ 20180
2
+ a 5778
3
+ e 5540
4
+ o 5022
5
+ s 3817
6
+ i 3527
7
+ r 3350
8
+ d 2736
9
+ n 2416
10
+ t 2304
11
+ o_ 2303
12
+ m 2139
13
+ s_ 1812
14
+ a_ 1803
15
+ e_ 1737
16
+ c 1601
17
+ u 1599
18
+ l 1572
19
+ p 1504
20
+ _d 1370
21
+ _e 1177
22
+ de 1049
23
+ _a 1020
24
+ _p 982
25
+ ra 911
26
+ as 859
27
+ es 777
28
+ do 769
29
+ m_ 751
30
+ _de 745
31
+ de_ 706
32
+ b 674
33
+ os 661
34
+ _c 654
35
+ _o 644
36
+ en 586
37
+ v 583
38
+ g 581
39
+ _s 573
40
+ do_ 572
41
+ te 570
42
+ os_ 554
43
+ er 552
44
+ nt 551
45
+ co 546
46
+ or 540
47
+ as_ 517
48
+ da 510
49
+ re 488
50
+ em 474
51
+ ad 460
52
+ f 454
53
+ ri 450
54
+ _m 447
55
+ ta 434
56
+ _a_ 431
57
+ ma 422
58
+ l_ 421
58
59
  ar 420
59
- l_ 418
60
- ma 409
61
- _e_ 401
62
- an 389
63
- _co 384
64
- _n 378
65
- _o_ 376
66
- to 372
67
- il 360
68
- si 357
69
- st 351
70
- na 350
71
- em_ 349
72
- al 345
73
- _b 341
74
- se 338
75
- po 337
76
- r_ 337
77
- in 334
78
- is 333
79
- es_ 333
80
- ent 327
81
- ia 326
82
- om 326
83
- pa 325
84
- 325
85
- ã 325
86
- _t 324
87
- �o 323
88
- ão 323
89
- �o_ 322
90
- ro 320
91
- ti 320
92
- ca 311
93
- no 309
94
- io 309
95
- on 308
96
- me 308
97
- nd 307
98
- br 307
99
- _do 301
100
- ras 295
101
- h 281
102
- da_ 278
103
- ic 278
104
- 277
105
- ç 277
106
- _em 275
107
- ci 271
108
- _f 270
109
- tr 266
110
- 262
111
- _r 262
112
- í 262
113
- bra 260
114
- _br 257
115
- nte 255
116
- am 252
117
- it 251
118
- _i 250
119
- q 248
120
- _pa 248
121
- qu 248
122
- a� 243
123
- com 243
124
- sil 241
125
- asi 238
126
- _po 236
127
- é 235
128
- � 235
129
- ei 229
130
- ra_ 228
60
+ _e_ 407
61
+ an 400
62
+ _o_ 386
63
+ to 386
64
+ _n 386
65
+ _co 386
66
+ si 365
67
+ em_ 365
68
+ il 362
69
+ st 360
70
+ na 357
71
+ po 351
72
+ al 350
73
+ se 349
74
+ in 346
75
+ is 345
76
+ r_ 345
77
+ _b 344
78
+ es_ 342
79
+ ia 340
80
+ _t 338
81
+ ro 337
82
+ ã 336
83
+ ão 334
84
+ pa 334
85
+ ent 333
86
+ ão_ 332
87
+ om 327
88
+ ca 326
89
+ ti 323
90
+ io 321
91
+ no 318
92
+ me 317
93
+ on 314
94
+ br 314
95
+ nd 312
96
+ _do 306
97
+ ras 298
98
+ ic 290
99
+ h 290
100
+ _em 289
101
+ ç 285
102
+ da_ 284
103
+ ci 283
104
+ _f 273
105
+ tr 271
106
+ í 271
107
+ _r 267
108
+ bra 262
109
+ nte 260
110
+ _br 259
111
+ am 258
112
+ it 257
113
+ _pa 255
114
+ _i 253
115
+ qu 249
116
+ q 249
117
+ _po 245
118
+ com 245
119
+ é 243
120
+ sil 243
121
+ ei 241
122
+ asi 240
123
+ ra_ 234
124
+ pr 231
131
125
  te_ 227
132
- pr 224
133
- le 219
134
- ir 215
135
- _se 212
136
- ue 211
137
- pe 211
138
- el 211
139
- _u 210
140
- ai 208
141
- ç� 208
142
- at 208
143
- �� 208
144
- um 207
145
- id 207
146
- di 200
147
- _re 196
126
+ ir 224
127
+ ai 222
128
+ _se 220
129
+ _u 218
130
+ pe 216
131
+ le 216
132
+ ue 215
133
+ id 213
134
+ at 211
135
+ um 210
136
+ el 209
137
+ di 202
138
+ li 202
139
+ _re 199
140
+ ado 196
148
141
  _da 192
149
- li 191
150
- to_ 189
151
- la 187
152
- mo 187
153
- ado 185
154
- _q 184
155
- _ma 184
156
- _qu 184
157
- _no 177
158
- _pr 177
142
+ to_ 192
143
+ mo 192
144
+ _ma 191
145
+ la 191
146
+ _q 188
147
+ _qu 188
148
+ _pr 183
149
+ ve 181
150
+ _no 181
151
+ ss 177
152
+ al_ 176
159
153
  il_ 176
160
- al_ 173
161
- ss 172
162
- _um 172
163
- ve 172
164
- _� 169
165
- no_ 163
166
- im 159
167
- or_ 159
168
- rt 158
169
- va 157
170
- ica 157
171
- ia_ 156
172
- que 156
173
- 155
174
- á 155
175
- �ã 155
176
- ce 154
177
- men 153
178
- eir 151
179
- un 151
180
- mi 149
181
- _l 147
182
- ua 147
183
- con 145
184
- _g 143
185
- is_ 143
186
- 143
187
- lo 141
188
- tu 141
189
- u_ 140
190
- ni 140
191
- res 140
192
- s� 140
193
- 139
194
- ec 138
195
- ou 138
196
- fo 137
197
- _in 137
198
- _es 137
199
- x 135
200
- z 135
201
- r� 135
202
- _v 133
154
+ _um 175
155
+ no_ 169
156
+ im 168
157
+ or_ 166
158
+ çã 162
159
+ ção 162
160
+ ica 162
161
+ ia_ 161
162
+ rt 161
163
+ ce 160
164
+ eir 159
165
+ va 159
166
+ que 158
167
+ á 158
168
+ men 157
169
+ un 156
170
+ mi 150
171
+ is_ 150
172
+ _l 148
173
+ con 146
174
+ ua 146
175
+ ni 146
176
+ 145
177
+ _g 145
178
+ u_ 144
179
+ lo 143
180
+ res 143
181
+ tu 142
182
+ _es 141
183
+ ou 140
184
+ ec 140
185
+ fo 139
186
+ por 139
187
+ dos 139
188
+ z 138
189
+ ol 138
190
+ _in 138
191
+ _v 137
192
+ x 136
193
+ iv 135
194
+ ns 134
195
+ nc 134
196
+ ul 134
197
+ est 134
198
+ ada 134
199
+ ue_ 134
200
+ sa 133
203
201
  su 132
204
- ue_ 132
205
- ul 132
206
- nc 131
207
- ol 131
208
- por 131
209
- ada 131
210
- est 131
211
- ns 131
212
- _na 131
213
- iv 130
214
- t� 129
215
- dos 127
202
+ _na 132
203
+ par 130
204
+ ma_ 128
205
+ ndo 127
216
206
  ara 127
217
- par 127
218
207
  ed 127
219
- �_ 127
220
- eg 127
221
- ndo 125
222
- ma_ 124
223
- io_ 122
224
- _pe 121
225
- ais 120
226
- � 120
208
+ ro_ 127
209
+ io_ 126
210
+ ais 126
211
+ _pe 125
212
+ vi 123
213
+ eg 123
214
+ mai 121
227
215
  é_ 119
228
- sa 119
229
- vi 119
230
- �_ 119
231
- ro_ 117
232
- _� 117
233
- _fo 117
234
- mai 116
235
- ur 116
236
- _te 113
237
- ter 113
238
- 112
239
-   112
240
- om_ 112
241
- des 112
242
- sta 112
243
- na_ 111
244
- i_ 110
245
- õ 110
246
- õe 110
247
- 110
248
- �e 110
249
- ca_ 109
250
- so 109
251
- ant 108
252
- am_ 108
253
- ria 107
254
- et 107
255
- �es 106
216
+ so 118
217
+ _fo 118
218
+ ca_ 117
219
+ ur 117
220
+ des 117
221
+ _te 115
222
+ sta 114
223
+ ter 114
224
+ ant 114
225
+ om_ 113
226
+ 113
227
+ et 113
228
+   113
229
+ na_ 112
230
+ ria 110
231
+ ac 110
232
+ i_ 109
233
+ j 109
234
+ õe 108
235
+ õ 108
236
+ am_ 107
256
237
  p_ 105
257
- i� 104
258
-  _ 104
259
- ac 103
260
- gu 103
261
- mp 102
238
+ _ _ 105
239
+  _ 105
240
+ mp 105
241
+ gu 104
242
+ açã 104
243
+ ões 104
244
+ od 102
262
245
  _en 102
263
- ui 102
246
+ uma 102
264
247
  era 101
265
- uma 101
266
- j 100
267
- 99
268
- od 98
269
- and 98
270
- _as 97
271
- ut 97
248
+ _os 101
249
+ 100
250
+ ut 100
251
+ _as 99
252
+ ui 99
253
+ lei 98
254
+ and 97
255
+ mo_ 97
256
+ ís 97
272
257
  tra 96
273
- mo_ 96
274
- _os 96
275
- lei 95
276
- das 95
277
- n� 92
278
- ís 92
279
- �s 92
280
- fi 92
281
- gi 91
282
- ita 91
283
- pa� 91
284
- ida 91
285
- rio 91
286
- _su 91
287
- ge 90
288
- nto 90
258
+ das 96
259
+ ita 96
260
+ fi 95
261
+ nto 95
262
+ cia 95
263
+ 94
264
+ gi 94
265
+ _h 94
266
+ ida 94
267
+ rio 93
268
+ ne 93
269
+ _su 92
270
+ _é_ 92
271
+ ist 92
272
+ dad 91
289
273
  se_ 90
290
- 90
274
+ ex 90
291
275
  mu 89
292
- ex 89
293
- ist 89
294
- cia 89
295
- _h 88
296
- ga 88
297
- ne 87
298
- dad 87
299
- um_ 86
300
- gr 86
301
- _s� 85
302
- ort 85
303
- _ex 84
304
- ó 84
305
- 84
306
- 84
307
- _di 83
308
- rn 83
309
- ess 83
276
+ aís 89
277
+ paí 89
278
+ 88
279
+ são 88
280
+ um_ 88
281
+ ess 88
282
+ gr 88
283
+ ort 88
284
+ ga 87
285
+ ó 87
286
+ _ca 87
287
+ ge 87
288
+ iro 86
289
+ rn 86
290
+ _ex 85
291
+ _di 84
310
292
  nde 83
311
- vo 82
312
- _ca 82
313
- iro 81
314
- ou_ 81
315
- lh 80
316
- ar_ 80
317
- ran 78
318
- ira 77
319
- ade 77
320
- ram 76
293
+ ou_ 83
294
+ tes 82
295
+ vo 81
296
+ ira 81
297
+ ar_ 81
298
+ ha 80
299
+ ade 80
300
+ ran 79
301
+ lh 79
302
+ pro 78
303
+ tad 77
304
+ omo 76
321
305
  tiv 76
322
- tad 75
323
- pro 75
324
- omo 75
325
- ha 74
306
+ rr 75
307
+ op 75
308
+ ta_ 75
309
+ nci 75
310
+ ram 75
311
+ _j 74
312
+ ile 74
313
+ au 74
314
+ rc 74
326
315
  der 73
327
316
  _p_ 73
328
- rr 73
329
- op 72
330
- rc 72
317
+ nta 72
318
+ for 72
319
+ ati 72
331
320
  oi 72
332
- au 72
333
- ito 72
334
- l� 72
335
- nci 72
336
- ile 71
337
- ati 71
338
- tes 71
339
- for 71
340
- ta_ 70
321
+ ior 71
322
+ rm 71
323
+ ito 71
324
+ ame 70
325
+ ev 70
341
326
  _mu 70
342
- nta 70
343
- rm 70
344
- pre 69
327
+ ís_ 70
328
+ mb 70
329
+ fe 69
330
+ cu 69
331
+ go 69
332
+ us 69
345
333
  ov 69
346
334
  er_ 69
347
- ame 69
348
- ev 68
349
- go 68
350
- ior 68
351
- fe 67
352
- _s_ 67
353
- cu 67
354
- und 67
355
- �s_ 66
356
- ial 66
357
- ntr 66
358
- ap 66
359
- us 66
360
- _j 66
361
- tor 65
335
+ pre 69
336
+ ntr 68
337
+ ial 68
338
+ ap 68
339
+ tem 67
340
+ tor 67
341
+ ime 67
342
+ ú 67
343
+ aio 66
344
+ und 66
345
+ iz 65
362
346
  tic 65
363
- _mi 64
364
- mb 63
365
- _me 63
366
- p� 63
367
- 63
368
- iz 63
369
- gra 62
370
- _at 62
371
- tem 62
372
- ura 62
373
- lo_ 62
374
- ime 62
375
- aio 61
376
- ê 61
377
- 61
378
- ont 61
379
- tro 60
380
- pri 60
381
- ver 60
382
- end 60
383
- ind 60
384
- _tr 60
385
- ab 59
386
- qua 59
387
- lu 59
388
- pel 59
389
- ona 59
347
+ _s_ 65
348
+ ver 65
349
+ ê 64
350
+ _sã 64
351
+ ab 64
352
+ _me 64
353
+ pri 64
354
+ end 63
355
+ lo_ 63
356
+ gra 63
357
+ ura 63
358
+ ind 63
359
+ _mi 63
360
+ _to 62
361
+ tro 62
362
+ ont 62
363
+ _at 61
364
+ tan 61
365
+ _tr 61
366
+ ona 61
367
+ lu 61
368
+ ros 60
369
+ pel 60
370
+ sp 60
371
+ ho 60
390
372
  pos 59
391
- ú 58
373
+ ste 59
374
+ qua 59
375
+ ico 59
376
+ ion 58
377
+ fa 58
378
+ ár 58
379
+ cio 58
380
+ du 58
381
+ bi 58
392
382
  ern 58
393
- _to 58
394
- ár 57
395
- fa 57
396
- ion 57
397
- ros 57
398
- �r 57
399
- cio 57
400
- egi 56
383
+ sc 57
384
+ nal 57
385
+ re_ 57
386
+ nh 57
387
+ ig 56
388
+ ela 56
389
+ rte 56
390
+ mun 56
391
+ ob 55
392
+ eu 55
393
+ sti 55
394
+ err 55
395
+ cr 55
396
+ egi 54
397
+ ons 54
398
+ ao 54
399
+ n_ 54
400
+ mas 53