scylla 0.9.3 → 1.0.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- _ 8136
2
- a 4662
3
- n 2659
4
- i 2220
5
- e 2125
6
- d 1389
7
- r 1214
8
- s 1194
9
- an 1176
10
- u 1091
11
- t 1070
12
- k 966
13
- m 924
14
- a_ 868
15
- g 868
16
- l 847
17
- n_ 820
18
- p 700
19
- _d 674
20
- an_ 664
21
- i_ 633
22
- b 621
23
- o 601
24
- h 578
25
- da 559
26
- ng 548
27
- er 486
28
- in 439
29
- y 422
30
- _m 411
31
- en 398
32
- _p 397
33
- di 390
34
- ya 373
35
- si 368
36
- ar 364
37
- la 356
38
- _s 349
39
- ta 341
40
- me 328
41
- ga 328
42
- ra 323
43
- _b 311
44
- ang 299
45
- _da 298
46
- g_ 290
47
- ah 289
48
- ng_ 288
49
- ka 286
50
- nd 282
51
- ia 280
52
- _me 279
53
- se 273
54
- _t 272
55
- h_ 270
56
- _i 269
57
- _di 264
58
- es 263
59
- _k 254
60
- on 250
61
- al 239
62
- be 236
63
- _se 232
64
- as 232
65
- pe 230
66
- ne 229
67
- _a 229
68
- j 228
69
- sa 228
70
- ba 224
71
- ad 222
72
- _in 218
73
- at 213
74
- dan 207
75
- ak 207
76
- pa 205
77
- ia_ 197
78
- k_ 195
79
- ma 194
80
- te 194
81
- ri 191
82
- un 188
83
- ind 185
84
- ke 184
85
- _pe 183
86
- _y 178
87
- ah_ 177
88
- _be 175
89
- esi 174
90
- _ya 174
91
- r_ 168
92
- na 167
93
- kan 167
94
- em 167
95
- do 165
96
- di_ 162
97
- men 161
98
- ndo 160
99
- el 160
100
- sia 159
101
- nes 159
102
- one 157
103
- don 157
104
- am 156
105
- ny 156
106
- yan 155
107
- _ke 154
108
- ai 150
109
- t_ 145
110
- ti 144
111
- is 144
112
- nya 138
113
- ada 137
114
- ja 135
115
- nt 135
116
- ara 133
117
- ber 131
118
- ha 131
119
- tu 130
120
- _te 130
121
- eng 130
122
- li 129
123
- ya_ 128
124
- s_ 125
125
- u_ 123
126
- ik 122
127
- ag 121
128
- de 121
129
- nga 120
130
- ek 118
131
- l_ 117
132
- il 115
133
- da_ 114
134
- eb 113
135
- gan 112
136
- _pa 111
137
- ua 111
138
- uk 110
139
- ri_ 108
140
- _l 107
141
- w 106
142
- c 106
143
- ter 106
144
- it 104
145
- ni 104
146
- era 103
147
- ela 101
1
+ _ 8612
2
+ a 5000
3
+ n 2813
4
+ i 2311
5
+ e 2236
6
+ d 1467
7
+ r 1277
8
+ an 1249
9
+ s 1248
10
+ u 1168
11
+ t 1130
12
+ k 1020
13
+ a_ 952
14
+ m 952
15
+ g 930
16
+ l 897
17
+ n_ 865
18
+ p 748
19
+ _d 699
20
+ an_ 694
21
+ b 653
22
+ i_ 653
23
+ h 629
24
+ o 625
25
+ da 606
26
+ ng 581
27
+ er 518
28
+ in 461
29
+ y 452
30
+ _p 435
31
+ _m 423
32
+ en 408
33
+ di 405
34
+ ya 402
35
+ ar 386
36
+ si 385
37
+ la 385
38
+ ta 380
39
+ _s 369
40
+ ga 350
41
+ ra 346
42
+ me 343
43
+ _b 332
44
+ ah 323
45
+ ang 323
46
+ _da 312
47
+ g_ 304
48
+ ng_ 302
49
+ nd 302
50
+ ka 301
51
+ _t 296
52
+ ia 293
53
+ _me 290
54
+ se 287
55
+ h_ 285
56
+ _i 284
57
+ _di 275
58
+ es 274
59
+ _k 274
60
+ on 262
61
+ al 255
62
+ be 255
63
+ j 252
64
+ ad 249
65
+ ne 247
66
+ _se 245
67
+ pe 242
68
+ _a 242
69
+ as 239
70
+ sa 237
71
+ pa 233
72
+ ba 231
73
+ _in 230
74
+ ak 227
75
+ at 225
76
+ dan 215
77
+ un 210
78
+ ia_ 208
79
+ k_ 206
80
+ ri 203
81
+ ke 201
82
+ ma 200
83
+ te 198
84
+ ind 197
85
+ _pe 195
86
+ _be 191
87
+ _y 189
88
+ ah_ 189
89
+ _ya 185
90
+ esi 184
91
+ r_ 177
92
+ kan 175
93
+ do 175
94
+ em 173
95
+ na 172
96
+ ny 171
97
+ _ke 171
98
+ el 170
99
+ ndo 170
100
+ nes 169
101
+ sia 169
102
+ one 167
103
+ men 167
104
+ don 167
105
+ di_ 166
106
+ yan 165
107
+ ada 161
108
+ am 160
109
+ ai 156
110
+ ja 155
111
+ is 154
112
+ nya 152
113
+ ti 148
114
+ t_ 147
115
+ ara 146
116
+ ber 144
117
+ ha 144
118
+ da_ 143
119
+ ya_ 142
120
+ nt 141
121
+ tu 140
122
+ u_ 138
123
+ eng 133
124
+ li 133
125
+ _te 133
126
+ s_ 132
127
+ _pa 131
128
+ l_ 125
129
+ ik 125
130
+ de 125
131
+ nga 123
132
+ ag 123
133
+ ek 123
134
+ il 121
135
+ ua 120
136
+ eb 115
137
+ uk 114
138
+ gan 114
139
+ ri_ 113
140
+ era 112
141
+ c 112
142
+ _l 111
143
+ w 111
144
+ ela 108
145
+ it 108
146
+ ni 107
147
+ ter 107
148
+ ra_ 106
149
+ per 103
150
+ pad 102
151
+ ul 101
152
+ _n 101
148
153
  du 98
149
- ra_ 96
150
- per 96
151
- at_ 95
152
- aga 93
153
- us 93
154
- _n 92
155
- ul 91
156
- ala 91
157
- mi 88
158
- le 87
159
- _ba 87
154
+ at_ 97
155
+ ala 97
156
+ us 95
157
+ aga 94
158
+ lah 91
159
+ _ba 90
160
+ un_ 89
161
+ _h 89
162
+ mi 89
163
+ le 88
164
+ _ta 88
165
+ pu 87
160
166
  m_ 86
161
- lah 86
162
- asi 82
163
- _h 82
164
- bu 82
165
- ing 81
166
- si_ 80
167
- pad 79
168
- pu 79
169
- ut 79
170
- ari 79
171
- ru 79
172
- pen 78
173
- al_ 77
167
+ bu 86
168
+ asi 84
169
+ ari 84
170
+ _j 84
171
+ ing 83
172
+ ru 82
173
+ si_ 82
174
+ al_ 82
175
+ tah 81
176
+ hu 80
177
+ ut 80
178
+ pen 79
179
+ ap 78
180
+ lu 77
181
+ ai_ 77
182
+ _o 77
183
+ aka 77
184
+ rt 77
185
+ et 77
174
186
  mu 76
187
+ e_ 76
188
+ ama 76
175
189
  _de 76
176
- rt 76
177
- un_ 75
178
- ap 75
179
- _o 75
190
+ au 75
191
+ ol 75
192
+ asa 75
193
+ wa 74
180
194
  ki 74
181
- _j 74
182
- ai_ 74
183
- ama 74
184
- et 73
185
- ol 73
186
- asa 72
187
- ar_ 72
188
- lu 71
189
- wa 71
190
- aka 70
191
- e_ 70
192
- ju 69
193
- ir 68
194
- ak_ 68
195
- _ta 68
196
- _ma 68
197
- nta 68
198
- ay 67
199
- au 67
200
- re 66
201
- dar 66
195
+ ak_ 74
196
+ ir 73
197
+ ar_ 73
198
+ nta 72
199
+ ju 72
200
+ dar 71
201
+ ay 71
202
+ re 70
203
+ gg 69
204
+ ga_ 69
205
+ _ma 69
206
+ ngg 69
207
+ tan 67
208
+ uk_ 67
209
+ seb 67
202
210
  den 66
203
- hu 65
204
- seb 65
205
- or 64
206
- ga_ 64
207
- uk_ 64
211
+ mb 66
212
+ ku 66
213
+ mer 66
208
214
  st 64
209
- tah 64
210
- bag 62
211
- mb 62
212
- ur 61
213
- ku 61
214
- nj 60
215
- tan 59
216
- mer 59
217
- ngg 58
218
- gg 58
219
- end 57
220
- f 57
221
- aa 57
222
- ata 57
223
- ta_ 56
224
- hi 56
225
- ko 56
215
+ ur 64
216
+ bag 64
217
+ or 64
218
+ nj 63
219
+ ata 62
220
+ eg 62
221
+ ta_ 62
222
+ hi 62
223
+ ahu 61
224
+ hun 60
225
+ su 60
226
+ aa 60
227
+ f 58
228
+ gar 58
229
+ end 58
230
+ ko 57
231
+ ula 56
232
+ lan 55
226
233
  mp 55
227
- su 55
228
- eg 54
229
- ma_ 53
230
- ud 53
231
- pr 53
232
- adi 52
233
- _la 51
234
- _r 51
235
- tar 51
234
+ adi 54
235
+ _la 54
236
+ ud 54
237
+ ma_ 54
238
+ gi 52
239
+ pr 52
240
+ _r 52
241
+ eri 52
242
+ tar 52
236
243
  ert 51
237
- id 50
244
+ _an 51
245
+ eh 51
246
+ id 51
247
+ ab 51
248
+ aya 50
249
+ ik_ 50
238
250
  mas 50
239
- gi 50
240
- eh 50
241
- gar 50
251
+ _sa 50
252
+ ni_ 49
242
253
  _e 49
254
+ pul 49
255
+ han 49
256
+ eba 49
257
+ _ne 48
243
258
  mem 48
244
- ni_ 48
245
- ik_ 48
246
- ula 47
247
- eba 47
248
- rd 47
249
- ab 47
250
- dal 47
251
- ban 47
252
- lan 46
253
- hun 46
259
+ nda 48
260
+ ban 48
261
+ ega 48
262
+ ran 48
263
+ rd 48
264
+ ep 48
265
+ aan 48
266
+ dal 48
267
+ lam 47
268
+ dia 47
269
+ eka 46
270
+ um 46
271
+ tu_ 46
272
+ as_ 46
254
273
  sar 46
255
- eri 46
256
- lam 46
257
- _an 46
258
- aya 46
259
- aan 46
260
- ahu 46
274
+ lai 45
275
+ aha 45
276
+ any 45
261
277
  ih 45
262
- um 45
263
- as_ 45
264
- lai 44
278
+ neg 45
279
+ ant 45
265
280
  bi 44
266
- _sa 44
267
- eka 44
268
- ant 44
269
- dia 44
270
- san 43
271
- esa 43
281
+ _u 44
282
+ aw 44
283
+ _ad 44
284
+ _w 44
272
285
  po 43
273
- ep 43
274
- ran 43
275
- _ad 42
276
- _w 42
277
- om 42
278
- _u 42
279
- no 41
286
+ awa 43
287
+ om 43
288
+ aj 43
289
+ esa 43
290
+ nja 43
291
+ san 43
292
+ enj 42
293
+ erd 42
294
+ _ol 42
295
+ ain 42
296
+ _ha 42
297
+ ndi 42
298
+ ca 42
299
+ eme 41
300
+ au_ 41
301
+ in_ 41
302
+ ali 41
280
303
  bes 41
281
- tu_ 41
282
- pul 41
283
- ain 41
284
- nda 41
285
- erd 41
286
- aw 41
287
- _ol 41
288
- awa 40
289
- ndi 40
290
- ega 40
291
- _ne 40
292
- nja 40
293
- in_ 40
294
- io 39
295
- aha 39
296
- _ti 39
297
- gai 39
298
- jad 39
299
- ca 39
300
- han 39
301
- any 39
304
+ _ju 41
305
+ lau 41
306
+ no 41
307
+ io 41
308
+ jad 40
309
+ gai 40
310
+ _ti 40
311
+ ila 40
312
+ ian 40
313
+ emb 40
302
314
  nal 39
303
- ian 39
304
- enj 39
305
- eh_ 38
306
- v 38
307
- apa 38
308
- ali 38
309
- eme 38
315
+ apa 39
316
+ eh_ 39
317
+ p_ 38
318
+ itu 38
310
319
  _pr 38
311
- _ha 38
312
- ip 37
313
- ila 37
314
- neg 37
315
- aj 37
316
- _ju 37
317
- p_ 37
320
+ ini 38
321
+ ntu 38
322
+ gu 38
323
+ v 38
324
+ isi 38
325
+ im 37
318
326
  rb 37
319
- emb 37
320
- ini 37
327
+ rn 37
328
+ ip 37
329
+ man 36
321
330
  ent 36
322
- erb 36
323
- isi 36
324
- ntu 36
325
331
  tr 36
326
- im 36
327
- man 35
328
- dis 35
329
- ole 35
330
- itu 35
332
+ up 36
333
+ dis 36
334
+ ole 36
335
+ leh 36
336
+ d_ 36
337
+ lay 36
338
+ eru 36
339
+ erb 36
340
+ and 36
341
+ rah 35
331
342
  rta 35
343
+ _ka 35
344
+ mel 35
345
+ _pu 35
346
+ ed 35
347
+ rk 35
348
+ rin 35
349
+ uh 35
332
350
  _c 35
333
- leh 35
334
- d_ 35
335
- gu 35
336
- au_ 35
337
- ngk 34
338
- rk 34
339
- pi 34
340
- iri 34
341
- up 34
342
- ed 34
343
- gk 34
351
+ mba 35
352
+ gga 34
344
353
  ana 34
345
- mel 34
354
+ _ja 34
355
+ iri 34
356
+ uas 34
357
+ sel 34
358
+ is_ 34
359
+ lo 34
360
+ pi 34
346
361
  am_ 34
347
- lay 34
348
- rn 34
349
- ion 33
350
- eru 33
351
- ro 33
362
+ ngk 34
363
+ gk 34
364
+ ena 33
352
365
  rs 33
353
- _ka 33
354
- lau 33
355
- rah 33
366
+ mi_ 33
367
+ ion 33
368
+ ej 33
356
369
  _mu 33
357
- mba 33
358
- uh 33
359
- rin 32
360
- sel 32
361
- lo 32
362
370
  ndu 32
363
- ena 32
364
- mi_ 32
365
- _na 31
366
- uas 31
371
+ aja 32
372
+ bel 32
373
+ to 32
374
+ ro 32
375
+ _na 32
376
+ kh 32
377
+ ung 32
378
+ sa_ 32
367
379
  emi 31
368
- sa_ 31
369
- to 31
380
+ _bu 31
381
+ tas 30
382
+ ut_ 30
383
+ ika 30
384
+ _re 30
385
+ ke_ 30
370
386
  tel 30
371
387
  usa 30
372
- _bu 30
373
- ut_ 30
374
- gga 30
375
- and 29
376
- nny 29
377
- _pu 29
378
- nn 29
379
- tas 29
380
- ika 29
388
+ int 30
389
+ tuk 29
381
390
  ili 29
382
- _ja 29
383
391
  ih_ 29
384
- is_ 28
385
- _ek 28
386
- ke_ 28
387
- ej 28
388
- kat 28
389
- kh 28
390
- ung 28
391
- pat 28
392
- _re 28
393
- dir 28
394
- ita 28
392
+ nn 29
393
+ nny 29
394
+ _hi 29
395
+ ita 29
396
+ nc 29
395
397
  duk 28
398
+ pat 28
399
+ yak 28
396
400
  ebe 28
397
- ers 28
398
- uta 27
399
- yak 27
400
- int 27