scylla 0.9.3 → 1.0.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- _ 8136
2
- a 4662
3
- n 2659
4
- i 2220
5
- e 2125
6
- d 1389
7
- r 1214
8
- s 1194
9
- an 1176
10
- u 1091
11
- t 1070
12
- k 966
13
- m 924
14
- a_ 868
15
- g 868
16
- l 847
17
- n_ 820
18
- p 700
19
- _d 674
20
- an_ 664
21
- i_ 633
22
- b 621
23
- o 601
24
- h 578
25
- da 559
26
- ng 548
27
- er 486
28
- in 439
29
- y 422
30
- _m 411
31
- en 398
32
- _p 397
33
- di 390
34
- ya 373
35
- si 368
36
- ar 364
37
- la 356
38
- _s 349
39
- ta 341
40
- me 328
41
- ga 328
42
- ra 323
43
- _b 311
44
- ang 299
45
- _da 298
46
- g_ 290
47
- ah 289
48
- ng_ 288
49
- ka 286
50
- nd 282
51
- ia 280
52
- _me 279
53
- se 273
54
- _t 272
55
- h_ 270
56
- _i 269
57
- _di 264
58
- es 263
59
- _k 254
60
- on 250
61
- al 239
62
- be 236
63
- _se 232
64
- as 232
65
- pe 230
66
- ne 229
67
- _a 229
68
- j 228
69
- sa 228
70
- ba 224
71
- ad 222
72
- _in 218
73
- at 213
74
- dan 207
75
- ak 207
76
- pa 205
77
- ia_ 197
78
- k_ 195
79
- ma 194
80
- te 194
81
- ri 191
82
- un 188
83
- ind 185
84
- ke 184
85
- _pe 183
86
- _y 178
87
- ah_ 177
88
- _be 175
89
- esi 174
90
- _ya 174
91
- r_ 168
92
- na 167
93
- kan 167
94
- em 167
95
- do 165
96
- di_ 162
97
- men 161
98
- ndo 160
99
- el 160
100
- sia 159
101
- nes 159
102
- one 157
103
- don 157
104
- am 156
105
- ny 156
106
- yan 155
107
- _ke 154
108
- ai 150
109
- t_ 145
110
- ti 144
111
- is 144
112
- nya 138
113
- ada 137
114
- ja 135
115
- nt 135
116
- ara 133
117
- ber 131
118
- ha 131
119
- tu 130
120
- _te 130
121
- eng 130
122
- li 129
123
- ya_ 128
124
- s_ 125
125
- u_ 123
126
- ik 122
127
- ag 121
128
- de 121
129
- nga 120
130
- ek 118
131
- l_ 117
132
- il 115
133
- da_ 114
134
- eb 113
135
- gan 112
136
- _pa 111
137
- ua 111
138
- uk 110
139
- ri_ 108
140
- _l 107
141
- w 106
142
- c 106
143
- ter 106
144
- it 104
145
- ni 104
146
- era 103
147
- ela 101
1
+ _ 8612
2
+ a 5000
3
+ n 2813
4
+ i 2311
5
+ e 2236
6
+ d 1467
7
+ r 1277
8
+ an 1249
9
+ s 1248
10
+ u 1168
11
+ t 1130
12
+ k 1020
13
+ a_ 952
14
+ m 952
15
+ g 930
16
+ l 897
17
+ n_ 865
18
+ p 748
19
+ _d 699
20
+ an_ 694
21
+ b 653
22
+ i_ 653
23
+ h 629
24
+ o 625
25
+ da 606
26
+ ng 581
27
+ er 518
28
+ in 461
29
+ y 452
30
+ _p 435
31
+ _m 423
32
+ en 408
33
+ di 405
34
+ ya 402
35
+ ar 386
36
+ si 385
37
+ la 385
38
+ ta 380
39
+ _s 369
40
+ ga 350
41
+ ra 346
42
+ me 343
43
+ _b 332
44
+ ah 323
45
+ ang 323
46
+ _da 312
47
+ g_ 304
48
+ ng_ 302
49
+ nd 302
50
+ ka 301
51
+ _t 296
52
+ ia 293
53
+ _me 290
54
+ se 287
55
+ h_ 285
56
+ _i 284
57
+ _di 275
58
+ es 274
59
+ _k 274
60
+ on 262
61
+ al 255
62
+ be 255
63
+ j 252
64
+ ad 249
65
+ ne 247
66
+ _se 245
67
+ pe 242
68
+ _a 242
69
+ as 239
70
+ sa 237
71
+ pa 233
72
+ ba 231
73
+ _in 230
74
+ ak 227
75
+ at 225
76
+ dan 215
77
+ un 210
78
+ ia_ 208
79
+ k_ 206
80
+ ri 203
81
+ ke 201
82
+ ma 200
83
+ te 198
84
+ ind 197
85
+ _pe 195
86
+ _be 191
87
+ _y 189
88
+ ah_ 189
89
+ _ya 185
90
+ esi 184
91
+ r_ 177
92
+ kan 175
93
+ do 175
94
+ em 173
95
+ na 172
96
+ ny 171
97
+ _ke 171
98
+ el 170
99
+ ndo 170
100
+ nes 169
101
+ sia 169
102
+ one 167
103
+ men 167
104
+ don 167
105
+ di_ 166
106
+ yan 165
107
+ ada 161
108
+ am 160
109
+ ai 156
110
+ ja 155
111
+ is 154
112
+ nya 152
113
+ ti 148
114
+ t_ 147
115
+ ara 146
116
+ ber 144
117
+ ha 144
118
+ da_ 143
119
+ ya_ 142
120
+ nt 141
121
+ tu 140
122
+ u_ 138
123
+ eng 133
124
+ li 133
125
+ _te 133
126
+ s_ 132
127
+ _pa 131
128
+ l_ 125
129
+ ik 125
130
+ de 125
131
+ nga 123
132
+ ag 123
133
+ ek 123
134
+ il 121
135
+ ua 120
136
+ eb 115
137
+ uk 114
138
+ gan 114
139
+ ri_ 113
140
+ era 112
141
+ c 112
142
+ _l 111
143
+ w 111
144
+ ela 108
145
+ it 108
146
+ ni 107
147
+ ter 107
148
+ ra_ 106
149
+ per 103
150
+ pad 102
151
+ ul 101
152
+ _n 101
148
153
  du 98
149
- ra_ 96
150
- per 96
151
- at_ 95
152
- aga 93
153
- us 93
154
- _n 92
155
- ul 91
156
- ala 91
157
- mi 88
158
- le 87
159
- _ba 87
154
+ at_ 97
155
+ ala 97
156
+ us 95
157
+ aga 94
158
+ lah 91
159
+ _ba 90
160
+ un_ 89
161
+ _h 89
162
+ mi 89
163
+ le 88
164
+ _ta 88
165
+ pu 87
160
166
  m_ 86
161
- lah 86
162
- asi 82
163
- _h 82
164
- bu 82
165
- ing 81
166
- si_ 80
167
- pad 79
168
- pu 79
169
- ut 79
170
- ari 79
171
- ru 79
172
- pen 78
173
- al_ 77
167
+ bu 86
168
+ asi 84
169
+ ari 84
170
+ _j 84
171
+ ing 83
172
+ ru 82
173
+ si_ 82
174
+ al_ 82
175
+ tah 81
176
+ hu 80
177
+ ut 80
178
+ pen 79
179
+ ap 78
180
+ lu 77
181
+ ai_ 77
182
+ _o 77
183
+ aka 77
184
+ rt 77
185
+ et 77
174
186
  mu 76
187
+ e_ 76
188
+ ama 76
175
189
  _de 76
176
- rt 76
177
- un_ 75
178
- ap 75
179
- _o 75
190
+ au 75
191
+ ol 75
192
+ asa 75
193
+ wa 74
180
194
  ki 74
181
- _j 74
182
- ai_ 74
183
- ama 74
184
- et 73
185
- ol 73
186
- asa 72
187
- ar_ 72
188
- lu 71
189
- wa 71
190
- aka 70
191
- e_ 70
192
- ju 69
193
- ir 68
194
- ak_ 68
195
- _ta 68
196
- _ma 68
197
- nta 68
198
- ay 67
199
- au 67
200
- re 66
201
- dar 66
195
+ ak_ 74
196
+ ir 73
197
+ ar_ 73
198
+ nta 72
199
+ ju 72
200
+ dar 71
201
+ ay 71
202
+ re 70
203
+ gg 69
204
+ ga_ 69
205
+ _ma 69
206
+ ngg 69
207
+ tan 67
208
+ uk_ 67
209
+ seb 67
202
210
  den 66
203
- hu 65
204
- seb 65
205
- or 64
206
- ga_ 64
207
- uk_ 64
211
+ mb 66
212
+ ku 66
213
+ mer 66
208
214
  st 64
209
- tah 64
210
- bag 62
211
- mb 62
212
- ur 61
213
- ku 61
214
- nj 60
215
- tan 59
216
- mer 59
217
- ngg 58
218
- gg 58
219
- end 57
220
- f 57
221
- aa 57
222
- ata 57
223
- ta_ 56
224
- hi 56
225
- ko 56
215
+ ur 64
216
+ bag 64
217
+ or 64
218
+ nj 63
219
+ ata 62
220
+ eg 62
221
+ ta_ 62
222
+ hi 62
223
+ ahu 61
224
+ hun 60
225
+ su 60
226
+ aa 60
227
+ f 58
228
+ gar 58
229
+ end 58
230
+ ko 57
231
+ ula 56
232
+ lan 55
226
233
  mp 55
227
- su 55
228
- eg 54
229
- ma_ 53
230
- ud 53
231
- pr 53
232
- adi 52
233
- _la 51
234
- _r 51
235
- tar 51
234
+ adi 54
235
+ _la 54
236
+ ud 54
237
+ ma_ 54
238
+ gi 52
239
+ pr 52
240
+ _r 52
241
+ eri 52
242
+ tar 52
236
243
  ert 51
237
- id 50
244
+ _an 51
245
+ eh 51
246
+ id 51
247
+ ab 51
248
+ aya 50
249
+ ik_ 50
238
250
  mas 50
239
- gi 50
240
- eh 50
241
- gar 50
251
+ _sa 50
252
+ ni_ 49
242
253
  _e 49
254
+ pul 49
255
+ han 49
256
+ eba 49
257
+ _ne 48
243
258
  mem 48
244
- ni_ 48
245
- ik_ 48
246
- ula 47
247
- eba 47
248
- rd 47
249
- ab 47
250
- dal 47
251
- ban 47
252
- lan 46
253
- hun 46
259
+ nda 48
260
+ ban 48
261
+ ega 48
262
+ ran 48
263
+ rd 48
264
+ ep 48
265
+ aan 48
266
+ dal 48
267
+ lam 47
268
+ dia 47
269
+ eka 46
270
+ um 46
271
+ tu_ 46
272
+ as_ 46
254
273
  sar 46
255
- eri 46
256
- lam 46
257
- _an 46
258
- aya 46
259
- aan 46
260
- ahu 46
274
+ lai 45
275
+ aha 45
276
+ any 45
261
277
  ih 45
262
- um 45
263
- as_ 45
264
- lai 44
278
+ neg 45
279
+ ant 45
265
280
  bi 44
266
- _sa 44
267
- eka 44
268
- ant 44
269
- dia 44
270
- san 43
271
- esa 43
281
+ _u 44
282
+ aw 44
283
+ _ad 44
284
+ _w 44
272
285
  po 43
273
- ep 43
274
- ran 43
275
- _ad 42
276
- _w 42
277
- om 42
278
- _u 42
279
- no 41
286
+ awa 43
287
+ om 43
288
+ aj 43
289
+ esa 43
290
+ nja 43
291
+ san 43
292
+ enj 42
293
+ erd 42
294
+ _ol 42
295
+ ain 42
296
+ _ha 42
297
+ ndi 42
298
+ ca 42
299
+ eme 41
300
+ au_ 41
301
+ in_ 41
302
+ ali 41
280
303
  bes 41
281
- tu_ 41
282
- pul 41
283
- ain 41
284
- nda 41
285
- erd 41
286
- aw 41
287
- _ol 41
288
- awa 40
289
- ndi 40
290
- ega 40
291
- _ne 40
292
- nja 40
293
- in_ 40
294
- io 39
295
- aha 39
296
- _ti 39
297
- gai 39
298
- jad 39
299
- ca 39
300
- han 39
301
- any 39
304
+ _ju 41
305
+ lau 41
306
+ no 41
307
+ io 41
308
+ jad 40
309
+ gai 40
310
+ _ti 40
311
+ ila 40
312
+ ian 40
313
+ emb 40
302
314
  nal 39
303
- ian 39
304
- enj 39
305
- eh_ 38
306
- v 38
307
- apa 38
308
- ali 38
309
- eme 38
315
+ apa 39
316
+ eh_ 39
317
+ p_ 38
318
+ itu 38
310
319
  _pr 38
311
- _ha 38
312
- ip 37
313
- ila 37
314
- neg 37
315
- aj 37
316
- _ju 37
317
- p_ 37
320
+ ini 38
321
+ ntu 38
322
+ gu 38
323
+ v 38
324
+ isi 38
325
+ im 37
318
326
  rb 37
319
- emb 37
320
- ini 37
327
+ rn 37
328
+ ip 37
329
+ man 36
321
330
  ent 36
322
- erb 36
323
- isi 36
324
- ntu 36
325
331
  tr 36
326
- im 36
327
- man 35
328
- dis 35
329
- ole 35
330
- itu 35
332
+ up 36
333
+ dis 36
334
+ ole 36
335
+ leh 36
336
+ d_ 36
337
+ lay 36
338
+ eru 36
339
+ erb 36
340
+ and 36
341
+ rah 35
331
342
  rta 35
343
+ _ka 35
344
+ mel 35
345
+ _pu 35
346
+ ed 35
347
+ rk 35
348
+ rin 35
349
+ uh 35
332
350
  _c 35
333
- leh 35
334
- d_ 35
335
- gu 35
336
- au_ 35
337
- ngk 34
338
- rk 34
339
- pi 34
340
- iri 34
341
- up 34
342
- ed 34
343
- gk 34
351
+ mba 35
352
+ gga 34
344
353
  ana 34
345
- mel 34
354
+ _ja 34
355
+ iri 34
356
+ uas 34
357
+ sel 34
358
+ is_ 34
359
+ lo 34
360
+ pi 34
346
361
  am_ 34
347
- lay 34
348
- rn 34
349
- ion 33
350
- eru 33
351
- ro 33
362
+ ngk 34
363
+ gk 34
364
+ ena 33
352
365
  rs 33
353
- _ka 33
354
- lau 33
355
- rah 33
366
+ mi_ 33
367
+ ion 33
368
+ ej 33
356
369
  _mu 33
357
- mba 33
358
- uh 33
359
- rin 32
360
- sel 32
361
- lo 32
362
370
  ndu 32
363
- ena 32
364
- mi_ 32
365
- _na 31
366
- uas 31
371
+ aja 32
372
+ bel 32
373
+ to 32
374
+ ro 32
375
+ _na 32
376
+ kh 32
377
+ ung 32
378
+ sa_ 32
367
379
  emi 31
368
- sa_ 31
369
- to 31
380
+ _bu 31
381
+ tas 30
382
+ ut_ 30
383
+ ika 30
384
+ _re 30
385
+ ke_ 30
370
386
  tel 30
371
387
  usa 30
372
- _bu 30
373
- ut_ 30
374
- gga 30
375
- and 29
376
- nny 29
377
- _pu 29
378
- nn 29
379
- tas 29
380
- ika 29
388
+ int 30
389
+ tuk 29
381
390
  ili 29
382
- _ja 29
383
391
  ih_ 29
384
- is_ 28
385
- _ek 28
386
- ke_ 28
387
- ej 28
388
- kat 28
389
- kh 28
390
- ung 28
391
- pat 28
392
- _re 28
393
- dir 28
394
- ita 28
392
+ nn 29
393
+ nny 29
394
+ _hi 29
395
+ ita 29
396
+ nc 29
395
397
  duk 28
398
+ pat 28
399
+ yak 28
396
400
  ebe 28
397
- ers 28
398
- uta 27
399
- yak 27
400
- int 27