scylla 0.9.3 → 1.0.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- _ 6178
2
- a 3506
3
- n 2158
4
- g 1432
5
- i 1276
6
- ng 952
7
- an 885
8
- g_ 854
9
- o 847
10
- s 845
11
- ng_ 814
12
- t 773
13
- a_ 750
14
- l 728
15
- p 683
16
- m 591
17
- _n 517
18
- u 515
19
- ang 507
20
- k 473
21
- _a 448
22
- y 411
23
- na 411
24
- e 409
25
- r 398
26
- sa 367
27
- _p 361
28
- n_ 336
29
- in 332
30
- _m 330
31
- _s 328
32
- at 309
33
- la 295
1
+ _ 6230
2
+ a 3528
3
+ n 2171
4
+ g 1442
5
+ i 1290
6
+ ng 958
7
+ an 887
8
+ g_ 859
9
+ o 855
10
+ s 852
11
+ ng_ 819
12
+ t 782
13
+ a_ 757
14
+ l 734
15
+ p 688
16
+ m 592
17
+ u 521
18
+ _n 521
19
+ ang 509
20
+ k 474
21
+ _a 450
22
+ e 416
23
+ na 415
24
+ y 414
25
+ r 403
26
+ sa 369
27
+ _p 364
28
+ n_ 337
29
+ in 336
30
+ _m 331
31
+ _s 331
32
+ at 313
34
33
  ka 295
34
+ la 295
35
35
  b 294
36
- ga 285
37
- pa 279
38
- o_ 269
39
- h 263
40
- d 260
41
- al 251
42
- sa_ 247
36
+ ga 286
37
+ pa 283
38
+ o_ 273
39
+ h 267
40
+ d 264
41
+ al 253
42
+ sa_ 249
43
43
  _ng 239
44
- on 235
45
- ma 230
46
- _sa 227
47
- _na 215
44
+ on 236
45
+ ma 231
46
+ _sa 229
47
+ _na 217
48
48
  t_ 197
49
- _an 196
49
+ _an 197
50
50
  pi 194
51
51
  an_ 194
52
- ta 192
53
- _pa 192
54
- ag 189
52
+ ta 194
53
+ _pa 194
54
+ ag 191
55
55
  ay 189
56
56
  _k 186
57
- li 171
57
+ li 170
58
+ il 159
58
59
  as 159
59
60
  ga_ 158
60
- il 158
61
+ _mg 151
61
62
  mga 151
62
63
  mg 151
63
- _mg 151
64
64
  y_ 148
65
65
  _ka 143
66
66
  at_ 142
67
- ul 138
68
- _i 129
67
+ ul 139
68
+ ti 131
69
+ na_ 130
69
70
  ba 129
70
- na_ 128
71
+ _i 129
71
72
  ala 127
72
- ti 127
73
73
  s_ 126
74
74
  it 125
75
75
  is 121
76
76
  no 121
77
77
  ay_ 121
78
- _ma 120
78
+ _ma 121
79
79
  ina 119
80
80
  _at 118
81
+ ya 116
81
82
  _b 115
82
- ya 115
83
83
  ha 115
84
84
  ra 114
85
+ _t 110
85
86
  am 110
86
- _t 109
87
+ un 106
88
+ ar 106
87
89
  pin 106
88
- ar 105
89
- un 105
90
- ong 103
91
- yo 101
92
- ah 101
93
- w 100
94
- si 98
90
+ ong 104
91
+ ah 102
92
+ yo 102
93
+ w 101
94
+ si 100
95
95
  ip 97
96
96
  on_ 95
97
+ hi 93
98
+ ap 90
97
99
  ak 90
98
- hi 90
99
- ap 88
100
100
  ili 87
101
101
  _pi 86
102
- lo 82
103
- _d 82
102
+ _d 86
103
+ lo 85
104
+ c 84
105
+ ni 82
104
106
  ipi 81
105
- ni 80
107
+ i_ 80
108
+ ik 80
109
+ pan 80
106
110
  lip 80
107
- pan 79
108
- ik 79
109
111
  _ay 79
110
- i_ 78
111
- c 78
112
- ata 76
113
- to 74
114
- st 73
112
+ ata 77
113
+ to 76
114
+ st 76
115
115
  yon 72
116
- tu 71
117
- ula 70
116
+ tu 72
117
+ ing 71
118
118
  ama 70
119
- _h 69
119
+ _h 70
120
+ ula 70
120
121
  mi 69
122
+ l_ 69
121
123
  gan 68
122
- ing 68
124
+ re 67
125
+ ri 67
123
126
  _ba 67
124
- l_ 67
125
- as_ 67
126
127
  ab 67
127
- re 66
128
- ri 66
128
+ as_ 67
129
+ pag 66
129
130
  ns 64
130
- pag 64
131
131
  lan 63
132
- ko 62
133
132
  aha 62
134
133
  er 62
134
+ ko 62
135
135
  san 61
136
+ pu 61
137
+ iy 61
136
138
  pil 61
137
- pu 60
138
- iy 60
139
139
  _e 60
140
- _r 59
140
+ _r 60
141
+ e_ 59
142
+ di 59
143
+ da 58
141
144
  _o 58
142
- di 58
143
145
  _l 57
144
- e_ 57
145
146
  ara 56
146
147
  nas 56
147
- en 55
148
+ en 56
148
149
  no_ 55
149
- da 55
150
- aka 55
151
150
  mu 55
152
151
  sy 55
153
- d_ 54
154
- ban 54
152
+ aka 55
155
153
  po 54
156
- ad 53
154
+ ban 54
155
+ d_ 54
156
+ es 53
157
157
  la_ 53
158
- es 52
158
+ ad 53
159
159
  nga 52
160
+ _si 51
160
161
  wa 51
161
- _si 50
162
- ila 49
162
+ or 50
163
163
  ika 49
164
- lu 48
165
- aw 48
164
+ ila 49
166
165
  aa 48
167
- or 48
168
166
  yan 48
167
+ aw 48
168
+ lu 48
169
+ ati 47
170
+ al_ 47
169
171
  bu 47
170
- al_ 46
171
- ans 46
172
172
  um 46
173
- ati 45
173
+ ans 46
174
+ ig 45
174
175
  te 45
175
- asa 44
176
+ nd 44
177
+ ro 44
176
178
  nsa 44
177
179
  op 44
178
- ig 44
179
- nd 44
180
+ asa 44
180
181
  nt 44
181
182
  _is 43
183
+ gk 42
182
184
  oo 42
183
- ro 42
184
- pul 42
185
185
  bi 42
186
- gk 42
186
+ pul 42
187
+ apa 42
187
188
  nan 42
188
- ino 41
189
+ to_ 41
189
190
  han 41
190
- kas 40
191
- _ta 40
191
+ ino 41
192
192
  tan 40
193
- ana 40
194
- apa 40
193
+ _re 40
194
+ _ta 40
195
195
  kan 40
196
- to_ 39
196
+ ana 40
197
+ kas 40
197
198
  kal 39
199
+ ya_ 39
198
200
  pam 39
199
- _re 39
200
- ya_ 38
201
201
  ito 38
202
+ aga 37
202
203
  _o_ 37
204
+ in_ 36
205
+ _g 36
203
206
  nag 36
204
- man 36
207
+ gu 36
205
208
  kat 36
206
- aga 36
207
- gu 35
208
- in_ 35
209
+ man 36
210
+ gi 35
209
211
  su 35
210
- _g 35
211
212
  ali 35
212
- _no 34
213
213
  isa 34
214
- gi 33
215
- awa 33
216
- ku 33
217
- oon 33
218
- syo 33
214
+ _no 34
219
215
  _ha 33
216
+ oon 33
217
+ ku 33
220
218
  os 33
219
+ awa 33
220
+ aya 32
221
+ syo 32
222
+ _di 32
221
223
  ran 32
222
224
  aan 32
225
+ _c 32
226
+ f 32
223
227
  do 32
224
- aya 32
225
- hal 31
226
228
  p_ 31
229
+ hal 31
227
230
  nak 31
228
- ub 31
229
- _di 31
231
+ ulo 31
230
232
  gka 31
231
- om 30
233
+ ub 31
232
234
  _po 30
233
- ulo 30
234
- _u 30
235
+ tin 30
235
236
  wi 30
236
- r_ 30
237
237
  im 30
238
- f 30
238
+ om 30
239
+ r_ 30
240
+ _u 30
239
241
  ung 29
240
242
  ol 29
241
243
  aba 29
242
244
  _w 29
243
- _c 29
244
- tin 28
245
- tag 28
246
- mul 28
247
- _mu 28
248
- ngg 28
245
+ mah 28
249
246
  hiy 28
250
247
  gg 28
251
- mah 28
252
- ur 28
248
+ ngg 28
249
+ mul 28
253
250
  iyo 28
251
+ _mu 28
252
+ tag 28
253
+ ur 28
254
+ iya 28
255
+ _da 28
256
+ noo 27
254
257
  it_ 27
258
+ eh 27
259
+ nu 27
255
260
  ra_ 27
261
+ ne 27
262
+ ist 27
256
263
  ehi 27
257
264
  uk 27
258
- nu 27
259
- ist 27
260
- eh 27
261
- iya 27
262
- ne 27
263
- noo 27
264
- bo 26
265
265
  mat 26
266
- se 26
266
+ ahi 26
267
+ bo 26
267
268
  sta 26
269
+ lo_ 26
268
270
  _es 26
271
+ se 26
272
+ nat 26
269
273
  mal 25
270
- _da 25
271
- may 25
272
- ahi 25
273
- ka_ 25
274
- nat 25
274
+ ta_ 25
275
275
  reh 25
276
- lo_ 25
277
276
  _it 25
277
+ may 25
278
278
  ita 25
279
+ sti 25
280
+ ka_ 25
279
281
  de 25
280
- ta_ 24
282
+ ny 24
281
283
  ag_ 24
282
284
  me 24
283
- ny 24
284
- gga 24
285
285
  ye 24
286
286
  so 24
287
+ gga 24
288
+ k_ 24
287
289
  ib 23
288
- uma 23
290
+ ent 23
291
+ ani 23
289
292
  hin 23
290
- _la 23
293
+ v 23
291
294
  ki 23
292
- k_ 23
295
+ _la 23
293
296
  agk 23
294
- sti 23
295
- v 23
296
- ent 23
297
- ani 23
297
+ uma 23
298
+ una 23
298
299
  _bi 23
299
- lit 22
300
- una 22
301
- atu 22
300
+ us 23
302
301
  go 22
302
+ _ni 22
303
+ atu 22
304
+ lit 22
305
+ _tu 22
306
+ ut 22
303
307
  nah 22
304
- _ti 21
305
- _tu 21
306
- os_ 21
307
- ek 21
308
- ut 21
309
308
  _su 21
310
- min 21
311
- us 21
309
+ est 21
310
+ ngu 21
311
+ ek 21
312
+ ca 21
313
+ os_ 21
314
+ _ti 21
315
+ he 21
312
316
  tr 21
313
- laa 20
317
+ min 21
314
318
  rin 20
315
- ca 20
316
- mb 20
317
- _ni 20
318
319
  ad_ 20
319
- he 20
320
- est 20
320
+ nap 20
321
+ gs 20
322
+ laa 20
321
323
  asy 20
322
- ngu 20
324
+ din 20
325
+ mb 20
323
326
  lak 20
324
- gs 20
325
- et 19
326
- omi 19
327
- din 19
328
- kar 19
329
- ngk 19
330
- kap 19
327
+ ia 19
328
+ yo_ 19
331
329
  du 19
332
- kon 19
333
- lat 19
330
+ nit 19
331
+ gl 19
332
+ kap 19
333
+ ngk 19
334
+ omi 19
334
335
  _mi 19
336
+ et 19
335
337
  gd 19
336
- nap 19
337
- te_ 19
338
- nit 19
338
+ kon 19
339
339
  od 19
340
+ te_ 19
341
+ kar 19
342
+ pat 19
343
+ lat 19
344
+ kab 18
345
+ wan 18
340
346
  sya 18
341
- _bu 18
347
+ isy 18
342
348
  lin 18
349
+ ry 18
350
+ pop 18
351
+ ao 18
352
+ bin 18
353
+ ir 18
354
+ _bu 18
355
+ ai 18
343
356
  gp 18
357
+ em 18
358
+ mo 18
359
+ gr 18
360
+ gal 18
344
361
  tul 18
345
362
  opu 18
346
- gl 18
347
- ir 18
363
+ nom 18
348
364
  ro_ 18
349
- bin 18
350
- ia 18
351
- gr 18
352
365
  ii 18
353
- pop 18
354
- ao 18
355
- nom 18
356
- kab 18
357
366
  sin 18
358
- yo_ 18
359
- mo 18
360
- ai 18
361
- ry 18
362
- wan 18
363
- em 18
364
- isy 18
365
- pat 18
366
- ari 17
367
- ua 17
368
- ini 17
369
- pe 17
367
+ ok 17
368
+ tal 17
369
+ agi 17
370
+ ulu 17
370
371
  lal 17
371
- ags 17
372
- _wi 17
373
372
  agp 17
374
- ob 17
375
- ok 17
376
373
  lay 17
377
- gal 17
378
- ulu 17
379
- wik 17
374
+ pe 17
375
+ ags 17
376
+ ob 17
380
377
  any 17
378
+ _pu 17
379
+ _wi 17
380
+ lon 17
381
+ wik 17
382
+ ini 17
383
+ ari 17
384
+ ua 17
385
+ gin 16
386
+ buo 16
381
387
  law 16
382
388
  gay 16
383
- lon 16
384
- ind 16
385
- uan 16
386
- ado 16
389
+ ic 16
390
+ apu 16
391
+ ayo 16
392
+ le 16
393
+ _ko 16
394
+ alo 16
387
395
  up 16
388
- tal 16
396
+ ind 16
389
397
  uo 16
390
- iko 16
391
- tat 16
392
- _se 16
393
- alo 16
394
- agi 16
395
398
  par 16
396
- _ko 16
397
- _hi 16
398
399
  ura 16
399
- apu 16
400
- nya 16
400
+ ado 16