scylla 0.9.3 → 1.0.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- _ 3242
2
- d 798
3
- y 712
4
- a 623
5
- n 573
6
- e 559
7
- r 548
8
- i 469
9
- o 405
10
- l 361
11
- w 306
12
- g 302
13
- d_ 271
14
- _y 258
15
- n_ 245
16
- h 239
17
- dd 221
18
- c 212
19
- f 209
20
- m 195
21
- s 182
22
- u 179
23
- t 175
24
- r_ 174
25
- _a 168
26
- yn 167
27
- _c 156
28
- _g 143
29
- y_ 123
30
- u_ 121
31
- wy 119
32
- yn_ 118
33
- yd 117
1
+ _ 3298
2
+ d 809
3
+ y 721
4
+ a 645
5
+ n 584
6
+ e 566
7
+ r 555
8
+ i 474
9
+ o 408
10
+ l 363
11
+ w 312
12
+ g 308
13
+ d_ 273
14
+ _y 260
15
+ h 256
16
+ n_ 250
17
+ dd 225
18
+ c 217
19
+ f 211
20
+ m 199
21
+ s 184
22
+ t 183
23
+ u 182
24
+ r_ 175
25
+ _a 170
26
+ yn 166
27
+ _c 158
28
+ _g 147
29
+ y_ 125
30
+ u_ 124
31
+ wy 121
32
+ yd 119
33
+ yn_ 117
34
+ ym 116
34
35
  dd_ 115
35
- ym 114
36
- ed 108
37
- _r 106
36
+ _r 109
37
+ ed 106
38
+ an 102
38
39
  i_ 101
39
40
  l_ 100
40
- _yn 100
41
- an 97
42
- _d 93
43
- _o 92
44
- _y_ 92
45
- _cy 89
46
- cy 89
47
- ae 87
48
- b 86
49
- th 86
50
- di 81
51
- od 79
52
- a_ 77
53
- ymr 75
54
- mr 75
55
- ad 72
41
+ _yn 99
42
+ _d 96
43
+ _y_ 94
44
+ _o 93
45
+ th 93
46
+ ae 93
47
+ _cy 90
48
+ cy 90
49
+ b 87
50
+ di 82
51
+ od 80
52
+ a_ 78
53
+ mr 77
54
+ ymr 77
55
+ ad 76
56
+ h_ 73
57
+ ia 73
56
58
  ll 71
57
- ia 71
58
- edd 68
59
- g_ 67
59
+ edd 69
60
+ _a_ 67
60
61
  oe 67
61
- _a_ 66
62
- h_ 65
63
- cym 64
64
- _r_ 63
62
+ g_ 66
63
+ cym 66
64
+ _r_ 64
65
+ th_ 63
65
66
  ai 63
67
+ _i 63
66
68
  ol 62
67
- _i 62
69
+ o_ 61
68
70
  en 61
69
- o_ 60
71
+ ga 61
70
72
  ar 59
71
73
  _s 58
72
- _e 57
73
- th_ 56
74
- _f 55
75
- _n 55
76
- wyd 54
77
- ei 54
78
- ga 53
79
- _w 52
80
- er 50
81
- _h 50
74
+ _e 58
75
+ _n 56
76
+ _f 56
77
+ wyd 56
78
+ ei 55
79
+ et 55
80
+ eth 55
81
+ _w 53
82
+ la 52
83
+ _h 52
84
+ aet 52
82
85
  in 50
83
- la 50
84
- et 49
85
- eth 49
86
+ er 50
87
+ ru 48
88
+ ru_ 48
86
89
  ol_ 48
87
- re 48
88
- aet 47
89
- ni 47
90
90
  ra 47
91
- yd_ 46
91
+ mru 47
92
+ ydd 47
93
+ yd_ 47
92
94
  _o_ 46
93
- ru 46
94
- ru_ 46
95
- ydd 46
96
- mru 45
97
- we 45
95
+ ni 46
96
+ re 44
97
+ gy 44
98
+ _m 44
99
+ fe 44
100
+ ha 44
101
+ an_ 44
102
+ _ga 44
103
+ we 44
98
104
  el 44
105
+ _i_ 43
106
+ _b 43
99
107
  ys 43
100
- gy 43
101
- _m 43
102
- fe 43
108
+ ro 43
103
109
  oed 43
104
- _b 43
105
110
  on 43
106
- ro 43
107
- _i_ 43
111
+ da 42
108
112
  ad_ 42
109
- ha 41
110
- do 41
111
113
  ri 41
112
- an_ 40
113
- da 40
114
+ do 41
114
115
  ry 40
116
+ de 40
117
+ ddi 40
118
+ odd 40
119
+ ch 40
115
120
  _l 39
116
- de 39
117
- odd 39
118
121
  og 38
119
122
  au 38
120
- ch 38
121
- ddi 38
122
- _ga 38
123
123
  au_ 38
124
- id 37
124
+ gw 37
125
+ m_ 37
125
126
  le 37
126
- gw 36
127
+ si 37
128
+ ne 36
129
+ id 36
127
130
  yf 36
128
- m_ 35
129
- si 35
131
+ lo 35
132
+ yr 35
130
133
  no 34
131
- yr 34
132
- ne 34
133
- lo 34
134
134
  f_ 34
135
- w_ 32
136
- _gw 32
135
+ _gw 33
136
+ yw 33
137
+ p 33
138
+ rh 32
139
+ nn 32
140
+ e_ 32
137
141
  _t 32
138
- yw 31
139
- _ll 31
140
- e_ 31
141
- _ar 31
142
- rh 31
142
+ _gy 32
143
+ he 32
144
+ w_ 32
145
+ gan 32
143
146
  eg 31
144
- p 31
145
- _gy 31
146
- io 30
147
+ _ar 31
148
+ es 31
149
+ _ll 31
150
+ io 31
147
151
  ir 30
148
152
  nd 30
149
- na 29
150
153
  go 29
151
- he 29
152
- dw 29
153
- hy 29
154
- if 28
155
- es 28
154
+ na 29
155
+ s_ 29
156
156
  ef 28
157
- nn 28
158
- gan 28
159
- yr_ 27
160
- in_ 27
161
- _dd 27
162
- s_ 27
157
+ hy 28
158
+ if 28
159
+ _dd 28
160
+ _rh 28
163
161
  ng 27
164
- ma 26
162
+ in_ 27
163
+ dw 27
164
+ yr_ 27
165
+ ma 27
166
+ lad 26
165
167
  ig 26
166
168
  gr 26
167
- _rh 26
168
169
  fy 26
169
- st 25
170
- ac 25
171
- _si 25
172
- lad 25
170
+ _si 26
171
+ ac 26
173
172
  _ym 25
174
- wn 24
175
- ca 24
176
- rif 24
173
+ st 25
174
+ dy 24
177
175
  roe 24
176
+ wl 24
177
+ rif 24
178
+ wn 24
179
+ ddo 23
180
+ ca 23
178
181
  ar_ 23
179
- dy 23
182
+ af 23
180
183
  iad 23
181
- wl 23
182
- eu 23
183
- ew 23
184
- ddo 23
185
184
  un 23
186
- af 23
187
- idd 22
185
+ _ma 23
186
+ _p 22
187
+ eu 22
188
188
  sg 22
189
189
  er_ 22
190
190
  iw 22
191
- _ma 21
191
+ c_ 22
192
+ wed 21
192
193
  nw 21
194
+ wla 21
193
195
  nd_ 21
194
- c_ 21
195
- wed 21
196
- _fe 20
197
- _p 20
198
- ig_ 20
199
- wla 20
196
+ _ac 20
197
+ wr 20
198
+ idd 20
199
+ ew 20
200
+ ac_ 20
200
201
  so 20
201
- ond 19
202
- _de 19
203
- _on 19
202
+ ig_ 20
203
+ _fe 20
204
+ _de 20
205
+ is 19
204
206
  _yr 19
205
- il 19
206
- _ac 19
207
- lw 19
207
+ aw 19
208
208
  al 19
209
- _er 19
210
- _cr 19
211
- cr 19
212
- is 19
213
- ac_ 19
214
- wr 19
215
209
  or 19
210
+ cr 19
211
+ _er 19
216
212
  hr 19
217
- _u 18
218
- it 18
219
- li 18
220
- _ca 18
221
- aw 18
213
+ il 19
214
+ ond 19
215
+ _on 19
216
+ _cr 19
217
+ by 19
222
218
  _go 18
223
- fa 18
224
- rha 18
225
219
  od_ 18
226
- by 18
227
- fr 18
228
- _he 18
229
220
  nt 18
230
- _ne 18
231
- _di 18
221
+ rha 18
232
222
  el_ 18
233
- se 17
234
- sir 17
235
- ny 17
223
+ _u 18
224
+ _ca 18
225
+ it 18
226
+ _di 18
227
+ _he 18
228
+ fr 18
229
+ lw 18
230
+ fa 18
231
+ _ne 18
236
232
  efy 17
237
233
  ir_ 17
234
+ sir 17
235
+ hi 17
236
+ am 17
237
+ fel 17
238
238
  loe 17
239
- on_ 17
239
+ ny 17
240
240
  dia 17
241
- fel 17
242
- aid 16
241
+ on_ 17
242
+ li 17
243
+ fyd 16
243
244
  yl 16
245
+ ai_ 16
246
+ ith 16
244
247
  ff 16
245
- diw 16
246
- hi 16
247
248
  dwy 16
248
- fyd 16
249
249
  ain 16
250
- ith 16
250
+ gl 16
251
251
  _wl 16
252
+ diw 16
252
253
  dol 16
254
+ eu_ 16
255
+ se 16
256
+ nr 15
257
+ rae 15
258
+ rw 15
253
259
  eg_ 15
254
260
  ty 15
255
- rae 15
261
+ han 15
262
+ lle 15
256
263
  _hy 15
257
- t_ 15
258
- nr 15
264
+ wys 15
265
+ _am 15
259
266
  anr 15
260
- ng_ 15
267
+ t_ 15
268
+ aid 15
269
+ yw_ 15
261
270
  dod 15
262
- eu_ 15
263
- am 15
264
- lle 15
265
- gl 15
266
- _am 15
267
- wys 15
268
- lwy 15
269
- � 15
270
- ai_ 15
271
271
  dr 14
272
- mry 14
273
- _un 14
274
- rd 14
275
- han 14
276
- rw 14
277
- if_ 14
272
+ gym 14
273
+ lwy 14
278
274
  nia 14
279
- ho 14
275
+ ae_ 14
280
276
  nwy 14
277
+ if_ 14
278
+ hw 14
279
+ mry 14
280
+ gae 14
281
+ ho 14
282
+ ly 14
281
283
  ym_ 14
284
+ ng_ 14
285
+ rd 14
286
+ mae 14
287
+ _un 14
282
288
  dl 14
283
- yw_ 14
284
- gym 14
285
- hw 13
286
- af_ 13
287
- _ei 13
288
- nol 13
289
289
  sia 13
290
- ae_ 13
291
- gae 13
292
290
  _se 13
291
+ ann 13
292
+ rth 13
293
+ nol 13
294
+ wyn 13
295
+ af_ 13
293
296
  llo 13
294
- mae 13
297
+ iae 13
298
+ rt 13
295
299
  bo 13
296
- ly 13
297
- rth 12
298
- rai 12
299
- me 12
300
- ll_ 12
301
- ann 12
302
- _ge 12
303
- nt_ 12
304
- eit 12
300
+ _ei 13
301
+ enw 12
302
+ ei_ 12
303
+ am_ 12
304
+ ryd 12
305
+ egr 12
305
306
  ywy 12
306
- ge 12
307
307
  _ys 12
308
+ nt_ 12
308
309
  ry_ 12
309
- egr 12
310
+ ll_ 12
310
311
  ob 12
311
- ei_ 12
312
- ryd 12
313
- rt 12
314
- enw 12
315
- oeg 12
316
- cyf 12
312
+ me 12
313
+ wa 12
317
314
  fi 12
315
+ gr_ 12
316
+ iai 12
317
+ ynn 12
318
+ _n_ 12
318
319
  du 12
320
+ rai 12
319
321
  gwe 12
320
- wyn 12
321
- wa 12
322
- iai 12
323
- gr_ 12
324
- _� 11
325
- ed_ 11
326
- _ty 11
327
- _n_ 11
322
+ _da 12
323
+ oeg 12
324
+ eit 12
325
+ _oe 11
326
+ wn_ 11
327
+ cyf 11
328
+ id_ 11
329
+ fo 11
328
330
  yll 11
329
- hyn 11
331
+ edi 11
332
+ br 11
330
333
  _ro 11
334
+ byn 11
335
+ yst 11
336
+ _ty 11
337
+ ta 11
338
+ yso 11
331
339
  sog 11
340
+ oga 11
341
+ led 11
332
342
  ren 11
333
- yso 11
334
- byn 11
335
- edi 11
336
- iae 11
337
- br 11
343
+ hyn 11
344
+ ed_ 11
338
345
  nri 11
339
- ta 11
340
- yst 11
341
- _oe 11
342
- wn_ 11
346
+ es_ 11
343
347
  tr 11
344
- fo 11
345
- lla 10
346
- nyd 10
347
- yfr 10
348
348
  mra 10
349
- ud 10
350
- oga 10
351
- os 10
352
- di_ 10
353
- am_ 10
349
+ rwy 10
350
+ wrt 10
351
+ aeg 10
354
352
  wyr 10
355
- led 10
353
+ can 10
354
+ nyd 10
355
+ fod 10
356
+ gyf 10
357
+ pa 10
358
+ _tr 10
359
+ _ce 10
360
+ te 10
361
+ rei 10
362
+ ce 10
363
+ ysg 10
364
+ _ha 10
365
+ dai 10
356
366
  sy 10
357
- id_ 10
367
+ _dy 10
358
368
  yfe 10
359
- aeg 10
369
+ yfr 10
360
370
  wi 10
361
- can 10
362
- _we 10
363
- ysg 10
371
+ ch_ 10
364
372
  _ch 10
365
- _dy 10
366
- te 10
367
- fod 10
368
- bl 10
369
- _da 10
373
+ _we 10
374
+ lla 10
370
375
  dde 10
371
- _tr 10
372
- dai 10
373
- rei 10
376
+ ud 10
377
+ nh 10
378
+ bl 10
379
+ di_ 10
380
+ _br 9
381
+ hry 9
382
+ _an 9
383
+ wd 9
384
+ ynt 9
385
+ _me 9
386
+ fwy 9
374
387
  ec 9
388
+ fw 9
389
+ _ni 9
390
+ _bo 9
391
+ hin 9
392
+ ill 9
393
+ os 9
375
394
  og_ 9
376
- ch_ 9
377
- ddy 9
378
- rwy 9
395
+ ryf 9
396
+ en_ 9
379
397
  neu 9
380
- ill 9
381
- ti 9
382
- _ni 9
398
+ yda 9
383
399
  ur 9
384
- _an 9
385
- gor 9
386
400
  ddw 9
387
- ynn 9
388
- gyf 9
389
- ynt 9
390
- en_ 9
391
- yda 9
392
- _bo 9
393
- es_ 9
394
- wrt 9
395
- nh 9
396
- _me 9
397
- wd 9
398
- _br 9
399
- pa 9
400
- _ce 9