scylla 0.9.3 → 1.0.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- _ 3242
2
- d 798
3
- y 712
4
- a 623
5
- n 573
6
- e 559
7
- r 548
8
- i 469
9
- o 405
10
- l 361
11
- w 306
12
- g 302
13
- d_ 271
14
- _y 258
15
- n_ 245
16
- h 239
17
- dd 221
18
- c 212
19
- f 209
20
- m 195
21
- s 182
22
- u 179
23
- t 175
24
- r_ 174
25
- _a 168
26
- yn 167
27
- _c 156
28
- _g 143
29
- y_ 123
30
- u_ 121
31
- wy 119
32
- yn_ 118
33
- yd 117
1
+ _ 3298
2
+ d 809
3
+ y 721
4
+ a 645
5
+ n 584
6
+ e 566
7
+ r 555
8
+ i 474
9
+ o 408
10
+ l 363
11
+ w 312
12
+ g 308
13
+ d_ 273
14
+ _y 260
15
+ h 256
16
+ n_ 250
17
+ dd 225
18
+ c 217
19
+ f 211
20
+ m 199
21
+ s 184
22
+ t 183
23
+ u 182
24
+ r_ 175
25
+ _a 170
26
+ yn 166
27
+ _c 158
28
+ _g 147
29
+ y_ 125
30
+ u_ 124
31
+ wy 121
32
+ yd 119
33
+ yn_ 117
34
+ ym 116
34
35
  dd_ 115
35
- ym 114
36
- ed 108
37
- _r 106
36
+ _r 109
37
+ ed 106
38
+ an 102
38
39
  i_ 101
39
40
  l_ 100
40
- _yn 100
41
- an 97
42
- _d 93
43
- _o 92
44
- _y_ 92
45
- _cy 89
46
- cy 89
47
- ae 87
48
- b 86
49
- th 86
50
- di 81
51
- od 79
52
- a_ 77
53
- ymr 75
54
- mr 75
55
- ad 72
41
+ _yn 99
42
+ _d 96
43
+ _y_ 94
44
+ _o 93
45
+ th 93
46
+ ae 93
47
+ _cy 90
48
+ cy 90
49
+ b 87
50
+ di 82
51
+ od 80
52
+ a_ 78
53
+ mr 77
54
+ ymr 77
55
+ ad 76
56
+ h_ 73
57
+ ia 73
56
58
  ll 71
57
- ia 71
58
- edd 68
59
- g_ 67
59
+ edd 69
60
+ _a_ 67
60
61
  oe 67
61
- _a_ 66
62
- h_ 65
63
- cym 64
64
- _r_ 63
62
+ g_ 66
63
+ cym 66
64
+ _r_ 64
65
+ th_ 63
65
66
  ai 63
67
+ _i 63
66
68
  ol 62
67
- _i 62
69
+ o_ 61
68
70
  en 61
69
- o_ 60
71
+ ga 61
70
72
  ar 59
71
73
  _s 58
72
- _e 57
73
- th_ 56
74
- _f 55
75
- _n 55
76
- wyd 54
77
- ei 54
78
- ga 53
79
- _w 52
80
- er 50
81
- _h 50
74
+ _e 58
75
+ _n 56
76
+ _f 56
77
+ wyd 56
78
+ ei 55
79
+ et 55
80
+ eth 55
81
+ _w 53
82
+ la 52
83
+ _h 52
84
+ aet 52
82
85
  in 50
83
- la 50
84
- et 49
85
- eth 49
86
+ er 50
87
+ ru 48
88
+ ru_ 48
86
89
  ol_ 48
87
- re 48
88
- aet 47
89
- ni 47
90
90
  ra 47
91
- yd_ 46
91
+ mru 47
92
+ ydd 47
93
+ yd_ 47
92
94
  _o_ 46
93
- ru 46
94
- ru_ 46
95
- ydd 46
96
- mru 45
97
- we 45
95
+ ni 46
96
+ re 44
97
+ gy 44
98
+ _m 44
99
+ fe 44
100
+ ha 44
101
+ an_ 44
102
+ _ga 44
103
+ we 44
98
104
  el 44
105
+ _i_ 43
106
+ _b 43
99
107
  ys 43
100
- gy 43
101
- _m 43
102
- fe 43
108
+ ro 43
103
109
  oed 43
104
- _b 43
105
110
  on 43
106
- ro 43
107
- _i_ 43
111
+ da 42
108
112
  ad_ 42
109
- ha 41
110
- do 41
111
113
  ri 41
112
- an_ 40
113
- da 40
114
+ do 41
114
115
  ry 40
116
+ de 40
117
+ ddi 40
118
+ odd 40
119
+ ch 40
115
120
  _l 39
116
- de 39
117
- odd 39
118
121
  og 38
119
122
  au 38
120
- ch 38
121
- ddi 38
122
- _ga 38
123
123
  au_ 38
124
- id 37
124
+ gw 37
125
+ m_ 37
125
126
  le 37
126
- gw 36
127
+ si 37
128
+ ne 36
129
+ id 36
127
130
  yf 36
128
- m_ 35
129
- si 35
131
+ lo 35
132
+ yr 35
130
133
  no 34
131
- yr 34
132
- ne 34
133
- lo 34
134
134
  f_ 34
135
- w_ 32
136
- _gw 32
135
+ _gw 33
136
+ yw 33
137
+ p 33
138
+ rh 32
139
+ nn 32
140
+ e_ 32
137
141
  _t 32
138
- yw 31
139
- _ll 31
140
- e_ 31
141
- _ar 31
142
- rh 31
142
+ _gy 32
143
+ he 32
144
+ w_ 32
145
+ gan 32
143
146
  eg 31
144
- p 31
145
- _gy 31
146
- io 30
147
+ _ar 31
148
+ es 31
149
+ _ll 31
150
+ io 31
147
151
  ir 30
148
152
  nd 30
149
- na 29
150
153
  go 29
151
- he 29
152
- dw 29
153
- hy 29
154
- if 28
155
- es 28
154
+ na 29
155
+ s_ 29
156
156
  ef 28
157
- nn 28
158
- gan 28
159
- yr_ 27
160
- in_ 27
161
- _dd 27
162
- s_ 27
157
+ hy 28
158
+ if 28
159
+ _dd 28
160
+ _rh 28
163
161
  ng 27
164
- ma 26
162
+ in_ 27
163
+ dw 27
164
+ yr_ 27
165
+ ma 27
166
+ lad 26
165
167
  ig 26
166
168
  gr 26
167
- _rh 26
168
169
  fy 26
169
- st 25
170
- ac 25
171
- _si 25
172
- lad 25
170
+ _si 26
171
+ ac 26
173
172
  _ym 25
174
- wn 24
175
- ca 24
176
- rif 24
173
+ st 25
174
+ dy 24
177
175
  roe 24
176
+ wl 24
177
+ rif 24
178
+ wn 24
179
+ ddo 23
180
+ ca 23
178
181
  ar_ 23
179
- dy 23
182
+ af 23
180
183
  iad 23
181
- wl 23
182
- eu 23
183
- ew 23
184
- ddo 23
185
184
  un 23
186
- af 23
187
- idd 22
185
+ _ma 23
186
+ _p 22
187
+ eu 22
188
188
  sg 22
189
189
  er_ 22
190
190
  iw 22
191
- _ma 21
191
+ c_ 22
192
+ wed 21
192
193
  nw 21
194
+ wla 21
193
195
  nd_ 21
194
- c_ 21
195
- wed 21
196
- _fe 20
197
- _p 20
198
- ig_ 20
199
- wla 20
196
+ _ac 20
197
+ wr 20
198
+ idd 20
199
+ ew 20
200
+ ac_ 20
200
201
  so 20
201
- ond 19
202
- _de 19
203
- _on 19
202
+ ig_ 20
203
+ _fe 20
204
+ _de 20
205
+ is 19
204
206
  _yr 19
205
- il 19
206
- _ac 19
207
- lw 19
207
+ aw 19
208
208
  al 19
209
- _er 19
210
- _cr 19
211
- cr 19
212
- is 19
213
- ac_ 19
214
- wr 19
215
209
  or 19
210
+ cr 19
211
+ _er 19
216
212
  hr 19
217
- _u 18
218
- it 18
219
- li 18
220
- _ca 18
221
- aw 18
213
+ il 19
214
+ ond 19
215
+ _on 19
216
+ _cr 19
217
+ by 19
222
218
  _go 18
223
- fa 18
224
- rha 18
225
219
  od_ 18
226
- by 18
227
- fr 18
228
- _he 18
229
220
  nt 18
230
- _ne 18
231
- _di 18
221
+ rha 18
232
222
  el_ 18
233
- se 17
234
- sir 17
235
- ny 17
223
+ _u 18
224
+ _ca 18
225
+ it 18
226
+ _di 18
227
+ _he 18
228
+ fr 18
229
+ lw 18
230
+ fa 18
231
+ _ne 18
236
232
  efy 17
237
233
  ir_ 17
234
+ sir 17
235
+ hi 17
236
+ am 17
237
+ fel 17
238
238
  loe 17
239
- on_ 17
239
+ ny 17
240
240
  dia 17
241
- fel 17
242
- aid 16
241
+ on_ 17
242
+ li 17
243
+ fyd 16
243
244
  yl 16
245
+ ai_ 16
246
+ ith 16
244
247
  ff 16
245
- diw 16
246
- hi 16
247
248
  dwy 16
248
- fyd 16
249
249
  ain 16
250
- ith 16
250
+ gl 16
251
251
  _wl 16
252
+ diw 16
252
253
  dol 16
254
+ eu_ 16
255
+ se 16
256
+ nr 15
257
+ rae 15
258
+ rw 15
253
259
  eg_ 15
254
260
  ty 15
255
- rae 15
261
+ han 15
262
+ lle 15
256
263
  _hy 15
257
- t_ 15
258
- nr 15
264
+ wys 15
265
+ _am 15
259
266
  anr 15
260
- ng_ 15
267
+ t_ 15
268
+ aid 15
269
+ yw_ 15
261
270
  dod 15
262
- eu_ 15
263
- am 15
264
- lle 15
265
- gl 15
266
- _am 15
267
- wys 15
268
- lwy 15
269
- � 15
270
- ai_ 15
271
271
  dr 14
272
- mry 14
273
- _un 14
274
- rd 14
275
- han 14
276
- rw 14
277
- if_ 14
272
+ gym 14
273
+ lwy 14
278
274
  nia 14
279
- ho 14
275
+ ae_ 14
280
276
  nwy 14
277
+ if_ 14
278
+ hw 14
279
+ mry 14
280
+ gae 14
281
+ ho 14
282
+ ly 14
281
283
  ym_ 14
284
+ ng_ 14
285
+ rd 14
286
+ mae 14
287
+ _un 14
282
288
  dl 14
283
- yw_ 14
284
- gym 14
285
- hw 13
286
- af_ 13
287
- _ei 13
288
- nol 13
289
289
  sia 13
290
- ae_ 13
291
- gae 13
292
290
  _se 13
291
+ ann 13
292
+ rth 13
293
+ nol 13
294
+ wyn 13
295
+ af_ 13
293
296
  llo 13
294
- mae 13
297
+ iae 13
298
+ rt 13
295
299
  bo 13
296
- ly 13
297
- rth 12
298
- rai 12
299
- me 12
300
- ll_ 12
301
- ann 12
302
- _ge 12
303
- nt_ 12
304
- eit 12
300
+ _ei 13
301
+ enw 12
302
+ ei_ 12
303
+ am_ 12
304
+ ryd 12
305
+ egr 12
305
306
  ywy 12
306
- ge 12
307
307
  _ys 12
308
+ nt_ 12
308
309
  ry_ 12
309
- egr 12
310
+ ll_ 12
310
311
  ob 12
311
- ei_ 12
312
- ryd 12
313
- rt 12
314
- enw 12
315
- oeg 12
316
- cyf 12
312
+ me 12
313
+ wa 12
317
314
  fi 12
315
+ gr_ 12
316
+ iai 12
317
+ ynn 12
318
+ _n_ 12
318
319
  du 12
320
+ rai 12
319
321
  gwe 12
320
- wyn 12
321
- wa 12
322
- iai 12
323
- gr_ 12
324
- _� 11
325
- ed_ 11
326
- _ty 11
327
- _n_ 11
322
+ _da 12
323
+ oeg 12
324
+ eit 12
325
+ _oe 11
326
+ wn_ 11
327
+ cyf 11
328
+ id_ 11
329
+ fo 11
328
330
  yll 11
329
- hyn 11
331
+ edi 11
332
+ br 11
330
333
  _ro 11
334
+ byn 11
335
+ yst 11
336
+ _ty 11
337
+ ta 11
338
+ yso 11
331
339
  sog 11
340
+ oga 11
341
+ led 11
332
342
  ren 11
333
- yso 11
334
- byn 11
335
- edi 11
336
- iae 11
337
- br 11
343
+ hyn 11
344
+ ed_ 11
338
345
  nri 11
339
- ta 11
340
- yst 11
341
- _oe 11
342
- wn_ 11
346
+ es_ 11
343
347
  tr 11
344
- fo 11
345
- lla 10
346
- nyd 10
347
- yfr 10
348
348
  mra 10
349
- ud 10
350
- oga 10
351
- os 10
352
- di_ 10
353
- am_ 10
349
+ rwy 10
350
+ wrt 10
351
+ aeg 10
354
352
  wyr 10
355
- led 10
353
+ can 10
354
+ nyd 10
355
+ fod 10
356
+ gyf 10
357
+ pa 10
358
+ _tr 10
359
+ _ce 10
360
+ te 10
361
+ rei 10
362
+ ce 10
363
+ ysg 10
364
+ _ha 10
365
+ dai 10
356
366
  sy 10
357
- id_ 10
367
+ _dy 10
358
368
  yfe 10
359
- aeg 10
369
+ yfr 10
360
370
  wi 10
361
- can 10
362
- _we 10
363
- ysg 10
371
+ ch_ 10
364
372
  _ch 10
365
- _dy 10
366
- te 10
367
- fod 10
368
- bl 10
369
- _da 10
373
+ _we 10
374
+ lla 10
370
375
  dde 10
371
- _tr 10
372
- dai 10
373
- rei 10
376
+ ud 10
377
+ nh 10
378
+ bl 10
379
+ di_ 10
380
+ _br 9
381
+ hry 9
382
+ _an 9
383
+ wd 9
384
+ ynt 9
385
+ _me 9
386
+ fwy 9
374
387
  ec 9
388
+ fw 9
389
+ _ni 9
390
+ _bo 9
391
+ hin 9
392
+ ill 9
393
+ os 9
375
394
  og_ 9
376
- ch_ 9
377
- ddy 9
378
- rwy 9
395
+ ryf 9
396
+ en_ 9
379
397
  neu 9
380
- ill 9
381
- ti 9
382
- _ni 9
398
+ yda 9
383
399
  ur 9
384
- _an 9
385
- gor 9
386
400
  ddw 9
387
- ynn 9
388
- gyf 9
389
- ynt 9
390
- en_ 9
391
- yda 9
392
- _bo 9
393
- es_ 9
394
- wrt 9
395
- nh 9
396
- _me 9
397
- wd 9
398
- _br 9
399
- pa 9
400
- _ce 9