scylla 0.9.3 → 1.0.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- _ 9148
2
- e 3670
3
- r 2132
4
- n 2126
5
- t 1990
6
- s 1549
7
- i 1425
8
- o 1352
9
- a 1308
10
- l 1212
11
- d 1054
12
- g 1038
13
- e_ 889
14
- k 833
15
- m 728
16
- en 726
17
- er 705
18
- t_ 677
19
- r_ 659
20
- v 594
21
- de 566
22
- 540
23
- n_ 522
24
- _s 486
25
- f 439
26
- et 435
27
- te 422
28
- er_ 411
29
- p 400
30
- or 392
31
- en_ 389
1
+ _ 9272
2
+ e 3750
3
+ n 2156
4
+ r 2151
5
+ t 2028
6
+ s 1577
7
+ i 1441
8
+ o 1370
9
+ a 1334
10
+ l 1231
11
+ d 1078
12
+ g 1049
13
+ e_ 911
14
+ k 855
15
+ m 748
16
+ en 741
17
+ er 715
18
+ t_ 696
19
+ r_ 660
20
+ v 604
21
+ de 579
22
+ n_ 530
23
+ _s 502
24
+ et 443
25
+ f 441
26
+ te 433
27
+ er_ 416
28
+ p 405
29
+ or 396
30
+ en_ 395
32
31
  g_ 376
33
- re 354
34
- _o 352
35
- st 351
36
- _e 342
37
- _d 341
38
- u 339
39
- _i 337
40
- å 304
41
- 304
42
- et_ 303
43
- _a 298
44
- _f 292
45
- ge 281
46
- b 278
47
- _n 277
48
- h 277
49
- ne 276
50
- le 265
51
- i_ 262
52
- _de 260
53
- an 259
32
+ re 355
33
+ _o 355
34
+ st 354
35
+ _d 352
36
+ _e 346
37
+ u 345
38
+ _i 341
39
+ et_ 313
40
+ å 308
41
+ _a 304
42
+ _f 291
43
+ ge 285
44
+ b 285
45
+ ne 283
46
+ _n 279
47
+ h 278
48
+ le 277
49
+ _de 269
50
+ i_ 264
51
+ an 263
52
+ in 258
54
53
  og 253
55
- in 251
56
54
  _og 242
57
55
  _i_ 242
58
- ke 233
59
- no 232
60
- _t 225
61
- nd 223
62
- om 222
56
+ ke 240
57
+ no 237
58
+ nd 228
59
+ om 227
60
+ me 226
61
+ _t 224
63
62
  og_ 221
64
- me 220
65
- sk 208
66
- el 207
67
- _m 206
68
- _b 205
63
+ sk 214
64
+ _m 212
65
+ el 211
66
+ _b 209
67
+ _no 202
68
+ nor 200
69
69
  li 200
70
- _no 198
71
- nor 197
72
- ng 195
73
- ti 193
74
- ri 191
75
- _h 190
76
- av 189
77
- ig 183
78
- al 182
79
- se 182
80
- ar 178
81
- � 177
70
+ ng 199
71
+ av 195
72
+ ri 195
73
+ ti 194
74
+ se 191
75
+ _h 191
76
+ al 189
77
+ ig 186
78
+ m_ 180
79
+ j 179
80
+ ar 179
82
81
  ø 177
83
- _p 176
84
- m_ 176
85
- j 174
86
- ve 168
87
- v_ 167
88
- tt 163
89
- is 160
90
- es 158
91
- nn 158
92
- _av 156
93
- s_ 156
94
- ed 153
95
- av_ 149
96
- _k 148
97
- _v 147
82
+ _p 175
83
+ ve 171
84
+ v_ 170
85
+ tt 164
86
+ is 161
87
+ _av 161
88
+ es 160
89
+ s_ 158
90
+ ed 156
91
+ nn 156
92
+ av_ 152
93
+ _k 149
94
+ _v 148
95
+ om_ 147
98
96
  fo 147
99
- �_ 147
100
- å_ 147
101
- y 146
102
- il 145
103
- om_ 144
104
- te_ 140
105
- so 140
106
- d_ 139
107
- ta 138
108
- det 138
109
- den 137
110
- la 135
97
+ y 147
98
+ il 146
99
+ å_ 145
100
+ det 142
101
+ te_ 142
102
+ d_ 142
103
+ so 141
104
+ den 141
105
+ ta 139
106
+ la 137
107
+ at 133
108
+ ne_ 133
109
+ _r 133
110
+ de_ 131
111
+ _me 131
111
112
  l_ 131
112
- _r 131
113
- de_ 130
114
- at 130
115
- _me 129
116
- on 129
117
- ne_ 129
118
- rs 128
119
- ra 127
120
- _l 125
113
+ on 131
114
+ rs 130
115
+ ra 130
116
+ _l 127
117
+ nde 123
121
118
  nt 122
122
- nde 120
123
- ste 120
124
- _so 119
125
- som 118
119
+ _so 120
120
+ som 119
121
+ ste 119
122
+ ge_ 118
123
+ re_ 118
126
124
  ll 117
127
- re_ 117
128
- ge_ 116
125
+ ing 116
129
126
  ter 115
130
127
  un 115
131
- ar_ 114
132
- ing 113
128
+ rt 114
129
+ ke_ 113
130
+ ar_ 112
133
131
  rg 112
134
- ha 110
135
- and 109
136
- ke_ 108
137
- rt 108
138
- ol 106
139
- _er 106
140
- _ti 106
132
+ and 112
133
+ ha 111
134
+ ik 109
135
+ _ti 107
141
136
  org 106
137
+ ol 106
142
138
  ns 106
143
- _st 104
144
- ik 104
139
+ _er 106
140
+ _st 106
141
+ ene 106
142
+ k_ 105
143
+ _en 105
145
144
  _fo 104
146
- k_ 103
147
- _en 102
148
- ene 101
145
+ ni 102
146
+ lig 102
149
147
  for 101
150
- _ha 100
151
- lig 100
152
- ni 100
153
- nge 97
148
+ _ha 101
149
+ nge 100
154
150
  til 97
155
- lan 92
151
+ lan 94
152
+ ske 93
153
+ eg 92
154
+ _u 92
156
155
  tte 91
157
- p� 90
158
- på 90
159
- _p� 90
160
- eg 89
156
+ em 91
161
157
  rge 89
162
- ske 89
163
- _u 88
164
- em 85
158
+ 89
159
+ _på 89
160
+ på_ 86
161
+ tr 83
165
162
  sa 83
166
- _� 82
167
163
  ere 82
168
- tr 82
164
+ a_ 82
169
165
  pr 82
170
- a_ 81
171
- je 79
172
- ett 79
166
+ be 82
167
+ je 81
168
+ bl 80
173
169
  _g 79
174
- bl 79
175
- der 78
170
+ le_ 79
171
+ ett 78
176
172
  va 78
177
173
  il_ 77
178
- be 77
174
+ ko 77
179
175
  si 77
180
- id 77
181
- ko 74
182
- _bl 74
176
+ der 77
177
+ id 76
178
+ _bl 75
183
179
  lle 74
184
- le_ 73
185
- med 73
186
- _et 70
187
- ut 70
180
+ med 74
181
+ ut 73
182
+ ten 72
183
+ rsk 71
188
184
  gen 70
189
- ten 70
190
- _la 69
191
- har 69
192
- ts 69
193
- fr 68
194
- rsk 68
195
- _fr 68
196
- ors 68
197
- ng_ 68
198
- ver 67
199
- ent 67
200
- ed_ 67
201
- inn 66
202
- it 66
185
+ _la 70
186
+ ors 70
187
+ _et 70
188
+ fr 69
189
+ _fr 69
190
+ ed_ 69
191
+ ts 68
192
+ ent 68
193
+ ver 68
194
+ har 68
195
+ it 67
196
+ ng_ 67
197
+ men 66
198
+ kk 65
199
+ inn 65
203
200
  est 65
204
- r� 65
205
- kr 64
206
- men 63
207
- kk 63
208
- jo 63
209
- am 63
201
+ del 65
202
+ kr 65
203
+ to 64
204
+ lt 64
205
+ _in 64
206
+ jo 64
207
+ dr 63
208
+ am 62
210
209
  rig 62
211
- dr 62
212
- _in 62
213
- del 62
214
- lt 61
215
- to 61
216
- �r 60
217
- ør 60
218
- na 59
210
+ ro 60
211
+ na 60
212
+ mm 60
213
+ _be 59
219
214
  rd 59
220
- ro 59
221
- as 58
222
- kt 58
223
- vi 58
224
- ru 58
225
- sen 57
226
- _be 57
227
- mm 57
228
- år 56
229
- nt_ 56
230
- _å 56
231
- �r 56
232
- tal 56
215
+ kt 59
216
+ as 59
217
+ ør 59
218
+ vi 59
219
+ tal 58
220
+ sen 58
221
+ år 58
222
+ 58
223
+ ru 57
224
+ _ko 57
233
225
  mi 56
234
- _ko 55
235
- es_ 55
236
226
  nin 55
237
- ls 54
238
- pe 53
239
- sj 52
240
- ens 52
241
- di 52
242
- ma 52
243
- gs 52
244
- tt_ 52
245
- _al 52
246
- or_ 51
247
- 51
248
- _ri 51
227
+ es_ 55
228
+ ls 55
229
+ ble 55
230
+ ma 55
231
+ nt_ 55
232
+ gs 54
233
+ tt_ 53
234
+ sj 53
235
+ _al 53
236
+ di 53
237
+ or_ 52
238
+ pe 52
239
+ _ut 51
249
240
  æ 51
250
- ble 50
241
+ _ri 51
242
+ mme 51
243
+ _se 50
251
244
  sta 50
252
- �r 50
245
+ ner 50
246
+ rt_ 50
247
+ rå 50
253
248
  ær 50
249
+ ens 50
254
250
  all 49
255
- rt_ 49
256
- 49
257
- nne 49
258
- ner 48
251
+ ek 49
252
+ ikk 48
259
253
  ak 48
254
+ gn 48
260
255
  sp 48
261
- _ut 48
262
- s� 48
263
- mme 48
264
- lk 47
256
+ fra 48
257
+ gj 48
265
258
  _re 47
266
- ek 47
267
- fra 47
259
+ ra_ 47
260
+ nne 47
261
+ _sk 47
262
+ und 47
263
+ sjo 47
264
+ lk 47
265
+ sl 47
266
+ jon 47
268
267
  ler 46
269
- jon 46
270
- ov 46
271
- sl 46
272
- gn 46
273
- sjo 46
274
268
  ss 46
275
- gj 46
276
- ikk 46
277
- _sk 46
278
- ist 46
279
- und 46
280
- ra_ 46
281
- _ve 45
282
- gr 45
283
- ali 45
269
+ ger 46
270
+ ov 46
271
+ gh 46
272
+ _ve 46
284
273
  _va 45
285
274
  var 45
286
- gh 45
287
- ger 45
275
+ igh 45
276
+ ali 45
277
+ ist 45
278
+ kon 44
288
279
  rk 44
289
- igh 44
290
280
  fi 44
291
- ev 43
281
+ ert 44
282
+ op 44
283
+ os 43
292
284
  kri 43
293
- ren 43
294
- op 43
295
- kon 43
296
- _si 43
297
- _se 43
285
+ gr 43
286
+ ka 43
287
+ nte 43
288
+ ev 43
298
289
  sam 43
299
- os 43
290
+ _si 43
300
291
  fol 42
292
+ ld 42
293
+ ser 42
294
+ ks 42
301
295
  ds 42
302
- f� 42
303
- ka 42
304
296
  mer 42
305
- ld 41
306
297
  tat 41
307
- ell 41
308
- lo 41
298
+ ad 41
309
299
  end 41
310
- ert 41
311
- nte 40
312
- ks 40
313
- ige 40
314
- ign 40
300
+ ell 41
301
+ ige 41
302
+ lo 40
315
303
  one 40
316
- ad 40
317
- ie 40
304
+ ren 40
305
+ ign 40
306
+ pp 40
307
+ enn 40
308
+ olk 39
318
309
  ht 39
319
- gn_ 39
310
+ ndr 39
311
+ dre 39
312
+ ght 39
320
313
  ht_ 39
314
+ _sa 39
315
+ ie 39
316
+ ret 39
321
317
  ord 39
322
- olk 39
323
- ser 39
324
- ght 39
325
- enn 39
326
- pp 39
327
- ret 38
328
- ndr 38
329
- he 38
318
+ he 39
319
+ gn_ 39
330
320
  po 38
331
- dre 38
332
- ty 37
333
- lit 37
334
- isk 37
321
+ ty 38
322
+ lit 38
323
+ kke 38
324
+ lt_ 38
325
+ rte 37
335
326
  dl 37
336
- _sa 37
337
- tet 36
327
+ els 37
328
+ isk 37
329
+ st_ 36
330
+ fa 36
338
331
  _pr 36
339
- kke 36
340
- gi 36
341
- lt_ 36
342
332
  ei 36
343
- els 36
344
- sk_ 35
345
- st_ 35
346
- _an 35
347
- t� 35
348
- fa 35
333
+ sk_ 36
334
+ tet 36
335
+ gi 36
336
+ rin 35
337
+ _om 35
338
+ ku 35
339
+ jen 35
340
+ _år 35
341
+ _an 34
349
342
  gg 34
350
- ku 34
351
- _ta 34
343
+ _tr 34
352
344
  ede 34
353
- _om 34
354
- fø 34
345
+ let 34
355
346
  ur 34
356
- _tr 34
347
+ eri 34
348
+ len 33
349
+ _un 33
350
+ fø 33
357
351
  ang 33
358
- nn_ 33
359
- rin 33
360
- ide 33
361
352
  ef 33
362
- rte 33
363
- let 33
364
- jen 33
365
- _f� 33
353
+ nn_ 33
354
+ us 33
355
+ ig_ 33
356
+ _ta 33
357
+ da 33
358
+ ove 33
359
+ ga 33
360
+ asj 33
361
+ ide 32
362
+ ong 32
363
+ sto 32
364
+ reg 32
366
365
  ag 32
367
- ga 32
368
- da 32
369
- ove 32
370
- _un 32
371
- us 32
372
- ig_ 32
373
- asj 32
374
- eri 31
375
- ong 31
376
- v� 31
377
366
  iv 31
378
- sto 31
379
- reg 31
380
- ho 30
381
- rm 30
382
- att 30
383
- len 30
367
+ o_ 31
368
+ ale 31
384
369
  ns_ 30
385
- gje 29
386
- tre 29
370
+ att 30
371
+ tre 30
372
+ _da 30
373
+ gje 30
374
+ ho 30
375
+ åk 30
387
376
  spr 29
388
- o_ 29
389
- �d 29
390
377
  åd 29
391
- _da 29
392
- �k 28
393
- ul 28
394
- åk 28
395
- ale 28
378
+ opp 29
379
+ rm 29
380
+ se_ 29
381
+ str 28
382
+ ket 28
383
+ ft 28
384
+ gan 28
396
385
  tid 28
386
+ ul 28
387
+ tor 28
397
388
  ros 28
398
- ket 28
399
- opp 28
400
- str 28
389
+ ele 28
390
+ prå 27
391
+ _ma 27
392
+ _gj 27
393
+ br 27
394
+ så 27
395
+ tu 27
396
+ dle 27
397
+ lse 27
398
+ lke 27
399
+ ker 27
400
+ råk 27