scylla 0.9.3 → 1.0.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- _ 9148
2
- e 3670
3
- r 2132
4
- n 2126
5
- t 1990
6
- s 1549
7
- i 1425
8
- o 1352
9
- a 1308
10
- l 1212
11
- d 1054
12
- g 1038
13
- e_ 889
14
- k 833
15
- m 728
16
- en 726
17
- er 705
18
- t_ 677
19
- r_ 659
20
- v 594
21
- de 566
22
- 540
23
- n_ 522
24
- _s 486
25
- f 439
26
- et 435
27
- te 422
28
- er_ 411
29
- p 400
30
- or 392
31
- en_ 389
1
+ _ 9272
2
+ e 3750
3
+ n 2156
4
+ r 2151
5
+ t 2028
6
+ s 1577
7
+ i 1441
8
+ o 1370
9
+ a 1334
10
+ l 1231
11
+ d 1078
12
+ g 1049
13
+ e_ 911
14
+ k 855
15
+ m 748
16
+ en 741
17
+ er 715
18
+ t_ 696
19
+ r_ 660
20
+ v 604
21
+ de 579
22
+ n_ 530
23
+ _s 502
24
+ et 443
25
+ f 441
26
+ te 433
27
+ er_ 416
28
+ p 405
29
+ or 396
30
+ en_ 395
32
31
  g_ 376
33
- re 354
34
- _o 352
35
- st 351
36
- _e 342
37
- _d 341
38
- u 339
39
- _i 337
40
- å 304
41
- 304
42
- et_ 303
43
- _a 298
44
- _f 292
45
- ge 281
46
- b 278
47
- _n 277
48
- h 277
49
- ne 276
50
- le 265
51
- i_ 262
52
- _de 260
53
- an 259
32
+ re 355
33
+ _o 355
34
+ st 354
35
+ _d 352
36
+ _e 346
37
+ u 345
38
+ _i 341
39
+ et_ 313
40
+ å 308
41
+ _a 304
42
+ _f 291
43
+ ge 285
44
+ b 285
45
+ ne 283
46
+ _n 279
47
+ h 278
48
+ le 277
49
+ _de 269
50
+ i_ 264
51
+ an 263
52
+ in 258
54
53
  og 253
55
- in 251
56
54
  _og 242
57
55
  _i_ 242
58
- ke 233
59
- no 232
60
- _t 225
61
- nd 223
62
- om 222
56
+ ke 240
57
+ no 237
58
+ nd 228
59
+ om 227
60
+ me 226
61
+ _t 224
63
62
  og_ 221
64
- me 220
65
- sk 208
66
- el 207
67
- _m 206
68
- _b 205
63
+ sk 214
64
+ _m 212
65
+ el 211
66
+ _b 209
67
+ _no 202
68
+ nor 200
69
69
  li 200
70
- _no 198
71
- nor 197
72
- ng 195
73
- ti 193
74
- ri 191
75
- _h 190
76
- av 189
77
- ig 183
78
- al 182
79
- se 182
80
- ar 178
81
- � 177
70
+ ng 199
71
+ av 195
72
+ ri 195
73
+ ti 194
74
+ se 191
75
+ _h 191
76
+ al 189
77
+ ig 186
78
+ m_ 180
79
+ j 179
80
+ ar 179
82
81
  ø 177
83
- _p 176
84
- m_ 176
85
- j 174
86
- ve 168
87
- v_ 167
88
- tt 163
89
- is 160
90
- es 158
91
- nn 158
92
- _av 156
93
- s_ 156
94
- ed 153
95
- av_ 149
96
- _k 148
97
- _v 147
82
+ _p 175
83
+ ve 171
84
+ v_ 170
85
+ tt 164
86
+ is 161
87
+ _av 161
88
+ es 160
89
+ s_ 158
90
+ ed 156
91
+ nn 156
92
+ av_ 152
93
+ _k 149
94
+ _v 148
95
+ om_ 147
98
96
  fo 147
99
- �_ 147
100
- å_ 147
101
- y 146
102
- il 145
103
- om_ 144
104
- te_ 140
105
- so 140
106
- d_ 139
107
- ta 138
108
- det 138
109
- den 137
110
- la 135
97
+ y 147
98
+ il 146
99
+ å_ 145
100
+ det 142
101
+ te_ 142
102
+ d_ 142
103
+ so 141
104
+ den 141
105
+ ta 139
106
+ la 137
107
+ at 133
108
+ ne_ 133
109
+ _r 133
110
+ de_ 131
111
+ _me 131
111
112
  l_ 131
112
- _r 131
113
- de_ 130
114
- at 130
115
- _me 129
116
- on 129
117
- ne_ 129
118
- rs 128
119
- ra 127
120
- _l 125
113
+ on 131
114
+ rs 130
115
+ ra 130
116
+ _l 127
117
+ nde 123
121
118
  nt 122
122
- nde 120
123
- ste 120
124
- _so 119
125
- som 118
119
+ _so 120
120
+ som 119
121
+ ste 119
122
+ ge_ 118
123
+ re_ 118
126
124
  ll 117
127
- re_ 117
128
- ge_ 116
125
+ ing 116
129
126
  ter 115
130
127
  un 115
131
- ar_ 114
132
- ing 113
128
+ rt 114
129
+ ke_ 113
130
+ ar_ 112
133
131
  rg 112
134
- ha 110
135
- and 109
136
- ke_ 108
137
- rt 108
138
- ol 106
139
- _er 106
140
- _ti 106
132
+ and 112
133
+ ha 111
134
+ ik 109
135
+ _ti 107
141
136
  org 106
137
+ ol 106
142
138
  ns 106
143
- _st 104
144
- ik 104
139
+ _er 106
140
+ _st 106
141
+ ene 106
142
+ k_ 105
143
+ _en 105
145
144
  _fo 104
146
- k_ 103
147
- _en 102
148
- ene 101
145
+ ni 102
146
+ lig 102
149
147
  for 101
150
- _ha 100
151
- lig 100
152
- ni 100
153
- nge 97
148
+ _ha 101
149
+ nge 100
154
150
  til 97
155
- lan 92
151
+ lan 94
152
+ ske 93
153
+ eg 92
154
+ _u 92
156
155
  tte 91
157
- p� 90
158
- på 90
159
- _p� 90
160
- eg 89
156
+ em 91
161
157
  rge 89
162
- ske 89
163
- _u 88
164
- em 85
158
+ 89
159
+ _på 89
160
+ på_ 86
161
+ tr 83
165
162
  sa 83
166
- _� 82
167
163
  ere 82
168
- tr 82
164
+ a_ 82
169
165
  pr 82
170
- a_ 81
171
- je 79
172
- ett 79
166
+ be 82
167
+ je 81
168
+ bl 80
173
169
  _g 79
174
- bl 79
175
- der 78
170
+ le_ 79
171
+ ett 78
176
172
  va 78
177
173
  il_ 77
178
- be 77
174
+ ko 77
179
175
  si 77
180
- id 77
181
- ko 74
182
- _bl 74
176
+ der 77
177
+ id 76
178
+ _bl 75
183
179
  lle 74
184
- le_ 73
185
- med 73
186
- _et 70
187
- ut 70
180
+ med 74
181
+ ut 73
182
+ ten 72
183
+ rsk 71
188
184
  gen 70
189
- ten 70
190
- _la 69
191
- har 69
192
- ts 69
193
- fr 68
194
- rsk 68
195
- _fr 68
196
- ors 68
197
- ng_ 68
198
- ver 67
199
- ent 67
200
- ed_ 67
201
- inn 66
202
- it 66
185
+ _la 70
186
+ ors 70
187
+ _et 70
188
+ fr 69
189
+ _fr 69
190
+ ed_ 69
191
+ ts 68
192
+ ent 68
193
+ ver 68
194
+ har 68
195
+ it 67
196
+ ng_ 67
197
+ men 66
198
+ kk 65
199
+ inn 65
203
200
  est 65
204
- r� 65
205
- kr 64
206
- men 63
207
- kk 63
208
- jo 63
209
- am 63
201
+ del 65
202
+ kr 65
203
+ to 64
204
+ lt 64
205
+ _in 64
206
+ jo 64
207
+ dr 63
208
+ am 62
210
209
  rig 62
211
- dr 62
212
- _in 62
213
- del 62
214
- lt 61
215
- to 61
216
- �r 60
217
- ør 60
218
- na 59
210
+ ro 60
211
+ na 60
212
+ mm 60
213
+ _be 59
219
214
  rd 59
220
- ro 59
221
- as 58
222
- kt 58
223
- vi 58
224
- ru 58
225
- sen 57
226
- _be 57
227
- mm 57
228
- år 56
229
- nt_ 56
230
- _å 56
231
- �r 56
232
- tal 56
215
+ kt 59
216
+ as 59
217
+ ør 59
218
+ vi 59
219
+ tal 58
220
+ sen 58
221
+ år 58
222
+ 58
223
+ ru 57
224
+ _ko 57
233
225
  mi 56
234
- _ko 55
235
- es_ 55
236
226
  nin 55
237
- ls 54
238
- pe 53
239
- sj 52
240
- ens 52
241
- di 52
242
- ma 52
243
- gs 52
244
- tt_ 52
245
- _al 52
246
- or_ 51
247
- 51
248
- _ri 51
227
+ es_ 55
228
+ ls 55
229
+ ble 55
230
+ ma 55
231
+ nt_ 55
232
+ gs 54
233
+ tt_ 53
234
+ sj 53
235
+ _al 53
236
+ di 53
237
+ or_ 52
238
+ pe 52
239
+ _ut 51
249
240
  æ 51
250
- ble 50
241
+ _ri 51
242
+ mme 51
243
+ _se 50
251
244
  sta 50
252
- �r 50
245
+ ner 50
246
+ rt_ 50
247
+ rå 50
253
248
  ær 50
249
+ ens 50
254
250
  all 49
255
- rt_ 49
256
- 49
257
- nne 49
258
- ner 48
251
+ ek 49
252
+ ikk 48
259
253
  ak 48
254
+ gn 48
260
255
  sp 48
261
- _ut 48
262
- s� 48
263
- mme 48
264
- lk 47
256
+ fra 48
257
+ gj 48
265
258
  _re 47
266
- ek 47
267
- fra 47
259
+ ra_ 47
260
+ nne 47
261
+ _sk 47
262
+ und 47
263
+ sjo 47
264
+ lk 47
265
+ sl 47
266
+ jon 47
268
267
  ler 46
269
- jon 46
270
- ov 46
271
- sl 46
272
- gn 46
273
- sjo 46
274
268
  ss 46
275
- gj 46
276
- ikk 46
277
- _sk 46
278
- ist 46
279
- und 46
280
- ra_ 46
281
- _ve 45
282
- gr 45
283
- ali 45
269
+ ger 46
270
+ ov 46
271
+ gh 46
272
+ _ve 46
284
273
  _va 45
285
274
  var 45
286
- gh 45
287
- ger 45
275
+ igh 45
276
+ ali 45
277
+ ist 45
278
+ kon 44
288
279
  rk 44
289
- igh 44
290
280
  fi 44
291
- ev 43
281
+ ert 44
282
+ op 44
283
+ os 43
292
284
  kri 43
293
- ren 43
294
- op 43
295
- kon 43
296
- _si 43
297
- _se 43
285
+ gr 43
286
+ ka 43
287
+ nte 43
288
+ ev 43
298
289
  sam 43
299
- os 43
290
+ _si 43
300
291
  fol 42
292
+ ld 42
293
+ ser 42
294
+ ks 42
301
295
  ds 42
302
- f� 42
303
- ka 42
304
296
  mer 42
305
- ld 41
306
297
  tat 41
307
- ell 41
308
- lo 41
298
+ ad 41
309
299
  end 41
310
- ert 41
311
- nte 40
312
- ks 40
313
- ige 40
314
- ign 40
300
+ ell 41
301
+ ige 41
302
+ lo 40
315
303
  one 40
316
- ad 40
317
- ie 40
304
+ ren 40
305
+ ign 40
306
+ pp 40
307
+ enn 40
308
+ olk 39
318
309
  ht 39
319
- gn_ 39
310
+ ndr 39
311
+ dre 39
312
+ ght 39
320
313
  ht_ 39
314
+ _sa 39
315
+ ie 39
316
+ ret 39
321
317
  ord 39
322
- olk 39
323
- ser 39
324
- ght 39
325
- enn 39
326
- pp 39
327
- ret 38
328
- ndr 38
329
- he 38
318
+ he 39
319
+ gn_ 39
330
320
  po 38
331
- dre 38
332
- ty 37
333
- lit 37
334
- isk 37
321
+ ty 38
322
+ lit 38
323
+ kke 38
324
+ lt_ 38
325
+ rte 37
335
326
  dl 37
336
- _sa 37
337
- tet 36
327
+ els 37
328
+ isk 37
329
+ st_ 36
330
+ fa 36
338
331
  _pr 36
339
- kke 36
340
- gi 36
341
- lt_ 36
342
332
  ei 36
343
- els 36
344
- sk_ 35
345
- st_ 35
346
- _an 35
347
- t� 35
348
- fa 35
333
+ sk_ 36
334
+ tet 36
335
+ gi 36
336
+ rin 35
337
+ _om 35
338
+ ku 35
339
+ jen 35
340
+ _år 35
341
+ _an 34
349
342
  gg 34
350
- ku 34
351
- _ta 34
343
+ _tr 34
352
344
  ede 34
353
- _om 34
354
- fø 34
345
+ let 34
355
346
  ur 34
356
- _tr 34
347
+ eri 34
348
+ len 33
349
+ _un 33
350
+ fø 33
357
351
  ang 33
358
- nn_ 33
359
- rin 33
360
- ide 33
361
352
  ef 33
362
- rte 33
363
- let 33
364
- jen 33
365
- _f� 33
353
+ nn_ 33
354
+ us 33
355
+ ig_ 33
356
+ _ta 33
357
+ da 33
358
+ ove 33
359
+ ga 33
360
+ asj 33
361
+ ide 32
362
+ ong 32
363
+ sto 32
364
+ reg 32
366
365
  ag 32
367
- ga 32
368
- da 32
369
- ove 32
370
- _un 32
371
- us 32
372
- ig_ 32
373
- asj 32
374
- eri 31
375
- ong 31
376
- v� 31
377
366
  iv 31
378
- sto 31
379
- reg 31
380
- ho 30
381
- rm 30
382
- att 30
383
- len 30
367
+ o_ 31
368
+ ale 31
384
369
  ns_ 30
385
- gje 29
386
- tre 29
370
+ att 30
371
+ tre 30
372
+ _da 30
373
+ gje 30
374
+ ho 30
375
+ åk 30
387
376
  spr 29
388
- o_ 29
389
- �d 29
390
377
  åd 29
391
- _da 29
392
- �k 28
393
- ul 28
394
- åk 28
395
- ale 28
378
+ opp 29
379
+ rm 29
380
+ se_ 29
381
+ str 28
382
+ ket 28
383
+ ft 28
384
+ gan 28
396
385
  tid 28
386
+ ul 28
387
+ tor 28
397
388
  ros 28
398
- ket 28
399
- opp 28
400
- str 28
389
+ ele 28
390
+ prå 27
391
+ _ma 27
392
+ _gj 27
393
+ br 27
394
+ så 27
395
+ tu 27
396
+ dle 27
397
+ lse 27
398
+ lke 27
399
+ ker 27
400
+ råk 27