scylla 0.5.0 → 0.6.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (58) hide show
  1. data/Gemfile +4 -2
  2. data/Gemfile.lock +16 -1
  3. data/lib/scylla/classifier.rb +1 -1
  4. data/lib/scylla/generator.rb +16 -4
  5. data/lib/scylla/lms/afrikaans.lm +232 -232
  6. data/lib/scylla/lms/arabic.lm +175 -175
  7. data/lib/scylla/lms/bulgarian.lm +225 -225
  8. data/lib/scylla/lms/catalan.lm +309 -309
  9. data/lib/scylla/lms/danish.lm +167 -167
  10. data/lib/scylla/lms/english.lm +398 -398
  11. data/lib/scylla/lms/finnish.lm +237 -237
  12. data/lib/scylla/lms/french.lm +148 -148
  13. data/lib/scylla/lms/german.lm +258 -258
  14. data/lib/scylla/lms/greek.lm +236 -236
  15. data/lib/scylla/lms/hebrew.lm +154 -154
  16. data/lib/scylla/lms/hindi.lm +139 -139
  17. data/lib/scylla/lms/icelandic.lm +239 -239
  18. data/lib/scylla/lms/indonesian.lm +244 -244
  19. data/lib/scylla/lms/italian.lm +248 -248
  20. data/lib/scylla/lms/japanese.lm +90 -90
  21. data/lib/scylla/lms/korean.lm +306 -306
  22. data/lib/scylla/lms/norwegian.lm +193 -193
  23. data/lib/scylla/lms/polish.lm +241 -241
  24. data/lib/scylla/lms/portuguese.lm +232 -232
  25. data/lib/scylla/lms/romanian.lm +246 -246
  26. data/lib/scylla/lms/slovak.lm +242 -242
  27. data/lib/scylla/lms/slovenian.lm +229 -229
  28. data/lib/scylla/lms/spanish.lm +164 -164
  29. data/lib/scylla/lms/swedish.lm +157 -157
  30. data/lib/scylla/lms/tagalog.lm +247 -247
  31. data/lib/scylla/lms/thai.lm +252 -252
  32. data/lib/scylla/lms/turkish.lm +285 -285
  33. data/lib/scylla/lms/vietnamese.lm +250 -250
  34. data/lib/scylla/lms/welsh.lm +248 -248
  35. data/lib/scylla/resources.rb +1 -9
  36. data/lib/scylla.rb +4 -0
  37. data/scylla.gemspec +2 -120
  38. data/source_texts/english.txt +62 -27
  39. data/test/classifier_test.rb +1 -3
  40. data/test/fixtures/lms/danish.lm +173 -173
  41. data/test/fixtures/lms/english.lm +220 -220
  42. data/test/fixtures/lms/french.lm +175 -175
  43. data/test/fixtures/lms/german.lm +254 -254
  44. data/test/fixtures/lms/hindi.lm +139 -139
  45. data/test/fixtures/lms/italian.lm +236 -236
  46. data/test/fixtures/lms/japanese.lm +88 -88
  47. data/test/fixtures/lms/norwegian.lm +182 -182
  48. data/test/fixtures/lms/spanish.lm +164 -164
  49. data/test/fixtures/test_languages/spanish +0 -1
  50. data/test/generator_test.rb +13 -0
  51. data/test/helper.rb +2 -0
  52. metadata +18 -25
  53. data/.document +0 -5
  54. data/lib/scylla/lms/13375P33K.lm +0 -400
  55. data/scylla-0.1.0.gem +0 -0
  56. data/source_texts/13375P33K.txt +0 -199
  57. data/test/fixtures/lms/13375p33k.lm +0 -400
  58. data/test/fixtures/source_texts/13375P33K.txt +0 -199
@@ -19,382 +19,382 @@ v 74
19
19
  ar 73
20
20
  � 71
21
21
  o 70
22
- _s 64
22
+ _s 65
23
23
  � 63
24
24
  a� 63
25
25
  j 62
26
26
  m_ 56
27
- in 55
28
27
  � 55
28
+ in 55
29
29
  a_ 54
30
30
  _e 51
31
- ur 48
32
- um 48
33
31
  _f 48
34
- n_ 47
32
+ um 48
33
+ ur 48
35
34
  _a 47
36
35
  h 47
37
- . 46
36
+ n_ 47
38
37
  d 46
38
+ . 46
39
+ __ 45
39
40
  _� 45
40
- er 44
41
- st 44
42
41
  g_ 44
42
+ st 44
43
+ i_ 44
43
44
  b 44
45
+ er 44
44
46
  u_ 43
45
- i_ 43
46
- a�_ 43
47
- � 43
48
47
  � 43
48
+ � 43
49
+ a�_ 43
49
50
  nn 42
50
51
  nu 41
51
- �_ 40
52
52
  ei 40
53
+ �_ 40
53
54
  _�_ 39
54
- __ 39
55
- � 38
56
55
  i� 38
56
+ � 38
57
57
  y 37
58
+ ir 36
58
59
  �_ 36
59
60
  an 36
60
61
  _v 36
61
- ir 36
62
- ve 35
63
62
  p 35
64
- _� 34
63
+ ve 35
65
64
  og 34
66
- og_ 33
65
+ _� 34
67
66
  _a� 33
68
- un 33
69
67
  um_ 33
68
+ og_ 33
69
+ un 33
70
+ _h 32
70
71
  _o 32
71
- _h 31
72
72
  _� 30
73
73
  ta 30
74
- na 29
75
- en 29
76
- �u 29
77
- _m 29
78
74
  _og_ 29
75
+ _m 29
76
+ na 29
79
77
  _og 29
78
+ �u 29
79
+ en 29
80
80
  ti 28
81
- la 28
82
81
  lu 28
83
82
  ri 28
83
+ la 28
84
84
  ur_ 27
85
- � 26
86
85
  ar_ 26
86
+ � 26
87
87
  �i 25
88
- t_ 25
89
- _a�_ 25
90
88
  ._ 25
89
+ _a�_ 25
90
+ t_ 25
91
+ ja 24
91
92
  _ve 24
92
93
  _b 24
94
+ nd 24
93
95
  ra 24
94
96
  ng 24
95
- nd 24
96
- ja 24
97
97
  r� 23
98
98
  ki 23
99
99
  kk 23
100
100
  ir_ 22
101
101
  i�_ 22
102
102
  sl 21
103
- ef 21
104
103
  _�_ 21
104
+ ef 21
105
105
  tu 20
106
- _u 20
107
- ku 20
108
106
  em 20
107
+ ku 20
108
+ _u 20
109
109
  _t 20
110
110
  il 19
111
111
  inn 19
112
112
  se 19
113
113
  sk 19
114
- _l 18
114
+ ga 18
115
115
  � 18
116
116
  _g 18
117
+ �a 18
118
+ _l 18
117
119
  _n 18
118
- ga 18
119
120
  ver 18
120
- �a 18
121
- ek 17
122
121
  ni 17
123
122
  af 17
124
- num 16
125
- sem 16
123
+ ek 17
126
124
  eg 16
127
125
  ag 16
128
- am 15
129
- rf 15
130
- em_ 15
131
- sem_ 15
126
+ num 16
127
+ sem 16
128
+ ka 15
132
129
  gu 15
133
- , 15
134
130
  gi 15
131
+ mi 15
135
132
  _er 15
133
+ em_ 15
134
+ rf 15
136
135
  da 15
137
- mi 15
138
- ka 15
139
136
  es 15
137
+ am 15
138
+ , 15
139
+ sem_ 15
140
140
  �k 14
141
- �ur 14
142
- l� 14
143
- �e 14
141
+ nar 14
144
142
  b� 14
145
- yr 14
146
143
  nn_ 14
147
- _ver 14
148
- _se 14
144
+ l� 14
145
+ �e 14
149
146
  ,_ 14
150
- nar 14
147
+ _ver 14
148
+ �ur 14
151
149
  j� 14
152
- ll 13
153
- re 13
150
+ yr 14
151
+ _se 14
152
+ vi 13
154
153
  is 13
154
+ S 13
155
155
  _sem 13
156
- vi 13
157
- _sem_ 13
156
+ s_ 13
157
+ ge 13
158
+ _�e 13
158
159
  li 13
160
+ l_ 13
161
+ ll 13
162
+ tt 13
163
+ u� 13
159
164
  al 13
160
165
  �g 13
161
- S 13
162
- u� 13
163
- fl 13
164
- tt 13
165
- l_ 13
166
- ge 13
167
- _�e 13
168
166
  ne 13
169
- s_ 12
170
- he 12
171
- me 12
172
- inu 12
167
+ fl 13
168
+ _sem_ 13
169
+ re 13
173
170
  ki_ 12
174
- ha 12
175
- ru 12
171
+ ekk 12
176
172
  �k 12
177
- ey 12
178
- te 12
179
173
  fr 12
174
+ ru 12
175
+ me 12
176
+ ey 12
177
+ he 12
180
178
  _k 12
181
- ekk 12
179
+ ha 12
180
+ inu 12
181
+ te 12
182
182
  fyrir 11
183
- yrir 11
184
- us 11
183
+ slu 11
184
+ �s 11
185
+ ma 11
185
186
  fyr 11
186
- fy 11
187
187
  di 11
188
- ju 11
188
+ us 11
189
+ fyri 11
189
190
  yri 11
190
- �s 11
191
- ma 11
192
191
  num_ 11
193
- slu 11
194
- er� 11
195
192
  rir 11
196
- fyri 11
193
+ _ha 11
194
+ ju 11
195
+ fy 11
196
+ yrir 11
197
197
  rs 11
198
+ er� 11
199
+ pp 10
200
+ or 10
201
+ �a 10
202
+ fu 10
198
203
  _mi 10
204
+ ns 10
205
+ kj 10
199
206
  _�a 10
207
+ il_ 10
208
+ arf 10
209
+ _ekki 10
210
+ ekki 10
211
+ et 10
200
212
  le 10
201
- _ha 10
202
- �a 10
203
- kj 10
204
- pp 10
213
+ ko 10
205
214
  fj 10
206
- or 10
207
- arf 10
208
- _he 10
215
+ _ekk 10
216
+ �i_ 10
209
217
  rn 10
210
- ekki 10
211
218
  _ek 10
212
- si 10
213
- kki 10
214
- _ekk 10
219
+ _he 10
215
220
  f_ 10
216
- ko 10
217
- il_ 10
218
- fu 10
219
- et 10
220
- _ekki 10
221
+ kki 10
222
+ si 10
223
+ _st 10
221
224
  r�u 10
222
- ns 10
223
- �i_ 10
224
- er_ 9
225
225
  ann 9
226
- _st 9
227
226
  gn 9
228
- av 9
229
- _ti 9
230
- ekki_ 9
231
- kur 9
232
- _um 9
233
- kki_ 9
234
227
  K 9
235
- til_ 9
236
- _er_ 9
237
- nni 9
238
- _til_ 9
239
228
  sa 9
240
- ta_ 9
229
+ kki_ 9
241
230
  v� 9
242
- _til 9
243
- f� 9
231
+ er_ 9
232
+ nni 9
233
+ _ti 9
234
+ _til_ 9
244
235
  til 9
245
236
  � 9
246
- u�u 8
247
- �a_ 8
237
+ _er_ 9
238
+ _til 9
239
+ av 9
240
+ f� 9
241
+ kur 9
242
+ ekki_ 9
243
+ til_ 9
244
+ _um 9
245
+ ta_ 9
246
+ a�i 8
248
247
  e� 8
249
- hef 8
250
- _ei 8
251
- an_ 8
252
- ut 8
248
+ fe 8
253
249
  G 8
254
- ss 8
255
- nda 8
256
- ik 8
250
+ kt 8
251
+ �a_ 8
252
+ ru_ 8
257
253
  H 8
258
- _S 8
259
- du 8
260
- ing 8
254
+ �t 8
255
+ ut 8
256
+ hef 8
257
+ _vi 8
261
258
  tu_ 8
259
+ ing 8
260
+ stu 8
261
+ ik 8
262
+ _sk 8
262
263
  �r 8
264
+ �n 8
265
+ an_ 8
266
+ _S 8
267
+ u�u 8
263
268
  l�g 8
264
- _en 8
265
- va 8
266
- _vi 8
267
- kt 8
268
- stu 8
269
269
  st_ 8
270
- �t 8
271
- nes 8
272
- _sk 8
273
- _me 8
270
+ _en 8
274
271
  fa 8
272
+ nda 8
273
+ it 8
275
274
  ngi 8
276
- a�i 8
277
- �n 8
278
- fe 8
279
- ru_ 8
280
- _um_ 8
275
+ ss 8
276
+ _me 8
277
+ va 8
278
+ _ei 8
279
+ nes 8
281
280
  gr 8
282
- it 8
281
+ _um_ 8
282
+ du 8
283
+ und 7
284
+ fn 7
285
+ br 7
286
+ r�ur 7
287
+ r. 7
288
+ jar 7
289
+ _hef 7
283
290
  ein 7
284
- as 7
285
- f�k 7
286
- _G 7
291
+ v�k 7
292
+ av�k 7
293
+ �ar 7
294
+ lj 7
287
295
  _H 7
288
- _� 7
289
296
  �kk 7
290
- ei� 7
291
- av� 7
292
- lu_ 7
293
- jar 7
294
- rt 7
295
- gl 7
296
- r�ur 7
297
- eru_ 7
298
- _fj 7
299
- rl 7
300
- rk 7
297
+ _fkk 7
298
+ t 7
301
299
  ust 7
302
- m. 7
303
- lj 7
304
- _af 7
300
+ ga_ 7
301
+ en_ 7
305
302
  _f� 7
306
- _fr 7
307
- br 7
308
- und 7
309
- eru 7
310
- �� 7
303
+ rl 7
304
+ ri� 7
305
+ rir_ 7
306
+ _b� 7
311
307
  B 7
312
- eng 7
313
- er�ur 7
308
+ _G 7
309
+ as 7
314
310
  kun 7
315
- fkk 7
316
- �t 7
317
- _hef 7
318
- ig 7
319
- inni 7
320
- _f�kk 7
311
+ erur 7
312
+ _fr 7
313
+ �� 7
314
+ er�u 7
315
+ _fj 7
316
+ _af 7
317
+ lu_ 7
318
+ un_ 7
321
319
  yrir_ 7
322
- gre 7
323
- �ar 7
324
- �l 7
325
- ga_ 7
326
- rir_ 7
320
+ av� 7
327
321
  _f�k 7
328
- fn 7
329
- av�k 7
330
- un_ 7
322
+ rk 7
323
+ eru 7
331
324
  nar_ 7
332
- en_ 7
325
+ m. 7
326
+ f�k 7
327
+ eru_ 7
328
+ eng 7
329
+ ld 7
330
+ �l 7
331
+ rt 7
332
+ ig 7
333
+ _en_ 7
334
+ gre 7
335
+ inni 7
336
+ ram 7
333
337
  fi 7
334
- _b� 7
338
+ ei� 7
335
339
  el 7
336
- v�k 7
337
- r. 7
338
- ram 7
339
- ri� 7
340
- er�u 7
341
- _en_ 7
342
- ld 7
343
- k_ 6
344
- enn 6
345
- % 6
346
- ja_ 6
347
- at 6
348
- _%_ 6
349
- mu 6
350
- au 6
351
- _ge 6
352
- v�kur 6
353
- tir 6
354
- j� 6
355
- i�s 6
340
+ gl 7
341
+ _� 7
342
+ f�kk 7
356
343
  �r_ 6
357
- li� 6
358
- �ku 6
359
- um. 6
360
- v�ku 6
361
- tir_ 6
362
- av�ku 6
363
- ka�i 6
364
- �l 6
365
- _B 6
366
- f� 6
367
- nga 6
368
- tr 6
369
- eit 6
370
- eir 6
371
- nu� 6
372
- nna 6
373
344
  upp 6
374
- _upp 6
375
- t� 6
376
- fra 6
377
- yk 6
378
- �r 6
379
- ra_ 6
345
+ �kur 6
346
+ R 6
380
347
  stu_ 6
381
- �n 6
348
+ sko 6
349
+ rst 6
350
+ av�ku 6
351
+ _K 6
352
+ ka� 6
382
353
  tar 6
354
+ i�s 6
355
+ �r 6
356
+ tr 6
357
+ nga 6
358
+ _B 6
383
359
  dur 6
384
- _�t 6
385
- ann_ 6
386
- �_ 6
360
+ _ge 6
361
+ fur 6
362
+ rg 6
363
+ _up 6
364
+ j� 6
365
+ v�ku 6
366
+ fra 6
367
+ and 6
387
368
  dag 6
388
- ug 6
389
- rst 6
390
- " 6
391
- ka� 6
369
+ _ef 6
370
+ _upp 6
371
+ nna 6
372
+ s� 6
373
+ yk 6
374
+ tir_ 6
375
+ lg 6
376
+ nu� 6
377
+ enn 6
378
+ kja 6
379
+ ka�i 6
380
+ f� 6
381
+ �t 6
392
382
  ys 6
393
- _% 6
394
- _up 6
395
- fur 6
396
- R 6
383
+ up 6
397
384
  tarf 6
398
385
  gar 6
399
- up 6
400
- sko 6
386
+ �_ 6
387
+ ra_ 6
388
+ �ku 6
389
+ ug 6
390
+ �n 6
391
+ eir 6
392
+ eit 6
393
+ �l 6
394
+ v�kur 6
395
+ ja_ 6
396
+ at 6
397
+ au 6
398
+ k_ 6
399
+ li� 6
400
+ ann_ 6