scylla 0.5.0 → 0.6.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (58) hide show
  1. data/Gemfile +4 -2
  2. data/Gemfile.lock +16 -1
  3. data/lib/scylla/classifier.rb +1 -1
  4. data/lib/scylla/generator.rb +16 -4
  5. data/lib/scylla/lms/afrikaans.lm +232 -232
  6. data/lib/scylla/lms/arabic.lm +175 -175
  7. data/lib/scylla/lms/bulgarian.lm +225 -225
  8. data/lib/scylla/lms/catalan.lm +309 -309
  9. data/lib/scylla/lms/danish.lm +167 -167
  10. data/lib/scylla/lms/english.lm +398 -398
  11. data/lib/scylla/lms/finnish.lm +237 -237
  12. data/lib/scylla/lms/french.lm +148 -148
  13. data/lib/scylla/lms/german.lm +258 -258
  14. data/lib/scylla/lms/greek.lm +236 -236
  15. data/lib/scylla/lms/hebrew.lm +154 -154
  16. data/lib/scylla/lms/hindi.lm +139 -139
  17. data/lib/scylla/lms/icelandic.lm +239 -239
  18. data/lib/scylla/lms/indonesian.lm +244 -244
  19. data/lib/scylla/lms/italian.lm +248 -248
  20. data/lib/scylla/lms/japanese.lm +90 -90
  21. data/lib/scylla/lms/korean.lm +306 -306
  22. data/lib/scylla/lms/norwegian.lm +193 -193
  23. data/lib/scylla/lms/polish.lm +241 -241
  24. data/lib/scylla/lms/portuguese.lm +232 -232
  25. data/lib/scylla/lms/romanian.lm +246 -246
  26. data/lib/scylla/lms/slovak.lm +242 -242
  27. data/lib/scylla/lms/slovenian.lm +229 -229
  28. data/lib/scylla/lms/spanish.lm +164 -164
  29. data/lib/scylla/lms/swedish.lm +157 -157
  30. data/lib/scylla/lms/tagalog.lm +247 -247
  31. data/lib/scylla/lms/thai.lm +252 -252
  32. data/lib/scylla/lms/turkish.lm +285 -285
  33. data/lib/scylla/lms/vietnamese.lm +250 -250
  34. data/lib/scylla/lms/welsh.lm +248 -248
  35. data/lib/scylla/resources.rb +1 -9
  36. data/lib/scylla.rb +4 -0
  37. data/scylla.gemspec +2 -120
  38. data/source_texts/english.txt +62 -27
  39. data/test/classifier_test.rb +1 -3
  40. data/test/fixtures/lms/danish.lm +173 -173
  41. data/test/fixtures/lms/english.lm +220 -220
  42. data/test/fixtures/lms/french.lm +175 -175
  43. data/test/fixtures/lms/german.lm +254 -254
  44. data/test/fixtures/lms/hindi.lm +139 -139
  45. data/test/fixtures/lms/italian.lm +236 -236
  46. data/test/fixtures/lms/japanese.lm +88 -88
  47. data/test/fixtures/lms/norwegian.lm +182 -182
  48. data/test/fixtures/lms/spanish.lm +164 -164
  49. data/test/fixtures/test_languages/spanish +0 -1
  50. data/test/generator_test.rb +13 -0
  51. data/test/helper.rb +2 -0
  52. metadata +18 -25
  53. data/.document +0 -5
  54. data/lib/scylla/lms/13375P33K.lm +0 -400
  55. data/scylla-0.1.0.gem +0 -0
  56. data/source_texts/13375P33K.txt +0 -199
  57. data/test/fixtures/lms/13375p33k.lm +0 -400
  58. data/test/fixtures/source_texts/13375P33K.txt +0 -199
@@ -19,382 +19,382 @@ v 74
19
19
  ar 73
20
20
  � 71
21
21
  o 70
22
- _s 64
22
+ _s 65
23
23
  � 63
24
24
  a� 63
25
25
  j 62
26
26
  m_ 56
27
- in 55
28
27
  � 55
28
+ in 55
29
29
  a_ 54
30
30
  _e 51
31
- ur 48
32
- um 48
33
31
  _f 48
34
- n_ 47
32
+ um 48
33
+ ur 48
35
34
  _a 47
36
35
  h 47
37
- . 46
36
+ n_ 47
38
37
  d 46
38
+ . 46
39
+ __ 45
39
40
  _� 45
40
- er 44
41
- st 44
42
41
  g_ 44
42
+ st 44
43
+ i_ 44
43
44
  b 44
45
+ er 44
44
46
  u_ 43
45
- i_ 43
46
- a�_ 43
47
- � 43
48
47
  � 43
48
+ � 43
49
+ a�_ 43
49
50
  nn 42
50
51
  nu 41
51
- �_ 40
52
52
  ei 40
53
+ �_ 40
53
54
  _�_ 39
54
- __ 39
55
- � 38
56
55
  i� 38
56
+ � 38
57
57
  y 37
58
+ ir 36
58
59
  �_ 36
59
60
  an 36
60
61
  _v 36
61
- ir 36
62
- ve 35
63
62
  p 35
64
- _� 34
63
+ ve 35
65
64
  og 34
66
- og_ 33
65
+ _� 34
67
66
  _a� 33
68
- un 33
69
67
  um_ 33
68
+ og_ 33
69
+ un 33
70
+ _h 32
70
71
  _o 32
71
- _h 31
72
72
  _� 30
73
73
  ta 30
74
- na 29
75
- en 29
76
- �u 29
77
- _m 29
78
74
  _og_ 29
75
+ _m 29
76
+ na 29
79
77
  _og 29
78
+ �u 29
79
+ en 29
80
80
  ti 28
81
- la 28
82
81
  lu 28
83
82
  ri 28
83
+ la 28
84
84
  ur_ 27
85
- � 26
86
85
  ar_ 26
86
+ � 26
87
87
  �i 25
88
- t_ 25
89
- _a�_ 25
90
88
  ._ 25
89
+ _a�_ 25
90
+ t_ 25
91
+ ja 24
91
92
  _ve 24
92
93
  _b 24
94
+ nd 24
93
95
  ra 24
94
96
  ng 24
95
- nd 24
96
- ja 24
97
97
  r� 23
98
98
  ki 23
99
99
  kk 23
100
100
  ir_ 22
101
101
  i�_ 22
102
102
  sl 21
103
- ef 21
104
103
  _�_ 21
104
+ ef 21
105
105
  tu 20
106
- _u 20
107
- ku 20
108
106
  em 20
107
+ ku 20
108
+ _u 20
109
109
  _t 20
110
110
  il 19
111
111
  inn 19
112
112
  se 19
113
113
  sk 19
114
- _l 18
114
+ ga 18
115
115
  � 18
116
116
  _g 18
117
+ �a 18
118
+ _l 18
117
119
  _n 18
118
- ga 18
119
120
  ver 18
120
- �a 18
121
- ek 17
122
121
  ni 17
123
122
  af 17
124
- num 16
125
- sem 16
123
+ ek 17
126
124
  eg 16
127
125
  ag 16
128
- am 15
129
- rf 15
130
- em_ 15
131
- sem_ 15
126
+ num 16
127
+ sem 16
128
+ ka 15
132
129
  gu 15
133
- , 15
134
130
  gi 15
131
+ mi 15
135
132
  _er 15
133
+ em_ 15
134
+ rf 15
136
135
  da 15
137
- mi 15
138
- ka 15
139
136
  es 15
137
+ am 15
138
+ , 15
139
+ sem_ 15
140
140
  �k 14
141
- �ur 14
142
- l� 14
143
- �e 14
141
+ nar 14
144
142
  b� 14
145
- yr 14
146
143
  nn_ 14
147
- _ver 14
148
- _se 14
144
+ l� 14
145
+ �e 14
149
146
  ,_ 14
150
- nar 14
147
+ _ver 14
148
+ �ur 14
151
149
  j� 14
152
- ll 13
153
- re 13
150
+ yr 14
151
+ _se 14
152
+ vi 13
154
153
  is 13
154
+ S 13
155
155
  _sem 13
156
- vi 13
157
- _sem_ 13
156
+ s_ 13
157
+ ge 13
158
+ _�e 13
158
159
  li 13
160
+ l_ 13
161
+ ll 13
162
+ tt 13
163
+ u� 13
159
164
  al 13
160
165
  �g 13
161
- S 13
162
- u� 13
163
- fl 13
164
- tt 13
165
- l_ 13
166
- ge 13
167
- _�e 13
168
166
  ne 13
169
- s_ 12
170
- he 12
171
- me 12
172
- inu 12
167
+ fl 13
168
+ _sem_ 13
169
+ re 13
173
170
  ki_ 12
174
- ha 12
175
- ru 12
171
+ ekk 12
176
172
  �k 12
177
- ey 12
178
- te 12
179
173
  fr 12
174
+ ru 12
175
+ me 12
176
+ ey 12
177
+ he 12
180
178
  _k 12
181
- ekk 12
179
+ ha 12
180
+ inu 12
181
+ te 12
182
182
  fyrir 11
183
- yrir 11
184
- us 11
183
+ slu 11
184
+ �s 11
185
+ ma 11
185
186
  fyr 11
186
- fy 11
187
187
  di 11
188
- ju 11
188
+ us 11
189
+ fyri 11
189
190
  yri 11
190
- �s 11
191
- ma 11
192
191
  num_ 11
193
- slu 11
194
- er� 11
195
192
  rir 11
196
- fyri 11
193
+ _ha 11
194
+ ju 11
195
+ fy 11
196
+ yrir 11
197
197
  rs 11
198
+ er� 11
199
+ pp 10
200
+ or 10
201
+ �a 10
202
+ fu 10
198
203
  _mi 10
204
+ ns 10
205
+ kj 10
199
206
  _�a 10
207
+ il_ 10
208
+ arf 10
209
+ _ekki 10
210
+ ekki 10
211
+ et 10
200
212
  le 10
201
- _ha 10
202
- �a 10
203
- kj 10
204
- pp 10
213
+ ko 10
205
214
  fj 10
206
- or 10
207
- arf 10
208
- _he 10
215
+ _ekk 10
216
+ �i_ 10
209
217
  rn 10
210
- ekki 10
211
218
  _ek 10
212
- si 10
213
- kki 10
214
- _ekk 10
219
+ _he 10
215
220
  f_ 10
216
- ko 10
217
- il_ 10
218
- fu 10
219
- et 10
220
- _ekki 10
221
+ kki 10
222
+ si 10
223
+ _st 10
221
224
  r�u 10
222
- ns 10
223
- �i_ 10
224
- er_ 9
225
225
  ann 9
226
- _st 9
227
226
  gn 9
228
- av 9
229
- _ti 9
230
- ekki_ 9
231
- kur 9
232
- _um 9
233
- kki_ 9
234
227
  K 9
235
- til_ 9
236
- _er_ 9
237
- nni 9
238
- _til_ 9
239
228
  sa 9
240
- ta_ 9
229
+ kki_ 9
241
230
  v� 9
242
- _til 9
243
- f� 9
231
+ er_ 9
232
+ nni 9
233
+ _ti 9
234
+ _til_ 9
244
235
  til 9
245
236
  � 9
246
- u�u 8
247
- �a_ 8
237
+ _er_ 9
238
+ _til 9
239
+ av 9
240
+ f� 9
241
+ kur 9
242
+ ekki_ 9
243
+ til_ 9
244
+ _um 9
245
+ ta_ 9
246
+ a�i 8
248
247
  e� 8
249
- hef 8
250
- _ei 8
251
- an_ 8
252
- ut 8
248
+ fe 8
253
249
  G 8
254
- ss 8
255
- nda 8
256
- ik 8
250
+ kt 8
251
+ �a_ 8
252
+ ru_ 8
257
253
  H 8
258
- _S 8
259
- du 8
260
- ing 8
254
+ �t 8
255
+ ut 8
256
+ hef 8
257
+ _vi 8
261
258
  tu_ 8
259
+ ing 8
260
+ stu 8
261
+ ik 8
262
+ _sk 8
262
263
  �r 8
264
+ �n 8
265
+ an_ 8
266
+ _S 8
267
+ u�u 8
263
268
  l�g 8
264
- _en 8
265
- va 8
266
- _vi 8
267
- kt 8
268
- stu 8
269
269
  st_ 8
270
- �t 8
271
- nes 8
272
- _sk 8
273
- _me 8
270
+ _en 8
274
271
  fa 8
272
+ nda 8
273
+ it 8
275
274
  ngi 8
276
- a�i 8
277
- �n 8
278
- fe 8
279
- ru_ 8
280
- _um_ 8
275
+ ss 8
276
+ _me 8
277
+ va 8
278
+ _ei 8
279
+ nes 8
281
280
  gr 8
282
- it 8
281
+ _um_ 8
282
+ du 8
283
+ und 7
284
+ fn 7
285
+ br 7
286
+ r�ur 7
287
+ r. 7
288
+ jar 7
289
+ _hef 7
283
290
  ein 7
284
- as 7
285
- f�k 7
286
- _G 7
291
+ v�k 7
292
+ av�k 7
293
+ �ar 7
294
+ lj 7
287
295
  _H 7
288
- _� 7
289
296
  �kk 7
290
- ei� 7
291
- av� 7
292
- lu_ 7
293
- jar 7
294
- rt 7
295
- gl 7
296
- r�ur 7
297
- eru_ 7
298
- _fj 7
299
- rl 7
300
- rk 7
297
+ _fkk 7
298
+ t 7
301
299
  ust 7
302
- m. 7
303
- lj 7
304
- _af 7
300
+ ga_ 7
301
+ en_ 7
305
302
  _f� 7
306
- _fr 7
307
- br 7
308
- und 7
309
- eru 7
310
- �� 7
303
+ rl 7
304
+ ri� 7
305
+ rir_ 7
306
+ _b� 7
311
307
  B 7
312
- eng 7
313
- er�ur 7
308
+ _G 7
309
+ as 7
314
310
  kun 7
315
- fkk 7
316
- �t 7
317
- _hef 7
318
- ig 7
319
- inni 7
320
- _f�kk 7
311
+ erur 7
312
+ _fr 7
313
+ �� 7
314
+ er�u 7
315
+ _fj 7
316
+ _af 7
317
+ lu_ 7
318
+ un_ 7
321
319
  yrir_ 7
322
- gre 7
323
- �ar 7
324
- �l 7
325
- ga_ 7
326
- rir_ 7
320
+ av� 7
327
321
  _f�k 7
328
- fn 7
329
- av�k 7
330
- un_ 7
322
+ rk 7
323
+ eru 7
331
324
  nar_ 7
332
- en_ 7
325
+ m. 7
326
+ f�k 7
327
+ eru_ 7
328
+ eng 7
329
+ ld 7
330
+ �l 7
331
+ rt 7
332
+ ig 7
333
+ _en_ 7
334
+ gre 7
335
+ inni 7
336
+ ram 7
333
337
  fi 7
334
- _b� 7
338
+ ei� 7
335
339
  el 7
336
- v�k 7
337
- r. 7
338
- ram 7
339
- ri� 7
340
- er�u 7
341
- _en_ 7
342
- ld 7
343
- k_ 6
344
- enn 6
345
- % 6
346
- ja_ 6
347
- at 6
348
- _%_ 6
349
- mu 6
350
- au 6
351
- _ge 6
352
- v�kur 6
353
- tir 6
354
- j� 6
355
- i�s 6
340
+ gl 7
341
+ _� 7
342
+ f�kk 7
356
343
  �r_ 6
357
- li� 6
358
- �ku 6
359
- um. 6
360
- v�ku 6
361
- tir_ 6
362
- av�ku 6
363
- ka�i 6
364
- �l 6
365
- _B 6
366
- f� 6
367
- nga 6
368
- tr 6
369
- eit 6
370
- eir 6
371
- nu� 6
372
- nna 6
373
344
  upp 6
374
- _upp 6
375
- t� 6
376
- fra 6
377
- yk 6
378
- �r 6
379
- ra_ 6
345
+ �kur 6
346
+ R 6
380
347
  stu_ 6
381
- �n 6
348
+ sko 6
349
+ rst 6
350
+ av�ku 6
351
+ _K 6
352
+ ka� 6
382
353
  tar 6
354
+ i�s 6
355
+ �r 6
356
+ tr 6
357
+ nga 6
358
+ _B 6
383
359
  dur 6
384
- _�t 6
385
- ann_ 6
386
- �_ 6
360
+ _ge 6
361
+ fur 6
362
+ rg 6
363
+ _up 6
364
+ j� 6
365
+ v�ku 6
366
+ fra 6
367
+ and 6
387
368
  dag 6
388
- ug 6
389
- rst 6
390
- " 6
391
- ka� 6
369
+ _ef 6
370
+ _upp 6
371
+ nna 6
372
+ s� 6
373
+ yk 6
374
+ tir_ 6
375
+ lg 6
376
+ nu� 6
377
+ enn 6
378
+ kja 6
379
+ ka�i 6
380
+ f� 6
381
+ �t 6
392
382
  ys 6
393
- _% 6
394
- _up 6
395
- fur 6
396
- R 6
383
+ up 6
397
384
  tarf 6
398
385
  gar 6
399
- up 6
400
- sko 6
386
+ �_ 6
387
+ ra_ 6
388
+ �ku 6
389
+ ug 6
390
+ �n 6
391
+ eir 6
392
+ eit 6
393
+ �l 6
394
+ v�kur 6
395
+ ja_ 6
396
+ at 6
397
+ au 6
398
+ k_ 6
399
+ li� 6
400
+ ann_ 6