scylla 0.5.0 → 0.6.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (58) hide show
  1. data/Gemfile +4 -2
  2. data/Gemfile.lock +16 -1
  3. data/lib/scylla/classifier.rb +1 -1
  4. data/lib/scylla/generator.rb +16 -4
  5. data/lib/scylla/lms/afrikaans.lm +232 -232
  6. data/lib/scylla/lms/arabic.lm +175 -175
  7. data/lib/scylla/lms/bulgarian.lm +225 -225
  8. data/lib/scylla/lms/catalan.lm +309 -309
  9. data/lib/scylla/lms/danish.lm +167 -167
  10. data/lib/scylla/lms/english.lm +398 -398
  11. data/lib/scylla/lms/finnish.lm +237 -237
  12. data/lib/scylla/lms/french.lm +148 -148
  13. data/lib/scylla/lms/german.lm +258 -258
  14. data/lib/scylla/lms/greek.lm +236 -236
  15. data/lib/scylla/lms/hebrew.lm +154 -154
  16. data/lib/scylla/lms/hindi.lm +139 -139
  17. data/lib/scylla/lms/icelandic.lm +239 -239
  18. data/lib/scylla/lms/indonesian.lm +244 -244
  19. data/lib/scylla/lms/italian.lm +248 -248
  20. data/lib/scylla/lms/japanese.lm +90 -90
  21. data/lib/scylla/lms/korean.lm +306 -306
  22. data/lib/scylla/lms/norwegian.lm +193 -193
  23. data/lib/scylla/lms/polish.lm +241 -241
  24. data/lib/scylla/lms/portuguese.lm +232 -232
  25. data/lib/scylla/lms/romanian.lm +246 -246
  26. data/lib/scylla/lms/slovak.lm +242 -242
  27. data/lib/scylla/lms/slovenian.lm +229 -229
  28. data/lib/scylla/lms/spanish.lm +164 -164
  29. data/lib/scylla/lms/swedish.lm +157 -157
  30. data/lib/scylla/lms/tagalog.lm +247 -247
  31. data/lib/scylla/lms/thai.lm +252 -252
  32. data/lib/scylla/lms/turkish.lm +285 -285
  33. data/lib/scylla/lms/vietnamese.lm +250 -250
  34. data/lib/scylla/lms/welsh.lm +248 -248
  35. data/lib/scylla/resources.rb +1 -9
  36. data/lib/scylla.rb +4 -0
  37. data/scylla.gemspec +2 -120
  38. data/source_texts/english.txt +62 -27
  39. data/test/classifier_test.rb +1 -3
  40. data/test/fixtures/lms/danish.lm +173 -173
  41. data/test/fixtures/lms/english.lm +220 -220
  42. data/test/fixtures/lms/french.lm +175 -175
  43. data/test/fixtures/lms/german.lm +254 -254
  44. data/test/fixtures/lms/hindi.lm +139 -139
  45. data/test/fixtures/lms/italian.lm +236 -236
  46. data/test/fixtures/lms/japanese.lm +88 -88
  47. data/test/fixtures/lms/norwegian.lm +182 -182
  48. data/test/fixtures/lms/spanish.lm +164 -164
  49. data/test/fixtures/test_languages/spanish +0 -1
  50. data/test/generator_test.rb +13 -0
  51. data/test/helper.rb +2 -0
  52. metadata +18 -25
  53. data/.document +0 -5
  54. data/lib/scylla/lms/13375P33K.lm +0 -400
  55. data/scylla-0.1.0.gem +0 -0
  56. data/source_texts/13375P33K.txt +0 -199
  57. data/test/fixtures/lms/13375p33k.lm +0 -400
  58. data/test/fixtures/source_texts/13375P33K.txt +0 -199
@@ -21,380 +21,380 @@ ni 91
21
21
  l 90
22
22
  j 86
23
23
  � 75
24
- o_ 73
25
- _p 70
24
+ o_ 74
25
+ _p 71
26
26
  g 65
27
+ a_ 65
27
28
  , 64
28
- a_ 63
29
- e_ 61
29
+ e_ 62
30
30
  b 58
31
31
  ,_ 56
32
32
  _w 51
33
33
  _n 49
34
34
  ze 48
35
- i_ 46
35
+ i_ 47
36
+ __ 46
36
37
  � 45
37
- __ 42
38
38
  . 42
39
39
  � 41
40
- pr 40
41
40
  na 40
41
+ pr 40
42
42
  sz 39
43
43
  cz 39
44
44
  nie 37
45
45
  wi 37
46
- y_ 36
46
+ _d 36
47
47
  _s 36
48
+ _z 36
49
+ y_ 36
48
50
  rz 35
49
- _z 35
50
51
  an 34
51
- _d 33
52
- en 32
52
+ ie_ 33
53
53
  st 32
54
- ie_ 32
55
- za 32
56
54
  ra 32
57
- ow 31
55
+ za 32
56
+ en 32
58
57
  ej 31
58
+ ow 31
59
59
  h 31
60
- _pr 30
61
- zy 30
62
60
  ki 30
61
+ zy 30
62
+ _pr 30
63
63
  po 29
64
64
  ro 28
65
- do 28
66
- � 28
65
+ ch 28
67
66
  eg 28
68
67
  ._ 28
69
- ch 28
70
- _t 27
68
+ 28
69
+ do 28
71
70
  � 27
71
+ m_ 27
72
72
  ne 27
73
- ia 26
74
- m_ 26
73
+ _t 27
75
74
  _na 26
76
- ko 25
77
- _po 25
75
+ _po 26
76
+ ia 26
78
77
  em 25
79
78
  wa 25
80
- u_ 24
79
+ ko 25
81
80
  li 24
82
- dz 24
83
- _k 24
84
81
  _b 24
82
+ _k 24
83
+ dz 24
84
+ u_ 24
85
85
  to 23
86
- _ni 21
86
+ ci 21
87
+ w_ 21
88
+ � 21
87
89
  ta 21
88
90
  i� 21
89
- go 21
90
- � 21
91
- w_ 21
91
+ _ni 21
92
92
  _i 21
93
- ci 21
94
93
  yc 21
95
- " 20
94
+ go 21
96
95
  or 20
97
- te 20
98
96
  le 20
97
+ nie_ 20
99
98
  _j 20
100
- a� 19
99
+ te 20
100
+ al 19
101
101
  j_ 19
102
102
  P 19
103
- nie_ 19
104
- re 19
105
- wy 19
106
- _o 19
107
- al 19
108
103
  ego 19
109
- cze 18
104
+ _o 19
105
+ wy 19
106
+ a� 19
107
+ re 19
110
108
  _nie 18
111
- aw 18
112
- �o 18
109
+ cze 18
113
110
  ac 18
114
- ej_ 18
115
- ani 18
116
111
  sk 18
117
- ar 17
118
- zi 17
119
- _w_ 17
120
- rze 17
121
- _i_ 17
112
+ ani 18
113
+ ej_ 18
114
+ �o 18
115
+ aw 18
116
+ ego_ 17
122
117
  by 17
123
118
  ak 17
119
+ �_ 17
120
+ _w_ 17
121
+ zi 17
122
+ go_ 17
123
+ ar 17
124
+ _do 17
125
+ _i_ 17
126
+ rze 17
124
127
  on 16
125
- ego_ 16
126
- z_ 16
127
- ka 16
128
128
  ty 16
129
- go_ 16
129
+ je 16
130
130
  es 16
131
131
  mi 16
132
+ ka 16
133
+ kie 16
132
134
  dzi 16
133
- _do 16
134
135
  _m 16
135
- �_ 16
136
- je 16
137
- kie 16
138
- prz 15
139
- � 15
140
- zie 15
141
- _r 15
142
- S 15
136
+ z_ 16
143
137
  _za 15
144
- do_ 15
145
- om 15
146
138
  dzie 15
147
139
  wie 15
140
+ � 15
141
+ prz 15
142
+ do_ 15
143
+ S 15
144
+ _r 15
148
145
  �w 15
149
- am 14
150
- ec 14
151
- eni 14
146
+ zie 15
147
+ om 15
148
+ �e 14
149
+ _prz 14
152
150
  ny 14
151
+ em_ 14
153
152
  W 14
154
- - 14
155
- _prz 14
156
- �a 14
157
153
  ych 14
154
+ �a 14
158
155
  el 14
159
- �e 14
160
- em_ 14
161
- ic 14
156
+ _do_ 14
162
157
  na_ 14
158
+ ic 14
159
+ ec 14
160
+ eni 14
161
+ am 14
162
+ - 14
163
+ ym 13
163
164
  de 13
164
- _do_ 13
165
165
  f 13
166
- ez 13
167
- er 13
168
- pra 13
169
- ws 13
170
- zc 13
171
- ed 13
172
- �_ 13
173
166
  � 13
174
- ym 13
167
+ zc 13
175
168
  ek 13
176
- nej 12
177
- pa 12
178
- to_ 12
169
+ er 13
170
+ �_ 13
171
+ ez 13
172
+ ed 13
173
+ ws 13
174
+ pra 13
175
+ owa 12
176
+ ja 12
179
177
  dn 12
180
- ob 12
181
- �e_ 12
178
+ pi 12
182
179
  _c 12
180
+ _wy 12
181
+ �e_ 12
182
+ h_ 12
183
+ _P 12
184
+ ch_ 12
183
185
  as 12
184
186
  zn 12
185
- _wy 12
186
- owa 12
187
- ol 12
188
- ja 12
187
+ to_ 12
188
+ pa 12
189
189
  od 12
190
- pi 12
190
+ ob 12
191
+ ol 12
191
192
  ce 12
192
- in 11
193
+ nej 12
194
+ tr 11
195
+ A 11
193
196
  wo 11
194
197
  ok 11
198
+ no 11
195
199
  _wi 11
196
200
  prze 11
197
- zcz 11
198
- tr 11
201
+ dy 11
202
+ i, 11
199
203
  ys 11
200
- A 11
201
- h_ 11
202
- no 11
203
204
  -_ 11
204
- i, 11
205
- ch_ 11
206
205
  i,_ 11
207
- dy 11
206
+ zcz 11
208
207
  aj 11
209
- nt 10
208
+ in 11
209
+ ku 10
210
+ Po 10
211
+ _prze 10
212
+ szc 10
210
213
  T 10
211
- ma 10
212
- ad 10
213
- we 10
214
- cj 10
214
+ �_ 10
215
215
  e, 10
216
- _u 10
217
- ent 10
218
- szc 10
219
216
  is 10
220
- ku 10
217
+ nia 10
218
+ at 10
219
+ ad 10
220
+ ma 10
221
+ _z_ 10
222
+ _� 10
221
223
  ski 10
222
224
  iej 10
223
- _P 10
224
- _prze 10
225
225
  og 10
226
+ nt 10
227
+ _l 10
226
228
  ln 10
227
229
  rzy 10
228
- ud 10
229
- Po 10
230
- nia 10
231
- _� 10
232
- _l 10
230
+ cj 10
233
231
  k_ 10
234
- �_ 10
235
- at 10
236
- y� 9
237
- _S 9
232
+ ent 10
233
+ ud 10
234
+ we 10
235
+ _u 10
236
+ �_ 9
238
237
  _nie_ 9
239
- da 9
240
- tw 9
241
238
  _je 9
242
- us 9
243
- _�e 9
239
+ gr 9
244
240
  szcz 9
245
241
  ot 9
246
- _" 9
247
- �_ 9
242
+ _na_ 9
243
+ _to 9
244
+ _g 9
245
+ us 9
248
246
  si 9
249
- gr 9
250
- _z_ 9
251
247
  _to_ 9
252
- _g 9
253
- my 9
248
+ y� 9
254
249
  e,_ 9
255
- _�e_ 9
256
- _to 9
257
- _na_ 9
250
+ _a 9
251
+ _�e 9
258
252
  ru 9
259
- N 8
260
- �y 8
253
+ my 9
254
+ da 9
255
+ _S 9
256
+ _�e_ 9
257
+ tw 9
261
258
  �s 8
262
- os 8
259
+ ym_ 8
263
260
  ga 8
261
+ N 8
262
+ by_ 8
264
263
  nej_ 8
265
- ym_ 8
266
- esz 8
264
+ neg 8
265
+ _si 8
266
+ la 8
267
+ wsk 8
268
+ �y 8
267
269
  ap 8
270
+ esz 8
268
271
  ia_ 8
269
- pan 8
270
- _a 8
272
+ raw 8
273
+ praw 8
271
274
  kt 8
272
275
  zcze 8
273
- by_ 8
274
- neg 8
275
276
  _by 8
276
- nego 8
277
- wsk 8
278
277
  �o_ 8
279
- praw 8
280
- la 8
281
- pre 8
282
278
  a� 8
283
- _si 8
279
+ pre 8
280
+ os 8
281
+ nego 8
282
+ pan 8
284
283
  t� 8
285
- raw 8
286
- gi 7
287
- ieg 7
288
- ry 7
289
- iu 7
290
284
  _te 7
291
- edn 7
292
- _W 7
293
- si� 7
294
- skie 7
295
- u� 7
296
285
  G 7
297
- _- 7
298
- rac 7
299
- Z 7
286
+ lu 7
300
287
  _-_ 7
301
- a� 7
302
- o� 7
303
- et 7
304
- bi 7
305
- �d 7
306
- _ro 7
307
- li_ 7
308
- I 7
309
- icz 7
310
- tem 7
288
+ Z 7
289
+ _W 7
290
+ _sz 7
291
+ _- 7
292
+ ni_ 7
311
293
  _ja 7
312
- �u 7
313
- lu 7
314
- nia_ 7
315
- �_ 7
316
- sp 7
294
+ edn 7
295
+ tu 7
296
+ icz 7
297
+ I 7
317
298
  _ty 7
299
+ et 7
300
+ _si� 7
301
+ si� 7
302
+ ych_ 7
303
+ _kt 7
304
+ a� 7
305
+ _Po 7
306
+ iu 7
318
307
  K 7
308
+ gi 7
309
+ u� 7
310
+ sp 7
311
+ bi 7
312
+ iel 7
313
+ zy_ 7
314
+ ko_ 7
319
315
  cie 7
320
- _sz 7
316
+ li_ 7
317
+ rac 7
318
+ ieg 7
321
319
  R 7
320
+ �_ 7
321
+ o� 7
322
+ skie 7
323
+ �d 7
324
+ nia_ 7
322
325
  _pra 7
326
+ �u 7
327
+ ry 7
328
+ tem 7
323
329
  bo 7
324
- ? 7
325
- _si� 7
326
- _kt 7
327
- tu 7
328
- iel 7
329
330
  O 7
330
- ych_ 7
331
- ko_ 7
332
- zy_ 7
333
- a�_ 6
334
- _sp 6
331
+ _ro 7
332
+ szcze 6
333
+ _pre 6
334
+ W_ 6
335
+ iego 6
336
+ t�r 6
337
+ oc 6
338
+ m� 6
339
+ _kt�r 6
340
+ un 6
341
+ yt 6
335
342
  �dz 6
336
- czy 6
337
- no_ 6
338
- _ob 6
339
- ni_ 6
340
- usz 6
341
343
  s� 6
342
- _kt� 6
343
- io 6
344
+ stw 6
345
+ nic 6
346
+ uk 6
347
+ owi 6
348
+ i�c 6
349
+ mie 6
350
+ yd 6
351
+ dni 6
352
+ iego_ 6
353
+ den 6
354
+ ze_ 6
355
+ �a 6
356
+ �c 6
357
+ �r 6
358
+ czn 6
359
+ y. 6
360
+ yb 6
361
+ dent 6
362
+ wski 6
363
+ J 6
364
+ iem 6
365
+ oz 6
344
366
  lne 6
345
- kt�r 6
367
+ ji 6
368
+ a�_ 6
369
+ usz 6
346
370
  ba 6
347
- yt 6
348
371
  il 6
349
- yb 6
350
- ze_ 6
372
+ g� 6
351
373
  ien 6
352
- owi 6
353
- op 6
354
- un 6
355
- dr 6
356
- �c 6
357
- naj 6
374
+ io 6
358
375
  _ko 6
359
- m� 6
360
- kt� 6
361
- i�_ 6
362
- iem 6
363
- uk 6
364
- nic 6
365
- ku_ 6
366
- iego 6
367
- _kt�r 6
368
- �a 6
369
- J 6
370
- be 6
371
- mo 6
372
- yd 6
373
376
  zen 6
374
- aln 6
375
- dni 6
377
+ e� 6
378
+ _ob 6
379
+ dr 6
376
380
  �d 6
377
- szcze 6
378
- oz 6
379
- �r 6
381
+ by� 6
382
+ niu 6
383
+ be 6
384
+ kt�r 6
380
385
  jak 6
381
- stw 6
382
- ji 6
383
- wski 6
384
- zu 6
385
- oc 6
386
- B 6
387
- den 6
388
- e� 6
389
- dent 6
390
386
  ali 6
391
- mie 6
392
- y. 6
393
- nego_ 6
387
+ op 6
388
+ zu 6
389
+ ku_ 6
394
390
  _J 6
395
- W_ 6
396
- t�r 6
397
391
  nd 6
398
- by� 6
399
- czn 6
392
+ _kt� 6
393
+ kr 6
394
+ i�_ 6
400
395
  a, 6
396
+ B 6
397
+ czy 6
398
+ est 6
399
+ _sp 6
400
+ nego_ 6