scylla 0.5.0 → 0.6.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (58) hide show
  1. data/Gemfile +4 -2
  2. data/Gemfile.lock +16 -1
  3. data/lib/scylla/classifier.rb +1 -1
  4. data/lib/scylla/generator.rb +16 -4
  5. data/lib/scylla/lms/afrikaans.lm +232 -232
  6. data/lib/scylla/lms/arabic.lm +175 -175
  7. data/lib/scylla/lms/bulgarian.lm +225 -225
  8. data/lib/scylla/lms/catalan.lm +309 -309
  9. data/lib/scylla/lms/danish.lm +167 -167
  10. data/lib/scylla/lms/english.lm +398 -398
  11. data/lib/scylla/lms/finnish.lm +237 -237
  12. data/lib/scylla/lms/french.lm +148 -148
  13. data/lib/scylla/lms/german.lm +258 -258
  14. data/lib/scylla/lms/greek.lm +236 -236
  15. data/lib/scylla/lms/hebrew.lm +154 -154
  16. data/lib/scylla/lms/hindi.lm +139 -139
  17. data/lib/scylla/lms/icelandic.lm +239 -239
  18. data/lib/scylla/lms/indonesian.lm +244 -244
  19. data/lib/scylla/lms/italian.lm +248 -248
  20. data/lib/scylla/lms/japanese.lm +90 -90
  21. data/lib/scylla/lms/korean.lm +306 -306
  22. data/lib/scylla/lms/norwegian.lm +193 -193
  23. data/lib/scylla/lms/polish.lm +241 -241
  24. data/lib/scylla/lms/portuguese.lm +232 -232
  25. data/lib/scylla/lms/romanian.lm +246 -246
  26. data/lib/scylla/lms/slovak.lm +242 -242
  27. data/lib/scylla/lms/slovenian.lm +229 -229
  28. data/lib/scylla/lms/spanish.lm +164 -164
  29. data/lib/scylla/lms/swedish.lm +157 -157
  30. data/lib/scylla/lms/tagalog.lm +247 -247
  31. data/lib/scylla/lms/thai.lm +252 -252
  32. data/lib/scylla/lms/turkish.lm +285 -285
  33. data/lib/scylla/lms/vietnamese.lm +250 -250
  34. data/lib/scylla/lms/welsh.lm +248 -248
  35. data/lib/scylla/resources.rb +1 -9
  36. data/lib/scylla.rb +4 -0
  37. data/scylla.gemspec +2 -120
  38. data/source_texts/english.txt +62 -27
  39. data/test/classifier_test.rb +1 -3
  40. data/test/fixtures/lms/danish.lm +173 -173
  41. data/test/fixtures/lms/english.lm +220 -220
  42. data/test/fixtures/lms/french.lm +175 -175
  43. data/test/fixtures/lms/german.lm +254 -254
  44. data/test/fixtures/lms/hindi.lm +139 -139
  45. data/test/fixtures/lms/italian.lm +236 -236
  46. data/test/fixtures/lms/japanese.lm +88 -88
  47. data/test/fixtures/lms/norwegian.lm +182 -182
  48. data/test/fixtures/lms/spanish.lm +164 -164
  49. data/test/fixtures/test_languages/spanish +0 -1
  50. data/test/generator_test.rb +13 -0
  51. data/test/helper.rb +2 -0
  52. metadata +18 -25
  53. data/.document +0 -5
  54. data/lib/scylla/lms/13375P33K.lm +0 -400
  55. data/scylla-0.1.0.gem +0 -0
  56. data/source_texts/13375P33K.txt +0 -199
  57. data/test/fixtures/lms/13375p33k.lm +0 -400
  58. data/test/fixtures/source_texts/13375P33K.txt +0 -199
@@ -1,400 +1,400 @@
1
- _ 1282
2
- 290
3
- 184
4
- 181
5
- � 163
1
+ _ 1270
2
+ 271
3
+ 170
4
+ 168
6
5
  � 163
7
- 158
8
- 129
9
- 101
10
- 100
11
- 99
12
- 90
13
- 89
14
- __ 87
15
- 78
16
- _� 77
17
- � 75
18
- � 74
6
+ 159
7
+ 143
8
+ 121
9
+ 96
10
+ __ 94
11
+ 93
12
+ 87
13
+ 83
14
+ 82
15
+ _� 79
19
16
  � 73
20
- 73
21
- 71
22
- 69
17
+ 72
18
+ 72
19
+ 70
23
20
  �� 66
24
- �� 65
25
- 62
21
+ 66
22
+ �� 64
23
+ � 62
24
+ � 61
25
+ � 60
26
+ � 59
26
27
  � 55
27
- � 54
28
28
  � 54
29
- � 53
30
- 52
31
- 50
32
- 49
33
- 49
34
- _48
35
- 48
36
- 46
37
- � 45
29
+ � 53
30
+ 49
31
+ 48
32
+ 47
33
+ 47
34
+ 45
35
+ _45
36
+ 44
38
37
  . 44
38
+ � 44
39
+ � 43
39
40
  � 40
40
- 39
41
+ ��. 39
41
42
  �. 39
42
- � 39
43
+ � 39
43
44
  � 39
44
- ��. 39
45
- 37
46
- �� 36
47
- � 35
48
- � 35
49
- � 34
50
- _� 34
51
- �� 34
52
- � 33
45
+ 37
46
+ _35
47
+ 35
53
48
  �_ 32
54
49
  � 32
55
- _32
56
- _ 31
57
- 31
50
+ 31
51
+ 30
52
+ _30
53
+ � 30
54
+ _� 30
55
+ �_ 30
56
+ � 29
57
+ �� 29
58
58
  ��_ 29
59
- �� 29
60
- �_ 29
61
59
  �� 29
62
- � 29
63
- ��_ 29
64
- _27
60
+ � 29
61
+ 28
62
+ 28
63
+ �� 28
65
64
  �� 27
65
+ �_ 27
66
66
  _� 27
67
- _� 27
68
- � 26
67
+ �� 26
68
+ � 26
69
69
  �� 26
70
+ � 25
71
+ _� 25
70
72
  �� 25
73
+ ��_ 25
71
74
  _� 25
72
- _� 25
73
- _� 25
74
- �� 25
75
- �� 25
76
- �_ 24
77
75
  �_ 24
76
+ � 24
78
77
  �_ 24
78
+ �_ 24
79
+ _� 24
80
+ _� 23
79
81
  ��_ 23
80
- ��_ 23
81
- �� 23
82
- �� 23
83
82
  � 23
84
- �� 23
85
- 23
86
- _� 23
87
- �� 22
88
- �� 22
83
+ _� 23
84
+ �� 23
85
+ �� 23
86
+ 22
87
+ �� 22
89
88
  �_ 22
89
+ � 22
90
90
  � 22
91
- 22
92
- �� 22
93
- �� 22
94
- _� 21
91
+ �� 22
92
+ ��_ 22
95
93
  ��_ 21
94
+ �� 21
96
95
  _� 21
97
- �� 21
98
- �� 21
99
- _� 20
100
- �_ 20
101
- � 20
102
- ��_ 20
96
+ _� 21
97
+ �� 20
103
98
  ��_ 20
104
- 19
99
+ �� 20
100
+ � 20
101
+ _�� 20
102
+ �_ 20
105
103
  _�� 19
104
+ ._ 19
105
+ � 19
106
106
  �� 19
107
107
  � 19
108
- ._ 19
109
- ִ 18
110
- �_ 18
111
- � 18
112
108
  ��_ 18
113
- �� 18
109
+ _� 18
110
+ �_ 18
111
+ ִ 18
114
112
  �_ 18
115
- ��_ 18
116
- � 18
117
- � 18
113
+ _ 18
118
114
  �� 18
119
- _�� 18
120
- �_ 18
115
+ 18
121
116
  �_ 17
122
- 17
117
+ �� 17
118
+ _� 17
123
119
  �ִ 17
124
- �� 17
125
- _� 17
120
+ 17
121
+ � 17
122
+ �� 17
123
+ � 16
126
124
  �� 16
127
- " 16
125
+ _� 16
128
126
  �� 16
129
- �� 16
130
- �� 16
131
- � 16
132
- _� 15
127
+ ��_ 16
133
128
  , 15
134
129
  ��_ 15
135
- ' 15
136
- �� 15
137
- � 15
138
- �� 15
130
+ �� 15
139
131
  ��._ 15
132
+ �� 15
133
+ � 15
140
134
  �._ 15
141
- 15
142
- �� 14
143
- �� 14
135
+ _�ִ 14
144
136
  � 14
145
- �� 14
146
- �� 14
137
+ �� 14
138
+ ��� 14
147
139
  �� 14
148
140
  �� 14
149
- ��� 14
150
- _�ִ 14
151
- 14
152
- �� 14
141
+ �� 14
142
+ �� 14
143
+ �� 14
153
144
  �� 14
145
+ � 14
154
146
  _�� 14
155
- 14
156
- � 13
157
- ȸ 13
158
- �� 13
159
- �� 13
147
+ ��_ 13
160
148
  �� 13
161
- �ִ� 13
162
- ߴ 13
163
- ִ� 13
164
- �� 13
149
+ �� 13
165
150
  �� 13
151
+ ȸ 13
152
+ � 13
153
+ �ִ� 13
154
+ �� 13
166
155
  �_ 13
167
- 12
168
- 12
169
- ,_ 12
170
- 12
171
- 12
172
- �ߴ� 12
156
+ ִ� 13
157
+ �� 13
158
+ ߴ 13
159
+ �� 13
160
+ �� 12
173
161
  �_ 12
174
- 12
162
+ �ߴ� 12
163
+ � 12
164
+ �� 12
175
165
  �ߴ 12
176
166
  ߴ� 12
177
- �� 12
178
- �� 11
179
- _11
180
- �� 11
167
+ 12
168
+ 12
169
+ 12
170
+ ,_ 12
171
+ � 12
172
+ ߴ�. 11
173
+ _� 11
174
+ � 11
175
+ _�� 11
181
176
  �� 11
182
- �ߴ�. 11
183
177
  _�� 11
184
- ��_ 11
185
- ��_ 11
186
- ��� 11
187
- �� 11
188
- �� 11
189
- _� 11
190
- ���� 11
191
- �� 11
178
+ �� 11
192
179
  _�� 11
180
+ �� 11
181
+ �ߴ�. 11
182
+ � 11
193
183
  �_ 11
194
- ߴ�. 11
195
- _�� 11
196
- ��� 11
184
+ �� 11
185
+ õ 11
186
+ _� 11
197
187
  _�ִ� 10
198
- � 10
199
- ��� 10
200
- õ 10
201
- �� 10
202
- � 10
203
- � 10
204
- ��� 10
205
- �� 10
206
- � 10
207
188
  �� 10
208
- �� 10
209
- �� 10
210
- _�� 10
211
- �� 10
189
+ �� 10
212
190
  �_ 10
213
- ���� 10
214
- �� 10
215
- �� 10
191
+ 10
216
192
  �� 10
217
- �� 10
218
- _�� 9
219
- 9
220
- ����_ 9
221
- ���_ 9
222
- �� 9
223
- _� 9
224
- �� 9
193
+ 10
194
+ _ 10
195
+ �� 10
196
+ �� 10
197
+ �� 10
198
+ �� 10
199
+ �� 10
225
200
  ϰ 9
226
- � 9
227
- �� 9
228
- �� 9
229
201
  �� 9
230
- �� 9
202
+ ��� 9
203
+ �� 9
204
+ �� 9
205
+ _�� 9
206
+ � 9
207
+ ��� 9
208
+ �� 9
209
+ ���� 9
210
+ ��_ 9
211
+ � 9
212
+ ٰ 9
231
213
  �� 9
232
- 9
233
- �_ 8
214
+ �� 9
215
+ ��� 9
216
+ �� 9
217
+ _� 9
218
+ _�� 9
219
+ � 9
234
220
  �� 8
235
- ���_ 8
236
- 8
221
+ ���_ 8
222
+ �� 8
237
223
  � 8
238
- �� 8
239
- �� 8
240
- � 8
241
- ��� 8
242
- �� 8
243
224
  � 8
244
- ��_ 8
245
- �� 8
246
- �� 8
247
- _ 8
248
- � 8
249
- �� 8
250
- �� 8
225
+ �ٰ�_ 8
226
+ �� 8
227
+ �� 8
228
+ _�� 8
229
+ � 8
230
+ �ϰ 8
231
+ 8
251
232
  �_ 8
252
- �� 8
233
+ 8
234
+ �� 8
235
+ �� 8
236
+ ٰ� 8
237
+ �� 8
238
+ �_ 8
253
239
  ġ 8
254
- ��� 8
240
+ �� 8
241
+ �_ 8
242
+ �� 8
243
+ ��_ 8
244
+ �� 8
245
+ �ٰ� 8
255
246
  �_ 8
256
- �� 8
247
+ ��_ 8
248
+ �ٰ 8
249
+ ����_ 8
250
+ �� 8
251
+ ٰ�_ 8
252
+ �� 8
253
+ �� 8
254
+ � 8
257
255
  �� 8
258
- �� 8
259
- �ϰ 8
260
- _ 8
261
- ����_ 8
262
- �� 8
263
- _�� 8
264
- �� 8
265
- �� 8
266
- � 8
267
- _' 8
268
- ���� 7
269
- _�� 7
270
- ��� 7
271
- �Ӵ 7
272
- ��_ 7
273
- �� 7
274
- ��� 7
275
- �Ӵ 7
276
- ����_ 7
277
- _��_ 7
278
- �� 7
279
- �_ 7
280
- ��� 7
281
- ��_ 7
282
- �� 7
283
- � 7
284
- �� 7
285
- �Ӵ� 7
286
- ��_ 7
287
- ��Ӵ 7
288
- _�� 7
256
+ �� 7
257
+ �� 7
258
+ _�� 7
289
259
  �� 7
290
- �� 7
291
- ��� 7
260
+ �� 7
261
+ _�� 7
292
262
  � 7
293
- �� 7
294
- �� 7
263
+ _��_ 7
264
+ �� 7
295
265
  ü 7
296
266
  �� 7
297
- ��_ 7
298
- ( 7
299
- _�� 7
267
+ _�� 7
300
268
  �� 7
301
- Ӵ 7
302
- �� 7
303
- Ӵ� 7
269
+ ��� 7
304
270
  Ʈ 7
305
- _�� 7
271
+ ���� 7
272
+ �� 7
273
+ _��� 7
274
+ �� 7
275
+ �� 7
276
+ ����_ 7
306
277
  �Ӵ� 7
278
+ _�� 7
279
+ ��_ 7
307
280
  �ִ�. 7
308
- _��� 7
309
- �� 7
310
- �� 7
281
+ �� 7
282
+ ��� 7
283
+ �� 7
311
284
  ���_ 7
312
- ) 7
313
- ִ�. 7
285
+ ��_ 7
286
+ Ӵ� 7
314
287
  �� 7
315
- ��� 6
288
+ ��Ӵ 7
289
+ ܭ_ 7
290
+ �Ӵ� 7
291
+ �Ӵ 7
292
+ ִ�. 7
293
+ �� 7
294
+ �� 7
295
+ ��� 7
296
+ ��� 7
297
+ �� 7
298
+ Ӵ 7
299
+ ܭ 7
300
+ �� 7
301
+ �Ӵ 7
302
+ _��� 7
303
+ _�� 7
304
+ �� 6
305
+ _�� 6
306
+ �� 6
307
+ �� 6
308
+ �� 6
309
+ ̵ 6
310
+ _��_ 6
311
+ �� 6
312
+ ��.� 6
313
+ ̴ 6
314
+ �� 6
315
+ �_ 6
316
+ ��_ 6
317
+ _�� 6
318
+ ��_ 6
319
+ � 6
316
320
  _�� 6
317
- ȯ 6
321
+ �Բ� 6
322
+ �ܭ 6
323
+ �� 6
324
+ �� 6
325
+ _�� 6
326
+ �� 6
318
327
  �� 6
328
+ � 6
329
+ �� 6
330
+ _�� 6
331
+ ٴ 6
332
+ ��� 6
333
+ �_ 6
334
+ � 6
335
+ Բ�_ 6
336
+ ڸ 6
319
337
  �Բ 6
320
- �� 6
321
- _ 6
322
- Բ� 6
323
- �� 6
324
- �Բ�_ 6
325
- �� 6
326
- .� 6
338
+ �� 6
339
+ _�� 6
340
+ 6
327
341
  _� 6
342
+ �� 6
328
343
  �� 6
344
+ �� 6
345
+ �_ 6
346
+ �� 6
347
+ �̴ 6
348
+ ��_ 6
329
349
  ��_ 6
330
- _� 6
331
- �� 6
332
- _�� 6
333
- �� 6
334
- _��� 6
335
- ��_ 6
336
- Ÿ 6
337
- Բ 6
350
+ �� 6
351
+ 6
338
352
  �� 6
339
- �� 6
340
- 6
353
+ �ܭ_ 6
354
+ _�� 6
355
+ _��� 6
356
+ _�� 6
341
357
  �� 6
358
+ �Բ�_ 6
359
+ �� 6
342
360
  �� 6
343
- 6
344
- �� 6
345
- �� 6
346
- _�� 6
347
- _��� 6
348
- �� 6
349
- _" 6
350
- _�� 6
351
- ��� 6
352
- ��� 6
353
- �� 6
354
- �� 6
355
- ̴ 6
356
- > 6
357
- Բ�_ 6
361
+ �� 6
362
+ .� 6
363
+ _� 6
364
+ ȯ 6
365
+ Բ 6
366
+ Բ� 6
367
+ �� 6
358
368
  �_ 6
359
- �� 6
360
- �� 6
361
- �� 6
362
- �Բ� 6
369
+ Ÿ 6
363
370
  �.� 6
364
- �� 6
365
- �� 6
366
- _�� 6
367
- � 6
368
- � 6
369
- ̵ 6
370
- �̴ 6
371
- �_ 6
372
- _�� 6
373
- �� 6
374
- �� 6
375
- _�� 6
376
- ��_ 6
377
- ��_ 6
378
- �� 6
379
- _��_ 6
380
- ��.� 6
381
- < 6
382
- � 6
383
- �� 6
384
- �_ 6
385
- ־ 5
386
- ��_ 5
387
- �� 5
388
- ��� 5
371
+ 5
372
+ ���� 5
373
+ ̴� 5
389
374
  �� 5
390
- ��ߴ� 5
391
- �� 5
392
- _�� 5
375
+ �� 5
376
+ �_ 5
377
+ �̵ 5
393
378
  �� 5
394
- �� 5
395
- ��_ 5
396
- �� 5
397
- ��ߴ 5
398
- �_ 5
379
+ ϵ 5
380
+ �� 5
381
+ Ѹ 5
382
+ �� 5
383
+ �� 5
384
+ ��� 5
385
+ ��� 5
386
+ _�� 5
387
+ �� 5
388
+ _�� 5
389
+ ��� 5
390
+ ѱ 5
391
+ �� 5
392
+ θ 5
393
+ �� 5
399
394
  �ѱ 5
400
- �� 5
395
+ �� 5
396
+ �_ 5
397
+ ���ߴ 5
398
+ �_ 5
399
+ �� 5
400
+ �_ 5