scylla 0.5.0 → 0.6.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (58) hide show
  1. data/Gemfile +4 -2
  2. data/Gemfile.lock +16 -1
  3. data/lib/scylla/classifier.rb +1 -1
  4. data/lib/scylla/generator.rb +16 -4
  5. data/lib/scylla/lms/afrikaans.lm +232 -232
  6. data/lib/scylla/lms/arabic.lm +175 -175
  7. data/lib/scylla/lms/bulgarian.lm +225 -225
  8. data/lib/scylla/lms/catalan.lm +309 -309
  9. data/lib/scylla/lms/danish.lm +167 -167
  10. data/lib/scylla/lms/english.lm +398 -398
  11. data/lib/scylla/lms/finnish.lm +237 -237
  12. data/lib/scylla/lms/french.lm +148 -148
  13. data/lib/scylla/lms/german.lm +258 -258
  14. data/lib/scylla/lms/greek.lm +236 -236
  15. data/lib/scylla/lms/hebrew.lm +154 -154
  16. data/lib/scylla/lms/hindi.lm +139 -139
  17. data/lib/scylla/lms/icelandic.lm +239 -239
  18. data/lib/scylla/lms/indonesian.lm +244 -244
  19. data/lib/scylla/lms/italian.lm +248 -248
  20. data/lib/scylla/lms/japanese.lm +90 -90
  21. data/lib/scylla/lms/korean.lm +306 -306
  22. data/lib/scylla/lms/norwegian.lm +193 -193
  23. data/lib/scylla/lms/polish.lm +241 -241
  24. data/lib/scylla/lms/portuguese.lm +232 -232
  25. data/lib/scylla/lms/romanian.lm +246 -246
  26. data/lib/scylla/lms/slovak.lm +242 -242
  27. data/lib/scylla/lms/slovenian.lm +229 -229
  28. data/lib/scylla/lms/spanish.lm +164 -164
  29. data/lib/scylla/lms/swedish.lm +157 -157
  30. data/lib/scylla/lms/tagalog.lm +247 -247
  31. data/lib/scylla/lms/thai.lm +252 -252
  32. data/lib/scylla/lms/turkish.lm +285 -285
  33. data/lib/scylla/lms/vietnamese.lm +250 -250
  34. data/lib/scylla/lms/welsh.lm +248 -248
  35. data/lib/scylla/resources.rb +1 -9
  36. data/lib/scylla.rb +4 -0
  37. data/scylla.gemspec +2 -120
  38. data/source_texts/english.txt +62 -27
  39. data/test/classifier_test.rb +1 -3
  40. data/test/fixtures/lms/danish.lm +173 -173
  41. data/test/fixtures/lms/english.lm +220 -220
  42. data/test/fixtures/lms/french.lm +175 -175
  43. data/test/fixtures/lms/german.lm +254 -254
  44. data/test/fixtures/lms/hindi.lm +139 -139
  45. data/test/fixtures/lms/italian.lm +236 -236
  46. data/test/fixtures/lms/japanese.lm +88 -88
  47. data/test/fixtures/lms/norwegian.lm +182 -182
  48. data/test/fixtures/lms/spanish.lm +164 -164
  49. data/test/fixtures/test_languages/spanish +0 -1
  50. data/test/generator_test.rb +13 -0
  51. data/test/helper.rb +2 -0
  52. metadata +18 -25
  53. data/.document +0 -5
  54. data/lib/scylla/lms/13375P33K.lm +0 -400
  55. data/scylla-0.1.0.gem +0 -0
  56. data/source_texts/13375P33K.txt +0 -199
  57. data/test/fixtures/lms/13375p33k.lm +0 -400
  58. data/test/fixtures/source_texts/13375P33K.txt +0 -199
@@ -1,400 +1,400 @@
1
- _ 1282
2
- 290
3
- 184
4
- 181
5
- � 163
1
+ _ 1270
2
+ 271
3
+ 170
4
+ 168
6
5
  � 163
7
- 158
8
- 129
9
- 101
10
- 100
11
- 99
12
- 90
13
- 89
14
- __ 87
15
- 78
16
- _� 77
17
- � 75
18
- � 74
6
+ 159
7
+ 143
8
+ 121
9
+ 96
10
+ __ 94
11
+ 93
12
+ 87
13
+ 83
14
+ 82
15
+ _� 79
19
16
  � 73
20
- 73
21
- 71
22
- 69
17
+ 72
18
+ 72
19
+ 70
23
20
  �� 66
24
- �� 65
25
- 62
21
+ 66
22
+ �� 64
23
+ � 62
24
+ � 61
25
+ � 60
26
+ � 59
26
27
  � 55
27
- � 54
28
28
  � 54
29
- � 53
30
- 52
31
- 50
32
- 49
33
- 49
34
- _48
35
- 48
36
- 46
37
- � 45
29
+ � 53
30
+ 49
31
+ 48
32
+ 47
33
+ 47
34
+ 45
35
+ _45
36
+ 44
38
37
  . 44
38
+ � 44
39
+ � 43
39
40
  � 40
40
- 39
41
+ ��. 39
41
42
  �. 39
42
- � 39
43
+ � 39
43
44
  � 39
44
- ��. 39
45
- 37
46
- �� 36
47
- � 35
48
- � 35
49
- � 34
50
- _� 34
51
- �� 34
52
- � 33
45
+ 37
46
+ _35
47
+ 35
53
48
  �_ 32
54
49
  � 32
55
- _32
56
- _ 31
57
- 31
50
+ 31
51
+ 30
52
+ _30
53
+ � 30
54
+ _� 30
55
+ �_ 30
56
+ � 29
57
+ �� 29
58
58
  ��_ 29
59
- �� 29
60
- �_ 29
61
59
  �� 29
62
- � 29
63
- ��_ 29
64
- _27
60
+ � 29
61
+ 28
62
+ 28
63
+ �� 28
65
64
  �� 27
65
+ �_ 27
66
66
  _� 27
67
- _� 27
68
- � 26
67
+ �� 26
68
+ � 26
69
69
  �� 26
70
+ � 25
71
+ _� 25
70
72
  �� 25
73
+ ��_ 25
71
74
  _� 25
72
- _� 25
73
- _� 25
74
- �� 25
75
- �� 25
76
- �_ 24
77
75
  �_ 24
76
+ � 24
78
77
  �_ 24
78
+ �_ 24
79
+ _� 24
80
+ _� 23
79
81
  ��_ 23
80
- ��_ 23
81
- �� 23
82
- �� 23
83
82
  � 23
84
- �� 23
85
- 23
86
- _� 23
87
- �� 22
88
- �� 22
83
+ _� 23
84
+ �� 23
85
+ �� 23
86
+ 22
87
+ �� 22
89
88
  �_ 22
89
+ � 22
90
90
  � 22
91
- 22
92
- �� 22
93
- �� 22
94
- _� 21
91
+ �� 22
92
+ ��_ 22
95
93
  ��_ 21
94
+ �� 21
96
95
  _� 21
97
- �� 21
98
- �� 21
99
- _� 20
100
- �_ 20
101
- � 20
102
- ��_ 20
96
+ _� 21
97
+ �� 20
103
98
  ��_ 20
104
- 19
99
+ �� 20
100
+ � 20
101
+ _�� 20
102
+ �_ 20
105
103
  _�� 19
104
+ ._ 19
105
+ � 19
106
106
  �� 19
107
107
  � 19
108
- ._ 19
109
- ִ 18
110
- �_ 18
111
- � 18
112
108
  ��_ 18
113
- �� 18
109
+ _� 18
110
+ �_ 18
111
+ ִ 18
114
112
  �_ 18
115
- ��_ 18
116
- � 18
117
- � 18
113
+ _ 18
118
114
  �� 18
119
- _�� 18
120
- �_ 18
115
+ 18
121
116
  �_ 17
122
- 17
117
+ �� 17
118
+ _� 17
123
119
  �ִ 17
124
- �� 17
125
- _� 17
120
+ 17
121
+ � 17
122
+ �� 17
123
+ � 16
126
124
  �� 16
127
- " 16
125
+ _� 16
128
126
  �� 16
129
- �� 16
130
- �� 16
131
- � 16
132
- _� 15
127
+ ��_ 16
133
128
  , 15
134
129
  ��_ 15
135
- ' 15
136
- �� 15
137
- � 15
138
- �� 15
130
+ �� 15
139
131
  ��._ 15
132
+ �� 15
133
+ � 15
140
134
  �._ 15
141
- 15
142
- �� 14
143
- �� 14
135
+ _�ִ 14
144
136
  � 14
145
- �� 14
146
- �� 14
137
+ �� 14
138
+ ��� 14
147
139
  �� 14
148
140
  �� 14
149
- ��� 14
150
- _�ִ 14
151
- 14
152
- �� 14
141
+ �� 14
142
+ �� 14
143
+ �� 14
153
144
  �� 14
145
+ � 14
154
146
  _�� 14
155
- 14
156
- � 13
157
- ȸ 13
158
- �� 13
159
- �� 13
147
+ ��_ 13
160
148
  �� 13
161
- �ִ� 13
162
- ߴ 13
163
- ִ� 13
164
- �� 13
149
+ �� 13
165
150
  �� 13
151
+ ȸ 13
152
+ � 13
153
+ �ִ� 13
154
+ �� 13
166
155
  �_ 13
167
- 12
168
- 12
169
- ,_ 12
170
- 12
171
- 12
172
- �ߴ� 12
156
+ ִ� 13
157
+ �� 13
158
+ ߴ 13
159
+ �� 13
160
+ �� 12
173
161
  �_ 12
174
- 12
162
+ �ߴ� 12
163
+ � 12
164
+ �� 12
175
165
  �ߴ 12
176
166
  ߴ� 12
177
- �� 12
178
- �� 11
179
- _11
180
- �� 11
167
+ 12
168
+ 12
169
+ 12
170
+ ,_ 12
171
+ � 12
172
+ ߴ�. 11
173
+ _� 11
174
+ � 11
175
+ _�� 11
181
176
  �� 11
182
- �ߴ�. 11
183
177
  _�� 11
184
- ��_ 11
185
- ��_ 11
186
- ��� 11
187
- �� 11
188
- �� 11
189
- _� 11
190
- ���� 11
191
- �� 11
178
+ �� 11
192
179
  _�� 11
180
+ �� 11
181
+ �ߴ�. 11
182
+ � 11
193
183
  �_ 11
194
- ߴ�. 11
195
- _�� 11
196
- ��� 11
184
+ �� 11
185
+ õ 11
186
+ _� 11
197
187
  _�ִ� 10
198
- � 10
199
- ��� 10
200
- õ 10
201
- �� 10
202
- � 10
203
- � 10
204
- ��� 10
205
- �� 10
206
- � 10
207
188
  �� 10
208
- �� 10
209
- �� 10
210
- _�� 10
211
- �� 10
189
+ �� 10
212
190
  �_ 10
213
- ���� 10
214
- �� 10
215
- �� 10
191
+ 10
216
192
  �� 10
217
- �� 10
218
- _�� 9
219
- 9
220
- ����_ 9
221
- ���_ 9
222
- �� 9
223
- _� 9
224
- �� 9
193
+ 10
194
+ _ 10
195
+ �� 10
196
+ �� 10
197
+ �� 10
198
+ �� 10
199
+ �� 10
225
200
  ϰ 9
226
- � 9
227
- �� 9
228
- �� 9
229
201
  �� 9
230
- �� 9
202
+ ��� 9
203
+ �� 9
204
+ �� 9
205
+ _�� 9
206
+ � 9
207
+ ��� 9
208
+ �� 9
209
+ ���� 9
210
+ ��_ 9
211
+ � 9
212
+ ٰ 9
231
213
  �� 9
232
- 9
233
- �_ 8
214
+ �� 9
215
+ ��� 9
216
+ �� 9
217
+ _� 9
218
+ _�� 9
219
+ � 9
234
220
  �� 8
235
- ���_ 8
236
- 8
221
+ ���_ 8
222
+ �� 8
237
223
  � 8
238
- �� 8
239
- �� 8
240
- � 8
241
- ��� 8
242
- �� 8
243
224
  � 8
244
- ��_ 8
245
- �� 8
246
- �� 8
247
- _ 8
248
- � 8
249
- �� 8
250
- �� 8
225
+ �ٰ�_ 8
226
+ �� 8
227
+ �� 8
228
+ _�� 8
229
+ � 8
230
+ �ϰ 8
231
+ 8
251
232
  �_ 8
252
- �� 8
233
+ 8
234
+ �� 8
235
+ �� 8
236
+ ٰ� 8
237
+ �� 8
238
+ �_ 8
253
239
  ġ 8
254
- ��� 8
240
+ �� 8
241
+ �_ 8
242
+ �� 8
243
+ ��_ 8
244
+ �� 8
245
+ �ٰ� 8
255
246
  �_ 8
256
- �� 8
247
+ ��_ 8
248
+ �ٰ 8
249
+ ����_ 8
250
+ �� 8
251
+ ٰ�_ 8
252
+ �� 8
253
+ �� 8
254
+ � 8
257
255
  �� 8
258
- �� 8
259
- �ϰ 8
260
- _ 8
261
- ����_ 8
262
- �� 8
263
- _�� 8
264
- �� 8
265
- �� 8
266
- � 8
267
- _' 8
268
- ���� 7
269
- _�� 7
270
- ��� 7
271
- �Ӵ 7
272
- ��_ 7
273
- �� 7
274
- ��� 7
275
- �Ӵ 7
276
- ����_ 7
277
- _��_ 7
278
- �� 7
279
- �_ 7
280
- ��� 7
281
- ��_ 7
282
- �� 7
283
- � 7
284
- �� 7
285
- �Ӵ� 7
286
- ��_ 7
287
- ��Ӵ 7
288
- _�� 7
256
+ �� 7
257
+ �� 7
258
+ _�� 7
289
259
  �� 7
290
- �� 7
291
- ��� 7
260
+ �� 7
261
+ _�� 7
292
262
  � 7
293
- �� 7
294
- �� 7
263
+ _��_ 7
264
+ �� 7
295
265
  ü 7
296
266
  �� 7
297
- ��_ 7
298
- ( 7
299
- _�� 7
267
+ _�� 7
300
268
  �� 7
301
- Ӵ 7
302
- �� 7
303
- Ӵ� 7
269
+ ��� 7
304
270
  Ʈ 7
305
- _�� 7
271
+ ���� 7
272
+ �� 7
273
+ _��� 7
274
+ �� 7
275
+ �� 7
276
+ ����_ 7
306
277
  �Ӵ� 7
278
+ _�� 7
279
+ ��_ 7
307
280
  �ִ�. 7
308
- _��� 7
309
- �� 7
310
- �� 7
281
+ �� 7
282
+ ��� 7
283
+ �� 7
311
284
  ���_ 7
312
- ) 7
313
- ִ�. 7
285
+ ��_ 7
286
+ Ӵ� 7
314
287
  �� 7
315
- ��� 6
288
+ ��Ӵ 7
289
+ ܭ_ 7
290
+ �Ӵ� 7
291
+ �Ӵ 7
292
+ ִ�. 7
293
+ �� 7
294
+ �� 7
295
+ ��� 7
296
+ ��� 7
297
+ �� 7
298
+ Ӵ 7
299
+ ܭ 7
300
+ �� 7
301
+ �Ӵ 7
302
+ _��� 7
303
+ _�� 7
304
+ �� 6
305
+ _�� 6
306
+ �� 6
307
+ �� 6
308
+ �� 6
309
+ ̵ 6
310
+ _��_ 6
311
+ �� 6
312
+ ��.� 6
313
+ ̴ 6
314
+ �� 6
315
+ �_ 6
316
+ ��_ 6
317
+ _�� 6
318
+ ��_ 6
319
+ � 6
316
320
  _�� 6
317
- ȯ 6
321
+ �Բ� 6
322
+ �ܭ 6
323
+ �� 6
324
+ �� 6
325
+ _�� 6
326
+ �� 6
318
327
  �� 6
328
+ � 6
329
+ �� 6
330
+ _�� 6
331
+ ٴ 6
332
+ ��� 6
333
+ �_ 6
334
+ � 6
335
+ Բ�_ 6
336
+ ڸ 6
319
337
  �Բ 6
320
- �� 6
321
- _ 6
322
- Բ� 6
323
- �� 6
324
- �Բ�_ 6
325
- �� 6
326
- .� 6
338
+ �� 6
339
+ _�� 6
340
+ 6
327
341
  _� 6
342
+ �� 6
328
343
  �� 6
344
+ �� 6
345
+ �_ 6
346
+ �� 6
347
+ �̴ 6
348
+ ��_ 6
329
349
  ��_ 6
330
- _� 6
331
- �� 6
332
- _�� 6
333
- �� 6
334
- _��� 6
335
- ��_ 6
336
- Ÿ 6
337
- Բ 6
350
+ �� 6
351
+ 6
338
352
  �� 6
339
- �� 6
340
- 6
353
+ �ܭ_ 6
354
+ _�� 6
355
+ _��� 6
356
+ _�� 6
341
357
  �� 6
358
+ �Բ�_ 6
359
+ �� 6
342
360
  �� 6
343
- 6
344
- �� 6
345
- �� 6
346
- _�� 6
347
- _��� 6
348
- �� 6
349
- _" 6
350
- _�� 6
351
- ��� 6
352
- ��� 6
353
- �� 6
354
- �� 6
355
- ̴ 6
356
- > 6
357
- Բ�_ 6
361
+ �� 6
362
+ .� 6
363
+ _� 6
364
+ ȯ 6
365
+ Բ 6
366
+ Բ� 6
367
+ �� 6
358
368
  �_ 6
359
- �� 6
360
- �� 6
361
- �� 6
362
- �Բ� 6
369
+ Ÿ 6
363
370
  �.� 6
364
- �� 6
365
- �� 6
366
- _�� 6
367
- � 6
368
- � 6
369
- ̵ 6
370
- �̴ 6
371
- �_ 6
372
- _�� 6
373
- �� 6
374
- �� 6
375
- _�� 6
376
- ��_ 6
377
- ��_ 6
378
- �� 6
379
- _��_ 6
380
- ��.� 6
381
- < 6
382
- � 6
383
- �� 6
384
- �_ 6
385
- ־ 5
386
- ��_ 5
387
- �� 5
388
- ��� 5
371
+ 5
372
+ ���� 5
373
+ ̴� 5
389
374
  �� 5
390
- ��ߴ� 5
391
- �� 5
392
- _�� 5
375
+ �� 5
376
+ �_ 5
377
+ �̵ 5
393
378
  �� 5
394
- �� 5
395
- ��_ 5
396
- �� 5
397
- ��ߴ 5
398
- �_ 5
379
+ ϵ 5
380
+ �� 5
381
+ Ѹ 5
382
+ �� 5
383
+ �� 5
384
+ ��� 5
385
+ ��� 5
386
+ _�� 5
387
+ �� 5
388
+ _�� 5
389
+ ��� 5
390
+ ѱ 5
391
+ �� 5
392
+ θ 5
393
+ �� 5
399
394
  �ѱ 5
400
- �� 5
395
+ �� 5
396
+ �_ 5
397
+ ���ߴ 5
398
+ �_ 5
399
+ �� 5
400
+ �_ 5