scylla 0.5.0 → 0.6.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (58) hide show
  1. data/Gemfile +4 -2
  2. data/Gemfile.lock +16 -1
  3. data/lib/scylla/classifier.rb +1 -1
  4. data/lib/scylla/generator.rb +16 -4
  5. data/lib/scylla/lms/afrikaans.lm +232 -232
  6. data/lib/scylla/lms/arabic.lm +175 -175
  7. data/lib/scylla/lms/bulgarian.lm +225 -225
  8. data/lib/scylla/lms/catalan.lm +309 -309
  9. data/lib/scylla/lms/danish.lm +167 -167
  10. data/lib/scylla/lms/english.lm +398 -398
  11. data/lib/scylla/lms/finnish.lm +237 -237
  12. data/lib/scylla/lms/french.lm +148 -148
  13. data/lib/scylla/lms/german.lm +258 -258
  14. data/lib/scylla/lms/greek.lm +236 -236
  15. data/lib/scylla/lms/hebrew.lm +154 -154
  16. data/lib/scylla/lms/hindi.lm +139 -139
  17. data/lib/scylla/lms/icelandic.lm +239 -239
  18. data/lib/scylla/lms/indonesian.lm +244 -244
  19. data/lib/scylla/lms/italian.lm +248 -248
  20. data/lib/scylla/lms/japanese.lm +90 -90
  21. data/lib/scylla/lms/korean.lm +306 -306
  22. data/lib/scylla/lms/norwegian.lm +193 -193
  23. data/lib/scylla/lms/polish.lm +241 -241
  24. data/lib/scylla/lms/portuguese.lm +232 -232
  25. data/lib/scylla/lms/romanian.lm +246 -246
  26. data/lib/scylla/lms/slovak.lm +242 -242
  27. data/lib/scylla/lms/slovenian.lm +229 -229
  28. data/lib/scylla/lms/spanish.lm +164 -164
  29. data/lib/scylla/lms/swedish.lm +157 -157
  30. data/lib/scylla/lms/tagalog.lm +247 -247
  31. data/lib/scylla/lms/thai.lm +252 -252
  32. data/lib/scylla/lms/turkish.lm +285 -285
  33. data/lib/scylla/lms/vietnamese.lm +250 -250
  34. data/lib/scylla/lms/welsh.lm +248 -248
  35. data/lib/scylla/resources.rb +1 -9
  36. data/lib/scylla.rb +4 -0
  37. data/scylla.gemspec +2 -120
  38. data/source_texts/english.txt +62 -27
  39. data/test/classifier_test.rb +1 -3
  40. data/test/fixtures/lms/danish.lm +173 -173
  41. data/test/fixtures/lms/english.lm +220 -220
  42. data/test/fixtures/lms/french.lm +175 -175
  43. data/test/fixtures/lms/german.lm +254 -254
  44. data/test/fixtures/lms/hindi.lm +139 -139
  45. data/test/fixtures/lms/italian.lm +236 -236
  46. data/test/fixtures/lms/japanese.lm +88 -88
  47. data/test/fixtures/lms/norwegian.lm +182 -182
  48. data/test/fixtures/lms/spanish.lm +164 -164
  49. data/test/fixtures/test_languages/spanish +0 -1
  50. data/test/generator_test.rb +13 -0
  51. data/test/helper.rb +2 -0
  52. metadata +18 -25
  53. data/.document +0 -5
  54. data/lib/scylla/lms/13375P33K.lm +0 -400
  55. data/scylla-0.1.0.gem +0 -0
  56. data/source_texts/13375P33K.txt +0 -199
  57. data/test/fixtures/lms/13375p33k.lm +0 -400
  58. data/test/fixtures/source_texts/13375P33K.txt +0 -199
@@ -20,31 +20,30 @@ _
20
20
  � 90
21
21
  � 82
22
22
  � 75
23
+ �_ 74
23
24
  �� 74
24
- �_ 73
25
25
  . 73
26
26
  _� 71
27
- �_ 69
27
+ �_ 70
28
28
  �_ 69
29
+ �_ 65
29
30
  �_ 65
30
- �_ 64
31
31
  , 58
32
32
  � 56
33
33
  � 56
34
- " 55
35
34
  _� 54
36
35
  �_ 53
37
36
  ,_ 53
38
- �_ 51
39
- _� 51
37
+ �_ 52
40
38
  �� 51
41
- �� 50
39
+ �� 51
40
+ _� 51
42
41
  � 50
43
42
  _� 48
44
43
  - 48
45
44
  _�� 48
46
- ._ 47
47
45
  _� 47
46
+ ._ 47
48
47
  �� 46
49
48
  ��_ 44
50
49
  �� 43
@@ -59,342 +58,343 @@ _
59
58
  _�� 36
60
59
  �� 35
61
60
  �� 35
62
- _� 33
63
- �_ 32
61
+ _� 34
62
+ �_ 33
64
63
  � 32
65
64
  � 31
66
65
  �� 31
67
- � 30
68
66
  _��� 30
67
+ � 30
69
68
  �� 29
70
69
  �� 29
71
70
  �� 28
72
71
  � 28
73
72
  �� 27
74
73
  _� 27
75
- �� 26
76
74
  ��_ 26
75
+ �� 26
76
+ �_ 25
77
+ ��_ 24
77
78
  �� 24
78
79
  �� 24
79
80
  �� 24
80
- ��_ 24
81
- �_ 24
82
- ��_ 23
83
- ��_ 23
84
- ���_ 23
85
81
  �� 23
82
+ ���_ 23
83
+ ��_ 23
86
84
  �� 23
87
- �� 22
88
- �� 22
89
- � 22
85
+ ��_ 23
90
86
  � 22
91
87
  _�� 22
92
- �� 21
93
- _� 21
94
- �� 21
88
+ 22
89
+ �� 22
90
+ �� 22
95
91
  _�� 21
92
+ �� 21
96
93
  _�� 21
94
+ �� 21
95
+ _� 21
97
96
  �� 20
98
- ��� 20
99
- �� 20
100
97
  �� 20
98
+ �� 20
99
+ ��� 20
100
+ �� 19
101
101
  �� 19
102
- �� 19
103
102
  � 19
104
103
  �� 19
105
- �� 19
104
+ �� 19
106
105
  _��� 18
107
- �� 18
108
- ��_ 18
106
+ 18
107
+ �� 18
109
108
  ��� 18
109
+ _� 18
110
+ �_ 18
110
111
  �� 18
111
- �� 18
112
+ ��_ 18
112
113
  _�� 18
113
- 18
114
- _ 18
115
- �_ 17
114
+ �� 18
115
+ ���_ 17
116
116
  �� 17
117
+ �. 17
118
+ �� 17
117
119
  �� 17
118
- _" 17
119
120
  _���_ 17
120
- �� 17
121
- ���_ 17
122
121
  ��� 17
123
- �� 16
124
- �� 16
125
- �_ 16
126
122
  �� 16
123
+ �_ 16
124
+ �� 16
125
+ �� 16
127
126
  �� 16
128
- ���_ 15
129
- �� 15
130
- _���_ 15
127
+ _��_ 15
128
+ �� 15
129
+ _ 15
131
130
  �� 15
132
- ��_ 15
131
+ _���_ 15
133
132
  �� 15
133
+ �� 15
134
+ ��_ 15
135
+ ���_ 15
136
+ _�_ 15
134
137
  �� 15
135
- _��_ 15
136
138
  �� 15
137
- _�_ 15
138
- �� 15
139
- �� 15
140
- _� 15
141
- �� 14
142
- _� 14
143
- �� 14
144
- _�� 14
145
- �. 14
146
- ��� 14
139
+ �� 15
140
+ ���_ 14
147
141
  �� 14
142
+ ��� 14
143
+ _�� 14
144
+ ��_ 14
145
+ _� 14
148
146
  _�� 14
149
147
  �� 14
150
- ��� 14
148
+ ��� 14
149
+ �� 14
150
+ �� 14
151
151
  �� 14
152
- ���_ 14
153
- ��_ 14
152
+ _ 13
154
153
  _��� 13
155
- �� 13
156
- �� 13
157
- �� 13
158
- �� 13
159
- ��_ 13
160
154
  �� 13
155
+ ��_ 13
156
+ �� 13
157
+ �. 13
161
158
  ��_ 13
162
- _ 13
163
- _�� 12
159
+ _�� 13
160
+ �� 13
161
+ �� 13
162
+ �� 13
164
163
  ���_ 12
165
- �� 12
166
- �� 12
167
164
  �� 12
165
+ ��� 12
166
+ �� 12
168
167
  ��_ 12
169
- ��� 12
168
+ _���_ 12
169
+ �� 12
170
+ ��_ 12
170
171
  �� 12
171
- ��� 12
172
- ��_ 12
173
- ��� 12
172
+ ��� 12
174
173
  _��� 12
175
174
  �� 12
176
- �� 12
177
- _���_ 12
178
- ��_ 12
179
- �� 11
180
- ��� 11
181
- �� 11
182
- ". 11
175
+ �� 12
176
+ ��� 12
177
+ ��_ 12
178
+ �� 11
183
179
  �� 11
184
- ��� 11
180
+ ��� 11
181
+ �� 11
185
182
  �� 11
186
- �� 11
187
- �� 11
188
183
  � 11
184
+ ��� 11
189
185
  �� 11
190
- _��� 10
191
- _�� 10
192
- �� 10
193
- ��� 10
186
+ �� 11
187
+ �� 11
194
188
  _�� 10
195
189
  �� 10
196
- ��_ 10
197
190
  �� 10
198
- _��_ 10
199
- ��� 10
200
191
  ��� 10
192
+ _��� 10
201
193
  _�� 10
202
- �� 10
203
- _� 10
204
- �� 10
205
- _��� 10
194
+ �� 10
195
+ � 10
196
+ ��� 10
197
+ _��� 10
206
198
  �� 10
207
199
  ��� 10
208
- ���� 10
209
- �. 10
200
+ ��� 10
201
+ �� 10
202
+ _��_ 10
203
+ _��� 10
204
+ _� 10
205
+ �� 10
206
+ �� 10
207
+ _��� 10
208
+ _�� 10
209
+ �� 10
210
+ �� 10
210
211
  _���_ 10
211
- ��� 10
212
- � 10
213
212
  �� 10
214
- �� 10
215
- _� 10
213
+ ���� 10
214
+ ��� 10
216
215
  _���� 10
217
- _��� 10
218
- �� 10
219
- �� 10
220
- _��� 10
221
- �� 10
222
- ��� 9
223
- ��� 9
224
- � 9
225
- �._ 9
226
- �� 9
227
- �� 9
228
- � 9
216
+ �� 10
217
+ ��_ 10
218
+ _� 10
219
+ ���_ 9
229
220
  _�� 9
230
- ", 9
231
- ��� 9
221
+ �� 9
232
222
  ���_ 9
233
- � 9
234
- ��_ 9
235
- ��� 9
236
- ��_ 9
237
- �� 9
238
223
  �_ 9
239
- _� 9
240
- _�� 9
241
- ��� 9
242
- ���_ 9
243
- �� 9
244
- ���� 9
224
+ �� 9
225
+ �� 9
226
+ ��� 9
245
227
  _���_ 9
246
- �� 9
247
228
  �� 9
248
- _��� 9
229
+ �� 9
249
230
  ��� 9
250
- ",_ 9
231
+ _��� 9
232
+ ��_ 9
233
+ �� 9
234
+ ���_ 9
235
+ �._ 9
236
+ ��� 9
237
+ ��� 9
238
+ �� 9
239
+ ��� 9
240
+ ��� 9
241
+ � 9
251
242
  �� 9
243
+ �- 9
244
+ ���� 9
252
245
  _�� 9
253
- ���_ 9
254
- �� 9
255
- �� 9
246
+ ��_ 9
256
247
  ���� 9
248
+ _�� 9
249
+ �� 9
250
+ _� 9
251
+ � 9
252
+ � 9
253
+ _� 8
254
+ ��� 8
255
+ _�� 8
256
+ �. 8
257
+ �, 8
258
+ ���_ 8
259
+ �, 8
257
260
  �� 8
258
- �._ 8
259
- ���� 8
261
+ ���� 8
260
262
  _�� 8
261
- ��� 8
262
- ����� 8
263
- �� 8
264
- �. 8
263
+ ��� 8
264
+ ���� 8
265
265
  _���� 8
266
- ����� 8
267
- ��_ 8
268
- _���� 8
269
- _� 8
270
- _� 8
271
- ��� 8
272
- ��� 8
273
- ���� 8
274
- _��� 8
275
- _�� 8
276
- �� 8
277
- �� 8
278
- ���� 8
279
266
  �� 8
280
- ���_ 8
281
267
  �� 8
268
+ �,_ 8
269
+ _��� 8
270
+ �._ 8
271
+ _�� 8
272
+ ���� 8
273
+ _� 8
274
+ �. 8
275
+ ��_ 8
276
+ �� 8
277
+ ��� 8
282
278
  ��_ 8
283
- �- 8
284
- ��� 8
285
- ���� 8
286
279
  ����� 8
280
+ �� 8
281
+ _���� 8
282
+ ��� 8
287
283
  �� 8
288
- ��� 8
289
- �� 8
290
- _�� 8
291
- ��_ 7
292
- �, 7
293
- �� 7
284
+ ��� 8
285
+ ����� 8
286
+ ����� 8
287
+ ���� 8
288
+ �� 8
289
+ _� 8
290
+ ��_ 8
291
+ �� 8
292
+ _�� 7
293
+ �� 7
294
294
  �� 7
295
- _��_ 7
295
+ ����� 7
296
+ -� 7
297
+ ���_ 7
298
+ ��_ 7
296
299
  ��_ 7
297
- _���_ 7
298
- �� 7
299
- �� 7
300
- ��_ 7
301
- �� 7
300
+ ��� 7
301
+ _���� 7
302
+ �� 7
302
303
  ���� 7
304
+ ����_ 7
303
305
  �� 7
304
- _���� 7
305
- ��� 7
306
- ���_ 7
307
- ����� 7
308
- ��� 7
306
+ _ 7
307
+ �_ 7
309
308
  ��� 7
310
- ����� 7
311
- _� 7
312
- ����_ 7
313
- �� 7
309
+ ��� 7
310
+ �� 7
314
311
  _��� 7
315
- -� 7
312
+ �� 7
313
+ _��_ 7
316
314
  �� 7
317
- _�� 7
315
+ ��� 7
316
+ _���_ 7
317
+ �� 7
318
+ ����� 7
319
+ �� 7
318
320
  ���� 7
321
+ �� 7
322
+ ��� 7
323
+ _� 7
319
324
  �- 7
320
- _��� 7
325
+ �,_ 7
326
+ ��_ 7
321
327
  _��� 7
322
- ��_ 7
323
- �� 7
324
- �� 7
325
- ��� 7
326
- _ 7
327
- ��� 7
328
- ����_ 6
329
- �. 6
330
- �� 6
331
- _���_ 6
328
+ ��, 7
329
+ _��� 7
330
+ ��,_ 7
331
+ _�� 6
332
+ ��_ 6
332
333
  �� 6
334
+ ��� 6
335
+ ���_ 6
333
336
  ���_ 6
337
+ ��_ 6
338
+ �,_ 6
334
339
  _� 6
335
- _�� 6
340
+ ��� 6
341
+ �� 6
342
+ �� 6
343
+ �� 6
344
+ �� 6
345
+ �, 6
346
+ ��_ 6
347
+ �� 6
348
+ ��� 6
349
+ �� 6
350
+ _��� 6
351
+ ���� 6
352
+ �� 6
353
+ ���� 6
354
+ ��� 6
336
355
  _��_ 6
356
+ �� 6
357
+ _�� 6
358
+ �� 6
359
+ �� 6
360
+ �� 6
337
361
  _��� 6
362
+ _��� 6
338
363
  _�� 6
339
- �� 6
340
- ���_ 6
341
- _�� 6
342
- �� 6
343
- ���_ 6
344
- _��� 6
345
- �,_ 6
346
- ��_ 6
347
- �� 6
364
+ �� 6
348
365
  ��_ 6
349
366
  �� 6
350
- �� 6
351
- ��_ 6
352
- �� 6
367
+ ��� 6
368
+ _�._ 6
353
369
  ��. 6
370
+ ��� 6
354
371
  �._ 6
355
- �� 6
356
- �� 6
357
- ��� 6
358
- �� 6
359
- ���� 6
372
+ �� 6
360
373
  �� 6
361
- ���� 6
362
- ��� 6
363
- ��� 6
364
- ; 6
365
- �� 6
366
- ��� 6
367
- �,_ 6
368
- _� 6
369
- ��_ 6
370
- ���_ 6
371
- ��� 6
372
- _��� 6
373
- ��_ 6
374
- �._ 6
375
- �� 6
376
374
  ����_ 6
375
+ �� 6
376
+ �� 6
377
+ _�. 6
378
+ ��� 6
377
379
  ��� 6
380
+ �� 6
378
381
  _�� 6
379
382
  �� 6
380
- �� 6
381
- _�._ 6
382
- �� 6
383
- �� 6
384
- �� 6
385
- �, 6
386
- �, 6
387
- �� 6
388
- ��� 6
389
- �� 6
390
383
  _� 6
391
- ��� 6
384
+ �, 6
385
+ �� 6
386
+ ����_ 6
387
+ ���_ 6
388
+ _���_ 6
392
389
  _�� 6
393
- �� 6
394
- �" 6
395
- �� 6
396
- ��_ 6
397
- _�. 6
390
+ ��_ 6
398
391
  ��� 6
399
- �� 6
400
- _� 6
392
+ �._ 6
393
+ �� 6
394
+ �. 6
395
+ ��_ 6
396
+ �� 6
397
+ ���_ 6
398
+ �� 6
399
+ ��� 5
400
+ ���_ 5