scylla 0.5.0 → 0.6.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (58) hide show
  1. data/Gemfile +4 -2
  2. data/Gemfile.lock +16 -1
  3. data/lib/scylla/classifier.rb +1 -1
  4. data/lib/scylla/generator.rb +16 -4
  5. data/lib/scylla/lms/afrikaans.lm +232 -232
  6. data/lib/scylla/lms/arabic.lm +175 -175
  7. data/lib/scylla/lms/bulgarian.lm +225 -225
  8. data/lib/scylla/lms/catalan.lm +309 -309
  9. data/lib/scylla/lms/danish.lm +167 -167
  10. data/lib/scylla/lms/english.lm +398 -398
  11. data/lib/scylla/lms/finnish.lm +237 -237
  12. data/lib/scylla/lms/french.lm +148 -148
  13. data/lib/scylla/lms/german.lm +258 -258
  14. data/lib/scylla/lms/greek.lm +236 -236
  15. data/lib/scylla/lms/hebrew.lm +154 -154
  16. data/lib/scylla/lms/hindi.lm +139 -139
  17. data/lib/scylla/lms/icelandic.lm +239 -239
  18. data/lib/scylla/lms/indonesian.lm +244 -244
  19. data/lib/scylla/lms/italian.lm +248 -248
  20. data/lib/scylla/lms/japanese.lm +90 -90
  21. data/lib/scylla/lms/korean.lm +306 -306
  22. data/lib/scylla/lms/norwegian.lm +193 -193
  23. data/lib/scylla/lms/polish.lm +241 -241
  24. data/lib/scylla/lms/portuguese.lm +232 -232
  25. data/lib/scylla/lms/romanian.lm +246 -246
  26. data/lib/scylla/lms/slovak.lm +242 -242
  27. data/lib/scylla/lms/slovenian.lm +229 -229
  28. data/lib/scylla/lms/spanish.lm +164 -164
  29. data/lib/scylla/lms/swedish.lm +157 -157
  30. data/lib/scylla/lms/tagalog.lm +247 -247
  31. data/lib/scylla/lms/thai.lm +252 -252
  32. data/lib/scylla/lms/turkish.lm +285 -285
  33. data/lib/scylla/lms/vietnamese.lm +250 -250
  34. data/lib/scylla/lms/welsh.lm +248 -248
  35. data/lib/scylla/resources.rb +1 -9
  36. data/lib/scylla.rb +4 -0
  37. data/scylla.gemspec +2 -120
  38. data/source_texts/english.txt +62 -27
  39. data/test/classifier_test.rb +1 -3
  40. data/test/fixtures/lms/danish.lm +173 -173
  41. data/test/fixtures/lms/english.lm +220 -220
  42. data/test/fixtures/lms/french.lm +175 -175
  43. data/test/fixtures/lms/german.lm +254 -254
  44. data/test/fixtures/lms/hindi.lm +139 -139
  45. data/test/fixtures/lms/italian.lm +236 -236
  46. data/test/fixtures/lms/japanese.lm +88 -88
  47. data/test/fixtures/lms/norwegian.lm +182 -182
  48. data/test/fixtures/lms/spanish.lm +164 -164
  49. data/test/fixtures/test_languages/spanish +0 -1
  50. data/test/generator_test.rb +13 -0
  51. data/test/helper.rb +2 -0
  52. metadata +18 -25
  53. data/.document +0 -5
  54. data/lib/scylla/lms/13375P33K.lm +0 -400
  55. data/scylla-0.1.0.gem +0 -0
  56. data/source_texts/13375P33K.txt +0 -199
  57. data/test/fixtures/lms/13375p33k.lm +0 -400
  58. data/test/fixtures/source_texts/13375P33K.txt +0 -199
@@ -1,91 +1,91 @@
1
1
  � 18717
2
2
  _ 8282
3
3
  _� 4141
4
- י 2236
5
4
  � 2236
5
+ י 2236
6
6
  י� 2028
7
7
  �� 2028
8
- � 2000
9
8
  ו 2000
9
+ � 2000
10
10
  ו� 1828
11
11
  �� 1828
12
- ה 1399
13
12
  � 1399
13
+ ה 1399
14
14
  � 1228
15
15
  ל 1228
16
16
  � 1141
17
17
  ת 1141
18
18
  ר 1133
19
19
  � 1133
20
- � 1129
21
20
  א 1129
21
+ � 1129
22
22
  �� 999
23
23
  א� 999
24
- מ 944
25
24
  �� 944
26
25
  � 944
26
+ מ 944
27
27
  מ� 944
28
- ר� 885
29
28
  �� 885
30
- 832
29
+ ר� 885
31
30
  ב 832
31
+ � 832
32
32
  ל� 791
33
33
  �� 791
34
- � 734
35
34
  ש 734
36
- �� 706
35
+ 734
37
36
  ב� 706
38
- ם 674
37
+ �� 706
39
38
  � 674
40
- ה_ 660
39
+ ם 674
41
40
  �_ 660
42
- _א 657
41
+ ה_ 660
43
42
  _א� 657
44
- 636
43
+ 657
45
44
  ד 636
46
- ש� 617
45
+ 636
47
46
  �� 617
47
+ ש� 617
48
+ נ� 610
49
+ �� 610
48
50
  � 610
49
51
  נ 610
50
- �� 610
51
- נ� 610
52
52
  �_ 569
53
53
  ת_ 569
54
- �_ 535
55
54
  ם_ 535
55
+ �_ 535
56
56
  �� 534
57
57
  ה� 534
58
- � 523
59
58
  ע 523
59
+ � 523
60
60
  . 522
61
- � 507
62
61
  ק 507
63
- ק� 499
64
- �� 499
65
- �� 499
62
+ 507
66
63
  ד� 499
67
- 495
68
- פ 495
64
+ �� 499
65
+ �� 499
66
+ ק� 499
69
67
  �� 495
70
68
  פ� 495
69
+ פ 495
70
+ � 495
71
71
  ח 470
72
72
  � 470
73
- _מ� 461
74
73
  _מ 461
75
- �� 460
74
+ _מ� 461
76
75
  ע� 460
76
+ �� 460
77
77
  �� 441
78
- � 441
79
- כ 441
80
78
  כ� 441
79
+ כ 441
80
+ � 441
81
81
  ת� 440
82
82
  �� 440
83
83
  _ב 433
84
84
  ח� 432
85
85
  �� 432
86
86
  ._ 423
87
- ,_ 422
88
87
  , 422
88
+ ,_ 422
89
89
  ים 417
90
90
  �ם 417
91
91
  _ה 384
@@ -93,18 +93,18 @@ _ה
93
93
  _ב� 366
94
94
  �ם_ 353
95
95
  ים_ 353
96
- � 348
97
96
  ס� 348
98
97
  �� 348
98
+ � 348
99
99
  ס 348
100
100
  �_ 328
101
101
  ל_ 328
102
- �ת 317
103
102
  ות 317
104
- ג 309
105
- �� 309
103
+ �ת 317
106
104
  � 309
105
+ �� 309
107
106
  ג� 309
107
+ ג 309
108
108
  ט 303
109
109
  � 303
110
110
  _ש 302
@@ -115,286 +115,286 @@ _ל
115
115
  ול 250
116
116
  �ת_ 243
117
117
  ות_ 243
118
- יה 239
119
118
  �ה 239
120
- �� 235
119
+ יה 239
121
120
  ט� 235
122
- �ו 233
121
+ �� 235
123
122
  לו 233
124
- לו� 217
123
+ �ו 233
125
124
  �ו� 217
125
+ לו� 217
126
+ צ� 212
127
+ צ 212
126
128
  _ע� 212
127
129
  _ע 212
128
130
  � 212
129
- צ 212
131
+ �� 212
130
132
  _ו 205
131
133
  _ו� 205
132
- �י 196
133
- �י� 196
134
134
  רי� 196
135
+ �י� 196
136
+ �י 196
135
137
  רי 196
138
+ יק� 194
139
+ �ק� 194
136
140
  �ק 194
137
141
  יק 194
138
- �ק� 194
139
- יק� 194
140
- רו 192
141
142
  �ו 192
143
+ רו 192
142
144
  ר_ 188
143
145
  �_ 188
144
- �� 184
145
- צ� 184
146
- רו� 181
147
146
  �ו� 181
148
- יה_ 178
147
+ רו� 181
149
148
  �ה_ 178
150
- בה 175
149
+ יה_ 178
151
150
  �ה 175
151
+ בה 175
152
152
  �ו 174
153
153
  מו 174
154
- י_ 173
155
154
  �_ 173
155
+ י_ 173
156
156
  �ל� 172
157
157
  ול� 172
158
158
  �ו 170
159
159
  או 170
160
160
  �י 169
161
161
  די 169
162
- �ו 166
163
162
  נו 166
164
- �ו� 161
163
+ �ו 166
165
164
  נו� 161
166
- ית 160
165
+ �ו� 161
167
166
  �ת 160
168
- _כ� 154
167
+ ית 160
169
168
  _כ 154
169
+ _כ� 154
170
+ יו� 149
170
171
  �ו 149
171
172
  �ו� 149
172
173
  יו 149
173
- יו� 149
174
174
  � 148
175
175
  ז 148
176
- �י� 147
177
176
  די� 147
178
- ז� 142
177
+ �י� 147
179
178
  �� 142
180
- את 141
179
+ ז� 142
181
180
  �ו� 141
182
181
  מו� 141
183
182
  �ת 141
183
+ את 141
184
184
  �י 139
185
185
  ני 139
186
186
  �י 137
187
187
  גי 137
188
- �ל 135
189
188
  כל 135
190
- �י� 129
189
+ �ל 135
191
190
  גי� 129
191
+ �י� 129
192
+ מה 128
193
+ ונ 128
192
194
  �נ� 128
193
195
  ונ� 128
194
- ונ 128
195
- �נ 128
196
- מה 128
197
196
  �ה 128
197
+ �נ 128
198
198
  וג 125
199
+ �ג 125
199
200
  וג� 125
200
201
  �ג� 125
201
- �ג 125
202
202
  �_ 124
203
203
  ו_ 124
204
204
  ן 122
205
+ � 122
205
206
  _ת� 122
206
207
  _ת 122
207
- � 122
208
208
  �י 121
209
209
  מי 121
210
- ית_ 120
211
210
  �ת_ 120
212
- שי 118
211
+ ית_ 120
212
+ �י 118
213
+ פי� 118
213
214
  �י 118
214
215
  פי 118
215
- _ר� 118
216
- �י� 118
217
- פי� 118
218
216
  _ר 118
219
- �י 118
220
- �ם 118
217
+ �י� 118
221
218
  אם 118
222
- ה. 117
219
+ �ם 118
220
+ _ר� 118
221
+ שי 118
223
222
  �. 117
223
+ ה. 117
224
224
  מי� 115
225
225
  �י� 115
226
226
  _בה 114
227
227
  �י� 114
228
228
  ני� 114
229
- _את 113
230
229
  �_ 113
230
+ _את 113
231
231
  ד_ 113
232
232
  �י 112
233
233
  לי 112
234
- מד 111
235
- מד� 111
236
234
  �ד� 111
237
235
  �ד 111
236
+ מד� 111
237
+ מד 111
238
+ _ד 107
238
239
  וי� 107
239
- וי 107
240
240
  _ד� 107
241
+ וי 107
241
242
  �י� 107
242
- _ד 107
243
243
  �י 107
244
- אח� 105
245
- �ח� 105
246
244
  אח 105
247
245
  �ח 105
248
- �ה 104
249
- קה 104
250
- �לו 104
246
+ אח� 105
247
+ �ח� 105
251
248
  �גי 104
252
- �וג 104
253
249
  �יה 104
250
+ �וג 104
251
+ �לו 104
252
+ �ה 104
253
+ קה 104
254
254
  על 102
255
255
  �ל 102
256
256
  _ס 101
257
- �ו 101
257
+ �ר 101
258
258
  ער 101
259
259
  פו 101
260
- �ר 101
260
+ �ו 101
261
261
  _ס� 101
262
- _על 100
263
- בי 100
264
- אל 100
265
- _ג 100
266
- �י� 100
267
- _ג� 100
268
262
  בי� 100
263
+ _ג� 100
269
264
  �ל 100
265
+ �י� 100
266
+ אל 100
267
+ בי 100
268
+ _ג 100
270
269
  �י 100
271
- יי 99
272
- ה._ 99
270
+ _על 100
273
271
  �י 99
274
- �._ 99
272
+ ה._ 99
275
273
  .� 99
274
+ יי 99
275
+ �._ 99
276
276
  _מה 98
277
- ן_ 98
278
277
  לי� 98
279
- _ 98
278
+ ן_ 98
280
279
  �י� 98
281
- �ב 97
280
+ �_ 98
282
281
  וד 97
282
+ רב 97
283
+ �ב 97
283
284
  _אח 97
284
285
  �ד 97
285
- רב 97
286
- _אם 96
287
- �ר 96
288
- חר 96
289
286
  דת 96
287
+ חר 96
290
288
  �ת 96
291
- �ו� 95
289
+ �ר 96
290
+ _אם 96
292
291
  שי� 95
293
292
  פו� 95
294
293
  �י� 95
294
+ �ו� 95
295
295
  _דת 94
296
296
  _או 94
297
+ בה_ 92
297
298
  ש_ 92
298
- ור 92
299
+ �ר 92
299
300
  כל� 92
300
- בה_ 92
301
+ _ 92
301
302
  �ה_ 92
302
303
  �ל� 92
303
- �_ 92
304
- �ר 92
304
+ ור 92
305
305
  _ק 91
306
306
  _ק� 91
307
- �י 90
308
307
  תי 90
309
- קר 90
308
+ �י 90
310
309
  �ר 90
310
+ קר 90
311
+ �ב� 88
312
+ �ו� 88
311
313
  �,_ 88
312
- רב� 88
314
+ או� 88
315
+ ה,_ 88
313
316
  ה, 88
314
317
  �, 88
315
- ה,_ 88
316
- �ב� 88
317
- או� 88
318
- �ו� 88
319
- �קה 87
320
- יש 87
318
+ רב� 88
321
319
  _ח� 87
322
- �ש 87
320
+ יש 87
323
321
  _ח 87
324
- �ר 86
322
+ �ש 87
323
+ �קה 87
325
324
  בר 86
325
+ �ר 86
326
+ �_ 85
326
327
  מה_ 85
328
+ �י� 85
327
329
  א_ 85
328
330
  �ה_ 85
329
- �י� 85
330
- �_ 85
331
331
  יי� 85
332
- �י 84
333
- הי� 84
334
332
  �י 84
335
- הי 84
336
- קי 84
337
333
  �י� 84
338
- גם 83
334
+ קי 84
335
+ הי� 84
336
+ הי 84
337
+ �י 84
339
338
  �ם 83
340
- �ל 82
341
- �י� 82
339
+ גם 83
340
+ המ 82
341
+ �מ 82
342
342
  של 82
343
343
  �מ� 82
344
+ �י� 82
344
345
  _המ 82
345
- המ 82
346
+ צי 82
346
347
  המ� 82
347
348
  �י 82
348
- צי 82
349
+ �ל 82
349
350
  צי� 82
350
- �מ 82
351
- _של 80
352
351
  �י 80
353
- _גם 80
352
+ _של 80
354
353
  טי� 80
355
- �י� 80
354
+ _גם 80
356
355
  טי 80
357
- שו� 79
358
- ם. 79
359
- �_ 79
360
- קו 79
356
+ �י� 80
361
357
  �. 79
358
+ קו 79
359
+ �ו� 79
362
360
  אם_ 79
363
- �ם_ 79
364
361
  קו� 79
365
- �ו� 79
362
+ �_ 79
366
363
  �ו 79
367
- �ו 79
368
- שו 79
364
+ �ו� 79
369
365
  ב_ 79
370
- �ו� 79
366
+ �ם_ 79
367
+ ם. 79
368
+ שו� 79
369
+ שו 79
370
+ �ו 79
371
371
  �י 78
372
- _צ 78
373
372
  אי 78
373
+ _צ� 78
374
+ _צ 78
375
+ אנ 77
374
376
  אנ� 77
375
377
  �נ 77
376
378
  �נ� 77
377
- אנ 77
378
- ת. 76
379
379
  �חר 76
380
380
  �. 76
381
- ול_ 75
381
+ ת. 76
382
382
  יכ 75
383
- �ל_ 75
384
- יכ� 75
385
- �כ 75
386
383
  �פ� 75
387
384
  �פ 75
388
- ספ 75
385
+ יכ� 75
389
386
  �כ� 75
387
+ �כ 75
388
+ ספ 75
389
+ �ל_ 75
390
+ ול_ 75
390
391
  ספ� 75
392
+ �פ� 74
393
+ ופ 74
391
394
  �א 74
392
395
  נא 74
393
396
  ופ� 74
394
- ופ 74
395
397
  �פ 74
396
- �פ� 74
397
- עי 73
398
+ קי� 73
398
399
  �י 73
399
- �ת_ 73
400
- �י� 73
400
+ את_ 73