scylla 0.5.0 → 0.6.0
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- data/Gemfile +4 -2
- data/Gemfile.lock +16 -1
- data/lib/scylla/classifier.rb +1 -1
- data/lib/scylla/generator.rb +16 -4
- data/lib/scylla/lms/afrikaans.lm +232 -232
- data/lib/scylla/lms/arabic.lm +175 -175
- data/lib/scylla/lms/bulgarian.lm +225 -225
- data/lib/scylla/lms/catalan.lm +309 -309
- data/lib/scylla/lms/danish.lm +167 -167
- data/lib/scylla/lms/english.lm +398 -398
- data/lib/scylla/lms/finnish.lm +237 -237
- data/lib/scylla/lms/french.lm +148 -148
- data/lib/scylla/lms/german.lm +258 -258
- data/lib/scylla/lms/greek.lm +236 -236
- data/lib/scylla/lms/hebrew.lm +154 -154
- data/lib/scylla/lms/hindi.lm +139 -139
- data/lib/scylla/lms/icelandic.lm +239 -239
- data/lib/scylla/lms/indonesian.lm +244 -244
- data/lib/scylla/lms/italian.lm +248 -248
- data/lib/scylla/lms/japanese.lm +90 -90
- data/lib/scylla/lms/korean.lm +306 -306
- data/lib/scylla/lms/norwegian.lm +193 -193
- data/lib/scylla/lms/polish.lm +241 -241
- data/lib/scylla/lms/portuguese.lm +232 -232
- data/lib/scylla/lms/romanian.lm +246 -246
- data/lib/scylla/lms/slovak.lm +242 -242
- data/lib/scylla/lms/slovenian.lm +229 -229
- data/lib/scylla/lms/spanish.lm +164 -164
- data/lib/scylla/lms/swedish.lm +157 -157
- data/lib/scylla/lms/tagalog.lm +247 -247
- data/lib/scylla/lms/thai.lm +252 -252
- data/lib/scylla/lms/turkish.lm +285 -285
- data/lib/scylla/lms/vietnamese.lm +250 -250
- data/lib/scylla/lms/welsh.lm +248 -248
- data/lib/scylla/resources.rb +1 -9
- data/lib/scylla.rb +4 -0
- data/scylla.gemspec +2 -120
- data/source_texts/english.txt +62 -27
- data/test/classifier_test.rb +1 -3
- data/test/fixtures/lms/danish.lm +173 -173
- data/test/fixtures/lms/english.lm +220 -220
- data/test/fixtures/lms/french.lm +175 -175
- data/test/fixtures/lms/german.lm +254 -254
- data/test/fixtures/lms/hindi.lm +139 -139
- data/test/fixtures/lms/italian.lm +236 -236
- data/test/fixtures/lms/japanese.lm +88 -88
- data/test/fixtures/lms/norwegian.lm +182 -182
- data/test/fixtures/lms/spanish.lm +164 -164
- data/test/fixtures/test_languages/spanish +0 -1
- data/test/generator_test.rb +13 -0
- data/test/helper.rb +2 -0
- metadata +18 -25
- data/.document +0 -5
- data/lib/scylla/lms/13375P33K.lm +0 -400
- data/scylla-0.1.0.gem +0 -0
- data/source_texts/13375P33K.txt +0 -199
- data/test/fixtures/lms/13375p33k.lm +0 -400
- data/test/fixtures/source_texts/13375P33K.txt +0 -199
data/lib/scylla/lms/hebrew.lm
CHANGED
@@ -1,91 +1,91 @@
|
|
1
1
|
� 18717
|
2
2
|
_ 8282
|
3
3
|
_� 4141
|
4
|
-
י 2236
|
5
4
|
� 2236
|
5
|
+
י 2236
|
6
6
|
י� 2028
|
7
7
|
�� 2028
|
8
|
-
� 2000
|
9
8
|
ו 2000
|
9
|
+
� 2000
|
10
10
|
ו� 1828
|
11
11
|
�� 1828
|
12
|
-
ה 1399
|
13
12
|
� 1399
|
13
|
+
ה 1399
|
14
14
|
� 1228
|
15
15
|
ל 1228
|
16
16
|
� 1141
|
17
17
|
ת 1141
|
18
18
|
ר 1133
|
19
19
|
� 1133
|
20
|
-
� 1129
|
21
20
|
א 1129
|
21
|
+
� 1129
|
22
22
|
�� 999
|
23
23
|
א� 999
|
24
|
-
מ 944
|
25
24
|
�� 944
|
26
25
|
� 944
|
26
|
+
מ 944
|
27
27
|
מ� 944
|
28
|
-
ר� 885
|
29
28
|
�� 885
|
30
|
-
|
29
|
+
ר� 885
|
31
30
|
ב 832
|
31
|
+
� 832
|
32
32
|
ל� 791
|
33
33
|
�� 791
|
34
|
-
� 734
|
35
34
|
ש 734
|
36
|
-
|
35
|
+
� 734
|
37
36
|
ב� 706
|
38
|
-
|
37
|
+
�� 706
|
39
38
|
� 674
|
40
|
-
|
39
|
+
ם 674
|
41
40
|
�_ 660
|
42
|
-
_
|
41
|
+
ה_ 660
|
43
42
|
_א� 657
|
44
|
-
|
43
|
+
_א 657
|
45
44
|
ד 636
|
46
|
-
|
45
|
+
� 636
|
47
46
|
�� 617
|
47
|
+
ש� 617
|
48
|
+
נ� 610
|
49
|
+
�� 610
|
48
50
|
� 610
|
49
51
|
נ 610
|
50
|
-
�� 610
|
51
|
-
נ� 610
|
52
52
|
�_ 569
|
53
53
|
ת_ 569
|
54
|
-
�_ 535
|
55
54
|
ם_ 535
|
55
|
+
�_ 535
|
56
56
|
�� 534
|
57
57
|
ה� 534
|
58
|
-
� 523
|
59
58
|
ע 523
|
59
|
+
� 523
|
60
60
|
. 522
|
61
|
-
� 507
|
62
61
|
ק 507
|
63
|
-
|
64
|
-
�� 499
|
65
|
-
�� 499
|
62
|
+
� 507
|
66
63
|
ד� 499
|
67
|
-
|
68
|
-
|
64
|
+
�� 499
|
65
|
+
�� 499
|
66
|
+
ק� 499
|
69
67
|
�� 495
|
70
68
|
פ� 495
|
69
|
+
פ 495
|
70
|
+
� 495
|
71
71
|
ח 470
|
72
72
|
� 470
|
73
|
-
_מ� 461
|
74
73
|
_מ 461
|
75
|
-
|
74
|
+
_מ� 461
|
76
75
|
ע� 460
|
76
|
+
�� 460
|
77
77
|
�� 441
|
78
|
-
� 441
|
79
|
-
כ 441
|
80
78
|
כ� 441
|
79
|
+
כ 441
|
80
|
+
� 441
|
81
81
|
ת� 440
|
82
82
|
�� 440
|
83
83
|
_ב 433
|
84
84
|
ח� 432
|
85
85
|
�� 432
|
86
86
|
._ 423
|
87
|
-
,_ 422
|
88
87
|
, 422
|
88
|
+
,_ 422
|
89
89
|
ים 417
|
90
90
|
�ם 417
|
91
91
|
_ה 384
|
@@ -93,18 +93,18 @@ _ה
|
|
93
93
|
_ב� 366
|
94
94
|
�ם_ 353
|
95
95
|
ים_ 353
|
96
|
-
� 348
|
97
96
|
ס� 348
|
98
97
|
�� 348
|
98
|
+
� 348
|
99
99
|
ס 348
|
100
100
|
�_ 328
|
101
101
|
ל_ 328
|
102
|
-
�ת 317
|
103
102
|
ות 317
|
104
|
-
|
105
|
-
�� 309
|
103
|
+
�ת 317
|
106
104
|
� 309
|
105
|
+
�� 309
|
107
106
|
ג� 309
|
107
|
+
ג 309
|
108
108
|
ט 303
|
109
109
|
� 303
|
110
110
|
_ש 302
|
@@ -115,286 +115,286 @@ _ל
|
|
115
115
|
ול 250
|
116
116
|
�ת_ 243
|
117
117
|
ות_ 243
|
118
|
-
יה 239
|
119
118
|
�ה 239
|
120
|
-
|
119
|
+
יה 239
|
121
120
|
ט� 235
|
122
|
-
|
121
|
+
�� 235
|
123
122
|
לו 233
|
124
|
-
|
123
|
+
�ו 233
|
125
124
|
�ו� 217
|
125
|
+
לו� 217
|
126
|
+
צ� 212
|
127
|
+
צ 212
|
126
128
|
_ע� 212
|
127
129
|
_ע 212
|
128
130
|
� 212
|
129
|
-
|
131
|
+
�� 212
|
130
132
|
_ו 205
|
131
133
|
_ו� 205
|
132
|
-
�י 196
|
133
|
-
�י� 196
|
134
134
|
רי� 196
|
135
|
+
�י� 196
|
136
|
+
�י 196
|
135
137
|
רי 196
|
138
|
+
יק� 194
|
139
|
+
�ק� 194
|
136
140
|
�ק 194
|
137
141
|
יק 194
|
138
|
-
�ק� 194
|
139
|
-
יק� 194
|
140
|
-
רו 192
|
141
142
|
�ו 192
|
143
|
+
רו 192
|
142
144
|
ר_ 188
|
143
145
|
�_ 188
|
144
|
-
�� 184
|
145
|
-
צ� 184
|
146
|
-
רו� 181
|
147
146
|
�ו� 181
|
148
|
-
|
147
|
+
רו� 181
|
149
148
|
�ה_ 178
|
150
|
-
|
149
|
+
יה_ 178
|
151
150
|
�ה 175
|
151
|
+
בה 175
|
152
152
|
�ו 174
|
153
153
|
מו 174
|
154
|
-
י_ 173
|
155
154
|
�_ 173
|
155
|
+
י_ 173
|
156
156
|
�ל� 172
|
157
157
|
ול� 172
|
158
158
|
�ו 170
|
159
159
|
או 170
|
160
160
|
�י 169
|
161
161
|
די 169
|
162
|
-
�ו 166
|
163
162
|
נו 166
|
164
|
-
|
163
|
+
�ו 166
|
165
164
|
נו� 161
|
166
|
-
|
165
|
+
�ו� 161
|
167
166
|
�ת 160
|
168
|
-
|
167
|
+
ית 160
|
169
168
|
_כ 154
|
169
|
+
_כ� 154
|
170
|
+
יו� 149
|
170
171
|
�ו 149
|
171
172
|
�ו� 149
|
172
173
|
יו 149
|
173
|
-
יו� 149
|
174
174
|
� 148
|
175
175
|
ז 148
|
176
|
-
�י� 147
|
177
176
|
די� 147
|
178
|
-
|
177
|
+
�י� 147
|
179
178
|
�� 142
|
180
|
-
|
179
|
+
ז� 142
|
181
180
|
�ו� 141
|
182
181
|
מו� 141
|
183
182
|
�ת 141
|
183
|
+
את 141
|
184
184
|
�י 139
|
185
185
|
ני 139
|
186
186
|
�י 137
|
187
187
|
גי 137
|
188
|
-
�ל 135
|
189
188
|
כל 135
|
190
|
-
|
189
|
+
�ל 135
|
191
190
|
גי� 129
|
191
|
+
�י� 129
|
192
|
+
מה 128
|
193
|
+
ונ 128
|
192
194
|
�נ� 128
|
193
195
|
ונ� 128
|
194
|
-
ונ 128
|
195
|
-
�נ 128
|
196
|
-
מה 128
|
197
196
|
�ה 128
|
197
|
+
�נ 128
|
198
198
|
וג 125
|
199
|
+
�ג 125
|
199
200
|
וג� 125
|
200
201
|
�ג� 125
|
201
|
-
�ג 125
|
202
202
|
�_ 124
|
203
203
|
ו_ 124
|
204
204
|
ן 122
|
205
|
+
� 122
|
205
206
|
_ת� 122
|
206
207
|
_ת 122
|
207
|
-
� 122
|
208
208
|
�י 121
|
209
209
|
מי 121
|
210
|
-
ית_ 120
|
211
210
|
�ת_ 120
|
212
|
-
|
211
|
+
ית_ 120
|
212
|
+
�י 118
|
213
|
+
פי� 118
|
213
214
|
�י 118
|
214
215
|
פי 118
|
215
|
-
_ר� 118
|
216
|
-
�י� 118
|
217
|
-
פי� 118
|
218
216
|
_ר 118
|
219
|
-
|
220
|
-
�ם 118
|
217
|
+
�י� 118
|
221
218
|
אם 118
|
222
|
-
|
219
|
+
�ם 118
|
220
|
+
_ר� 118
|
221
|
+
שי 118
|
223
222
|
�. 117
|
223
|
+
ה. 117
|
224
224
|
מי� 115
|
225
225
|
�י� 115
|
226
226
|
_בה 114
|
227
227
|
�י� 114
|
228
228
|
ני� 114
|
229
|
-
_את 113
|
230
229
|
�_ 113
|
230
|
+
_את 113
|
231
231
|
ד_ 113
|
232
232
|
�י 112
|
233
233
|
לי 112
|
234
|
-
מד 111
|
235
|
-
מד� 111
|
236
234
|
�ד� 111
|
237
235
|
�ד 111
|
236
|
+
מד� 111
|
237
|
+
מד 111
|
238
|
+
_ד 107
|
238
239
|
וי� 107
|
239
|
-
וי 107
|
240
240
|
_ד� 107
|
241
|
+
וי 107
|
241
242
|
�י� 107
|
242
|
-
_ד 107
|
243
243
|
�י 107
|
244
|
-
אח� 105
|
245
|
-
�ח� 105
|
246
244
|
אח 105
|
247
245
|
�ח 105
|
248
|
-
|
249
|
-
|
250
|
-
�לו 104
|
246
|
+
אח� 105
|
247
|
+
�ח� 105
|
251
248
|
�גי 104
|
252
|
-
�וג 104
|
253
249
|
�יה 104
|
250
|
+
�וג 104
|
251
|
+
�לו 104
|
252
|
+
�ה 104
|
253
|
+
קה 104
|
254
254
|
על 102
|
255
255
|
�ל 102
|
256
256
|
_ס 101
|
257
|
-
|
257
|
+
�ר 101
|
258
258
|
ער 101
|
259
259
|
פו 101
|
260
|
-
|
260
|
+
�ו 101
|
261
261
|
_ס� 101
|
262
|
-
_על 100
|
263
|
-
בי 100
|
264
|
-
אל 100
|
265
|
-
_ג 100
|
266
|
-
�י� 100
|
267
|
-
_ג� 100
|
268
262
|
בי� 100
|
263
|
+
_ג� 100
|
269
264
|
�ל 100
|
265
|
+
�י� 100
|
266
|
+
אל 100
|
267
|
+
בי 100
|
268
|
+
_ג 100
|
270
269
|
�י 100
|
271
|
-
|
272
|
-
ה._ 99
|
270
|
+
_על 100
|
273
271
|
�י 99
|
274
|
-
|
272
|
+
ה._ 99
|
275
273
|
.� 99
|
274
|
+
יי 99
|
275
|
+
�._ 99
|
276
276
|
_מה 98
|
277
|
-
ן_ 98
|
278
277
|
לי� 98
|
279
|
-
|
278
|
+
ן_ 98
|
280
279
|
�י� 98
|
281
|
-
|
280
|
+
�_ 98
|
282
281
|
וד 97
|
282
|
+
רב 97
|
283
|
+
�ב 97
|
283
284
|
_אח 97
|
284
285
|
�ד 97
|
285
|
-
רב 97
|
286
|
-
_אם 96
|
287
|
-
�ר 96
|
288
|
-
חר 96
|
289
286
|
דת 96
|
287
|
+
חר 96
|
290
288
|
�ת 96
|
291
|
-
|
289
|
+
�ר 96
|
290
|
+
_אם 96
|
292
291
|
שי� 95
|
293
292
|
פו� 95
|
294
293
|
�י� 95
|
294
|
+
�ו� 95
|
295
295
|
_דת 94
|
296
296
|
_או 94
|
297
|
+
בה_ 92
|
297
298
|
ש_ 92
|
298
|
-
|
299
|
+
�ר 92
|
299
300
|
כל� 92
|
300
|
-
|
301
|
+
�_ 92
|
301
302
|
�ה_ 92
|
302
303
|
�ל� 92
|
303
|
-
|
304
|
-
�ר 92
|
304
|
+
ור 92
|
305
305
|
_ק 91
|
306
306
|
_ק� 91
|
307
|
-
�י 90
|
308
307
|
תי 90
|
309
|
-
|
308
|
+
�י 90
|
310
309
|
�ר 90
|
310
|
+
קר 90
|
311
|
+
�ב� 88
|
312
|
+
�ו� 88
|
311
313
|
�,_ 88
|
312
|
-
|
314
|
+
או� 88
|
315
|
+
ה,_ 88
|
313
316
|
ה, 88
|
314
317
|
�, 88
|
315
|
-
|
316
|
-
�ב� 88
|
317
|
-
או� 88
|
318
|
-
�ו� 88
|
319
|
-
�קה 87
|
320
|
-
יש 87
|
318
|
+
רב� 88
|
321
319
|
_ח� 87
|
322
|
-
|
320
|
+
יש 87
|
323
321
|
_ח 87
|
324
|
-
|
322
|
+
�ש 87
|
323
|
+
�קה 87
|
325
324
|
בר 86
|
325
|
+
�ר 86
|
326
|
+
�_ 85
|
326
327
|
מה_ 85
|
328
|
+
�י� 85
|
327
329
|
א_ 85
|
328
330
|
�ה_ 85
|
329
|
-
�י� 85
|
330
|
-
�_ 85
|
331
331
|
יי� 85
|
332
|
-
�י 84
|
333
|
-
הי� 84
|
334
332
|
�י 84
|
335
|
-
הי 84
|
336
|
-
קי 84
|
337
333
|
�י� 84
|
338
|
-
|
334
|
+
קי 84
|
335
|
+
הי� 84
|
336
|
+
הי 84
|
337
|
+
�י 84
|
339
338
|
�ם 83
|
340
|
-
|
341
|
-
|
339
|
+
גם 83
|
340
|
+
המ 82
|
341
|
+
�מ 82
|
342
342
|
של 82
|
343
343
|
�מ� 82
|
344
|
+
�י� 82
|
344
345
|
_המ 82
|
345
|
-
|
346
|
+
צי 82
|
346
347
|
המ� 82
|
347
348
|
�י 82
|
348
|
-
|
349
|
+
�ל 82
|
349
350
|
צי� 82
|
350
|
-
�מ 82
|
351
|
-
_של 80
|
352
351
|
�י 80
|
353
|
-
_
|
352
|
+
_של 80
|
354
353
|
טי� 80
|
355
|
-
|
354
|
+
_גם 80
|
356
355
|
טי 80
|
357
|
-
|
358
|
-
ם. 79
|
359
|
-
�_ 79
|
360
|
-
קו 79
|
356
|
+
�י� 80
|
361
357
|
�. 79
|
358
|
+
קו 79
|
359
|
+
�ו� 79
|
362
360
|
אם_ 79
|
363
|
-
�ם_ 79
|
364
361
|
קו� 79
|
365
|
-
|
362
|
+
�_ 79
|
366
363
|
�ו 79
|
367
|
-
|
368
|
-
שו 79
|
364
|
+
�ו� 79
|
369
365
|
ב_ 79
|
370
|
-
|
366
|
+
�ם_ 79
|
367
|
+
ם. 79
|
368
|
+
שו� 79
|
369
|
+
שו 79
|
370
|
+
�ו 79
|
371
371
|
�י 78
|
372
|
-
_צ 78
|
373
372
|
אי 78
|
373
|
+
_צ� 78
|
374
|
+
_צ 78
|
375
|
+
אנ 77
|
374
376
|
אנ� 77
|
375
377
|
�נ 77
|
376
378
|
�נ� 77
|
377
|
-
אנ 77
|
378
|
-
ת. 76
|
379
379
|
�חר 76
|
380
380
|
�. 76
|
381
|
-
|
381
|
+
ת. 76
|
382
382
|
יכ 75
|
383
|
-
�ל_ 75
|
384
|
-
יכ� 75
|
385
|
-
�כ 75
|
386
383
|
�פ� 75
|
387
384
|
�פ 75
|
388
|
-
|
385
|
+
יכ� 75
|
389
386
|
�כ� 75
|
387
|
+
�כ 75
|
388
|
+
ספ 75
|
389
|
+
�ל_ 75
|
390
|
+
ול_ 75
|
390
391
|
ספ� 75
|
392
|
+
�פ� 74
|
393
|
+
ופ 74
|
391
394
|
�א 74
|
392
395
|
נא 74
|
393
396
|
ופ� 74
|
394
|
-
ופ 74
|
395
397
|
�פ 74
|
396
|
-
|
397
|
-
עי 73
|
398
|
+
קי� 73
|
398
399
|
�י 73
|
399
|
-
|
400
|
-
�י� 73
|
400
|
+
את_ 73
|