scylla 0.5.0 → 0.6.0
Sign up to get free protection for your applications and to get access to all the features.
- data/Gemfile +4 -2
- data/Gemfile.lock +16 -1
- data/lib/scylla/classifier.rb +1 -1
- data/lib/scylla/generator.rb +16 -4
- data/lib/scylla/lms/afrikaans.lm +232 -232
- data/lib/scylla/lms/arabic.lm +175 -175
- data/lib/scylla/lms/bulgarian.lm +225 -225
- data/lib/scylla/lms/catalan.lm +309 -309
- data/lib/scylla/lms/danish.lm +167 -167
- data/lib/scylla/lms/english.lm +398 -398
- data/lib/scylla/lms/finnish.lm +237 -237
- data/lib/scylla/lms/french.lm +148 -148
- data/lib/scylla/lms/german.lm +258 -258
- data/lib/scylla/lms/greek.lm +236 -236
- data/lib/scylla/lms/hebrew.lm +154 -154
- data/lib/scylla/lms/hindi.lm +139 -139
- data/lib/scylla/lms/icelandic.lm +239 -239
- data/lib/scylla/lms/indonesian.lm +244 -244
- data/lib/scylla/lms/italian.lm +248 -248
- data/lib/scylla/lms/japanese.lm +90 -90
- data/lib/scylla/lms/korean.lm +306 -306
- data/lib/scylla/lms/norwegian.lm +193 -193
- data/lib/scylla/lms/polish.lm +241 -241
- data/lib/scylla/lms/portuguese.lm +232 -232
- data/lib/scylla/lms/romanian.lm +246 -246
- data/lib/scylla/lms/slovak.lm +242 -242
- data/lib/scylla/lms/slovenian.lm +229 -229
- data/lib/scylla/lms/spanish.lm +164 -164
- data/lib/scylla/lms/swedish.lm +157 -157
- data/lib/scylla/lms/tagalog.lm +247 -247
- data/lib/scylla/lms/thai.lm +252 -252
- data/lib/scylla/lms/turkish.lm +285 -285
- data/lib/scylla/lms/vietnamese.lm +250 -250
- data/lib/scylla/lms/welsh.lm +248 -248
- data/lib/scylla/resources.rb +1 -9
- data/lib/scylla.rb +4 -0
- data/scylla.gemspec +2 -120
- data/source_texts/english.txt +62 -27
- data/test/classifier_test.rb +1 -3
- data/test/fixtures/lms/danish.lm +173 -173
- data/test/fixtures/lms/english.lm +220 -220
- data/test/fixtures/lms/french.lm +175 -175
- data/test/fixtures/lms/german.lm +254 -254
- data/test/fixtures/lms/hindi.lm +139 -139
- data/test/fixtures/lms/italian.lm +236 -236
- data/test/fixtures/lms/japanese.lm +88 -88
- data/test/fixtures/lms/norwegian.lm +182 -182
- data/test/fixtures/lms/spanish.lm +164 -164
- data/test/fixtures/test_languages/spanish +0 -1
- data/test/generator_test.rb +13 -0
- data/test/helper.rb +2 -0
- metadata +18 -25
- data/.document +0 -5
- data/lib/scylla/lms/13375P33K.lm +0 -400
- data/scylla-0.1.0.gem +0 -0
- data/source_texts/13375P33K.txt +0 -199
- data/test/fixtures/lms/13375p33k.lm +0 -400
- data/test/fixtures/source_texts/13375P33K.txt +0 -199
data/lib/scylla/lms/hebrew.lm
CHANGED
@@ -1,91 +1,91 @@
|
|
1
1
|
� 18717
|
2
2
|
_ 8282
|
3
3
|
_� 4141
|
4
|
-
י 2236
|
5
4
|
� 2236
|
5
|
+
י 2236
|
6
6
|
י� 2028
|
7
7
|
�� 2028
|
8
|
-
� 2000
|
9
8
|
ו 2000
|
9
|
+
� 2000
|
10
10
|
ו� 1828
|
11
11
|
�� 1828
|
12
|
-
ה 1399
|
13
12
|
� 1399
|
13
|
+
ה 1399
|
14
14
|
� 1228
|
15
15
|
ל 1228
|
16
16
|
� 1141
|
17
17
|
ת 1141
|
18
18
|
ר 1133
|
19
19
|
� 1133
|
20
|
-
� 1129
|
21
20
|
א 1129
|
21
|
+
� 1129
|
22
22
|
�� 999
|
23
23
|
א� 999
|
24
|
-
מ 944
|
25
24
|
�� 944
|
26
25
|
� 944
|
26
|
+
מ 944
|
27
27
|
מ� 944
|
28
|
-
ר� 885
|
29
28
|
�� 885
|
30
|
-
|
29
|
+
ר� 885
|
31
30
|
ב 832
|
31
|
+
� 832
|
32
32
|
ל� 791
|
33
33
|
�� 791
|
34
|
-
� 734
|
35
34
|
ש 734
|
36
|
-
|
35
|
+
� 734
|
37
36
|
ב� 706
|
38
|
-
|
37
|
+
�� 706
|
39
38
|
� 674
|
40
|
-
|
39
|
+
ם 674
|
41
40
|
�_ 660
|
42
|
-
_
|
41
|
+
ה_ 660
|
43
42
|
_א� 657
|
44
|
-
|
43
|
+
_א 657
|
45
44
|
ד 636
|
46
|
-
|
45
|
+
� 636
|
47
46
|
�� 617
|
47
|
+
ש� 617
|
48
|
+
נ� 610
|
49
|
+
�� 610
|
48
50
|
� 610
|
49
51
|
נ 610
|
50
|
-
�� 610
|
51
|
-
נ� 610
|
52
52
|
�_ 569
|
53
53
|
ת_ 569
|
54
|
-
�_ 535
|
55
54
|
ם_ 535
|
55
|
+
�_ 535
|
56
56
|
�� 534
|
57
57
|
ה� 534
|
58
|
-
� 523
|
59
58
|
ע 523
|
59
|
+
� 523
|
60
60
|
. 522
|
61
|
-
� 507
|
62
61
|
ק 507
|
63
|
-
|
64
|
-
�� 499
|
65
|
-
�� 499
|
62
|
+
� 507
|
66
63
|
ד� 499
|
67
|
-
|
68
|
-
|
64
|
+
�� 499
|
65
|
+
�� 499
|
66
|
+
ק� 499
|
69
67
|
�� 495
|
70
68
|
פ� 495
|
69
|
+
פ 495
|
70
|
+
� 495
|
71
71
|
ח 470
|
72
72
|
� 470
|
73
|
-
_מ� 461
|
74
73
|
_מ 461
|
75
|
-
|
74
|
+
_מ� 461
|
76
75
|
ע� 460
|
76
|
+
�� 460
|
77
77
|
�� 441
|
78
|
-
� 441
|
79
|
-
כ 441
|
80
78
|
כ� 441
|
79
|
+
כ 441
|
80
|
+
� 441
|
81
81
|
ת� 440
|
82
82
|
�� 440
|
83
83
|
_ב 433
|
84
84
|
ח� 432
|
85
85
|
�� 432
|
86
86
|
._ 423
|
87
|
-
,_ 422
|
88
87
|
, 422
|
88
|
+
,_ 422
|
89
89
|
ים 417
|
90
90
|
�ם 417
|
91
91
|
_ה 384
|
@@ -93,18 +93,18 @@ _ה
|
|
93
93
|
_ב� 366
|
94
94
|
�ם_ 353
|
95
95
|
ים_ 353
|
96
|
-
� 348
|
97
96
|
ס� 348
|
98
97
|
�� 348
|
98
|
+
� 348
|
99
99
|
ס 348
|
100
100
|
�_ 328
|
101
101
|
ל_ 328
|
102
|
-
�ת 317
|
103
102
|
ות 317
|
104
|
-
|
105
|
-
�� 309
|
103
|
+
�ת 317
|
106
104
|
� 309
|
105
|
+
�� 309
|
107
106
|
ג� 309
|
107
|
+
ג 309
|
108
108
|
ט 303
|
109
109
|
� 303
|
110
110
|
_ש 302
|
@@ -115,286 +115,286 @@ _ל
|
|
115
115
|
ול 250
|
116
116
|
�ת_ 243
|
117
117
|
ות_ 243
|
118
|
-
יה 239
|
119
118
|
�ה 239
|
120
|
-
|
119
|
+
יה 239
|
121
120
|
ט� 235
|
122
|
-
|
121
|
+
�� 235
|
123
122
|
לו 233
|
124
|
-
|
123
|
+
�ו 233
|
125
124
|
�ו� 217
|
125
|
+
לו� 217
|
126
|
+
צ� 212
|
127
|
+
צ 212
|
126
128
|
_ע� 212
|
127
129
|
_ע 212
|
128
130
|
� 212
|
129
|
-
|
131
|
+
�� 212
|
130
132
|
_ו 205
|
131
133
|
_ו� 205
|
132
|
-
�י 196
|
133
|
-
�י� 196
|
134
134
|
רי� 196
|
135
|
+
�י� 196
|
136
|
+
�י 196
|
135
137
|
רי 196
|
138
|
+
יק� 194
|
139
|
+
�ק� 194
|
136
140
|
�ק 194
|
137
141
|
יק 194
|
138
|
-
�ק� 194
|
139
|
-
יק� 194
|
140
|
-
רו 192
|
141
142
|
�ו 192
|
143
|
+
רו 192
|
142
144
|
ר_ 188
|
143
145
|
�_ 188
|
144
|
-
�� 184
|
145
|
-
צ� 184
|
146
|
-
רו� 181
|
147
146
|
�ו� 181
|
148
|
-
|
147
|
+
רו� 181
|
149
148
|
�ה_ 178
|
150
|
-
|
149
|
+
יה_ 178
|
151
150
|
�ה 175
|
151
|
+
בה 175
|
152
152
|
�ו 174
|
153
153
|
מו 174
|
154
|
-
י_ 173
|
155
154
|
�_ 173
|
155
|
+
י_ 173
|
156
156
|
�ל� 172
|
157
157
|
ול� 172
|
158
158
|
�ו 170
|
159
159
|
או 170
|
160
160
|
�י 169
|
161
161
|
די 169
|
162
|
-
�ו 166
|
163
162
|
נו 166
|
164
|
-
|
163
|
+
�ו 166
|
165
164
|
נו� 161
|
166
|
-
|
165
|
+
�ו� 161
|
167
166
|
�ת 160
|
168
|
-
|
167
|
+
ית 160
|
169
168
|
_כ 154
|
169
|
+
_כ� 154
|
170
|
+
יו� 149
|
170
171
|
�ו 149
|
171
172
|
�ו� 149
|
172
173
|
יו 149
|
173
|
-
יו� 149
|
174
174
|
� 148
|
175
175
|
ז 148
|
176
|
-
�י� 147
|
177
176
|
די� 147
|
178
|
-
|
177
|
+
�י� 147
|
179
178
|
�� 142
|
180
|
-
|
179
|
+
ז� 142
|
181
180
|
�ו� 141
|
182
181
|
מו� 141
|
183
182
|
�ת 141
|
183
|
+
את 141
|
184
184
|
�י 139
|
185
185
|
ני 139
|
186
186
|
�י 137
|
187
187
|
גי 137
|
188
|
-
�ל 135
|
189
188
|
כל 135
|
190
|
-
|
189
|
+
�ל 135
|
191
190
|
גי� 129
|
191
|
+
�י� 129
|
192
|
+
מה 128
|
193
|
+
ונ 128
|
192
194
|
�נ� 128
|
193
195
|
ונ� 128
|
194
|
-
ונ 128
|
195
|
-
�נ 128
|
196
|
-
מה 128
|
197
196
|
�ה 128
|
197
|
+
�נ 128
|
198
198
|
וג 125
|
199
|
+
�ג 125
|
199
200
|
וג� 125
|
200
201
|
�ג� 125
|
201
|
-
�ג 125
|
202
202
|
�_ 124
|
203
203
|
ו_ 124
|
204
204
|
ן 122
|
205
|
+
� 122
|
205
206
|
_ת� 122
|
206
207
|
_ת 122
|
207
|
-
� 122
|
208
208
|
�י 121
|
209
209
|
מי 121
|
210
|
-
ית_ 120
|
211
210
|
�ת_ 120
|
212
|
-
|
211
|
+
ית_ 120
|
212
|
+
�י 118
|
213
|
+
פי� 118
|
213
214
|
�י 118
|
214
215
|
פי 118
|
215
|
-
_ר� 118
|
216
|
-
�י� 118
|
217
|
-
פי� 118
|
218
216
|
_ר 118
|
219
|
-
|
220
|
-
�ם 118
|
217
|
+
�י� 118
|
221
218
|
אם 118
|
222
|
-
|
219
|
+
�ם 118
|
220
|
+
_ר� 118
|
221
|
+
שי 118
|
223
222
|
�. 117
|
223
|
+
ה. 117
|
224
224
|
מי� 115
|
225
225
|
�י� 115
|
226
226
|
_בה 114
|
227
227
|
�י� 114
|
228
228
|
ני� 114
|
229
|
-
_את 113
|
230
229
|
�_ 113
|
230
|
+
_את 113
|
231
231
|
ד_ 113
|
232
232
|
�י 112
|
233
233
|
לי 112
|
234
|
-
מד 111
|
235
|
-
מד� 111
|
236
234
|
�ד� 111
|
237
235
|
�ד 111
|
236
|
+
מד� 111
|
237
|
+
מד 111
|
238
|
+
_ד 107
|
238
239
|
וי� 107
|
239
|
-
וי 107
|
240
240
|
_ד� 107
|
241
|
+
וי 107
|
241
242
|
�י� 107
|
242
|
-
_ד 107
|
243
243
|
�י 107
|
244
|
-
אח� 105
|
245
|
-
�ח� 105
|
246
244
|
אח 105
|
247
245
|
�ח 105
|
248
|
-
|
249
|
-
|
250
|
-
�לו 104
|
246
|
+
אח� 105
|
247
|
+
�ח� 105
|
251
248
|
�גי 104
|
252
|
-
�וג 104
|
253
249
|
�יה 104
|
250
|
+
�וג 104
|
251
|
+
�לו 104
|
252
|
+
�ה 104
|
253
|
+
קה 104
|
254
254
|
על 102
|
255
255
|
�ל 102
|
256
256
|
_ס 101
|
257
|
-
|
257
|
+
�ר 101
|
258
258
|
ער 101
|
259
259
|
פו 101
|
260
|
-
|
260
|
+
�ו 101
|
261
261
|
_ס� 101
|
262
|
-
_על 100
|
263
|
-
בי 100
|
264
|
-
אל 100
|
265
|
-
_ג 100
|
266
|
-
�י� 100
|
267
|
-
_ג� 100
|
268
262
|
בי� 100
|
263
|
+
_ג� 100
|
269
264
|
�ל 100
|
265
|
+
�י� 100
|
266
|
+
אל 100
|
267
|
+
בי 100
|
268
|
+
_ג 100
|
270
269
|
�י 100
|
271
|
-
|
272
|
-
ה._ 99
|
270
|
+
_על 100
|
273
271
|
�י 99
|
274
|
-
|
272
|
+
ה._ 99
|
275
273
|
.� 99
|
274
|
+
יי 99
|
275
|
+
�._ 99
|
276
276
|
_מה 98
|
277
|
-
ן_ 98
|
278
277
|
לי� 98
|
279
|
-
|
278
|
+
ן_ 98
|
280
279
|
�י� 98
|
281
|
-
|
280
|
+
�_ 98
|
282
281
|
וד 97
|
282
|
+
רב 97
|
283
|
+
�ב 97
|
283
284
|
_אח 97
|
284
285
|
�ד 97
|
285
|
-
רב 97
|
286
|
-
_אם 96
|
287
|
-
�ר 96
|
288
|
-
חר 96
|
289
286
|
דת 96
|
287
|
+
חר 96
|
290
288
|
�ת 96
|
291
|
-
|
289
|
+
�ר 96
|
290
|
+
_אם 96
|
292
291
|
שי� 95
|
293
292
|
פו� 95
|
294
293
|
�י� 95
|
294
|
+
�ו� 95
|
295
295
|
_דת 94
|
296
296
|
_או 94
|
297
|
+
בה_ 92
|
297
298
|
ש_ 92
|
298
|
-
|
299
|
+
�ר 92
|
299
300
|
כל� 92
|
300
|
-
|
301
|
+
�_ 92
|
301
302
|
�ה_ 92
|
302
303
|
�ל� 92
|
303
|
-
|
304
|
-
�ר 92
|
304
|
+
ור 92
|
305
305
|
_ק 91
|
306
306
|
_ק� 91
|
307
|
-
�י 90
|
308
307
|
תי 90
|
309
|
-
|
308
|
+
�י 90
|
310
309
|
�ר 90
|
310
|
+
קר 90
|
311
|
+
�ב� 88
|
312
|
+
�ו� 88
|
311
313
|
�,_ 88
|
312
|
-
|
314
|
+
או� 88
|
315
|
+
ה,_ 88
|
313
316
|
ה, 88
|
314
317
|
�, 88
|
315
|
-
|
316
|
-
�ב� 88
|
317
|
-
או� 88
|
318
|
-
�ו� 88
|
319
|
-
�קה 87
|
320
|
-
יש 87
|
318
|
+
רב� 88
|
321
319
|
_ח� 87
|
322
|
-
|
320
|
+
יש 87
|
323
321
|
_ח 87
|
324
|
-
|
322
|
+
�ש 87
|
323
|
+
�קה 87
|
325
324
|
בר 86
|
325
|
+
�ר 86
|
326
|
+
�_ 85
|
326
327
|
מה_ 85
|
328
|
+
�י� 85
|
327
329
|
א_ 85
|
328
330
|
�ה_ 85
|
329
|
-
�י� 85
|
330
|
-
�_ 85
|
331
331
|
יי� 85
|
332
|
-
�י 84
|
333
|
-
הי� 84
|
334
332
|
�י 84
|
335
|
-
הי 84
|
336
|
-
קי 84
|
337
333
|
�י� 84
|
338
|
-
|
334
|
+
קי 84
|
335
|
+
הי� 84
|
336
|
+
הי 84
|
337
|
+
�י 84
|
339
338
|
�ם 83
|
340
|
-
|
341
|
-
|
339
|
+
גם 83
|
340
|
+
המ 82
|
341
|
+
�מ 82
|
342
342
|
של 82
|
343
343
|
�מ� 82
|
344
|
+
�י� 82
|
344
345
|
_המ 82
|
345
|
-
|
346
|
+
צי 82
|
346
347
|
המ� 82
|
347
348
|
�י 82
|
348
|
-
|
349
|
+
�ל 82
|
349
350
|
צי� 82
|
350
|
-
�מ 82
|
351
|
-
_של 80
|
352
351
|
�י 80
|
353
|
-
_
|
352
|
+
_של 80
|
354
353
|
טי� 80
|
355
|
-
|
354
|
+
_גם 80
|
356
355
|
טי 80
|
357
|
-
|
358
|
-
ם. 79
|
359
|
-
�_ 79
|
360
|
-
קו 79
|
356
|
+
�י� 80
|
361
357
|
�. 79
|
358
|
+
קו 79
|
359
|
+
�ו� 79
|
362
360
|
אם_ 79
|
363
|
-
�ם_ 79
|
364
361
|
קו� 79
|
365
|
-
|
362
|
+
�_ 79
|
366
363
|
�ו 79
|
367
|
-
|
368
|
-
שו 79
|
364
|
+
�ו� 79
|
369
365
|
ב_ 79
|
370
|
-
|
366
|
+
�ם_ 79
|
367
|
+
ם. 79
|
368
|
+
שו� 79
|
369
|
+
שו 79
|
370
|
+
�ו 79
|
371
371
|
�י 78
|
372
|
-
_צ 78
|
373
372
|
אי 78
|
373
|
+
_צ� 78
|
374
|
+
_צ 78
|
375
|
+
אנ 77
|
374
376
|
אנ� 77
|
375
377
|
�נ 77
|
376
378
|
�נ� 77
|
377
|
-
אנ 77
|
378
|
-
ת. 76
|
379
379
|
�חר 76
|
380
380
|
�. 76
|
381
|
-
|
381
|
+
ת. 76
|
382
382
|
יכ 75
|
383
|
-
�ל_ 75
|
384
|
-
יכ� 75
|
385
|
-
�כ 75
|
386
383
|
�פ� 75
|
387
384
|
�פ 75
|
388
|
-
|
385
|
+
יכ� 75
|
389
386
|
�כ� 75
|
387
|
+
�כ 75
|
388
|
+
ספ 75
|
389
|
+
�ל_ 75
|
390
|
+
ול_ 75
|
390
391
|
ספ� 75
|
392
|
+
�פ� 74
|
393
|
+
ופ 74
|
391
394
|
�א 74
|
392
395
|
נא 74
|
393
396
|
ופ� 74
|
394
|
-
ופ 74
|
395
397
|
�פ 74
|
396
|
-
|
397
|
-
עי 73
|
398
|
+
קי� 73
|
398
399
|
�י 73
|
399
|
-
|
400
|
-
�י� 73
|
400
|
+
את_ 73
|