scylla 0.5.0 → 0.6.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (58) hide show
  1. data/Gemfile +4 -2
  2. data/Gemfile.lock +16 -1
  3. data/lib/scylla/classifier.rb +1 -1
  4. data/lib/scylla/generator.rb +16 -4
  5. data/lib/scylla/lms/afrikaans.lm +232 -232
  6. data/lib/scylla/lms/arabic.lm +175 -175
  7. data/lib/scylla/lms/bulgarian.lm +225 -225
  8. data/lib/scylla/lms/catalan.lm +309 -309
  9. data/lib/scylla/lms/danish.lm +167 -167
  10. data/lib/scylla/lms/english.lm +398 -398
  11. data/lib/scylla/lms/finnish.lm +237 -237
  12. data/lib/scylla/lms/french.lm +148 -148
  13. data/lib/scylla/lms/german.lm +258 -258
  14. data/lib/scylla/lms/greek.lm +236 -236
  15. data/lib/scylla/lms/hebrew.lm +154 -154
  16. data/lib/scylla/lms/hindi.lm +139 -139
  17. data/lib/scylla/lms/icelandic.lm +239 -239
  18. data/lib/scylla/lms/indonesian.lm +244 -244
  19. data/lib/scylla/lms/italian.lm +248 -248
  20. data/lib/scylla/lms/japanese.lm +90 -90
  21. data/lib/scylla/lms/korean.lm +306 -306
  22. data/lib/scylla/lms/norwegian.lm +193 -193
  23. data/lib/scylla/lms/polish.lm +241 -241
  24. data/lib/scylla/lms/portuguese.lm +232 -232
  25. data/lib/scylla/lms/romanian.lm +246 -246
  26. data/lib/scylla/lms/slovak.lm +242 -242
  27. data/lib/scylla/lms/slovenian.lm +229 -229
  28. data/lib/scylla/lms/spanish.lm +164 -164
  29. data/lib/scylla/lms/swedish.lm +157 -157
  30. data/lib/scylla/lms/tagalog.lm +247 -247
  31. data/lib/scylla/lms/thai.lm +252 -252
  32. data/lib/scylla/lms/turkish.lm +285 -285
  33. data/lib/scylla/lms/vietnamese.lm +250 -250
  34. data/lib/scylla/lms/welsh.lm +248 -248
  35. data/lib/scylla/resources.rb +1 -9
  36. data/lib/scylla.rb +4 -0
  37. data/scylla.gemspec +2 -120
  38. data/source_texts/english.txt +62 -27
  39. data/test/classifier_test.rb +1 -3
  40. data/test/fixtures/lms/danish.lm +173 -173
  41. data/test/fixtures/lms/english.lm +220 -220
  42. data/test/fixtures/lms/french.lm +175 -175
  43. data/test/fixtures/lms/german.lm +254 -254
  44. data/test/fixtures/lms/hindi.lm +139 -139
  45. data/test/fixtures/lms/italian.lm +236 -236
  46. data/test/fixtures/lms/japanese.lm +88 -88
  47. data/test/fixtures/lms/norwegian.lm +182 -182
  48. data/test/fixtures/lms/spanish.lm +164 -164
  49. data/test/fixtures/test_languages/spanish +0 -1
  50. data/test/generator_test.rb +13 -0
  51. data/test/helper.rb +2 -0
  52. metadata +18 -25
  53. data/.document +0 -5
  54. data/lib/scylla/lms/13375P33K.lm +0 -400
  55. data/scylla-0.1.0.gem +0 -0
  56. data/source_texts/13375P33K.txt +0 -199
  57. data/test/fixtures/lms/13375p33k.lm +0 -400
  58. data/test/fixtures/source_texts/13375P33K.txt +0 -199
@@ -1,91 +1,91 @@
1
1
  � 18717
2
2
  _ 8282
3
3
  _� 4141
4
- י 2236
5
4
  � 2236
5
+ י 2236
6
6
  י� 2028
7
7
  �� 2028
8
- � 2000
9
8
  ו 2000
9
+ � 2000
10
10
  ו� 1828
11
11
  �� 1828
12
- ה 1399
13
12
  � 1399
13
+ ה 1399
14
14
  � 1228
15
15
  ל 1228
16
16
  � 1141
17
17
  ת 1141
18
18
  ר 1133
19
19
  � 1133
20
- � 1129
21
20
  א 1129
21
+ � 1129
22
22
  �� 999
23
23
  א� 999
24
- מ 944
25
24
  �� 944
26
25
  � 944
26
+ מ 944
27
27
  מ� 944
28
- ר� 885
29
28
  �� 885
30
- 832
29
+ ר� 885
31
30
  ב 832
31
+ � 832
32
32
  ל� 791
33
33
  �� 791
34
- � 734
35
34
  ש 734
36
- �� 706
35
+ 734
37
36
  ב� 706
38
- ם 674
37
+ �� 706
39
38
  � 674
40
- ה_ 660
39
+ ם 674
41
40
  �_ 660
42
- _א 657
41
+ ה_ 660
43
42
  _א� 657
44
- 636
43
+ 657
45
44
  ד 636
46
- ש� 617
45
+ 636
47
46
  �� 617
47
+ ש� 617
48
+ נ� 610
49
+ �� 610
48
50
  � 610
49
51
  נ 610
50
- �� 610
51
- נ� 610
52
52
  �_ 569
53
53
  ת_ 569
54
- �_ 535
55
54
  ם_ 535
55
+ �_ 535
56
56
  �� 534
57
57
  ה� 534
58
- � 523
59
58
  ע 523
59
+ � 523
60
60
  . 522
61
- � 507
62
61
  ק 507
63
- ק� 499
64
- �� 499
65
- �� 499
62
+ 507
66
63
  ד� 499
67
- 495
68
- פ 495
64
+ �� 499
65
+ �� 499
66
+ ק� 499
69
67
  �� 495
70
68
  פ� 495
69
+ פ 495
70
+ � 495
71
71
  ח 470
72
72
  � 470
73
- _מ� 461
74
73
  _מ 461
75
- �� 460
74
+ _מ� 461
76
75
  ע� 460
76
+ �� 460
77
77
  �� 441
78
- � 441
79
- כ 441
80
78
  כ� 441
79
+ כ 441
80
+ � 441
81
81
  ת� 440
82
82
  �� 440
83
83
  _ב 433
84
84
  ח� 432
85
85
  �� 432
86
86
  ._ 423
87
- ,_ 422
88
87
  , 422
88
+ ,_ 422
89
89
  ים 417
90
90
  �ם 417
91
91
  _ה 384
@@ -93,18 +93,18 @@ _ה
93
93
  _ב� 366
94
94
  �ם_ 353
95
95
  ים_ 353
96
- � 348
97
96
  ס� 348
98
97
  �� 348
98
+ � 348
99
99
  ס 348
100
100
  �_ 328
101
101
  ל_ 328
102
- �ת 317
103
102
  ות 317
104
- ג 309
105
- �� 309
103
+ �ת 317
106
104
  � 309
105
+ �� 309
107
106
  ג� 309
107
+ ג 309
108
108
  ט 303
109
109
  � 303
110
110
  _ש 302
@@ -115,286 +115,286 @@ _ל
115
115
  ול 250
116
116
  �ת_ 243
117
117
  ות_ 243
118
- יה 239
119
118
  �ה 239
120
- �� 235
119
+ יה 239
121
120
  ט� 235
122
- �ו 233
121
+ �� 235
123
122
  לו 233
124
- לו� 217
123
+ �ו 233
125
124
  �ו� 217
125
+ לו� 217
126
+ צ� 212
127
+ צ 212
126
128
  _ע� 212
127
129
  _ע 212
128
130
  � 212
129
- צ 212
131
+ �� 212
130
132
  _ו 205
131
133
  _ו� 205
132
- �י 196
133
- �י� 196
134
134
  רי� 196
135
+ �י� 196
136
+ �י 196
135
137
  רי 196
138
+ יק� 194
139
+ �ק� 194
136
140
  �ק 194
137
141
  יק 194
138
- �ק� 194
139
- יק� 194
140
- רו 192
141
142
  �ו 192
143
+ רו 192
142
144
  ר_ 188
143
145
  �_ 188
144
- �� 184
145
- צ� 184
146
- רו� 181
147
146
  �ו� 181
148
- יה_ 178
147
+ רו� 181
149
148
  �ה_ 178
150
- בה 175
149
+ יה_ 178
151
150
  �ה 175
151
+ בה 175
152
152
  �ו 174
153
153
  מו 174
154
- י_ 173
155
154
  �_ 173
155
+ י_ 173
156
156
  �ל� 172
157
157
  ול� 172
158
158
  �ו 170
159
159
  או 170
160
160
  �י 169
161
161
  די 169
162
- �ו 166
163
162
  נו 166
164
- �ו� 161
163
+ �ו 166
165
164
  נו� 161
166
- ית 160
165
+ �ו� 161
167
166
  �ת 160
168
- _כ� 154
167
+ ית 160
169
168
  _כ 154
169
+ _כ� 154
170
+ יו� 149
170
171
  �ו 149
171
172
  �ו� 149
172
173
  יו 149
173
- יו� 149
174
174
  � 148
175
175
  ז 148
176
- �י� 147
177
176
  די� 147
178
- ז� 142
177
+ �י� 147
179
178
  �� 142
180
- את 141
179
+ ז� 142
181
180
  �ו� 141
182
181
  מו� 141
183
182
  �ת 141
183
+ את 141
184
184
  �י 139
185
185
  ני 139
186
186
  �י 137
187
187
  גי 137
188
- �ל 135
189
188
  כל 135
190
- �י� 129
189
+ �ל 135
191
190
  גי� 129
191
+ �י� 129
192
+ מה 128
193
+ ונ 128
192
194
  �נ� 128
193
195
  ונ� 128
194
- ונ 128
195
- �נ 128
196
- מה 128
197
196
  �ה 128
197
+ �נ 128
198
198
  וג 125
199
+ �ג 125
199
200
  וג� 125
200
201
  �ג� 125
201
- �ג 125
202
202
  �_ 124
203
203
  ו_ 124
204
204
  ן 122
205
+ � 122
205
206
  _ת� 122
206
207
  _ת 122
207
- � 122
208
208
  �י 121
209
209
  מי 121
210
- ית_ 120
211
210
  �ת_ 120
212
- שי 118
211
+ ית_ 120
212
+ �י 118
213
+ פי� 118
213
214
  �י 118
214
215
  פי 118
215
- _ר� 118
216
- �י� 118
217
- פי� 118
218
216
  _ר 118
219
- �י 118
220
- �ם 118
217
+ �י� 118
221
218
  אם 118
222
- ה. 117
219
+ �ם 118
220
+ _ר� 118
221
+ שי 118
223
222
  �. 117
223
+ ה. 117
224
224
  מי� 115
225
225
  �י� 115
226
226
  _בה 114
227
227
  �י� 114
228
228
  ני� 114
229
- _את 113
230
229
  �_ 113
230
+ _את 113
231
231
  ד_ 113
232
232
  �י 112
233
233
  לי 112
234
- מד 111
235
- מד� 111
236
234
  �ד� 111
237
235
  �ד 111
236
+ מד� 111
237
+ מד 111
238
+ _ד 107
238
239
  וי� 107
239
- וי 107
240
240
  _ד� 107
241
+ וי 107
241
242
  �י� 107
242
- _ד 107
243
243
  �י 107
244
- אח� 105
245
- �ח� 105
246
244
  אח 105
247
245
  �ח 105
248
- �ה 104
249
- קה 104
250
- �לו 104
246
+ אח� 105
247
+ �ח� 105
251
248
  �גי 104
252
- �וג 104
253
249
  �יה 104
250
+ �וג 104
251
+ �לו 104
252
+ �ה 104
253
+ קה 104
254
254
  על 102
255
255
  �ל 102
256
256
  _ס 101
257
- �ו 101
257
+ �ר 101
258
258
  ער 101
259
259
  פו 101
260
- �ר 101
260
+ �ו 101
261
261
  _ס� 101
262
- _על 100
263
- בי 100
264
- אל 100
265
- _ג 100
266
- �י� 100
267
- _ג� 100
268
262
  בי� 100
263
+ _ג� 100
269
264
  �ל 100
265
+ �י� 100
266
+ אל 100
267
+ בי 100
268
+ _ג 100
270
269
  �י 100
271
- יי 99
272
- ה._ 99
270
+ _על 100
273
271
  �י 99
274
- �._ 99
272
+ ה._ 99
275
273
  .� 99
274
+ יי 99
275
+ �._ 99
276
276
  _מה 98
277
- ן_ 98
278
277
  לי� 98
279
- _ 98
278
+ ן_ 98
280
279
  �י� 98
281
- �ב 97
280
+ �_ 98
282
281
  וד 97
282
+ רב 97
283
+ �ב 97
283
284
  _אח 97
284
285
  �ד 97
285
- רב 97
286
- _אם 96
287
- �ר 96
288
- חר 96
289
286
  דת 96
287
+ חר 96
290
288
  �ת 96
291
- �ו� 95
289
+ �ר 96
290
+ _אם 96
292
291
  שי� 95
293
292
  פו� 95
294
293
  �י� 95
294
+ �ו� 95
295
295
  _דת 94
296
296
  _או 94
297
+ בה_ 92
297
298
  ש_ 92
298
- ור 92
299
+ �ר 92
299
300
  כל� 92
300
- בה_ 92
301
+ _ 92
301
302
  �ה_ 92
302
303
  �ל� 92
303
- �_ 92
304
- �ר 92
304
+ ור 92
305
305
  _ק 91
306
306
  _ק� 91
307
- �י 90
308
307
  תי 90
309
- קר 90
308
+ �י 90
310
309
  �ר 90
310
+ קר 90
311
+ �ב� 88
312
+ �ו� 88
311
313
  �,_ 88
312
- רב� 88
314
+ או� 88
315
+ ה,_ 88
313
316
  ה, 88
314
317
  �, 88
315
- ה,_ 88
316
- �ב� 88
317
- או� 88
318
- �ו� 88
319
- �קה 87
320
- יש 87
318
+ רב� 88
321
319
  _ח� 87
322
- �ש 87
320
+ יש 87
323
321
  _ח 87
324
- �ר 86
322
+ �ש 87
323
+ �קה 87
325
324
  בר 86
325
+ �ר 86
326
+ �_ 85
326
327
  מה_ 85
328
+ �י� 85
327
329
  א_ 85
328
330
  �ה_ 85
329
- �י� 85
330
- �_ 85
331
331
  יי� 85
332
- �י 84
333
- הי� 84
334
332
  �י 84
335
- הי 84
336
- קי 84
337
333
  �י� 84
338
- גם 83
334
+ קי 84
335
+ הי� 84
336
+ הי 84
337
+ �י 84
339
338
  �ם 83
340
- �ל 82
341
- �י� 82
339
+ גם 83
340
+ המ 82
341
+ �מ 82
342
342
  של 82
343
343
  �מ� 82
344
+ �י� 82
344
345
  _המ 82
345
- המ 82
346
+ צי 82
346
347
  המ� 82
347
348
  �י 82
348
- צי 82
349
+ �ל 82
349
350
  צי� 82
350
- �מ 82
351
- _של 80
352
351
  �י 80
353
- _גם 80
352
+ _של 80
354
353
  טי� 80
355
- �י� 80
354
+ _גם 80
356
355
  טי 80
357
- שו� 79
358
- ם. 79
359
- �_ 79
360
- קו 79
356
+ �י� 80
361
357
  �. 79
358
+ קו 79
359
+ �ו� 79
362
360
  אם_ 79
363
- �ם_ 79
364
361
  קו� 79
365
- �ו� 79
362
+ �_ 79
366
363
  �ו 79
367
- �ו 79
368
- שו 79
364
+ �ו� 79
369
365
  ב_ 79
370
- �ו� 79
366
+ �ם_ 79
367
+ ם. 79
368
+ שו� 79
369
+ שו 79
370
+ �ו 79
371
371
  �י 78
372
- _צ 78
373
372
  אי 78
373
+ _צ� 78
374
+ _צ 78
375
+ אנ 77
374
376
  אנ� 77
375
377
  �נ 77
376
378
  �נ� 77
377
- אנ 77
378
- ת. 76
379
379
  �חר 76
380
380
  �. 76
381
- ול_ 75
381
+ ת. 76
382
382
  יכ 75
383
- �ל_ 75
384
- יכ� 75
385
- �כ 75
386
383
  �פ� 75
387
384
  �פ 75
388
- ספ 75
385
+ יכ� 75
389
386
  �כ� 75
387
+ �כ 75
388
+ ספ 75
389
+ �ל_ 75
390
+ ול_ 75
390
391
  ספ� 75
392
+ �פ� 74
393
+ ופ 74
391
394
  �א 74
392
395
  נא 74
393
396
  ופ� 74
394
- ופ 74
395
397
  �פ 74
396
- �פ� 74
397
- עי 73
398
+ קי� 73
398
399
  �י 73
399
- �ת_ 73
400
- �י� 73
400
+ את_ 73