scylla 0.5.0 → 0.6.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (58) hide show
  1. data/Gemfile +4 -2
  2. data/Gemfile.lock +16 -1
  3. data/lib/scylla/classifier.rb +1 -1
  4. data/lib/scylla/generator.rb +16 -4
  5. data/lib/scylla/lms/afrikaans.lm +232 -232
  6. data/lib/scylla/lms/arabic.lm +175 -175
  7. data/lib/scylla/lms/bulgarian.lm +225 -225
  8. data/lib/scylla/lms/catalan.lm +309 -309
  9. data/lib/scylla/lms/danish.lm +167 -167
  10. data/lib/scylla/lms/english.lm +398 -398
  11. data/lib/scylla/lms/finnish.lm +237 -237
  12. data/lib/scylla/lms/french.lm +148 -148
  13. data/lib/scylla/lms/german.lm +258 -258
  14. data/lib/scylla/lms/greek.lm +236 -236
  15. data/lib/scylla/lms/hebrew.lm +154 -154
  16. data/lib/scylla/lms/hindi.lm +139 -139
  17. data/lib/scylla/lms/icelandic.lm +239 -239
  18. data/lib/scylla/lms/indonesian.lm +244 -244
  19. data/lib/scylla/lms/italian.lm +248 -248
  20. data/lib/scylla/lms/japanese.lm +90 -90
  21. data/lib/scylla/lms/korean.lm +306 -306
  22. data/lib/scylla/lms/norwegian.lm +193 -193
  23. data/lib/scylla/lms/polish.lm +241 -241
  24. data/lib/scylla/lms/portuguese.lm +232 -232
  25. data/lib/scylla/lms/romanian.lm +246 -246
  26. data/lib/scylla/lms/slovak.lm +242 -242
  27. data/lib/scylla/lms/slovenian.lm +229 -229
  28. data/lib/scylla/lms/spanish.lm +164 -164
  29. data/lib/scylla/lms/swedish.lm +157 -157
  30. data/lib/scylla/lms/tagalog.lm +247 -247
  31. data/lib/scylla/lms/thai.lm +252 -252
  32. data/lib/scylla/lms/turkish.lm +285 -285
  33. data/lib/scylla/lms/vietnamese.lm +250 -250
  34. data/lib/scylla/lms/welsh.lm +248 -248
  35. data/lib/scylla/resources.rb +1 -9
  36. data/lib/scylla.rb +4 -0
  37. data/scylla.gemspec +2 -120
  38. data/source_texts/english.txt +62 -27
  39. data/test/classifier_test.rb +1 -3
  40. data/test/fixtures/lms/danish.lm +173 -173
  41. data/test/fixtures/lms/english.lm +220 -220
  42. data/test/fixtures/lms/french.lm +175 -175
  43. data/test/fixtures/lms/german.lm +254 -254
  44. data/test/fixtures/lms/hindi.lm +139 -139
  45. data/test/fixtures/lms/italian.lm +236 -236
  46. data/test/fixtures/lms/japanese.lm +88 -88
  47. data/test/fixtures/lms/norwegian.lm +182 -182
  48. data/test/fixtures/lms/spanish.lm +164 -164
  49. data/test/fixtures/test_languages/spanish +0 -1
  50. data/test/generator_test.rb +13 -0
  51. data/test/helper.rb +2 -0
  52. metadata +18 -25
  53. data/.document +0 -5
  54. data/lib/scylla/lms/13375P33K.lm +0 -400
  55. data/scylla-0.1.0.gem +0 -0
  56. data/source_texts/13375P33K.txt +0 -199
  57. data/test/fixtures/lms/13375p33k.lm +0 -400
  58. data/test/fixtures/source_texts/13375P33K.txt +0 -199
@@ -1,400 +1,400 @@
1
- 73879
2
- _ 41744
3
- 26019
4
- _� 13141
5
- 11448
6
- а 11447
7
- и 10454
1
+ 73868
2
+ _ 40952
3
+ 26014
4
+ _� 13202
5
+ 11445
6
+ а 11444
8
7
  � 10454
9
- 8498
10
- е 8498
11
- 8354
12
- о 8353
13
- т 7459
14
- 7459
15
- 7359
16
- н 7359
17
- н� 6078
18
- �� 6078
19
- 5765
20
- р 5460
21
- т� 5390
22
- �� 5390
23
- с 5070
24
- 5070
25
- �� 4637
26
- р� 4636
27
- е� 4209
28
- �� 4209
8
+ и 10454
9
+ 8496
10
+ е 8496
11
+ 8353
12
+ о 8352
13
+ 7456
14
+ т 7456
15
+ 7357
16
+ н 7357
17
+ �� 6077
18
+ н� 6077
19
+ 5764
20
+ р 5459
21
+ �� 5389
22
+ т� 5389
23
+ с 5069
24
+ 5069
25
+ �� 4636
26
+ р� 4635
27
+ �� 4281
28
+ е� 4281
29
29
  � 4121
30
30
  в 4119
31
- �� 4029
32
- а� 4029
33
- �_ 3970
34
- а_ 3969
35
- �� 3839
36
- о� 3839
37
- _� 3761
38
- и� 3688
39
- �� 3688
40
- 3685
41
- к 3685
42
- и� 3582
31
+ а� 4039
32
+ �� 4039
33
+ �_ 3993
34
+ а_ 3992
35
+ о� 3841
36
+ �� 3841
37
+ _� 3777
38
+ и� 3693
39
+ �� 3693
40
+ 3683
41
+ к 3683
43
42
  �� 3582
44
- л 3450
43
+ и� 3582
45
44
  � 3450
46
- 3071
45
+ л 3450
47
46
  д 3071
48
- __ 2975
49
- �� 2942
50
- а� 2942
47
+ 3071
48
+ а� 2943
49
+ �� 2943
51
50
  �� 2907
52
51
  л� 2907
53
- в� 2905
54
52
  �� 2905
53
+ в� 2905
55
54
  �� 2813
56
55
  с� 2813
57
- �� 2793
58
- к� 2793
59
- и_ 2640
60
- �_ 2640
61
- 2507
56
+ �� 2792
57
+ к� 2792
58
+ __ 2787
59
+ �_ 2671
60
+ и_ 2671
62
61
  п 2507
63
- д� 2355
62
+ 2507
64
63
  �� 2355
65
- �� 2274
66
- о� 2274
67
- на 2261
68
- �а 2261
69
- е_ 2194
70
- �_ 2194
71
- з 2176
64
+ д� 2355
65
+ �� 2275
66
+ о� 2275
67
+ �а 2260
68
+ на 2260
72
69
  � 2176
73
- 2001
70
+ з 2176
71
+ �_ 2131
72
+ е_ 2131
74
73
  я 2001
75
- �� 1974
76
- с� 1974
77
- _ 1966
78
- о_ 1965
79
- 1948
80
- м 1872
81
- 1872
82
- �� 1806
74
+ 2001
75
+ �_ 1974
76
+ о_ 1974
77
+ с� 1973
78
+ �� 1973
79
+ 1954
80
+ м 1871
81
+ 1871
83
82
  е� 1806
84
- �� 1756
85
- з� 1756
86
- 1747
87
- _н� 1660
88
- �и 1604
83
+ �� 1806
84
+ 1759
85
+ з� 1757
86
+ �� 1757
87
+ _н� 1672
89
88
  ни 1604
89
+ �и 1604
90
90
  � 1598
91
91
  ъ 1598
92
- �� 1546
93
- м� 1546
92
+ м� 1545
93
+ �� 1545
94
94
  � 1534
95
95
  г 1534
96
- �т 1463
97
- ст 1463
96
+ �т 1462
97
+ ст 1462
98
98
  , 1462
99
99
  �� 1461
100
100
  п� 1461
101
- �т 1457
102
101
  ат 1457
102
+ �т 1457
103
103
  ,_ 1453
104
- _п 1435
105
- �о 1405
104
+ _п 1444
106
105
  то 1405
107
- �а_ 1376
108
- на_ 1376
109
- �а 1372
110
- ра 1372
111
- те 1359
112
- �е 1359
113
- 1344
114
- ан 1332
106
+ �о 1405
107
+ на_ 1381
108
+ �а_ 1381
109
+ ра 1371
110
+ �а 1371
111
+ те 1358
112
+ �е 1358
113
+ 1350
115
114
  �н 1332
115
+ ан 1332
116
+ _на 1303
116
117
  г� 1296
117
- _на 1296
118
118
  �� 1296
119
- та 1264
120
- �а 1264
119
+ �а 1263
120
+ та 1263
121
121
  � 1235
122
122
  б 1234
123
- ен 1178
124
- �н 1178
123
+ �н 1177
124
+ ен 1177
125
125
  � 1167
126
+ �_ 1166
127
+ т_ 1166
126
128
  у 1165
127
- �_ 1161
128
- т_ 1161
129
129
  �я 1149
130
130
  ия 1149
131
- ч 1105
132
131
  � 1105
133
- 1095
132
+ ч 1105
133
+ _в 1104
134
134
  �т� 1091
135
135
  ат� 1091
136
136
  �а 1082
137
- �т 1082
138
- ит 1082
139
137
  ва 1082
138
+ ит 1082
139
+ �т 1082
140
140
  ре 1077
141
141
  �е 1077
142
- _с� 1062
142
+ _с� 1065
143
143
  �� 1059
144
144
  ч� 1059
145
- п� 1037
146
145
  �� 1037
147
- ит� 1034
148
- �т� 1034
146
+ п� 1037
149
147
  ан� 1034
148
+ �т� 1034
149
+ ит� 1034
150
150
  �н� 1034
151
151
  . 1032
152
152
  ра� 1015
153
153
  �а� 1015
154
- �о 1010
155
154
  но 1010
155
+ �о 1010
156
156
  ст� 1007
157
157
  �т� 1007
158
- 957
159
- ъ� 927
158
+ 964
160
159
  �� 927
160
+ ъ� 927
161
161
  ки 919
162
162
  �и 919
163
- 889
164
- �о_ 882
165
- ре� 882
166
- то_ 882
163
+ 895
164
+ то_ 883
165
+ �о_ 883
167
166
  �е� 882
168
- ри 874
167
+ ре� 882
169
168
  �и 874
169
+ ри 874
170
170
  ли 873
171
171
  �и 873
172
- ск 872
173
172
  �к 872
173
+ ск 872
174
174
  �т 863
175
175
  от 863
176
176
  пр 857
177
177
  �р 857
178
- �к� 853
179
178
  ск� 853
180
- пр� 840
179
+ �к� 853
181
180
  �р� 840
182
- �а 832
181
+ пр� 840
183
182
  ка 832
184
- �� 816
185
- н� 816
183
+ �а 832
184
+ �� 815
185
+ н� 815
186
186
  ти 802
187
187
  �и 802
188
- �д 799
189
188
  ед 799
190
- �о 778
191
- ко 778
189
+ �д 799
190
+ ко 777
191
+ �о 777
192
192
  т� 769
193
193
  �� 769
194
194
  по 767
195
195
  �о 767
196
- � 756
197
196
  ц 756
197
+ � 756
198
198
  �е 755
199
199
  не 755
200
200
  �те 744
201
- �а 736
201
+ ._ 737
202
202
  да 736
203
+ �а 736
204
+ _п� 732
203
205
  б� 731
204
206
  �� 731
205
- _п� 730
206
- ._ 729
207
- _и_ 725
208
- _к 720
209
- _с� 716
210
- _е 711
211
- �� 706
207
+ _к 726
208
+ _и_ 726
209
+ _с� 719
210
+ _е 716
211
+ _п� 710
212
212
  у� 706
213
- �� 704
213
+ �� 706
214
214
  ц� 704
215
- _п� 703
215
+ �� 704
216
216
  �н� 698
217
217
  ен� 698
218
- �е_ 684
219
- те_ 684
220
- ар 683
221
- �р 683
218
+ �е_ 686
219
+ те_ 686
220
+ �_ 685
221
+ я_ 685
222
222
  �в 682
223
+ �р 682
224
+ ар 682
223
225
  ов 682
224
- _о� 671
225
- ъ� 671
226
+ _о� 676
227
+ _д� 675
226
228
  �� 671
229
+ ъ� 671
227
230
  � 670
228
- _д� 670
229
231
  й 670
230
232
  �о 667
231
233
  ро 667
232
234
  �д� 659
233
235
  ед� 659
234
- �� 643
235
236
  в� 643
236
- �_ 640
237
- я_ 640
237
+ �� 643
238
238
  �� 635
239
239
  р� 634
240
- �� 628
241
- к� 628
242
240
  ж 627
243
241
  � 627
244
- _пр 620
245
- ет 617
242
+ �� 627
243
+ к� 627
244
+ _пр 627
246
245
  �т 617
247
- та_ 611
248
- �а_ 611
249
- ик 599
246
+ ет 617
247
+ та_ 615
248
+ �а_ 615
249
+ ия_ 607
250
+ �я_ 607
250
251
  �к 599
251
- �в� 598
252
+ ик 599
252
253
  ов� 598
254
+ �в� 598
253
255
  �� 596
254
256
  ж� 596
255
- _к� 591
257
+ _к� 595
258
+ _и� 584
256
259
  �и� 581
257
260
  ни� 581
258
- _и� 580
259
- _по 568
260
- за 565
261
+ я� 569
262
+ _по 569
263
+ �� 569
261
264
  �а 565
262
- �� 562
263
- я� 562
264
- ия_ 562
265
- �я_ 562
266
- ве 561
265
+ за 565
267
266
  �е 561
268
- �л 559
267
+ ве 561
269
268
  ел 559
270
- �т� 558
269
+ �л 559
271
270
  ет� 558
271
+ �т� 558
272
272
  �е 551
273
273
  се 551
274
- �р 535
275
274
  ор 535
276
- �и 527
275
+ �р 535
277
276
  ди 527
278
277
  �в 527
278
+ �и 527
279
279
  ав 527
280
- ин 523
280
+ �_ 525
281
281
  �н 523
282
282
  �ки 523
283
- �_ 523
284
- в_ 521
285
- 519
286
- �з 518
283
+ ин 523
284
+ в_ 523
285
+ 521
287
286
  из 518
287
+ �з 518
288
288
  �е 507
289
289
  ле 507
290
- �о� 506
291
290
  д� 506
292
- �� 506
291
+ ни_ 506
292
+ �и_ 506
293
+ �о� 506
293
294
  ро� 506
294
- �и_ 502
295
- ни_ 502
296
- _з 500
297
- я� 499
298
- _з� 499
299
- �� 499
295
+ �� 506
296
+ _з 504
297
+ _з� 503
298
+ _от 501
299
+ �� 500
300
+ я� 500
301
+ _р� 498
300
302
  �� 497
301
- _р� 497
302
303
  б� 497
303
304
  �та 497
304
- ко� 496
305
- _от 496
306
- �о� 496
307
- во 486
305
+ �о� 495
306
+ ко� 495
308
307
  �о 486
308
+ во 486
309
309
  ци 485
310
310
  �и 485
311
311
  �е� 462
312
312
  ле� 462
313
313
  га 461
314
314
  �а 461
315
- ос 459
316
- �с 459
317
- �р 454
315
+ ос 460
316
+ �с 460
318
317
  тр 454
319
- �д 448
318
+ �р 454
320
319
  од 448
320
+ �д 448
321
+ _т 447
321
322
  ла 446
322
- �л 446
323
- ол 446
324
323
  �а 446
324
+ ол 446
325
+ �л 446
325
326
  на� 445
326
327
  �а� 445
327
- 444
328
- ни� 440
329
- �и� 440
328
+ ни� 443
329
+ �и� 443
330
+ _в_ 438
330
331
  �р� 437
331
332
  ор� 437
332
- ик� 435
333
333
  �р 435
334
- ер 435
335
- �к� 435
336
- _в_ 435
334
+ ик� 435
337
335
  ри� 435
336
+ �к� 435
338
337
  �и� 435
339
- ар� 431
340
- �р� 431
341
- ес 428
342
- �с 428
343
- �а 428
338
+ ер 435
339
+ �р� 430
340
+ ар� 430
344
341
  ма 428
345
- те� 426
346
- �е� 426
342
+ �а 428
343
+ �с 428
344
+ ес 428
345
+ те� 425
346
+ �е� 425
347
+ об 424
347
348
  �л� 424
348
349
  ел� 424
349
350
  �б 424
350
- об 424
351
- �в� 422
352
351
  ав� 422
353
- _за 416
354
- тр� 415
352
+ �в� 422
353
+ _за 419
355
354
  �р� 415
356
- ал 409
357
- �л 409
355
+ тр� 415
356
+ �л 410
357
+ ал 410
358
+ _м 409
358
359
  �� 407
359
360
  л� 407
360
- _м 406
361
361
  от_ 405
362
362
  �т_ 405
363
363
  � 404
364
+ �о_ 402
365
+ но_ 402
366
+ ва_ 401
367
+ �а_ 401
364
368
  щ 400
365
- ва_ 400
366
- �а_ 400
367
- �е 399
368
369
  че 399
369
- но_ 398
370
- �ни 398
370
+ �е 399
371
371
  �з 398
372
- �о_ 398
373
372
  ез 398
373
+ �ни 398
374
374
  ви 395
375
375
  �и 395
376
- н_ 393
377
- �_ 393
376
+ н_ 394
377
+ �_ 394
378
378
  �з� 392
379
379
  из� 392
380
- �е 390
381
- ме 390
382
380
  �т 390
383
381
  ят 390
382
+ �е 389
383
+ ме 389
384
384
  _се 388
385
- у� 387
386
385
  �� 387
387
- �е 385
386
+ у� 387
388
387
  ие 385
389
- - 383
390
- �л 374
388
+ �е 385
389
+ - 379
391
390
  ъл 374
391
+ �л 374
392
+ �ан 372
392
393
  �о� 372
393
394
  по� 372
394
- �ан 372
395
+ �и_ 371
396
+ ки_ 371
395
397
  �е 368
396
398
  де 368
397
- да_ 365
398
- �и� 365
399
- �а_ 365
400
- �л� 365
399
+ да_ 367
400
+ �а_ 367