scylla 0.5.0 → 0.6.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (58) hide show
  1. data/Gemfile +4 -2
  2. data/Gemfile.lock +16 -1
  3. data/lib/scylla/classifier.rb +1 -1
  4. data/lib/scylla/generator.rb +16 -4
  5. data/lib/scylla/lms/afrikaans.lm +232 -232
  6. data/lib/scylla/lms/arabic.lm +175 -175
  7. data/lib/scylla/lms/bulgarian.lm +225 -225
  8. data/lib/scylla/lms/catalan.lm +309 -309
  9. data/lib/scylla/lms/danish.lm +167 -167
  10. data/lib/scylla/lms/english.lm +398 -398
  11. data/lib/scylla/lms/finnish.lm +237 -237
  12. data/lib/scylla/lms/french.lm +148 -148
  13. data/lib/scylla/lms/german.lm +258 -258
  14. data/lib/scylla/lms/greek.lm +236 -236
  15. data/lib/scylla/lms/hebrew.lm +154 -154
  16. data/lib/scylla/lms/hindi.lm +139 -139
  17. data/lib/scylla/lms/icelandic.lm +239 -239
  18. data/lib/scylla/lms/indonesian.lm +244 -244
  19. data/lib/scylla/lms/italian.lm +248 -248
  20. data/lib/scylla/lms/japanese.lm +90 -90
  21. data/lib/scylla/lms/korean.lm +306 -306
  22. data/lib/scylla/lms/norwegian.lm +193 -193
  23. data/lib/scylla/lms/polish.lm +241 -241
  24. data/lib/scylla/lms/portuguese.lm +232 -232
  25. data/lib/scylla/lms/romanian.lm +246 -246
  26. data/lib/scylla/lms/slovak.lm +242 -242
  27. data/lib/scylla/lms/slovenian.lm +229 -229
  28. data/lib/scylla/lms/spanish.lm +164 -164
  29. data/lib/scylla/lms/swedish.lm +157 -157
  30. data/lib/scylla/lms/tagalog.lm +247 -247
  31. data/lib/scylla/lms/thai.lm +252 -252
  32. data/lib/scylla/lms/turkish.lm +285 -285
  33. data/lib/scylla/lms/vietnamese.lm +250 -250
  34. data/lib/scylla/lms/welsh.lm +248 -248
  35. data/lib/scylla/resources.rb +1 -9
  36. data/lib/scylla.rb +4 -0
  37. data/scylla.gemspec +2 -120
  38. data/source_texts/english.txt +62 -27
  39. data/test/classifier_test.rb +1 -3
  40. data/test/fixtures/lms/danish.lm +173 -173
  41. data/test/fixtures/lms/english.lm +220 -220
  42. data/test/fixtures/lms/french.lm +175 -175
  43. data/test/fixtures/lms/german.lm +254 -254
  44. data/test/fixtures/lms/hindi.lm +139 -139
  45. data/test/fixtures/lms/italian.lm +236 -236
  46. data/test/fixtures/lms/japanese.lm +88 -88
  47. data/test/fixtures/lms/norwegian.lm +182 -182
  48. data/test/fixtures/lms/spanish.lm +164 -164
  49. data/test/fixtures/test_languages/spanish +0 -1
  50. data/test/generator_test.rb +13 -0
  51. data/test/helper.rb +2 -0
  52. metadata +18 -25
  53. data/.document +0 -5
  54. data/lib/scylla/lms/13375P33K.lm +0 -400
  55. data/scylla-0.1.0.gem +0 -0
  56. data/source_texts/13375P33K.txt +0 -199
  57. data/test/fixtures/lms/13375p33k.lm +0 -400
  58. data/test/fixtures/source_texts/13375P33K.txt +0 -199
@@ -1,400 +1,400 @@
1
- 73879
2
- _ 41744
3
- 26019
4
- _� 13141
5
- 11448
6
- а 11447
7
- и 10454
1
+ 73868
2
+ _ 40952
3
+ 26014
4
+ _� 13202
5
+ 11445
6
+ а 11444
8
7
  � 10454
9
- 8498
10
- е 8498
11
- 8354
12
- о 8353
13
- т 7459
14
- 7459
15
- 7359
16
- н 7359
17
- н� 6078
18
- �� 6078
19
- 5765
20
- р 5460
21
- т� 5390
22
- �� 5390
23
- с 5070
24
- 5070
25
- �� 4637
26
- р� 4636
27
- е� 4209
28
- �� 4209
8
+ и 10454
9
+ 8496
10
+ е 8496
11
+ 8353
12
+ о 8352
13
+ 7456
14
+ т 7456
15
+ 7357
16
+ н 7357
17
+ �� 6077
18
+ н� 6077
19
+ 5764
20
+ р 5459
21
+ �� 5389
22
+ т� 5389
23
+ с 5069
24
+ 5069
25
+ �� 4636
26
+ р� 4635
27
+ �� 4281
28
+ е� 4281
29
29
  � 4121
30
30
  в 4119
31
- �� 4029
32
- а� 4029
33
- �_ 3970
34
- а_ 3969
35
- �� 3839
36
- о� 3839
37
- _� 3761
38
- и� 3688
39
- �� 3688
40
- 3685
41
- к 3685
42
- и� 3582
31
+ а� 4039
32
+ �� 4039
33
+ �_ 3993
34
+ а_ 3992
35
+ о� 3841
36
+ �� 3841
37
+ _� 3777
38
+ и� 3693
39
+ �� 3693
40
+ 3683
41
+ к 3683
43
42
  �� 3582
44
- л 3450
43
+ и� 3582
45
44
  � 3450
46
- 3071
45
+ л 3450
47
46
  д 3071
48
- __ 2975
49
- �� 2942
50
- а� 2942
47
+ 3071
48
+ а� 2943
49
+ �� 2943
51
50
  �� 2907
52
51
  л� 2907
53
- в� 2905
54
52
  �� 2905
53
+ в� 2905
55
54
  �� 2813
56
55
  с� 2813
57
- �� 2793
58
- к� 2793
59
- и_ 2640
60
- �_ 2640
61
- 2507
56
+ �� 2792
57
+ к� 2792
58
+ __ 2787
59
+ �_ 2671
60
+ и_ 2671
62
61
  п 2507
63
- д� 2355
62
+ 2507
64
63
  �� 2355
65
- �� 2274
66
- о� 2274
67
- на 2261
68
- �а 2261
69
- е_ 2194
70
- �_ 2194
71
- з 2176
64
+ д� 2355
65
+ �� 2275
66
+ о� 2275
67
+ �а 2260
68
+ на 2260
72
69
  � 2176
73
- 2001
70
+ з 2176
71
+ �_ 2131
72
+ е_ 2131
74
73
  я 2001
75
- �� 1974
76
- с� 1974
77
- _ 1966
78
- о_ 1965
79
- 1948
80
- м 1872
81
- 1872
82
- �� 1806
74
+ 2001
75
+ �_ 1974
76
+ о_ 1974
77
+ с� 1973
78
+ �� 1973
79
+ 1954
80
+ м 1871
81
+ 1871
83
82
  е� 1806
84
- �� 1756
85
- з� 1756
86
- 1747
87
- _н� 1660
88
- �и 1604
83
+ �� 1806
84
+ 1759
85
+ з� 1757
86
+ �� 1757
87
+ _н� 1672
89
88
  ни 1604
89
+ �и 1604
90
90
  � 1598
91
91
  ъ 1598
92
- �� 1546
93
- м� 1546
92
+ м� 1545
93
+ �� 1545
94
94
  � 1534
95
95
  г 1534
96
- �т 1463
97
- ст 1463
96
+ �т 1462
97
+ ст 1462
98
98
  , 1462
99
99
  �� 1461
100
100
  п� 1461
101
- �т 1457
102
101
  ат 1457
102
+ �т 1457
103
103
  ,_ 1453
104
- _п 1435
105
- �о 1405
104
+ _п 1444
106
105
  то 1405
107
- �а_ 1376
108
- на_ 1376
109
- �а 1372
110
- ра 1372
111
- те 1359
112
- �е 1359
113
- 1344
114
- ан 1332
106
+ �о 1405
107
+ на_ 1381
108
+ �а_ 1381
109
+ ра 1371
110
+ �а 1371
111
+ те 1358
112
+ �е 1358
113
+ 1350
115
114
  �н 1332
115
+ ан 1332
116
+ _на 1303
116
117
  г� 1296
117
- _на 1296
118
118
  �� 1296
119
- та 1264
120
- �а 1264
119
+ �а 1263
120
+ та 1263
121
121
  � 1235
122
122
  б 1234
123
- ен 1178
124
- �н 1178
123
+ �н 1177
124
+ ен 1177
125
125
  � 1167
126
+ �_ 1166
127
+ т_ 1166
126
128
  у 1165
127
- �_ 1161
128
- т_ 1161
129
129
  �я 1149
130
130
  ия 1149
131
- ч 1105
132
131
  � 1105
133
- 1095
132
+ ч 1105
133
+ _в 1104
134
134
  �т� 1091
135
135
  ат� 1091
136
136
  �а 1082
137
- �т 1082
138
- ит 1082
139
137
  ва 1082
138
+ ит 1082
139
+ �т 1082
140
140
  ре 1077
141
141
  �е 1077
142
- _с� 1062
142
+ _с� 1065
143
143
  �� 1059
144
144
  ч� 1059
145
- п� 1037
146
145
  �� 1037
147
- ит� 1034
148
- �т� 1034
146
+ п� 1037
149
147
  ан� 1034
148
+ �т� 1034
149
+ ит� 1034
150
150
  �н� 1034
151
151
  . 1032
152
152
  ра� 1015
153
153
  �а� 1015
154
- �о 1010
155
154
  но 1010
155
+ �о 1010
156
156
  ст� 1007
157
157
  �т� 1007
158
- 957
159
- ъ� 927
158
+ 964
160
159
  �� 927
160
+ ъ� 927
161
161
  ки 919
162
162
  �и 919
163
- 889
164
- �о_ 882
165
- ре� 882
166
- то_ 882
163
+ 895
164
+ то_ 883
165
+ �о_ 883
167
166
  �е� 882
168
- ри 874
167
+ ре� 882
169
168
  �и 874
169
+ ри 874
170
170
  ли 873
171
171
  �и 873
172
- ск 872
173
172
  �к 872
173
+ ск 872
174
174
  �т 863
175
175
  от 863
176
176
  пр 857
177
177
  �р 857
178
- �к� 853
179
178
  ск� 853
180
- пр� 840
179
+ �к� 853
181
180
  �р� 840
182
- �а 832
181
+ пр� 840
183
182
  ка 832
184
- �� 816
185
- н� 816
183
+ �а 832
184
+ �� 815
185
+ н� 815
186
186
  ти 802
187
187
  �и 802
188
- �д 799
189
188
  ед 799
190
- �о 778
191
- ко 778
189
+ �д 799
190
+ ко 777
191
+ �о 777
192
192
  т� 769
193
193
  �� 769
194
194
  по 767
195
195
  �о 767
196
- � 756
197
196
  ц 756
197
+ � 756
198
198
  �е 755
199
199
  не 755
200
200
  �те 744
201
- �а 736
201
+ ._ 737
202
202
  да 736
203
+ �а 736
204
+ _п� 732
203
205
  б� 731
204
206
  �� 731
205
- _п� 730
206
- ._ 729
207
- _и_ 725
208
- _к 720
209
- _с� 716
210
- _е 711
211
- �� 706
207
+ _к 726
208
+ _и_ 726
209
+ _с� 719
210
+ _е 716
211
+ _п� 710
212
212
  у� 706
213
- �� 704
213
+ �� 706
214
214
  ц� 704
215
- _п� 703
215
+ �� 704
216
216
  �н� 698
217
217
  ен� 698
218
- �е_ 684
219
- те_ 684
220
- ар 683
221
- �р 683
218
+ �е_ 686
219
+ те_ 686
220
+ �_ 685
221
+ я_ 685
222
222
  �в 682
223
+ �р 682
224
+ ар 682
223
225
  ов 682
224
- _о� 671
225
- ъ� 671
226
+ _о� 676
227
+ _д� 675
226
228
  �� 671
229
+ ъ� 671
227
230
  � 670
228
- _д� 670
229
231
  й 670
230
232
  �о 667
231
233
  ро 667
232
234
  �д� 659
233
235
  ед� 659
234
- �� 643
235
236
  в� 643
236
- �_ 640
237
- я_ 640
237
+ �� 643
238
238
  �� 635
239
239
  р� 634
240
- �� 628
241
- к� 628
242
240
  ж 627
243
241
  � 627
244
- _пр 620
245
- ет 617
242
+ �� 627
243
+ к� 627
244
+ _пр 627
246
245
  �т 617
247
- та_ 611
248
- �а_ 611
249
- ик 599
246
+ ет 617
247
+ та_ 615
248
+ �а_ 615
249
+ ия_ 607
250
+ �я_ 607
250
251
  �к 599
251
- �в� 598
252
+ ик 599
252
253
  ов� 598
254
+ �в� 598
253
255
  �� 596
254
256
  ж� 596
255
- _к� 591
257
+ _к� 595
258
+ _и� 584
256
259
  �и� 581
257
260
  ни� 581
258
- _и� 580
259
- _по 568
260
- за 565
261
+ я� 569
262
+ _по 569
263
+ �� 569
261
264
  �а 565
262
- �� 562
263
- я� 562
264
- ия_ 562
265
- �я_ 562
266
- ве 561
265
+ за 565
267
266
  �е 561
268
- �л 559
267
+ ве 561
269
268
  ел 559
270
- �т� 558
269
+ �л 559
271
270
  ет� 558
271
+ �т� 558
272
272
  �е 551
273
273
  се 551
274
- �р 535
275
274
  ор 535
276
- �и 527
275
+ �р 535
277
276
  ди 527
278
277
  �в 527
278
+ �и 527
279
279
  ав 527
280
- ин 523
280
+ �_ 525
281
281
  �н 523
282
282
  �ки 523
283
- �_ 523
284
- в_ 521
285
- 519
286
- �з 518
283
+ ин 523
284
+ в_ 523
285
+ 521
287
286
  из 518
287
+ �з 518
288
288
  �е 507
289
289
  ле 507
290
- �о� 506
291
290
  д� 506
292
- �� 506
291
+ ни_ 506
292
+ �и_ 506
293
+ �о� 506
293
294
  ро� 506
294
- �и_ 502
295
- ни_ 502
296
- _з 500
297
- я� 499
298
- _з� 499
299
- �� 499
295
+ �� 506
296
+ _з 504
297
+ _з� 503
298
+ _от 501
299
+ �� 500
300
+ я� 500
301
+ _р� 498
300
302
  �� 497
301
- _р� 497
302
303
  б� 497
303
304
  �та 497
304
- ко� 496
305
- _от 496
306
- �о� 496
307
- во 486
305
+ �о� 495
306
+ ко� 495
308
307
  �о 486
308
+ во 486
309
309
  ци 485
310
310
  �и 485
311
311
  �е� 462
312
312
  ле� 462
313
313
  га 461
314
314
  �а 461
315
- ос 459
316
- �с 459
317
- �р 454
315
+ ос 460
316
+ �с 460
318
317
  тр 454
319
- �д 448
318
+ �р 454
320
319
  од 448
320
+ �д 448
321
+ _т 447
321
322
  ла 446
322
- �л 446
323
- ол 446
324
323
  �а 446
324
+ ол 446
325
+ �л 446
325
326
  на� 445
326
327
  �а� 445
327
- 444
328
- ни� 440
329
- �и� 440
328
+ ни� 443
329
+ �и� 443
330
+ _в_ 438
330
331
  �р� 437
331
332
  ор� 437
332
- ик� 435
333
333
  �р 435
334
- ер 435
335
- �к� 435
336
- _в_ 435
334
+ ик� 435
337
335
  ри� 435
336
+ �к� 435
338
337
  �и� 435
339
- ар� 431
340
- �р� 431
341
- ес 428
342
- �с 428
343
- �а 428
338
+ ер 435
339
+ �р� 430
340
+ ар� 430
344
341
  ма 428
345
- те� 426
346
- �е� 426
342
+ �а 428
343
+ �с 428
344
+ ес 428
345
+ те� 425
346
+ �е� 425
347
+ об 424
347
348
  �л� 424
348
349
  ел� 424
349
350
  �б 424
350
- об 424
351
- �в� 422
352
351
  ав� 422
353
- _за 416
354
- тр� 415
352
+ �в� 422
353
+ _за 419
355
354
  �р� 415
356
- ал 409
357
- �л 409
355
+ тр� 415
356
+ �л 410
357
+ ал 410
358
+ _м 409
358
359
  �� 407
359
360
  л� 407
360
- _м 406
361
361
  от_ 405
362
362
  �т_ 405
363
363
  � 404
364
+ �о_ 402
365
+ но_ 402
366
+ ва_ 401
367
+ �а_ 401
364
368
  щ 400
365
- ва_ 400
366
- �а_ 400
367
- �е 399
368
369
  че 399
369
- но_ 398
370
- �ни 398
370
+ �е 399
371
371
  �з 398
372
- �о_ 398
373
372
  ез 398
373
+ �ни 398
374
374
  ви 395
375
375
  �и 395
376
- н_ 393
377
- �_ 393
376
+ н_ 394
377
+ �_ 394
378
378
  �з� 392
379
379
  из� 392
380
- �е 390
381
- ме 390
382
380
  �т 390
383
381
  ят 390
382
+ �е 389
383
+ ме 389
384
384
  _се 388
385
- у� 387
386
385
  �� 387
387
- �е 385
386
+ у� 387
388
387
  ие 385
389
- - 383
390
- �л 374
388
+ �е 385
389
+ - 379
391
390
  ъл 374
391
+ �л 374
392
+ �ан 372
392
393
  �о� 372
393
394
  по� 372
394
- �ан 372
395
+ �и_ 371
396
+ ки_ 371
395
397
  �е 368
396
398
  де 368
397
- да_ 365
398
- �и� 365
399
- �а_ 365
400
- �л� 365
399
+ да_ 367
400
+ �а_ 367