RubyGems - scylla - Versions diffs - 0.9.3 → 1.0.0 - Mend

scylla 0.9.3 → 1.0.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.

Files changed (79) hide show

data/lib/scylla/lms/arabic.lm +399 -399
data/lib/scylla/lms/bulgarian.lm +400 -400
data/lib/scylla/lms/catalan.lm +323 -323
data/lib/scylla/lms/chinese.lm +389 -389
data/lib/scylla/lms/czech.lm +377 -377
data/lib/scylla/lms/danish.lm +383 -383
data/lib/scylla/lms/dutch.lm +398 -398
data/lib/scylla/lms/english.lm +355 -355
data/lib/scylla/lms/finnish.lm +381 -381
data/lib/scylla/lms/french.lm +379 -379
data/lib/scylla/lms/german.lm +382 -382
data/lib/scylla/lms/greek.lm +400 -400
data/lib/scylla/lms/hebrew.lm +400 -400
data/lib/scylla/lms/hindi.lm +400 -400
data/lib/scylla/lms/icelandic.lm +219 -219
data/lib/scylla/lms/indonesian.lm +364 -364
data/lib/scylla/lms/italian.lm +381 -381
data/lib/scylla/lms/japanese.lm +400 -400
data/lib/scylla/lms/kannada.lm +392 -392
data/lib/scylla/lms/korean.lm +389 -389
data/lib/scylla/lms/marathi.lm +364 -364
data/lib/scylla/lms/norwegian.lm +325 -325
data/lib/scylla/lms/persian.lm +397 -397
data/lib/scylla/lms/polish.lm +380 -380
data/lib/scylla/lms/portuguese.lm +375 -375
data/lib/scylla/lms/romanian.lm +318 -318
data/lib/scylla/lms/russian.lm +398 -398
data/lib/scylla/lms/slovak.lm +358 -358
data/lib/scylla/lms/slovenian.lm +256 -256
data/lib/scylla/lms/spanish.lm +353 -353
data/lib/scylla/lms/swedish.lm +400 -400
data/lib/scylla/lms/tagalog.lm +245 -245
data/lib/scylla/lms/thai.lm +400 -400
data/lib/scylla/lms/turkish.lm +379 -379
data/lib/scylla/lms/vietnamese.lm +373 -373
data/lib/scylla/lms/welsh.lm +293 -293
data/test/classifier_test.rb +5 -3
data/test/fixtures/lms/arabic.lm +400 -0
data/test/fixtures/lms/bulgarian.lm +400 -0
data/test/fixtures/lms/catalan.lm +400 -0
data/test/fixtures/lms/chinese.lm +400 -0
data/test/fixtures/lms/czech.lm +400 -0
data/test/fixtures/lms/danish.lm +399 -399
data/test/fixtures/lms/dutch.lm +400 -0
data/test/fixtures/lms/english.lm +400 -400
data/test/fixtures/lms/finnish.lm +400 -0
data/test/fixtures/lms/french.lm +397 -397
data/test/fixtures/lms/german.lm +400 -400
data/test/fixtures/lms/greek.lm +400 -0
data/test/fixtures/lms/hebrew.lm +400 -0
data/test/fixtures/lms/hindi.lm +400 -400
data/test/fixtures/lms/icelandic.lm +400 -0
data/test/fixtures/lms/indonesian.lm +400 -0
data/test/fixtures/lms/italian.lm +400 -400
data/test/fixtures/lms/japanese.lm +400 -400
data/test/fixtures/lms/kannada.lm +400 -0
data/test/fixtures/lms/korean.lm +400 -0
data/test/fixtures/lms/marathi.lm +400 -0
data/test/fixtures/lms/norwegian.lm +399 -399
data/test/fixtures/lms/persian.lm +400 -0
data/test/fixtures/lms/polish.lm +400 -0
data/test/fixtures/lms/portuguese.lm +400 -0
data/test/fixtures/lms/romanian.lm +400 -0
data/test/fixtures/lms/russian.lm +400 -0
data/test/fixtures/lms/slovak.lm +400 -0
data/test/fixtures/lms/slovenian.lm +400 -0
data/test/fixtures/lms/spanish.lm +400 -400
data/test/fixtures/lms/swedish.lm +400 -0
data/test/fixtures/lms/tagalog.lm +400 -0
data/test/fixtures/lms/thai.lm +400 -0
data/test/fixtures/lms/turkish.lm +400 -0
data/test/fixtures/lms/vietnamese.lm +400 -0
data/test/fixtures/lms/welsh.lm +400 -0
data/test/fixtures/test_languages/japanese +149 -67
data/test/generator_test.rb +1 -43
data/test/language_test.rb +5 -1
data/test/loader_test.rb +1 -1
data/test/scylla_test.rb +4 -4
metadata +105 -63

data/lib/scylla/lms/russian.lm CHANGED Viewed

@@ -1,400 +1,400 @@
-�	52650
-_	25266
-�	24176
-о	8331
-�	8331
-_�	8230
-и	6466
-�	6466
-е	6346
-�	6346
-�	5698
-а	5682
-�	5594
-с	5588
-н	5091
-�	5091
-��	4856
-о�	4856
-�	4804
-р	4480
-т	4242
-�	4242
-�	3935
-в	3904
-_�	3869
-��	3744
-н�	3744
-р�	3540
-��	3540
-е�	3313
-��	3313
-�	3222
-л	3121
-��	2912
-и�	2912
-��	2871
-с�	2867
-т�	2702
-��	2702
-а�	2629
-��	2629
-�	2506
-к	2506
-��	2456
-с�	2455
-��	2337
-о�	2337
-в�	2258
-��	2258
-д	2217
-�	2217
-м	2076
-�	2076
-л�	2058
-��	2058
-�	2022
-п	2022
-��	1918
-и�	1918
-к�	1868
-��	1868
-��	1802
-а�	1802
-е�	1706
-��	1706
-я	1685
-�	1685
-�	1644
-у	1643
-д�	1635
-��	1635
-и_	1591
-�_	1591
-�	1472
-ы	1472
-�т	1448
-_в	1444
-_п	1352
-�_	1289
-е_	1289
-�	1287
-г	1265
-_с	1246
-��	1245
-м�	1245
-�_	1228
-��	1220
-п�	1220
-а_	1213
-з	1155
-�	1155
-н�	1145
-��	1145
-т�	1131
-��	1131
-�с	1126
-�_	1115
-о_	1115
-�_	1107
-��	1078
-г�	1078
-в_	1077
-�о	1069
-�	1039
-й	1039
-�о	1011
-�_	982
-я_	982
-�а	981
-�	974
-ь	974
-ч	959
-�	959
-�а	949
-�	940
-б	939
-_р	938
-л�	932
-��	932
-з�	907
-��	907
-�н	905
-�в	868
-_и	862
-�	839
-х	839
-�и	838
-ч�	830
-��	830
-р�	825
-��	825
-_н	817
-�о	813
-�	788
-��	763
-п�	763
-�_	761
-й_	761
-_о	732
-�о	729
-��	722
-у�	722
-�е	708
-�д	678
-�р	677
-�о	667
-�к	651
-��	647
-ы�	647
-�о	633
-�н	621
-у�	616
-��	616
-�р	606
-�ы	605
-�о	598
-_к	598
-�с	582
-��	560
-в�	560
-�е	556
+_	24576
+о	8103
+и	6409
+е	6278
+а	5618
+с	5525
+н	5070
+р	4464
+т	4300
+в	3880
+л	3007
+к	2447
+д	2169
+п	2016
+м	1962
+я	1666
+у	1649
+и_	1585
+ст	1470
+ы	1460
+_в	1379
+_п	1334
+е_	1249
+_с	1227
+з	1203
+г	1184
+а_	1138
+ос	1072
+о_	1050
+й	1045
+в_	1024
+ро	1013
+но	998
+я_	972
+б	953
+на	952
+ч	945
+ь	941
+ра	937
+ов	888
+_р	887
+_и	885
+ен	875
+х	852
+ни	813
+ко	810
+_н	778
+й_	735
+_о	734
+_в_	722
+ре	699
+го	684
+пр	667
+ск	664
+по	655
+ны	648
+ан	628
+од	618
+то	617
+ер	613
+сс	606
+во	606
+_пр	570
+ли	563
 х_	548
-�_	548
-�л	544
-�и	540
-�_	533
-м_	533
-�с	525
-�	518
- 	518
-�е	515
-�а	515
-�л	515
-�е	511
-�ь	509
-��	492
-б�	492
-�	490
-ж	490
-�и	484
-ы�	477
-��	477
-_т	469
-�	465
-ц	465
-��	458
-д�	458
-��	454
-��	454
-ж�	454
-�р	454
-я�	454
-�а	448
-_�	445
-�и	443
-�и	442
-ц�	438
-��	438
-�о	437
-б�	435
-��	435
-ю	434
-�	434
-_д	433
-�л	430
-�в	424
-�й	420
-_м	419
-�е	415
-�г	414
-�а	414
-_г	411
-�т	410
-�и	405
-�д	404
-�е	403
-�_	402
-т_	402
-�а	400
-�м	396
-�т	393
-�н	392
-�с	390
-�о	386
-�е	385
-��	382
-к�	382
-�	378
-ш	376
-�е	372
-�б	371
-�_	370
-ь_	370
-�и	369
-�т	368
-�я	365
-�а	360
-�е	358
-�н	358
-ь�	349
-�и	349
-��	349
-��	347
-ш�	347
-�_	343
-ы_	343
-�	334
-�т	330
-_ 	326
-�р	325
-�	324
-�а	320
-�в	318
-�р	314
-—	313
-��	313
-�	313
-_у	304
-_з	304
-�_	303
-�н	303
-��_	303
-�	302
-�с	299
-�м	296
+те	544
+ле	541
+_к	541
+ес	540
+м_	539
+ол	528
+_на	521
+ж	517
+_по	507
+ве	505
+ 	499
+ор	494
+ел	492
+_и_	491
+та	490
+ль	484
+ц	473
+ти	461
+си	457
+тв	453
+ва	452
+ри	444
+_д	436
+ал	433
+да	426
+ит	423
+ой	420
+ю	418
+_г	416
+_т	415
+ка	410
+не	409
+ств	405
+ие	403
+т_	403
+ет	401
+ед	400
+_м	386
+ии	386
+ог	382
+рос	379
+де	379
+от	378
+нн	378
+об	377
+ом	370
+ки	370
+че	369
+ост	368
+ии_	367
+ы_	366
+ия	366
+ь_	361
+он	358
+со	357
+_ро	356
+ас	355
+ло	354
+ш	351
+ой_	350
+сси	347
+ми	342
+ат	342
+тр	340
+ар	338
+_ 	331
+осс	330
+ав	329
+ени	326
+ла	324
+ин	324
+ме	320
+ие_	320
+за	315
+на_	311
+ия_	309
+ско	303
+го_	300
+_го	297
+_а	294
 ф	294
-_а	292
-�_	291
-у_	291
-�о	287
-�я	287
-�	287
-щ	286
-_ч	277
-_б	273
-�у	273
-��	270
-щ�	270
-�л	269
-�и	268
-�й	267
-�з	266
-�_	266
-с_	266
-�н	263
-к_	253
-�_	253
-�с	252
-�м	251
-�х	250
-��	245
-��	245
- �	245
-ь�	245
-��	245
-��	244
-ф�	244
-�з	242
-�к	242
-�я	240
-�и	240
-��	238
-м�	238
-я�	238
-��	238
-�ч	235
-�к	233
-�_	229
-�л	228
-��	226
-х�	226
-�е	225
-�е	225
-�о	222
-�и	220
-�е	218
-�н	218
-�х	216
-��	212
-й�	212
-�ь	209
-�я	203
-�й	202
-�к	202
-�л	202
-��	201
-ю�	201
-�ы	200
-�	199
-э	199
-�с	199
-�_	194
-н_	194
-ё	188
-�	188
-�р	183
-�и	180
-�с	180
-�о	178
-�а	173
-�м	170
-��	169
-з�	169
-�а	168
-�е	167
-�в	166
-ю_	164
-�_	164
-�у	161
-_э	161
-�у	160
-�п	160
-�к	157
-�д	153
-�е	151
-�у	149
-�в	144
-�ы	144
-_ф	144
-�н	143
-г�	143
-��	143
-�ы	142
-�и	141
-�о	141
- _	139
-�м	139
-�_	139
-�т	134
-�ь	133
-�с	133
-�о	131
-л_	131
-�р	130
-�с	129
-�д	129
-�е	127
-�ц	127
-�е	126
-�р	126
-�т	125
-�р	123
-�_	123
-�в	123
-д_	123
-�е	122
-�о	121
-�е	121
-�с	120
-_л	119
-�р	119
-�а	117
-�з	116
-�р	116
-�н	115
-�х	115
-�г	114
-ё�	113
-��	113
-�_	112
+аз	292
+до	291
+_у	286
+_со	282
+_з	281
+ий	281
+—	280
+ис	279
+ых	275
+_б	275
+ци	270
+ся	270
+—_	267
+ру	266
+у_	263
+им	262
+ых_	261
+ем	260
+ьн	258
+льн	258
+ил	258
+с_	257
+ак	256
+ого	255
+ви	252
+тс	245
+ая	241
+пе	240
+ич	239
+из	237
+ся_	236
+щ	234
+енн	232
+ая_	231
+_ч	230
+ест	225
+ста	224
+ани	224
+ое	224
+ —_	220
+ —	220
+_ст	219
+ик	218
+ски	218
+ть	218
+ние	216
+ов_	216
+про	216
+ова	215
+вл	215
+к_	214
+бо	214
+ля	211
+се	208
+ей	208
+_об	206
+ус	202
+н_	202
+_во	198
+_за	198
+ди	198
+_ра	198
+_ко	197
+их	197
+тел	197
+ных	196
+дн	196
+вы	193
+чес	192
+йс	192
+сти	190
+ча	189
+раз	189
+ек	189
+лен	188
+тор	186
+ом_	186
+э	185
+сл	184
+год	182
+ю_	182
+ли_	180
+су	180
+ния	179
+мо	178
+при	178
+нно	178
+ир	177
+пол	176
+иче	173
+пре	173
+ев	172
+их_	171
+ё	170
+но_	170
+стр	169
+же	169
+ма	167
+сп	165
+ам	165
+_ре	164
+ть_	164
+ми_	161
+тся	161
+_с_	160
+чи	159
+рс	159
+ые_	159
+тра	159
+ые	159
+ий_	158
+уд	158
+сто	158
+_э	157
+нос	157
+еск	156
+ред	156
+кт	156
+ель	155
+кон	155
+_ф	154
+нны	152
+ое_	152
+»	151
+ым	151
+_не	149
+_«	149
+аль	149
+ту	149
+ок	149
+«	149
+сии	148
+пер	148
+тве	147
+ван	147
+»_	146
+йск	146
+л_	145
+ной	144
+нов	144
+ите	144
+бы	143
+вн	142
+ет_	142
+кой	142
+етс	142
+_от	141
+ив	140
+тво	140
+ран	138
+ду	138
+аци	138
+аст	138
+ац	138
+ны_	138
+_до	137
+ове	136
+нт	135
+_пе	135
+ги	135
+ьно	134
+ей_	133
+ров	133
+ _	132
+ад	131
+ср	130
+нс	130
+тн	129
+ера	129
+бр	129
+ио	128
+тер	128
+_а_	127
+ло_	127
+ти_	127
+зн	126
+хо	126
+сь	126
+ным	125
+зо	124
+сть	124
+одн	123
+ее	123
+_ _	123
+д_	121
+ийс	121
+оз	120
+_те	120
+ода	120
+ты	119
+ще	119
+да_	119
+_е	119
+ног	119
+вен	118
+ач	118
+р_	118
+сь_	118
+еде	117
+ные	116
+осу	116
+па	116
+_бы	115
+кр	114
+еле	114
+оро	112
+сий	112
+ла_	112
+зв	111
+ыл	111
+оп	111
+ур	110
+фе	110
+рст	110
+_л	109
+ез	109
+арс	109
+ате	108
+_ру	108
+_из	108
+дер	107
+ае	107
+ше	107
+уда	107
+дар	106
+бл	106
+оло	106
+рав	105
+суд	105
+ере	105
+сле	105
+был	104
+по_	104
+ки_	104
+са	103
+пос	103
+гр	102
+ции	102
+гос	102
+ах	102
+во_	102
+вс	102
+_ме	101
+му	101
+_ка	101
+оль	100
+ном	100
+род	100
+вля	100
+рн	100
+_де	99
+бол	99
+ег	99
+пра	98