scylla 0.9.3 → 1.2.0

data/test/fixtures/lms/russian.lm

@@ -0,0 +1,400 @@
+_	24576
+о	8103
+и	6409
+е	6278
+а	5618
+с	5525
+н	5070
+р	4464
+т	4300
+в	3880
+л	3007
+к	2447
+д	2169
+п	2016
+м	1962
+я	1666
+у	1649
+и_	1585
+ст	1470
+ы	1460
+_в	1379
+_п	1334
+е_	1249
+_с	1227
+з	1203
+г	1184
+а_	1138
+ос	1072
+о_	1050
+й	1045
+в_	1024
+ро	1013
+но	998
+я_	972
+б	953
+на	952
+ч	945
+ь	941
+ра	937
+ов	888
+_р	887
+_и	885
+ен	875
+х	852
+ни	813
+ко	810
+_н	778
+й_	735
+_о	734
+_в_	722
+ре	699
+го	684
+пр	667
+ск	664
+по	655
+ны	648
+ан	628
+од	618
+то	617
+ер	613
+сс	606
+во	606
+_пр	570
+ли	563
+х_	548
+те	544
+ле	541
+_к	541
+ес	540
+м_	539
+ол	528
+_на	521
+ж	517
+_по	507
+ве	505
+ 	499
+ор	494
+ел	492
+_и_	491
+та	490
+ль	484
+ц	473
+ти	461
+си	457
+тв	453
+ва	452
+ри	444
+_д	436
+ал	433
+да	426
+ит	423
+ой	420
+ю	418
+_г	416
+_т	415
+ка	410
+не	409
+ств	405
+ие	403
+т_	403
+ет	401
+ед	400
+_м	386
+ии	386
+ог	382
+рос	379
+де	379
+от	378
+нн	378
+об	377
+ом	370
+ки	370
+че	369
+ост	368
+ии_	367
+ы_	366
+ия	366
+ь_	361
+он	358
+со	357
+_ро	356
+ас	355
+ло	354
+ш	351
+ой_	350
+сси	347
+ми	342
+ат	342
+тр	340
+ар	338
+_ 	331
+осс	330
+ав	329
+ени	326
+ла	324
+ин	324
+ме	320
+ие_	320
+за	315
+на_	311
+ия_	309
+ско	303
+го_	300
+_го	297
+_а	294
+ф	294
+аз	292
+до	291
+_у	286
+_со	282
+_з	281
+ий	281
+—	280
+ис	279
+ых	275
+_б	275
+ци	270
+ся	270
+—_	267
+ру	266
+у_	263
+им	262
+ых_	261
+ем	260
+ьн	258
+льн	258
+ил	258
+с_	257
+ак	256
+ого	255
+ви	252
+тс	245
+ая	241
+пе	240
+ич	239
+из	237
+ся_	236
+щ	234
+енн	232
+ая_	231
+_ч	230
+ест	225
+ста	224
+ани	224
+ое	224
+ —_	220
+ —	220
+_ст	219
+ик	218
+ски	218
+ть	218
+ние	216
+ов_	216
+про	216
+ова	215
+вл	215
+к_	214
+бо	214
+ля	211
+се	208
+ей	208
+_об	206
+ус	202
+н_	202
+_во	198
+_за	198
+ди	198
+_ра	198
+_ко	197
+их	197
+тел	197
+ных	196
+дн	196
+вы	193
+чес	192
+йс	192
+сти	190
+ча	189
+раз	189
+ек	189
+лен	188
+тор	186
+ом_	186
+э	185
+сл	184
+год	182
+ю_	182
+ли_	180
+су	180
+ния	179
+мо	178
+при	178
+нно	178
+ир	177
+пол	176
+иче	173
+пре	173
+ев	172
+их_	171
+ё	170
+но_	170
+стр	169
+же	169
+ма	167
+сп	165
+ам	165
+_ре	164
+ть_	164
+ми_	161
+тся	161
+_с_	160
+чи	159
+рс	159
+ые_	159
+тра	159
+ые	159
+ий_	158
+уд	158
+сто	158
+_э	157
+нос	157
+еск	156
+ред	156
+кт	156
+ель	155
+кон	155
+_ф	154
+нны	152
+ое_	152
+»	151
+ым	151
+_не	149
+_«	149
+аль	149
+ту	149
+ок	149
+«	149
+сии	148
+пер	148
+тве	147
+ван	147
+»_	146
+йск	146
+л_	145
+ной	144
+нов	144
+ите	144
+бы	143
+вн	142
+ет_	142
+кой	142
+етс	142
+_от	141
+ив	140
+тво	140
+ран	138
+ду	138
+аци	138
+аст	138
+ац	138
+ны_	138
+_до	137
+ове	136
+нт	135
+_пе	135
+ги	135
+ьно	134
+ей_	133
+ров	133
+ _	132
+ад	131
+ср	130
+нс	130
+тн	129
+ера	129
+бр	129
+ио	128
+тер	128
+_а_	127
+ло_	127
+ти_	127
+зн	126
+хо	126
+сь	126
+ным	125
+зо	124
+сть	124
+одн	123
+ее	123
+_ _	123
+д_	121
+ийс	121
+оз	120
+_те	120
+ода	120
+ты	119
+ще	119
+да_	119
+_е	119
+ног	119
+вен	118
+ач	118
+р_	118
+сь_	118
+еде	117
+ные	116
+осу	116
+па	116
+_бы	115
+кр	114
+еле	114
+оро	112
+сий	112
+ла_	112
+зв	111
+ыл	111
+оп	111
+ур	110
+фе	110
+рст	110
+_л	109
+ез	109
+арс	109
+ате	108
+_ру	108
+_из	108
+дер	107
+ае	107
+ше	107
+уда	107
+дар	106
+бл	106
+оло	106
+рав	105
+суд	105
+ере	105
+сле	105
+был	104
+по_	104
+ки_	104
+са	103
+пос	103
+гр	102
+ции	102
+гос	102
+ах	102
+во_	102
+вс	102
+_ме	101
+му	101
+_ка	101
+оль	100
+ном	100
+род	100
+вля	100
+рн	100
+_де	99
+бол	99
+ег	99
+пра	98

data/test/fixtures/lms/slovak.lm

@@ -0,0 +1,400 @@
+_	7370
+a	1923
+o	1917
+e	1653
+n	1417
+s	1212
+v	1099
+i	1068
+r	1004
+t	961
+k	907
+l	799
+a_	781
+d	681
+p	648
+m	576
+_s	515
+u	498
+c	468
+j	455
+h	436
+á	419
+z	410
+_p	396
+e_	374
+ov	370
+_v	340
+o_	334
+y	333
+_n	328
+na	319
+st	283
+en	279
+_a	263
+sk	262
+lo	256
+u_	254
+b	239
+_na	237
+po	237
+í	235
+v_	230
+č	224
+ý	217
+ko	213
+ro	209
+ve	201
+š	201
+ne	198
+é	192
+ú	191
+ch	187
+sl	187
+_po	185
+ie	183
+i_	181
+_r	180
+pr	177
+_a_	176
+_k	170
+na_	168
+y_	167
+od	164
+_o	162
+ia	162
+re	159
+_m	158
+m_	155
+ra	155
+to	154
+va	154
+_z	151
+ns	149
+lov	146
+la	146
+nsk	145
+aj	145
+an	143
+ho	143
+_d	143
+_pr	141
+_sl	138
+slo	138
+or	137
+ove	136
+je	135
+ni	133
+é_	131
+at	131
+_v_	130
+_t	130
+ven	130
+_j	128
+ž	127
+om	126
+ed	125
+ens	124
+ok	123
+h_	122
+te	121
+ch_	118
+ku	114
+ta	114
+á_	112
+me	109
+ri	109
+_ro	107
+ej	106
+le	106
+do	106
+in	105
+je_	103
+tr	103
+al	100
+vo	100
+os	98
+_je	97
+ku_	96
+ná	96
+ú_	95
+sa	94
+né	92
+er	92
+ad	90
+mi	90
+no	90
+es	89
+ia_	89
+el	89
+_sa	89
+li	89
+dn	89
+j_	88
+av	88
+ov_	87
+ti	86
+ka	83
+ľ	83
+as	81
+ol	80
+í_	79
+sa_	79
+ob	79
+ný	78
+ho_	78
+ie_	77
+d_	77
+né_	75
+ce	75
+om_	75
+de	75
+naj	74
+ci	74
+ic	74
+tu	73
+ne_	72
+_h	71
+_st	71
+ko_	70
+em	70
+ky	70
+ých	69
+_do	69
+ýc	69
+ej_	67
+sta	67
+g	67
+za	66
+rok	65
+_b	65
+sko	63
+ý_	63
+pre	63
+pa	63
+ke	61
+zi	61
+vy	60
+vi	60
+ck	60
+is	59
+ši	59
+ka_	58
+ac	57
+ť	57
+k_	57
+et	57
+ma	56
+ky_	56
+dz	55
+kr	55
+ou	55
+tv	55
+oč	55
+ost	55
+_č	54
+s_	54
+_c	54
+di	53
+ar	53
+lo_	53
+kt	52
+ak	52
+tn	51
+ou_	49
+ký	49
+mo	49
+nt	49
+sp	49
+tor	49
+jú	49
+_i	48
+eľ	48
+_me	47
+bo	47
+oku	47
+pod	47
+sú	47
+by	46
+vý	46
+am	46
+_ú	46
+jú_	45
+_sú	45
+oz	45
+on	45
+_ob	44
+ého	44
+it	44
+éh	44
+sku	44
+_š	44
+pri	44
+z_	44
+ova	44
+va_	43
+ik	43
+ác	43
+_vy	43
+ani	43
+r_	43
+ná_	42
+ot	42
+od_	42
+vn	42
+_ko	42
+si	42
+ád	41
+l_	41
+ek	41
+ní	41
+zn	41
+rie	41
+ké	41
+_u	40
+ál	40
+_od	40
+il	40
+hl	39
+rá	39
+čn	39
+t_	39
+mi_	39
+_za	39
+so	39
+zá	38
+či	38
+tá	38
+teľ	38
+uj	38
+ick	38
+_s_	38
+ča	37
+ate	37
+eh	37
+_z_	37
+la_	37
+_ce	37
+kto	37
+ým	37
+rí	37
+ny	37
+str	36
+nýc	36
+ent	36
+_e	36
+nej	36
+ska	36
+est	36
+rn	36
+má	35
+ev	35
+ó	35
+_ma	35
+iac	35
+red	35
+_vý	35
+kl	34
+_sp	34
+spo	34
+ár	34
+odn	34
+ep	34
+da	33
+_ne	33
+stv	33
+roz	33
+stu	33
+ži	33
+van	33
+_kt	33
+pl	33
+ä	33
+št	32
+jš	32
+_l	32
+lá	32
+sti	32
+oh	32
+dne	32
+f	31
+_pa	31
+čas	31
+_zá	31
+lav	31
+kej	31
+yv	31
+až	31
+oby	30
+rov	30
+sto	30
+olo	30
+eb	30
+če	30
+ajú	30
+ys	30
+át	30
+_vo	30
+há	30
+_re	30
+ze	30
+eho	30
+ez	30
+_te	30
+kon	29
+ký_	29
+ší	29
+kov	29
+hla	29
+ô	29
+ejš	29
+ajv	29
+jv	29
+se	29
+tre	28
+vod	28
+ln	28
+_ná	28
+nie	28
+ti_	28
+kom	28
+že	28
+zem	28
+op	28
+ec	28
+ba	28
+dy_	28
+dy	28
+vat	28
+up	28
+ast	28
+ká	28
+šie	28
+to_	28
+tu_	27
+byv	27
+_bo	27
+sla	27
+ský	27
+ran	27
+rs	27
+sú_	27
+oj	27
+ť_	27
+yva	27
+ske	27
+ým_	26
+ádz	26
+vá	26
+tup	26
+oc	26
+hr	26
+kra	25
+rat	25
+oko	25
+ca	25
+áv	25
+tov	25
+chá	25
+med	25
+ny_	25