scylla 0.9.3 → 1.2.0

data/test/fixtures/lms/czech.lm

@@ -0,0 +1,400 @@
+_	5184
+o	1269
+e	1171
+n	1031
+a	962
+s	864
+l	758
+v	751
+t	748
+i	684
+k	648
+r	529
+d	508
+p	442
+m	438
+c	373
+u	371
+í	354
+á	352
+a_	349
+z	331
+y	314
+_p	294
+_s	289
+h	279
+_v	266
+o_	241
+b	240
+st	239
+_n	234
+ě	218
+en	206
+j	203
+ov	203
+e_	202
+í_	192
+sk	176
+é	173
+č	171
+i_	163
+ko	158
+po	154
+ní	153
+_z	149
+ý	148
+ro	148
+lo	146
+u_	146
+_a	144
+y_	141
+na	140
+ř	137
+v_	136
+li	134
+_k	133
+m_	132
+_o	130
+_d	123
+od	118
+sl	117
+_po	116
+os	116
+ch	116
+ve	114
+ž	112
+_r	111
+la	108
+al	108
+le	108
+l_	107
+pr	107
+_v_	106
+é_	105
+_b	104
+š	104
+es	103
+te	103
+_a_	102
+em	100
+ní_	99
+na_	97
+_t	95
+by	92
+_č	91
+ce	91
+_pr	90
+ho	87
+če	87
+no	87
+ně	85
+_j	85
+ti	82
+ra	82
+ná	80
+ze	80
+de	80
+va	78
+ch_	78
+h_	78
+_na	77
+ě_	77
+ni	77
+ou	76
+_by	75
+ed	75
+yl	75
+byl	75
+ře	74
+do	74
+lov	74
+_m	73
+slo	72
+ta	71
+to	70
+re	70
+_če	70
+ic	69
+is	69
+se	69
+ké	69
+ven	69
+an	68
+př	68
+sko	68
+ns	68
+ů	67
+ove	66
+_st	65
+ak	64
+vo	64
+ne	63
+ce_	63
+nsk	63
+ens	62
+vá	62
+ka	62
+ck	62
+_př	62
+dn	60
+el	60
+ol	60
+t_	60
+esk	60
+čes	60
+je	60
+_ná	59
+il	58
+_se	58
+k_	58
+n_	57
+at	57
+za	55
+in	55
+osl	54
+ci	54
+lo_	54
+em_	54
+ý_	53
+se_	53
+la_	53
+ho_	52
+ob	51
+án	50
+_do	50
+_ro	50
+át	49
+er	49
+ik	48
+ný	47
+_od	47
+_ne	47
+kos	47
+it	47
+ick	46
+ad	46
+on	45
+_za	45
+ké_	45
+ýc	45
+ej	45
+ost	44
+oc	44
+ých	44
+ál	44
+me	44
+vy	44
+pro	44
+li_	43
+_re	43
+ova	43
+ja	43
+ký	43
+sta	42
+kt	42
+ím	42
+ec	42
+ně_	41
+tá	41
+tn	41
+ž_	41
+et	41
+ou_	40
+ist	40
+ky	40
+mu	40
+ka_	40
+ku	39
+pře	39
+mi	39
+tr	39
+á_	39
+om	38
+ot	38
+av	38
+or	38
+_ja	38
+rá	37
+vě	37
+so	37
+ky_	36
+_l	36
+ev	36
+tu	36
+vn	36
+tic	35
+s_	35
+éh	35
+ého	35
+_vy	35
+ln	35
+stá	35
+oj	34
+ac	34
+_u	34
+ět	34
+nt	33
+pol	33
+da	33
+ko_	33
+ep	33
+_i	33
+f	33
+ů_	32
+ú	32
+ar	32
+ím_	32
+_je	31
+ová	31
+_ú	31
+id	31
+ez	31
+_h	31
+_ob	31
+vi	31
+ské	31
+up	31
+ci_	31
+mí	31
+al_	30
+lá	30
+d_	30
+ter	30
+nov	30
+kon	30
+ok	30
+bo	29
+_ně	29
+vý	29
+ár	28
+pu	28
+tí	28
+sp	28
+r_	28
+odn	28
+az	28
+_so	28
+iv	28
+rod	28
+sti	28
+val	27
+zem	27
+g	27
+ří	27
+ým	27
+áro	27
+ny	27
+ali	27
+yl_	27
+nu	27
+né	27
+ván	27
+op	26
+ny_	26
+hl	26
+as	26
+mo	26
+kr	26
+ek	26
+_sl	26
+vl	26
+ož	26
+íc	26
+mě	26
+cké	26
+ání	26
+un	25
+ší	25
+_ve	25
+ji	25
+di	25
+_kt	25
+tát	25
+sa	25
+nár	25
+_ko	25
+tv	25
+ěm	25
+něm	25
+dy	25
+kte	25
+roc	25
+ním	25
+vět	25
+ži	24
+oce	24
+den	24
+am	24
+oz	24
+zn	24
+ku_	24
+_s_	24
+ský	24
+vat	23
+jak	23
+ech	23
+áv	23
+ma	23
+to_	23
+řed	23
+str	23
+_k_	23
+ení	23
+ent	23
+_vl	23
+dl	23
+zi	23
+_ze	22
+dě	22
+bl	22
+ub	22
+ný_	22
+oli	22
+_de	22
+_c	22
+nos	22
+zv	22
+dy_	22
+dní	22
+ři	22
+spo	22
+tel	22
+tí_	22
+le_	22
+ěn	21
+lik	21
+ly	21
+tě	21
+ká	21
+pra	21
+vní	21
+ád	21
+en_	21
+el_	21
+mi_	21
+_sp	21
+sto	21
+z_	21
+ly_	21
+še	21
+edn	21
+té	21
+oh	20
+do_	20
+cí	20
+ás	20
+_ta	20
+rep	20
+nis	20
+ylo	20
+pa	20
+po_	20
+dá	20
+čn	20
+ys	20
+ako	20
+zá	20
+yv	19
+lit	19
+ri	19
+kl	19

data/test/fixtures/lms/danish.lm

@@ -1,400 +1,400 @@
-_	14148
-e	5831
-r	3384
-n	3105
-t	2690
-a	2565
-d	2561
-i	2372
-s	2357
-o	1956
-l	1934
-g	1650
-e_	1349
-k	1335
-m	1316
-er	1210
-de	1140
-f	1012
-en	1009
-r_	983
-�	940
-t_	842
-n_	824
-v	798
-_d	755
-an	738
-_s	682
-u	660
-er_	634
-b	616
-en_	611
-nd	598
-g_	578
-et	577
-st	568
-re	565
-te	545
-h	532
-_o	514
-_a	512
-_f	500
-_e	481
-ge	478
-_i	472
-p	469
-in	452
-et_	451
-ar	434
-_m	426
-og	417
-or	415
-ti	411
-_de	410
-d_	404
-ed	382
-sk	378
-ne	366
-le	355
-_og	348
-og_	343
-ke	343
-el	343
-me	341
-i_	340
-�	332
-ø	332
-_h	332
-_b	320
-de_	319
-ng	318
-_og_	315
-s_	301
-_t	300
-�	293
-ig	293
-å	293
-_i_	286
-æ	286
-�	286
-da	283
-ri	278
-ve	272
-li	271
-_k	269
-ma	267
-fo	265
-om	264
-nde	263
-k_	262
-den	260
-af	259
-y	258
-_da	258
-at	254
-la	253
-and	249
-dan	247
-es	246
-il	245
-se	242
-be	238
-al	238
-_dan	238
-is	237
-_v	230
-ns	229
-_me	229
-m_	228
-_af	221
-on	221
-_l	219
-rk	219
-der	217
-l_	217
-_p	216
-den_	209
-ing	208
-f_	207
-_fo	204
-ra	202
-for	196
-ste	194
-_st	191
-af_	188
-lan	184
-_af_	181
-te_	177
-j	176
-ol	174
-ark	173
-ha	172
-ere	172
-_r	171
-mar	170
-re_	170
-det	170
-land	167
-ed_	167
-_u	166
-ke_	163
-ter	163
-ll	162
-so	161
-_for	160
-ske	159
-om_	156
-mark	154
-der_	153
-det_	153
-ni	153
-_en	153
-_g	150
-ta	149
-ger	147
-_er	147
-vi	145
-nge	144
-med	140
-c	139
-_ha	139
-un	139
-ede	139
-nma	138
-nm	138
-nmar	137
-ud	137
-danm	136
-anma	136
-anm	136
-rs	136
-ne_	135
-a_	135
-ev	135
-ans	132
-_so	132
-ro	132
-_den	131
-_med	129
-som	129
-_ti	129
-to	129
-�_	128
-å_	128
-io	127
-til	127
-_er_	127
-ik	125
-rn	124
-ds	124
-_n	122
-som_	122
-em	122
-eg	121
-ko	121
-tr	120
-ske_	120
-_som	120
-rt	120
-ld	119
-ng_	118
-med_	117
-ka	116
-end	115
-ern	114
-mi	114
-ar_	114
-rk_	113
-si	111
-_be	111
-del	111
-id	111
-va	111
-_re	111
-_til	110
-bl	108
-lig	108
-or_	108
-nsk	108
-_en_	107
-ind	107
-_la	107
-na	107
-ls	107
-_ud	107
-_�	106
-ark_	106
-kr	106
-gs	105
-ion	105
-�r	105
-ør	105
-fr	104
-il_	104
-lle	104
-t�	103
-r�	102
-v_	102
-dt	101
-til_	101
-nd_	101
-tt	101
-ag	101
-ing_	100
-ge_	100
-nt	99
-ansk	99
-ie	99
-sa	96
-dans	95
-ær	95
-�r	95
-at_	95
-rne	94
-lt	94
-ning	94
-ner	94
-f�	94
-nin	94
-ru	93
-op	92
-p�	92
-_bl	92
-sk_	91
-_fr	90
-_in	90
-erne	89
-s�	89
-ige	89
-rd	89
-it	88
-gt	88
-nde_	88
-inge	88
-ver	87
-tte	87
-es_	87
-men	87
-he	87
-_det	86
-est	86
-_lan	86
-ede_	85
-am	85
-ande	85
-isk	85
-els	85
-und	84
-_at	84
-gen	83
-ene	83
-gr	83
-us	83
-ur	82
-_at_	81
-an_	80
-_si	80
-ef	80
-ble	80
-od	79
-ere_	79
-på	78
-le_	78
-ende	78
-eri	78
-di	77
-ov	77
-_p�	76
-tor	76
-_på	76
-av	75
-sto	75
-lk	75
-lev	75
-på_	75
-ig_	75
-_der	74
-ter_	74
-rne_	74
-ft	74
-pr	73
-mm	73
-rin	72
-_ko	72
-st�	71
-gi	71
-nske	71
-ho	71
-se_	70
-_va	70
-fi	70
-no	70
-get	70
-ist	69
-_ve	68
-blev	68
-ks	68
-var	68
-_ble	68
-ss	67
-sen	67
-rig	66
-for_	66
-år	66
-lse	66
-tion	66
-ati	66
-�r	66
-tio	66
-ren	65
-han	65
-else	65
-kt	65
-_de_	65
-one	65
-ste_	64
-ev_	64
-and_	64
-dr	64
-stor	64
-ring	63
-_sk	61
-fra	61
-_mi	61
-tu	61
-ir	61
-ret	60
-sta	60
-fø	60
-lev_	60
-_f�	60
-get_	60
-_ind	60
-_ma	59
-_se	59
-ad	59
-nger	59
-je	58
-_et	58
-ens	58
-_om	58
-pe	58
-ty	58
-mo	58
-lde	58
-mme	58
-ege	57
-dl	57
-_var	57
-_an	57
-kon	57
-_c	57
-_han	56
-_gr	56
-ska	56
-ns_	56
+_	11446
+e	4619
+r	2658
+n	2341
+t	2053
+d	1971
+a	1919
+s	1784
+i	1735
+o	1493
+l	1425
+g	1414
+e_	1051
+m	1023
+k	1016
+er	1009
+r_	915
+de	909
+f	828
+en	752
+t_	748
+_d	645
+er_	575
+an	573
+b	569
+v	559
+n_	538
+_s	525
+g_	490
+u	483
+nd	475
+_o	472
+et	466
+en_	450
+re	443
+_f	435
+_e	431
+ge	406
+st	394
+p	387
+ar	383
+te	379
+et_	374
+_i	371
+_a	368
+og	363
+h	355
+_de	349
+in	348
+_m	341
+ø	322
+_og	316
+_b	311
+og_	309
+or	309
+d_	304
+ed	297
+sk	294
+ne	287
+i_	285
+ti	284
+me	279
+å	277
+ng	273
+be	271
+es	262
+le	260
+de_	257
+el	255
+ke	250
+_t	249
+_i_	243
+da	241
+k_	241
+_h	228
+s_	227
+_da	223
+nde	218
+ig	216
+om	214
+dan	213
+af	211
+ma	208
+li	207
+æ	206
+ri	205
+fo	204
+den	201
+_me	196
+_p	190
+m_	190
+and	189
+la	186
+ve	185
+il	185
+_af	183
+_k	179
+_v	178
+ing	175
+f_	174
+_l	172
+der	171
+rk	168
+_be	166
+ns	165
+se	165
+ar_	164
+y	162
+is	161
+l_	160
+af_	159
+for	158
+at	155
+j	153
+al	152
+_fo	152
+re_	150
+_er	146
+ere	144
+det	143
+ed_	142
+gt	141
+lan	140
+ra	140
+_st	138
+mar	136
+ol	135
+ske	134
+te_	134
+om_	133
+_en	132
+ark	131
+ni	127
+ger	127
+on	127
+å_	127
+ste	124
+nge	122
+so	121
+ke_	118
+a_	116
+nm	115
+ll	115
+ne_	114
+_ti	114
+nma	114
+anm	113
+med	113
+gt_	113
+til	112
+_u	112
+som	109
+_r	108
+em	107
+ta	106
+_so	106
+ter	105
+vi	104
+_n	103
+ha	102
+ans	102
+to	102
+ind	101
+ng_	101
+rk_	100
+_g	99
+ds	99
+rs	99
+ge_	97
+un	97
+c	97
+ede	96
+il_	95
+rn	94
+fr	93
+si	92
+lig	91
+nsk	91
+_la	91
+bes	91
+va	90
+eg	90
+ern	90
+del	89
+ru	89
+ik	88
+ør	88
+_ha	87
+id	87
+ko	86
+nin	86
+på	86
+_fr	86
+ud	86
+end	86
+på_	84
+_på	84
+sø	84
+or_	83
+_re	81
+øg	81
+ld	81
+gs	80
+rt	80
+tr	79
+ag	79
+rne	79
+lle	78
+ige	78
+bl	78
+_in	78
+ner	78
+ls	78
+ka	77
+mi	77
+ær	76
+ie	76
+søg	76
+ene	75
+es_	74
+op	74
+gen	74
+ro	73
+tt	73
+ev	73
+est	71
+øgt	71
+ua	71
+els	70
+esø	69
+kt	69
+men	68
+at_	68
+io	68
+_ud	67
+_si	67
+sk_	67
+nd_	67
+uar	67
+he	66
+kr	66
+isk	66
+ef	66
+dt	65
+lt	65
+_j	64
+ver	64
+_bl	63
+rd	63
+nt	63
+pr	63
+eri	62
+und	62
+år	62
+tte	62
+sa	62
+gr	62
+fi	62
+fra	62
+_at	61
+br	60
+v_	60
+no	60
+it	59
+ft	59
+_va	58
+na	58
+har	57
+ret	57
+mm	56
+ra_	56
 po	56
-iv	56
-rb	56
-hv	56
-sm	56
+le_	56
+rin	56
+ov	56
+gi	55
+_et	55
+am	55
+fø	55
+od	55
+se_	54
+ble	54
+var	54
+ho	53
+_ma	53
+mme	52
+lk	52
+ion	52
+lse	51
+_ko	51
+get	51
+ege	51
+ren	50
+sto	50
+ig_	50
+_fi	50
+_om	50
+ang	50
+st_	49
+rb	49
+sp	49
+lev	49
+ur	48
+tor	47
+bru	47
+nu	47
+ist	46
+ty	46
+_ve	46
+ber	46
+dl	46
+dr	46
+ell	45
+sen	45
+tø	45
+før	44
+år_	44
+iv	44
+av	44
+ja	44
+_sk	43
+_op	43
+lde	43
+rg	43
+_vi	43
+old	43
+_ja	42
+kon	42
+fl	41
+ev_	41
+ler	41
+ks	41
+så	41
+ove	41
+ide	41
+fe	41
+di	41
+pe	40
+lo	40
+hv	40
+ens	40
+reg	40
+ga	40
+eb	40
+ad	40
+_c	40
+rig	40
+ved	40
+_å	40
+anu	39
+jan	39
+one	39
+sl	39
+ss	39
+ska	39
+sta	39
+_se	39
+rde	39
+nua	39
+_ø	38
+_gr	38
+fol	38
+_mi	38
+ord	37
+_sa	37
+ts	37
+je	37
+em_	37
+_hv	37
+_år	37
+olk	37
+bet	36
+så_	36
+væ	36
+age	36
+sam	36
+ik_	36
+lit	36
+_an	36
+ker	35
+nds	35
+_no	35
+ul	35
+us	35
+_he	35
+rst	35
+dt_	35
+stø	35
+ndt	35
+tio	35
+kke	34
+ek	34
+kri	34
+_fø	34
+kk	34
+ok	34
+db	34
+_fe	34
+all	34
+oli	34