scylla 0.9.3 → 1.0.0

data/test/fixtures/lms/vietnamese.lm

@@ -0,0 +1,400 @@
+_	11190
+n	2470
+h	1626
+t	1373
+c	1297
+i	1123
+_t	972
+g	935
+ng	789
+_n	757
+n_	738
+_c	714
+a	684
+g_	631
+ng_	630
+v	536
+_v	526
+m	514
+c_	509
+u	494
+_đ	477
+đ	477
+nh	475
+i_	442
+à	427
+o	392
+m_	372
+ư	351
+t_	347
+h_	344
+r	337
+_h	325
+th	299
+_th	298
+nh_	290
+l	289
+ệ	283
+p	275
+ch	271
+_l	267
+a_	259
+iệ	252
+á	247
+tr	244
+à_	242
+_tr	242
+d	230
+_ch	219
+s	218
+y	213
+ộ	210
+ớ	209
+k	204
+na	203
+_k	200
+b	200
+ế	192
+vi	190
+_na	190
+_vi	188
+_nh	185
+_b	184
+o_	183
+u_	181
+am	180
+am_	178
+_d	177
+nam	175
+_s	175
+ủ	163
+ố	161
+ề	160
+việ	160
+ệt	157
+ệt_	157
+_ng	156
+iệt	156
+_và	154
+và	154
+hi	152
+e	150
+_q	142
+qu	142
+q	142
+_qu	142
+p_	140
+_g	140
+ác	135
+y_	134
+ạ	132
+và_	131
+_p	127
+_m	126
+ó	124
+ác_	124
+â	124
+ă	122
+ả	120
+í	119
+_ph	113
+ph	113
+ê	109
+_cá	108
+cá	108
+ờ	107
+ướ	106
+các	104
+an	100
+kh	100
+_kh	100
+ên	100
+àn	97
+ên_	96
+ó_	96
+ới_	94
+ấ	94
+ới	94
+ủa_	93
+_củ	93
+củ	93
+của	93
+ủa	93
+ơ	93
+hà	92
+ăm_	91
+ăm	91
+hí	90
+ị	89
+nă	89
+_nă	89
+ân	88
+ân_	88
+năm	87
+ô	87
+gi	86
+ự	86
+ền_	85
+_là	85
+ền	85
+là	85
+_gi	84
+uy	83
+ở	83
+ườ	80
+có_	80
+có	80
+ôn	79
+_có	79
+on	79
+ế_	78
+ớc	77
+ước	77
+ớc_	77
+ản	76
+là_	76
+ậ	76
+iề	74
+in	71
+ại_	70
+ầ	70
+ợ	70
+ại	70
+ín	68
+ính	68
+ã	68
+ông	67
+chí	67
+hư	66
+ến	66
+ho	65
+hủ	65
+ến_	65
+ượ	65
+ở_	64
+ành	64
+hàn	62
+ủ_	62
+há	62
+ong	62
+nướ	61
+nư	61
+_đư	61
+hủ_	61
+đư	61
+ện	61
+_nư	61
+_vớ	59
+với	59
+vớ	59
+ội_	58
+ội	58
+ổ	58
+ro	58
+hiệ	58
+ện_	58
+x	57
+ời_	57
+ời	57
+ố_	56
+ể	56
+hín	55
+tro	54
+iện	54
+ron	54
+uố	53
+tế_	53
+tế	53
+ứ	53
+_tế	53
+ữ	53
+_x	52
+ch_	52
+dâ	52
+dân	52
+ất	52
+ất_	52
+_dâ	52
+ã_	52
+ốc	50
+ốc_	50
+_hi	49
+an_	49
+cơ	48
+_cơ	48
+ộc_	48
+ộc	48
+ừ	47
+quố	47
+uốc	47
+cơ_	47
+ơ_	47
+inh	46
+iế	46
+ợc_	45
+he	45
+_hộ	45
+iê	45
+hộ	45
+hu	45
+ược	45
+ợc	45
+iên	44
+ơn	44
+hội	44
+_ở_	43
+ừ_	43
+iể	43
+_số	43
+từ	43
+_từ	43
+số	43
+_ở	43
+ua	43
+qua	43
+the	42
+gư	42
+ì	42
+ngư	42
+mi	42
+từ_	42
+_mi	42
+iền	41
+gườ	41
+ười	41
+ều	40
+ều_	40
+ảng	40
+ự_	40
+ờn	39
+ữn	39
+ờng	39
+ru	39
+uan	39
+ti	39
+số_	39
+đượ	39
+ườn	39
+hữ	39
+ững	39
+ộn	39
+ù	39
+_ki	38
+ộng	38
+ư_	38
+hữn	38
+nhữ	38
+_hà	38
+ki	38
+ọ	37
+ực	37
+rư	37
+trư	37
+đạ	37
+nhi	37
+_đạ	37
+hứ	37
+ực_	37
+ay	37
+gh	37
+ớn	37
+tru	37
+_tổ	36
+ắ	36
+ay_	36
+hấ	36
+tổ	36
+ao	35
+ộ_	35
+tạ	35
+ao_	35
+_r	35
+ần	35
+_tạ	35
+ức	34
+ức_	34
+miề	34
+ồ	34
+ùn	34
+ùng	34
+ị_	34
+chủ	33
+ổ_	33
+ìn	33
+eo	33
+ốn	33
+ri	33
+ngh	32
+án	32
+ra	32
+ò	32
+eo_	32
+_đế	32
+thà	32
+ần_	32
+heo	32
+đế	32
+hố	31
+ầu	31
+ầu_	31
+ăn	31
+ài	31
+ài_	31
+đến	31
+ề_	31
+ển	30
+ển_	30
+ấp	30
+gà	30
+_đã	30
+đã	30
+đã_	30
+tư	30
+ập_	30
+ột	30
+ột_	30
+ập	30
+ngà	30
+_tư	30
+hà_	30
+hức	30
+iều	30
+ấp_	30
+vù	29
+ịch	29
+bi	29
+ca	29
+kin	29
+ình	29
+vùn	29
+ia	29
+một	29
+_ti	29
+mộ	29
+ản_	29
+yền	29
+_vù	29
+_mộ	29
+hô	29
+yề	29
+_độ	29
+độ	29
+hậ	29
+uyề	29
+hôn	29
+ịc	29
+hâ	28
+như	28
+ú	28
+un	28
+_ca	28
+_bi	28
+hiế	28
+tại	27
+ạn	27
+ơng	27
+phá	27
+ụ	27
+_đi	27
+ọc_	27
+đi	27

data/test/fixtures/lms/welsh.lm

@@ -0,0 +1,400 @@
+_	3298
+d	809
+y	721
+a	645
+n	584
+e	566
+r	555
+i	474
+o	408
+l	363
+w	312
+g	308
+d_	273
+_y	260
+h	256
+n_	250
+dd	225
+c	217
+f	211
+m	199
+s	184
+t	183
+u	182
+r_	175
+_a	170
+yn	166
+_c	158
+_g	147
+y_	125
+u_	124
+wy	121
+yd	119
+yn_	117
+ym	116
+dd_	115
+_r	109
+ed	106
+an	102
+i_	101
+l_	100
+_yn	99
+_d	96
+_y_	94
+_o	93
+th	93
+ae	93
+_cy	90
+cy	90
+b	87
+di	82
+od	80
+a_	78
+mr	77
+ymr	77
+ad	76
+h_	73
+ia	73
+ll	71
+edd	69
+_a_	67
+oe	67
+g_	66
+cym	66
+_r_	64
+th_	63
+ai	63
+_i	63
+ol	62
+o_	61
+en	61
+ga	61
+ar	59
+_s	58
+_e	58
+_n	56
+_f	56
+wyd	56
+ei	55
+et	55
+eth	55
+_w	53
+la	52
+_h	52
+aet	52
+in	50
+er	50
+ru	48
+ru_	48
+ol_	48
+ra	47
+mru	47
+ydd	47
+yd_	47
+_o_	46
+ni	46
+re	44
+gy	44
+_m	44
+fe	44
+ha	44
+an_	44
+_ga	44
+we	44
+el	44
+_i_	43
+_b	43
+ys	43
+ro	43
+oed	43
+on	43
+da	42
+ad_	42
+ri	41
+do	41
+ry	40
+de	40
+ddi	40
+odd	40
+ch	40
+_l	39
+og	38
+au	38
+au_	38
+gw	37
+m_	37
+le	37
+si	37
+ne	36
+id	36
+yf	36
+lo	35
+yr	35
+no	34
+f_	34
+_gw	33
+yw	33
+p	33
+rh	32
+nn	32
+e_	32
+_t	32
+_gy	32
+he	32
+w_	32
+gan	32
+eg	31
+_ar	31
+es	31
+_ll	31
+io	31
+ir	30
+nd	30
+go	29
+na	29
+s_	29
+ef	28
+hy	28
+if	28
+_dd	28
+_rh	28
+ng	27
+in_	27
+dw	27
+yr_	27
+ma	27
+lad	26
+ig	26
+gr	26
+fy	26
+_si	26
+ac	26
+_ym	25
+st	25
+dy	24
+roe	24
+wl	24
+rif	24
+wn	24
+ddo	23
+ca	23
+ar_	23
+af	23
+iad	23
+un	23
+_ma	23
+_p	22
+eu	22
+sg	22
+er_	22
+iw	22
+c_	22
+wed	21
+nw	21
+wla	21
+nd_	21
+_ac	20
+wr	20
+idd	20
+ew	20
+ac_	20
+so	20
+ig_	20
+_fe	20
+_de	20
+is	19
+_yr	19
+aw	19
+al	19
+or	19
+cr	19
+_er	19
+hr	19
+il	19
+ond	19
+_on	19
+_cr	19
+by	19
+_go	18
+od_	18
+nt	18
+rha	18
+el_	18
+_u	18
+_ca	18
+it	18
+_di	18
+_he	18
+fr	18
+lw	18
+fa	18
+_ne	18
+efy	17
+ir_	17
+sir	17
+hi	17
+am	17
+fel	17
+loe	17
+ny	17
+dia	17
+on_	17
+li	17
+fyd	16
+yl	16
+ai_	16
+ith	16
+ff	16
+dwy	16
+ain	16
+gl	16
+_wl	16
+diw	16
+dol	16
+eu_	16
+se	16
+nr	15
+rae	15
+rw	15
+eg_	15
+ty	15
+han	15
+lle	15
+_hy	15
+wys	15
+_am	15
+anr	15
+t_	15
+aid	15
+yw_	15
+dod	15
+dr	14
+gym	14
+lwy	14
+nia	14
+ae_	14
+nwy	14
+if_	14
+hw	14
+mry	14
+gae	14
+ho	14
+ly	14
+ym_	14
+ng_	14
+rd	14
+mae	14
+_un	14
+dl	14
+sia	13
+_se	13
+ann	13
+rth	13
+nol	13
+wyn	13
+af_	13
+llo	13
+iae	13
+rt	13
+bo	13
+_ei	13
+enw	12
+ei_	12
+am_	12
+ryd	12
+egr	12
+ywy	12
+_ys	12
+nt_	12
+ry_	12
+ll_	12
+ob	12
+me	12
+wa	12
+fi	12
+gr_	12
+iai	12
+ynn	12
+_n_	12
+du	12
+rai	12
+gwe	12
+_da	12
+oeg	12
+eit	12
+_oe	11
+wn_	11
+cyf	11
+id_	11
+fo	11
+yll	11
+edi	11
+br	11
+_ro	11
+byn	11
+yst	11
+_ty	11
+ta	11
+yso	11
+sog	11
+oga	11
+led	11
+ren	11
+hyn	11
+ed_	11
+nri	11
+es_	11
+tr	11
+mra	10
+rwy	10
+wrt	10
+aeg	10
+wyr	10
+can	10
+nyd	10
+fod	10
+gyf	10
+pa	10
+_tr	10
+_ce	10
+te	10
+rei	10
+ce	10
+ysg	10
+_ha	10
+dai	10
+sy	10
+_dy	10
+yfe	10
+yfr	10
+wi	10
+ch_	10
+_ch	10
+_we	10
+lla	10
+dde	10
+ud	10
+nh	10
+bl	10
+di_	10
+_br	9
+hry	9
+_an	9
+wd	9
+ynt	9
+_me	9
+fwy	9
+ec	9
+fw	9
+_ni	9
+_bo	9
+hin	9
+ill	9
+os	9
+og_	9
+ryf	9
+en_	9
+neu	9
+yda	9
+ur	9
+ddw	9