scylla 0.9.3 → 1.2.0

data/test/fixtures/lms/catalan.lm

@@ -0,0 +1,400 @@
+_	13166
+a	3942
+e	3779
+l	2410
+s	2334
+i	2265
+t	2187
+n	2072
+r	1870
+a_	1452
+c	1355
+s_	1346
+o	1335
+d	1286
+u	1132
+_d	936
+m	838
+_e	814
+es	802
+l_	787
+de	779
+p	759
+_l	723
+_de	690
+e_	669
+el	640
+_a	638
+al	607
+ta	602
+_c	586
+en	566
+la	511
+es_	482
+at	455
+er	453
+t_	442
+de_	434
+_p	411
+el_	408
+n_	401
+nt	394
+i_	388
+g	387
+ca	386
+_i	378
+an	377
+la_	369
+_el	364
+re	355
+ci	354
+b	353
+_la	352
+un	335
+ra	329
+v	321
+on	318
+st	311
+_s	308
+it	295
+_i_	283
+co	272
+ar	265
+or	264
+na	250
+ri	248
+_ca	246
+_co	246
+_t	245
+te	242
+_m	236
+r_	233
+le	232
+ls	224
+q	222
+qu	222
+ls_	220
+f	220
+tal	218
+ent	217
+in	207
+se	204
+en_	200
+y	200
+ns	197
+ó	197
+me	194
+ue	194
+ic	191
+ny	190
+cat	189
+_es	188
+tr	185
+al_	183
+ata	182
+nt_	182
+ac	181
+_a_	179
+é	177
+pe	171
+del	169
+_en	168
+om	167
+ia	167
+d_	164
+est	164
+x	163
+_l_	163
+que	163
+ti	161
+lu	159
+am	158
+_u	154
+ya	153
+nya	152
+à	149
+ya_	148
+ó_	148
+ts	147
+ts_	146
+tat	144
+les	143
+pr	141
+_qu	140
+_q	140
+_se	139
+na_	139
+_un	139
+ió	138
+mb	138
+at_	137
+li	137
+ni	137
+és	135
+to	135
+lun	135
+ne	135
+po	135
+els	134
+ió_	134
+és_	134
+alu	133
+uny	132
+pa	131
+di	129
+ns_	129
+tu	128
+_le	128
+res	127
+_d_	125
+va	125
+_f	124
+h	124
+ad	123
+_r	122
+is	118
+sta	118
+io	118
+men	116
+_al	115
+per	115
+aci	115
+_v	113
+_g	112
+ma	112
+_h	111
+_pe	110
+amb	109
+com	109
+_pr	108
+er_	107
+nc	106
+ció	105
+ita	105
+ro	105
+con	104
+ia_	104
+_re	103
+ant	102
+si	101
+da	100
+rr	100
+_o	100
+os	99
+ue_	98
+ol	97
+ter	96
+ve	96
+ons	96
+ion	96
+rt	95
+í	94
+no	94
+_n	94
+ll	93
+ei	93
+ona	92
+ur	91
+eg	90
+ix	89
+ua	89
+des	88
+b_	88
+_am	87
+mi	86
+tre	85
+fi	84
+ge	83
+ec	82
+ce	81
+ra_	80
+ut	80
+mb_	80
+ta_	79
+m_	79
+ò	77
+im	77
+als	76
+_te	75
+sp	75
+err	74
+era	74
+ran	74
+_po	73
+cio	73
+ral	72
+lt	72
+vi	71
+ba	71
+_é	70
+va_	70
+_és	70
+lo	70
+ot	69
+à_	69
+ir	68
+ct	67
+pi	67
+ica	67
+da_	66
+tor	66
+ca_	66
+ar_	65
+nci	65
+eix	64
+esp	64
+_b	64
+gu	64
+_in	64
+cia	63
+iv	63
+lit	63
+ici	62
+ues	61
+_di	61
+ist	61
+tan	61
+re_	61
+rc	59
+_va	58
+un_	58
+eu	58
+ie	58
+sti	57
+_pa	57
+una	56
+més	56
+mé	56
+_no	56
+ori	56
+us	56
+gr	55
+j	54
+rs	54
+so	54
+om_	54
+mp	54
+il	54
+ada	53
+et	53
+tra	53
+ov	52
+sa	52
+as	51
+em	51
+ha	51
+_ta	51
+op	51
+o_	51
+any	51
+nts	50
+_mé	50
+ntr	50
+ala	50
+id	48
+an_	48
+go	48
+itu	48
+ats	48
+_ha	48
+è	48
+hi	47
+fe	47
+u_	47
+_ba	47
+ga	47
+_ac	47
+oc	47
+_tr	47
+alt	46
+_hi	46
+_ma	46
+mu	46
+ali	46
+pre	46
+_to	46
+ura	45
+lan	45
+x_	45
+ito	45
+ort	45
+bl	44
+por	44
+uni	44
+su	44
+ss	44
+au	43
+ob	43
+c_	43
+ial	43
+ip	43
+ix_	43
+_ge	42
+ón	42
+rit	42
+ón_	42
+_ll	42
+nal	42
+tur	42
+fo	41
+str	41
+os_	41
+rm	41
+pri	41
+nom	41
+ans	41
+ui	40
+iu	40
+pro	40
+nta	40
+par	40
+xe	40
+ul	40
+tit	40
+tes	40
+ual	40
+ser	40
+ria	39
+_ar	39
+lle	39
+do	39
+ste	39
+nd	39
+é_	39
+gi	38
+pl	38
+seg	38
+_só	38
+ig	38
+só	38
+nte	38
+ex	37
+ev	37
+arc	37
+ame	37
+gen	37
+rce	37
+ver	37
+mun	37
+són	37
+rra	37
+_fo	36
+rri	36
+tot	36
+us_	36
+ab	36
+ud	36
+_su	36
+cel	36
+tic	36
+ed	36
+bar	36
+cu	36
+rd	36
+ap	35
+cip	35
+up	35
+art	35
+ies	35
+_an	35
+lon	35

data/test/fixtures/lms/chinese.lm

@@ -0,0 +1,400 @@
+_	1426
+，	1372
+的	934
+中	735
+国	698
+、	670
+。	635
+中国	388
+和	284
+、、	273
+民	265
+在	233
+。_	217
+一	214
+以	205
+为	204
+年	192
+人	186
+了	185
+是	185
+有	183
+、、、	183
+代	172
+大	161
+文	159
+地	156
+”	149
+“	149
+时	144
+政	138
+朝	136
+后	134
+日	132
+之	132
+國	129
+等	129
+华	128
+成	115
+族	114
+_年	113
+》	110
+《	109
+上	105
+中华	103
+方	103
+：	103
+史	101
+立	100
+发	99
+，中	99
+于	98
+期	98
+共	96
+分	93
+经	93
+化	93
+）	92
+（	92
+而	92
+历	91
+不	91
+月	88
+其	87
+主	86
+家	85
+建	84
+到	82
+前	80
+统	80
+世	79
+外	78
+也	77
+个	76
+自	76
+最	76
+治	75
+出	74
+汉	74
+称	73
+多	72
+学	72
+行	71
+古	71
+制	71
+民族	69
+文化	69
+并	69
+_中	68
+现	68
+天	68
+及	66
+与	65
+区	65
+人民	65
+入	64
+法	63
+战	63
+」	63
+「	63
+共和	62
+开	62
+三	61
+，中国	61
+要	60
+来	60
+府	60
+政府	59
+；	59
+和国	58
+用	58
+民共和	57
+对	57
+人民共	57
+民共	57
+界	57
+西	56
+历史	56
+本	56
+明	56
+字	56
+华人	55
+共和国	55
+教	55
+国家	54
+华人民	54
+中华人	54
+十	53
+世界	53
+传	53
+《》	52
+各	52
+北	51
+第	51
+展	50
+国的	50
+。中	49
+清	49
+建立	49
+地区	49
+被	49
+定	49
+同	49
+所	48
+重	48
+為	48
+始	47
+二	47
+，并	47
+会	46
+度	46
+如	46
+作	45
+系	45
+台	45
+王	45
+交	45
+下	44
+、等	44
+部	43
+过	43
+但	43
+南	43
+关	42
+平	42
+次	42
+中國	42
+生	42
+至	42
+初	42
+内	42
+体	42
+四	41
+_中国	41
+，以	41
+时期	40
+此	40
+进	40
+发展	40
+，_	40
+夏	40
+正	39
+义	39
+華	39
+的，	39
+社	39
+由	39
+实	39
+_：	38
+数	38
+使	38
+长	38
+领	38
+起	38
+都	38
+民国	37
+还	37
+中华民	37
+得	37
+。中国	37
+华民	37
+目	37
+面	37
+权	37
+的中	37
+东	36
+济	36
+_月	36
+经济	36
+日本	35
+开始	35
+当	35
+国，	35
+着	35
+全	35
+名	35
+中国的	35
+原	35
+，其	34
+，在	34
+周	34
+力	34
+古代	34
+近	33
+”，	33
+已	33
+五	33
+又	33
+后，	33
+今	33
+西方	33
+军	32
+帝	32
+两	32
+、、等	32
+中華	32
+高	32
+华民国	32
+口	31
+“中	31
+间	31
+表	31
+通	31
+日，	31
+约	31
+事	31
+元	30
+“”	30
+_日	30
+湾	30
+公	30
+，但	30
+党	30
+台湾	30
+形	30
+域	29
+直	29
+节	29
+子	29
+土	29
+或	29
+认	29
+主要	29
+_，	28
+受	28
+逐	28
+则	28
+王朝	28
+强	28
+这	28
+流	28
+然	27
+史上	27
+代中	27
+月_	27
+目前	27
+取	27
+理	27
+陆	27
+_月_	27
+期，	27
+际	27
+》，	27
+、和	27
+文字	27
+从	26
+他	26
+社会	26
+据	26
+动	26
+位	26
+新	26
+影	26
+合	26
+早	26
+思	26
+种	26
+，而	26
+一个	26
+少	25
+以及	25
+渐	25
+接	25
+人口	25
+布	25
+「」	25
+式	25
+八	24
+假	24
+中華民	24
+，《	24
+常	24
+传统	24
+代表	24
+想	24
+華民	24
+争	24
+皇	23
+道	23
+夷	23
+華民國	23
+就	23
+思想	23
+书	23
+相	23
+千	23
+产	23
+加	23
+推	23
+汉族	23
+民國	23
+在中	23
+政治	22
+海	22
+可	22
+导	22
+放	22
+科	22
+即	22
+影响	22
+改	22
+部分	22
+特	22
+列	22
+），	22
+者	22
+第一	22
+以后	22
+是中	22
+响	22
+稱	21
+先	21
+大陆	21
+商	21
+成立	21
+後	21
+国际	21
+年的	21
+礼	21
+等。	21
+時	21
+总	21
+。在	21
+达	21
+逐渐	21
+成为	21
+组	21
+岸	21
+制度	21
+除	21
+因	21
+较	20
+之一	20
+代中国	20
+出现	20
+源	20
+均	20
+别	20
+於	20
+历史上	20
+月初	20
+年，	20
+六	20
+国”	20
+美	20
+包	20
+中国，	20
+河	19
+，中华	19
+“中国	19
+持	19
+服	19
+版	19
+术	19
+居	19
+年代	19
+技	19
+：_	19
+非	19
+少数	19
+业	19