scylla 0.9.3 → 1.0.0

data/test/fixtures/lms/thai.lm

@@ -0,0 +1,400 @@
+_	3048
+า	2217
+น	1791
+ร	1709
+ก	1289
+่	1205
+ง	1140
+อ	1117
+เ	1085
+ม	1082
+ั	1052
+ท	962
+ย	959
+้	860
+ล	740
+ะ	712
+ป	706
+ี	704
+ต	665
+ว	620
+ส	613
+ด	591
+ิ	560
+บ	537
+แ	478
+ค	458
+ไ	443
+ห	429
+จ	384
+าร	374
+ช	371
+ศ	369
+ระ	347
+ใ	347
+ื	344
+ข	343
+พ	334
+อง	323
+กา	315
+การ	282
+ปร	271
+็	257
+ประ	254
+น_	243
+ุ	242
+ำ	232
+ทย	229
+่า	226
+ี่	221
+ละ	220
+ไท	216
+แล	216
+ไทย	216
+เป	212
+ใน	212
+ะเ	208
+ที	207
+่อ	206
+และ	203
+าก	203
+็น	200
+ที่	199
+ู	198
+เป็	194
+ป็	194
+เท	194
+ป็น	194
+้า	192
+์	190
+าง	181
+ับ	180
+่ง	178
+มี	174
+โ	173
+ึ	173
+าม	170
+มา	166
+ัน	162
+ระเ	160
+ทศ	158
+ด้	157
+ะเท	156
+ขอ	155
+เทศ	155
+ของ	154
+ือ	152
+ษ	149
+_แ	148
+าน	146
+ภ	144
+รั	144
+้น	143
+กร	142
+ถ	138
+_เ	138
+าย	136
+า_	135
+ได	124
+ได้	124
+ต่	123
+อย	123
+ธ	123
+ื่	120
+รา	119
+ย_	118
+ัก	116
+ง_	115
+งเ	114
+ภา	112
+ั้	111
+ื่อ	107
+ชา	107
+_แล	106
+นา	105
+นต	105
+ณ	101
+ติ	101
+ัง	100
+_ส	100
+รร	98
+ตร	98
+ว่	93
+ว่า	93
+ศไ	92
+่าง	92
+ทศไ	92
+ผ	92
+นั	91
+นป	91
+นเ	90
+จา	90
+ญ	89
+ศไท	88
+_พ	88
+เม	87
+้อ	87
+กั	86
+นท	86
+_ป	86
+่ว	85
+้ง	85
+จาก	84
+วั	84
+หน	84
+_ก	82
+คร	82
+าว	81
+ม_	80
+ศ_	80
+ี_	79
+ซ	79
+ีย	79
+อน	79
+ลา	79
+่น	78
+ั้ง	77
+่_	77
+ยน	75
+งก	74
+เร	73
+อก	73
+ฐ	73
+อา	72
+_ศ	71
+หล	71
+าค	70
+หา	70
+นก	70
+พ_	69
+ให	69
+รม	69
+มื	68
+งป	68
+ริ	68
+ยม	67
+วน	67
+น้	67
+ก_	66
+เข	66
+ปี	66
+ึ่	65
+ัย	65
+ลั	65
+นอ	65
+เมื	65
+ึ่ง	65
+่ม	64
+ส่	64
+โด	62
+ะ_	62
+_พ_	61
+ทั	61
+าต	61
+_ม	61
+ดย	61
+_ศ_	61
+ข้	61
+โดย	61
+รเ	61
+าจ	61
+ทย_	60
+นปร	59
+_ปร	59
+ยา	59
+ะก	58
+าช	58
+จั	58
+กษ	57
+สม	57
+งไ	57
+งแ	56
+ซึ่	56
+ยเ	56
+ู่	56
+ซึ	56
+รี	55
+สา	55
+รรม	55
+ารเ	55
+าส	55
+กิ	54
+าเ	54
+ีก	54
+แต	54
+_ใ	54
+มั	54
+_ค	54
+งค	54
+ละ_	53
+คม	53
+ษา	53
+เล	53
+ข้า	52
+วา	52
+ทา	52
+ต้	52
+กล	52
+ช่	52
+เช	52
+รับ	52
+ในป	51
+_ไ	51
+แต่	51
+สำ	51
+งท	50
+นร	50
+ร์	50
+้ว	50
+นที	50
+้เ	49
+บร	49
+_โ	49
+งปร	49
+ทาง	48
+_ห	48
+ร_	48
+้น_	48
+บา	48
+_ใน	48
+กับ	47
+สั	47
+ัด	47
+_อ	47
+บั	47
+่อง	47
+ึง	47
+ิน	47
+ห้	47
+นตร	47
+ล่	46
+ตา	46
+งส	46
+ปี_	46
+ำน	46
+ี่_	46
+_โด	45
+าท	45
+่ส	45
+ิด	45
+เข้	45
+_ร	45
+์_	45
+รอ	45
+แห	45
+ต่อ	44
+ส่ว	44
+่วน	44
+รื	44
+ัต	44
+อั	44
+_กา	44
+งม	43
+ให้	43
+ตั	43
+าติ	43
+ยู	42
+้าน	42
+ะม	42
+วัน	42
+ภาค	42
+ย่	42
+_น	42
+_ต	42
+ัฐ	42
+คว	42
+รัฐ	42
+ชาต	42
+ย่า	42
+อยู	41
+ล้	41
+ยู่	41
+สื	41
+นแ	41
+ตาม	41
+าพ	41
+อย่	41
+ม่	40
+ยมี	40
+นส	40
+วง	40
+วาม	40
+สุ	40
+ควา	40
+่ย	40
+อ_	40
+ู้	39
+มก	39
+น้า	39
+หน้	39
+นว	39
+ยก	39
+ช้	38
+_ท	38
+เด	38
+กเ	38
+ราช	38
+มน	38
+_ซ	38
+นช	38
+อเ	38
+ัญ	38
+นธ	38
+_ซึ	38
+ิจ	38
+่น_	37
+ดั	37
+อม	37
+วม	37
+ใช	37
+ะว	37
+ี่ส	37
+โล	37
+ี่ย	37
+นค	37
+นใ	36
+มีก	36
+สิ	36
+_มี	36
+อง_	36
+หาร	36
+าณ	36
+ทำ	36
+ตร์	36
+งร	36
+ะวั	36
+สมั	35
+พื	35
+คน	35
+่า_	35
+ามา	35
+ใช้	35
+บค	35
+ชน	35
+ื้	35
+กว	35
+้า_	35
+องเ	35
+มื่	35
+งห	35
+ค้	35
+าล	34
+ภาพ	34
+นิ	34
+กอ	34
+ก่	34
+รว	34
+_ได	34
+ธิ	34
+มเ	34
+ิต	34
+ือง	34
+เก	34
+ุด	34
+พร	34
+ยั	34
+ิ่	34
+ถึ	34
+ั้น	34
+ถึง	34
+มาก	34

data/test/fixtures/lms/turkish.lm

@@ -0,0 +1,400 @@
+_	12982
+a	4456
+e	3736
+i	3575
+r	3059
+l	2999
+n	2935
+k	2103
+ı	1918
+t	1851
+d	1729
+m	1382
+y	1310
+u	1245
+s	1164
+ü	1149
+e_	1135
+n_	968
+o	875
+b	822
+r_	756
+ar	751
+a_	721
+i_	717
+la	711
+an	697
+ş	674
+_b	619
+_d	607
+er	603
+le	598
+in	566
+_t	547
+k_	539
+ı_	514
+da	503
+_k	491
+v	484
+de	477
+ın	463
+_a	463
+il	461
+g	448
+_y	421
+ir	420
+_i	411
+en	405
+nd	394
+ra	383
+ri	383
+ür	380
+ye	360
+z	357
+li	354
+ç	353
+tü	349
+h	348
+ğ	344
+ya	342
+_s	339
+lar	328
+rk	327
+ki	326
+ta	320
+tür	314
+ni	312
+al	312
+_o	311
+ti	308
+ö	307
+_g	306
+p	306
+ler	304
+ve	300
+_v	300
+iy	295
+et	293
+ak	289
+an_	288
+c	285
+ma	284
+_tü	282
+ol	275
+ürk	274
+da_	273
+ka	271
+_ve	271
+bi	262
+ir_	259
+el	249
+ay	248
+di	246
+ve_	245
+in_	244
+_e	242
+ara	238
+me	237
+f	235
+_m	232
+as	230
+ur	228
+ek	228
+eri	226
+re	226
+ıl	226
+ne	223
+de_	223
+rı	222
+iye	221
+ır	216
+lı	213
+si	213
+mi	212
+nı	212
+nda	210
+dı	209
+_bi	205
+_n	203
+na	200
+ba	200
+ye_	199
+te	199
+u_	197
+_de	197
+sı	195
+ul	195
+en_	193
+_ol	192
+ad	191
+ik	189
+kl	187
+at	184
+sa	183
+şt	182
+ınd	180
+lan	176
+tı	176
+ke	176
+l_	175
+arı	175
+aş	171
+lm	169
+_ka	164
+yı	164
+un	160
+bir	157
+ge	157
+_ba	155
+ll	154
+kiy	154
+_da	151
+rki	151
+es	150
+_h	150
+_ya	149
+ır_	148
+_il	145
+er_	144
+nl	143
+or	143
+ün	142
+m_	141
+ın_	140
+lu	140
+am	138
+ha	138
+on	137
+is	136
+se	136
+ası	136
+nin	135
+iş	135
+im	134
+ış	134
+nde	132
+bu	131
+rd	130
+ru	129
+em	129
+_ta	127
+eti	126
+ku	124
+ile	122
+_ge	122
+lk	121
+ed	120
+_ü	120
+t_	119
+_sa	117
+ak_	117
+kt	117
+rl	116
+ola	115
+le_	114
+mı	114
+ld	114
+_bu	113
+_ku	112
+_ç	111
+ri_	110
+dir	109
+rin	108
+ar_	105
+ül	105
+_f	100
+ş_	99
+yıl	97
+esi	97
+ind	97
+st	96
+ği	95
+tir	94
+ini	94
+rak	94
+ön	93
+_ha	93
+it	92
+mu	92
+dır	91
+eni	91
+rt	90
+ana	90
+ık	90
+ala	90
+du	90
+den	89
+yü	88
+_ni	87
+ını	87
+ne_	87
+_di	87
+ük	86
+ni_	86
+rın	86
+_gö	85
+adı	85
+ev	85
+gö	85
+ele	84
+rk_	84
+aya	83
+anı	83
+uru	83
+uş	83
+nın	83
+nı_	82
+az	82
+_ö	81
+dan	81
+baş	81
+sın	81
+_yı	81
+mış	81
+iğ	80
+_ye	80
+li_	80
+um	79
+ya_	79
+_c	79
+fa	79
+çe	79
+ili	78
+_al	78
+ko	78
+ik_	78
+kle	78
+ok	77
+sı_	77
+ey	77
+kı	77
+gü	77
+tar	76
+ki_	76
+ü_	76
+tır	75
+ğı	75
+üz	75
+ılı	75
+ağ	75
+ör	75
+ştı	74
+si_	74
+nu	74
+nm	73
+na_	73
+lik	72
+_an	71
+ere	71
+dü	71
+kur	70
+ml	70
+öne	70
+_p	70
+şı	69
+lü	69
+lı_	69
+ine	69
+_or	68
+af	68
+şti	68
+çi	68
+bü	68
+üy	68
+eli	68
+ah	68
+tu	67
+cu	67
+yl	67
+ğu	66
+ze	66
+yet	66
+lt	66
+edi	66
+nla	65
+_te	65
+re_	65
+rı_	65
+pa	65
+va	64
+miş	64
+mü	64
+hi	64
+ayı	64
+let	63
+be	63
+do	63
+_u	62
+ill	61
+iği	61
+_me	61
+ışt	61
+kar	61
+_mi	60
+şm	60
+to	60
+anl	59
+ap	59
+ulu	59
+ti_	59
+yo	59
+ras	59
+tl	59
+şl	59
+lle	58
+_en	58
+rm	58
+gi	58
+i̇	57
+us	57
+mil	57
+ço	57
+̇	57
+so	57
+_bü	57
+z_	57
+_i̇	56
+ca	56
+za	56
+rul	56
+ard	55
+ama	55
+_so	55
+_ar	55
+işt	55
+_ko	55
+yan	54
+ada	54
+ilm	54
+ıs	54
+oğ	54
+olu	53
+nc	53
+_ad	53
+kla	52
+tur	52
+lam	52
+mak	52
+ük_	52
+se_	52
+dı_	52
+sin	52
+lke	51
+ım	51
+mas	51
+lla	51
+yük	51
+_gü	51
+gör	51
+ek_	50
+eş	50
+lma	50
+im_	50
+rü	50
+ur_	50
+_is	50
+ede	50
+şa	50
+akt	49
+bul	49
+ra_	49