scylla 0.9.3 → 1.2.0

data/test/fixtures/lms/persian.lm

@@ -0,0 +1,400 @@
+_	19492
+ا	5786
+ی	3765
+ر	3442
+ن	2941
+د	2618
+ه	2259
+و	2161
+م	1835
+ت	1706
+ب	1523
+_ا	1376
+س	1320
+ی_	1305
+ان	1199
+ن_	1171
+ه_	1088
+_ب	1046
+ش	1008
+ر_	979
+ای	967
+ل	909
+ز	903
+ک	857
+_د	825
+د_	794
+را	736
+ان_	716
+_م	708
+_و	642
+و_	584
+ت_	568
+‌	544
+ار	541
+،	539
+،_	536
+در	522
+_و_	521
+ا_	474
+_در	468
+خ	464
+_ای	457
+_ک	453
+از	448
+ز_	440
+در_	435
+یر	429
+ق	428
+گ	427
+ست	420
+ف	410
+_س	408
+_ت	405
+ران	401
+ند	385
+به	382
+ها	375
+از_	370
+یا	369
+_ن	365
+_به	362
+به_	357
+می	356
+ین	354
+_از	353
+ج	352
+اس	349
+ری	349
+پ	341
+_ش	334
+ع	331
+ایر	325
+یرا	314
+_ر	308
+ام	306
+ای_	301
+ل_	301
+ود	291
+نی	290
+ین_	289
+ور	280
+با	279
+ما	277
+م_	276
+_پ	271
+دا	263
+ح	252
+آ	250
+ال	249
+ند_	249
+اد	238
+ده	238
+سا	238
+_ه	232
+ست_	228
+رد	225
+است	221
+تا	221
+_آ	214
+_می	213
+های	212
+وا	212
+که	212
+بر	210
+_،	203
+_،_	203
+که_	199
+_که	197
+نا	195
+ه‌	187
+_اس	185
+دی	184
+۱	179
+_با	176
+‌ه	176
+ود_	175
+‌ها	175
+ص	174
+ی‌	173
+_سا	172
+تر	168
+_بر	166
+ط	166
+سی	165
+_خ	165
+دو	163
+_ق	163
+_ی	160
+_ج	160
+اه	159
+یان	157
+نی_	156
+دن	155
+ش_	154
+شد	154
+۰	152
+ار_	151
+لا	150
+شا	148
+بو	148
+چ	146
+انی	146
+رو	145
+ال_	144
+_گ	142
+ره	140
+می‌	140
+لی	138
+_را	137
+تی	137
+نو	135
+_ف	135
+یل	134
+_ح	131
+را_	130
+_تا	129
+_بو	127
+_۱	127
+‌ا	127
+این	125
+ری_	125
+وی	123
+بود	123
+_دو	123
+_شد	122
+مان	122
+_ز	121
+اری	121
+ون	118
+ده_	116
+ام_	115
+بی	113
+ه‌ا	112
+ته	112
+دند	111
+۳	111
+۲	110
+رس	110
+فت	110
+_دا	110
+هم	110
+ید	109
+اب	107
+سال	106
+مر	106
+هر	104
+شت	104
+گر	102
+یک	102
+نه	101
+ات	101
+سل	100
+مد	99
+ب_	96
+وم	96
+شو	95
+یش	95
+_ع	95
+خا	94
+مو	94
+دار	93
+غ	93
+آن	93
+فر	93
+_آن	92
+مت	92
+کی	92
+پا	90
+پی	89
+ها_	88
+سر	87
+کو	87
+خو	86
+کر	85
+زی	85
+اش	84
+شی	84
+رد_	83
+مه	83
+او	83
+نگ	82
+نام	82
+رت	82
+۵	81
+بر_	81
+_چ	81
+_خو	81
+_فر	79
+شد_	79
+_پی	79
+خت	79
+س_	78
+با_	78
+ول	78
+یی	77
+یم	77
+رز	77
+گا	76
+هن	76
+_نا	75
+زم	75
+۸	74
+_هم	74
+قا	74
+_پا	73
+اد_	73
+کرد	70
+_یا	69
+ک_	69
+زا	68
+ات_	68
+پس	68
+مع	68
+‌اس	68
+اخ	68
+تا_	67
+ده‌	67
+کا	67
+ن،	67
+ن،_	67
+اف	67
+_مر	67
+تو	67
+ایی	67
+ق_	67
+_کر	67
+دی_	66
+ته_	66
+یت	66
+جا	66
+شاه	66
+رف	65
+لی_	65
+۷	65
+گی	64
+۰_	64
+ن‌	63
+»	63
+_«	63
+کن	63
+ستا	63
+«	63
+ی،_	62
+ی،	62
+کش	62
+ور_	61
+تی_	61
+_ص	61
+رک	60
+_سر	60
+می_	60
+رب	60
+د،_	59
+رش	59
+‌ش	59
+یخ	59
+_پس	59
+د،	59
+نش	59
+هٔ	58
+هٔ_	58
+من	58
+مل	58
+_یک	58
+تان	58
+تن	58
+ٔ	58
+ذ	58
+ٔ_	58
+۹	58
+_کش	57
+تار	57
+۱۳	56
+_۲	55
+رین	55
+_ام	55
+یه	55
+یر_	55
+یی_	54
+_ما	54
+دور	54
+ی‌ش	54
+ریخ	54
+جم	54
+یز	54
+رگ	54
+_شا	53
+زن	53
+اند	53
+»_	53
+تری	53
+اخت	52
+_نی	52
+وان	52
+ید_	52
+وس	51
+حک	51
+مت_	51
+ه‌ه	51
+وره	51
+یل_	51
+شه	51
+یو	51
+ارا	51
+کی_	51
+جه	51
+شده	50
+رای	50
+ارد	50
+ره_	50
+تم	50
+یش_	50
+شم	50
+اه_	50
+فا	50
+۶	49
+_خا	49
+هی	49
+_حک	49
+خ_	49
+رم	49
+_۱۳	49
+_او	49
+رسی	49
+ان،	49
+اق	49
+ریا	48
+ومت	48
+نوا	48
+دود	48
+شک	48
+آن_	48
+_بی	48
+نیا	47
+_ط	47
+کوم	47
+_سل	47
+۴	47
+سی_	47
+برا	47
+_گر	47
+چن	47
+سیا	46
+پس_	46
+حکو	46
+امی	46
+_دی	46
+شود	46
+_رو	46
+قو	46
+_غ	45
+ف_	45
+گو	45
+له	45
+وی_	45
+_تر	45
+تر_	44
+_رس	44
+خان	44
+_مع	44

data/test/fixtures/lms/polish.lm

@@ -0,0 +1,400 @@
+_	22532
+a	5637
+i	5625
+o	5339
+e	4970
+n	3896
+z	3690
+w	3632
+r	3252
+s	3088
+t	2692
+c	2689
+y	2488
+p	2380
+k	2321
+d	1945
+l	1696
+_p	1642
+m	1594
+j	1580
+u	1556
+ie	1536
+a_	1497
+_w	1466
+e_	1390
+i_	1302
+ni	1210
+ł	1196
+po	1101
+w_	989
+_po	857
+o_	852
+st	848
+na	847
+g	831
+ow	778
+h	770
+_s	761
+y_	751
+_z	737
+cz	714
+ch	705
+ze	689
+_i	684
+ó	684
+_w_	679
+ą	675
+_n	670
+b	663
+rz	638
+ę	630
+ra	624
+_o	620
+pr	577
+an	571
+wi	567
+wa	561
+ie_	557
+m_	538
+ol	532
+ro	519
+ki	518
+nie	515
+_d	494
+_na	491
+_r	490
+za	489
+_k	488
+zy	488
+h_	488
+ch_	488
+mi	485
+_t	484
+sk	479
+ta	479
+ia	466
+ej	461
+sz	460
+_pr	459
+u_	455
+_i_	447
+ś	438
+yc	435
+od	433
+pol	420
+_m	416
+ar	415
+z_	400
+or	396
+ż	393
+on	391
+dz	390
+li	387
+ny	385
+ko	365
+ła	363
+ty	360
+na_	359
+ne	359
+re	358
+en	355
+wy	352
+rze	350
+ów	350
+do	349
+ac	347
+ą_	346
+ic	341
+je	339
+j_	338
+ci	333
+ls	330
+ał	327
+er	327
+no	324
+ię	323
+ka	322
+te	318
+zn	317
+ej_	316
+si	315
+at	314
+ols	313
+os	311
+to	310
+prz	305
+aj	302
+em	297
+ad	295
+ski	286
+ych	283
+wo	283
+zi	279
+eg	278
+ę_	277
+ów_	275
+es	270
+wie	266
+ło	256
+_j	255
+al	254
+sta	254
+go	252
+_c	249
+owa	248
+_za	245
+lsk	237
+in	236
+ec	235
+dzi	234
+la	232
+f	232
+_l	230
+ani	229
+_g	227
+czn	227
+ym	225
+ak	223
+ce	222
+tu	217
+ia_	217
+le	215
+_do	211
+aw	209
+_wy	209
+ws	208
+t_	207
+_a	206
+ki_	205
+ne_	204
+ku	204
+kie	202
+_u	202
+ok	199
+oś	198
+we	198
+dn	196
+tr	196
+_z_	196
+go_	195
+ego	194
+zo	193
+ed	192
+tw	192
+iej	192
+ek	190
+ys	190
+as	190
+się	189
+d_	188
+ją	187
+_b	187
+kr	186
+_si	185
+el	184
+pa	183
+sp	180
+_je	179
+oz	178
+nia	178
+cy	178
+ez	176
+ma	174
+io	173
+_ro	173
+cj	173
+ię_	170
+kt	169
+ń	168
+ści	168
+śc	168
+ln	168
+em_	167
+ry	167
+az	167
+ła_	163
+ł_	162
+ob	161
+_wi	160
+nyc	158
+da	157
+sc	156
+ku_	156
+_st	155
+icz	154
+am	152
+op	152
+de	151
+rzy	150
+_ko	150
+k_	149
+ier	148
+ym_	147
+_mi	147
+by	147
+it	146
+wan	146
+ły	144
+do_	144
+ce_	143
+pi	142
+ka_	141
+mie	140
+ró	140
+ny_	137
+zie	137
+ąc	137
+_pa	136
+ach	135
+wn	133
+_in	133
+eni	133
+cze	133
+wa_	132
+is	132
+zw	131
+ja	131
+oł	131
+ii	130
+ośc	130
+mi_	130
+gr	129
+–	129
+pow	129
+nt	128
+om	128
+oc	128
+_ni	128
+_od	127
+–_	127
+_–	127
+_cz	127
+_–_	127
+zy_	125
+ze_	125
+uj	124
+ły_	123
+nic	122
+ur	122
+tó	121
+ru	121
+owe	121
+n_	120
+owi	120
+dni	118
+_te	118
+ńs	117
+lo	117
+stw	116
+ci_	116
+ska	116
+ło_	115
+ała	115
+pod	114
+_e	113
+st_	112
+je_	112
+_ś	112
+est	112
+ć	111
+_ty	111
+fi	111
+że	110
+yw	109
+ć_	109
+raz	108
+ór	107
+js	107
+ył	107
+_f	106
+ii_	106
+_ma	106
+x	106
+ud	105
+mo	105
+_kr	105
+_dz	105
+ań	105
+ycz	104
+_re	104
+naj	103
+un	103
+szy	103
+tyc	103
+spo	103
+zą	103
+s_	102
+yn	102
+pra	102
+ost	101
+ik	100
+sce	100
+ga	100
+lic	99
+_or	98
+ami	97
+ona	97
+oli	97
+sze	97
+yk	96
+oj	96
+dow	96
+kra	95
+ji	95
+ora	95
+ji_	95
+ią	95
+owy	95
+któ	94
+od_	94
+_ob	94
+ają	94
+iem	93
+az_	93
+cy_	92
+tn	91
+zne	91
+aln	91
+_ok	91
+roz	90
+yt	90
+kow	90
+im	90
+rt	90
+to_	89
+nk	89
+za_	89
+ot	89
+ją_	88
+nym	88
+ran	88
+ew	88
+iel	88
+czy	87
+lu	87
+tór	87
+jes	87
+se	86
+jn	86
+_by	86
+rs	86
+ańs	86
+ił	86
+lsc	85
+ńst	85
+ast	85
+adz	85
+jąc	85
+cie	85
+lit	85
+_sp	85
+_li	84
+ks	84
+il	84
+ho	84
+_kt	84
+ład	84
+pie	83
+zna	83
+eż	82