scylla 0.9.3 → 1.0.0

data/test/fixtures/lms/marathi.lm

@@ -0,0 +1,400 @@
+_	4412
+ा	1743
+्	1044
+र	948
+त	699
+े	687
+य	482
+ी	456
+ह	432
+स	429
+व	403
+क	402
+म	398
+े_	391
+ि	369
+ल	350
+ा_	344
+रा	339
+्य	337
+न	325
+ं	306
+ी_	305
+प	300
+या	285
+्र	268
+च	266
+_म	255
+्या	219
+त_	217
+ार	203
+_प	196
+द	187
+ात	186
+_स	184
+आ	181
+_आ	180
+ष	179
+ो	176
+_व	174
+ज	172
+ट	170
+ग	166
+ु	153
+र_	151
+या_	145
+हा	138
+ां	138
+ण	137
+हे	134
+_क	132
+श	129
+र्	121
+्ट	120
+भ	120
+त्	118
+ष्	115
+_मह	114
+ाच	114
+ाष	114
+मह	114
+ष्ट	114
+ट्	114
+ात_	111
+ध	109
+्ट्	107
+आह	106
+ट्र	106
+आहे	106
+_आह	106
+वा	104
+ारा	104
+राष	103
+ाष्	103
+महा	102
+_र	101
+हे_	98
+ब	97
+हार	96
+_अ	93
+ाज	93
+ू	93
+अ	93
+न_	93
+भा	91
+्रा	89
+व_	88
+क_	87
+का	85
+ख	83
+ले	81
+_रा	81
+_ह	80
+_य	80
+ळ	79
+राज	79
+ता	76
+_भ	75
+प्	74
+प्र	73
+च्य	72
+सा	72
+च्	72
+वि	71
+ती	70
+_व_	68
+मा	68
+िक	67
+य_	67
+स्	65
+_द	65
+ल_	63
+ंत	63
+ड	63
+ज्	62
+_भा	62
+थ	61
+_प्	60
+_ज	60
+ेत	60
+ज्य	59
+ान	59
+ाग	58
+ील	58
+ले_	58
+ठ	57
+ाज्	57
+ची	56
+_वि	56
+ील_	55
+चे	55
+्त	55
+_श	55
+ास	54
+तर	54
+_न	54
+चे_	54
+्व	54
+ला	54
+ची_	54
+ते	53
+ेल	52
+ना	52
+ये	50
+गा	49
+_या	48
+िक_	48
+_त	48
+यां	48
+ाल	47
+त्र	46
+ंच	46
+्र_	46
+ते_	45
+_ल	45
+उ	45
+क्	45
+्य_	45
+अस	44
+_अस	44
+सं	44
+रात	43
+ली	43
+_ब	43
+_उ	43
+रत	43
+ाह	43
+भाग	42
+स_	42
+नी	42
+री	42
+ांच	42
+ून	41
+द्	41
+ने	41
+तात	40
+मु	40
+ेत_	40
+के	39
+नी_	39
+ून_	39
+तर_	39
+ाव	39
+_का	38
+चा	38
+पा	38
+_सा	38
+ाती	37
+राच	37
+ली_	37
+तील	36
+ला_	36
+सर	35
+जा	34
+हेत	34
+याच	34
+्थ	34
+्ष	33
+ंन	33
+पर	33
+ाच्	32
+ही	32
+ाठ	32
+ि_	32
+ोक	32
+दे	31
+_के	31
+१	31
+_आण	31
+ांन	31
+आण	31
+ित	30
+धा	30
+र्व	30
+णि	30
+ृ	30
+ल्	30
+ाची	30
+चा_	29
+_सं	29
+ख्	29
+_जा	29
+_इ	29
+_मु	29
+ाचे	29
+इ	29
+ही_	29
+आणि	28
+_पर	28
+हि	28
+णि_	28
+मर	27
+री_	27
+रि	27
+वर	27
+हर	27
+णा	27
+ेक	27
+ण_	27
+िल	27
+ाम	27
+्वा	27
+_ये	26
+०	26
+मरा	26
+भार	26
+ति	26
+ारत	26
+कर	26
+ग_	26
+त्य	26
+लो	26
+रता	26
+ाण	26
+क्ष	26
+ेले	25
+ने_	25
+_हे	25
+ाप	25
+ोत	25
+_मर	25
+रम	25
+र्य	25
+_ग	25
+_मो	25
+ंद	25
+_लो	25
+मो	25
+ख्य	25
+सु	25
+ंनी	24
+िर	24
+शा	24
+राठ	24
+_वा	24
+_च	24
+ंब	24
+वे	24
+ेश	24
+मी	24
+ाळ	23
+_शह	23
+शह	23
+ांत	23
+्रम	23
+शहर	23
+रे	23
+ागा	23
+लोक	23
+ठी	23
+_सर	23
+ुर	23
+केल	22
+_सु	22
+स्थ	22
+ठी_	22
+_इत	22
+त्त	22
+ंग	22
+पु	22
+हो	22
+इत	22
+ाद	22
+ार्	21
+_हो	21
+नि	21
+रण	21
+ाठी	21
+व्	21
+से	21
+_पु	21
+िव	21
+चि	20
+्रि	20
+ीच	20
+सू	20
+_स्	20
+व्य	20
+मि	20
+ार_	20
+सर्	20
+_ना	20
+कार	20
+_१	20
+रं	19
+ुं	19
+२	19
+ाग_	19
+यात	19
+सून	19
+होत	19
+_दे	19
+्ये	19
+ाही	18
+येथ	18
+ृत	18
+ध_	18
+ेक_	18
+ोल	18
+ो_	18
+्म	18
+ेव	18
+ू_	18
+स्त	18
+_मा	18
+न्	18
+ेथ	18
+ळ_	18
+मोठ	17
+्ध	17
+ध्य	17
+रमा	17
+सत	17
+ोठ	17
+ई	17
+ध्	17
+ंतर	17
+िभा	17
+दा	17
+वा_	17
+विभ	17
+ाचा	17
+िम	17
+रू	17
+िभ	17
+म_	16
+्च	16
+था	16
+माण	16
+_पा	16
+ोग	16
+ंत्	16
+ेथे	16
+थे	16
+जात	16
+षा	16
+द्य	16
+बा	16
+णे	16
+दी	16
+टी	15
+धान	15
+िश	15
+पश	15
+म्	15
+मी_	15
+उत्	15
+श्	15
+उत	15
+रो	15
+ान_	15
+_उत	15
+ूर	15
+वत	15
+तो	15
+तक	15
+यो	15
+ास_	15
+ुख	15
+ळा	15
+मुख	15

data/test/fixtures/lms/norwegian.lm

@@ -1,400 +1,400 @@
-_	4736
-e	1624
-n	1066
-r	1033
-t	934
-a	881
-s	754
-i	673
-o	655
-l	559
-g	507
-k	492
-d	464
-m	411
-e_	342
-r_	335
-t_	334
-�	323
-n_	317
-v	295
-en	290
-er	290
-_s	267
-g_	229
-de	228
-et	219
-h	218
-an	216
-or	203
-f	202
-u	201
-_h	194
-�	194
-å	194
-en_	192
-_d	188
-er_	179
-_e	174
-p	173
-_o	172
-te	163
-et_	162
-re	162
-st	154
-ar	147
-_de	134
-_n	134
-in	132
-i_	131
-sk	131
-_i	130
-_f	126
-_a	120
-_m	118
-ne	117
-ng	117
-ha	117
-ke	117
-no	115
-ti	113
-og	110
-le	110
-j	110
-_ha	110
-om	110
-b	109
-me	106
-_og	105
-_t	105
-og_	105
-la	105
-_og_	103
-m_	101
-a_	98
-_v	98
-ei	95
-�_	94
-nor	94
-å_	94
-ø	92
-se	92
-�	92
-_k	91
-ri	90
-_no	87
-eg	85
-ge	84
-el	84
-_i_	84
-nd	83
-tt	83
-is	81
-l_	81
-av	80
-nn	80
-ta	80
-y	79
-om_	78
-_b	77
-al	76
-_nor	76
-ar_	75
-d_	75
-il	74
-rs	74
-det	74
-ve	73
-k_	72
-v_	71
-on	71
-_me	70
-rt	69
-_p	68
-_g	68
-va	66
-det_	66
-fo	65
-un	65
-ing	64
-_l	64
-_r	64
-ke_	64
-an_	60
-at	60
-av_	59
-_av	59
-ne_	59
-ll	58
-eg_	58
-je	57
-so	57
-_er	57
-_er_	56
-for	55
-li	55
-ik	55
-han	54
-lan	54
-_han	54
-es	54
-_ti	53
-am	52
-ko	51
-ors	50
-ed	50
-_fo	50
-til	50
-ns	50
-r�	50
-_av_	49
-ka	49
-na	49
-ter	49
-_u	48
-_det	48
-rsk	48
-den	47
-te_	47
-and	47
-_til	47
-_so	47
-ra	46
-nde	46
-it	46
-ma	45
-ske	45
-orsk	44
-ett	44
-ga	44
-il_	44
-han_	44
-som	44
-_�	44
-nors	44
-_for	43
-_st	43
-den_	43
-da	43
-som_	43
-ste	43
-p�	43
-nge	42
-_som	42
-på	41
-rå	40
-_p�	40
-_ei	40
-_den	40
-_på	40
-tte	40
-sa	40
-nt	39
-sk_	39
-de_	39
-ol	38
-vi	38
-ig	38
-_se	38
-kk	38
-til_	38
-på_	38
-em	38
-reg	37
-�r	37
-ør	37
-rd	37
-ske_	37
-ed_	37
-s_	37
-ten	37
-gj	36
-_ko	36
-re_	36
-rt_	35
-kt	35
-_va	35
-med	34
-tr	34
-_la	34
-sp	34
-land	34
-lle	33
-_har	33
-_ve	33
-m�	33
-pe	33
-ore	33
-har	33
-var	33
-or_	33
-ng_	32
+_	9272
+e	3750
+n	2156
+r	2151
+t	2028
+s	1577
+i	1441
+o	1370
+a	1334
+l	1231
+d	1078
+g	1049
+e_	911
+k	855
+m	748
+en	741
+er	715
+t_	696
+r_	660
+v	604
+de	579
+n_	530
+_s	502
+et	443
+f	441
+te	433
+er_	416
+p	405
+or	396
+en_	395
+g_	376
+re	355
+_o	355
+st	354
+_d	352
+_e	346
+u	345
+_i	341
+et_	313
+å	308
+_a	304
+_f	291
+ge	285
+b	285
+ne	283
+_n	279
+h	278
+le	277
+_de	269
+i_	264
+an	263
+in	258
+og	253
+_og	242
+_i_	242
+ke	240
+no	237
+nd	228
+om	227
+me	226
+_t	224
+og_	221
+sk	214
+_m	212
+el	211
+_b	209
+_no	202
+nor	200
+li	200
+ng	199
+av	195
+ri	195
+ti	194
+se	191
+_h	191
+al	189
+ig	186
+m_	180
+j	179
+ar	179
+ø	177
+_p	175
+ve	171
+v_	170
+tt	164
+is	161
+_av	161
+es	160
+s_	158
+ed	156
+nn	156
+av_	152
+_k	149
+_v	148
+om_	147
+fo	147
+y	147
+il	146
+å_	145
+det	142
+te_	142
+d_	142
+so	141
+den	141
+ta	139
+la	137
+at	133
+ne_	133
+_r	133
+de_	131
+_me	131
+l_	131
+on	131
+rs	130
+ra	130
+_l	127
+nde	123
+nt	122
+_so	120
+som	119
+ste	119
+ge_	118
+re_	118
+ll	117
+ing	116
+ter	115
+un	115
+rt	114
+ke_	113
+ar_	112
+rg	112
+and	112
+ha	111
+ik	109
+_ti	107
+org	106
+ol	106
+ns	106
+_er	106
+_st	106
+ene	106
+k_	105
+_en	105
+_fo	104
+ni	102
+lig	102
+for	101
+_ha	101
+nge	100
+til	97
+lan	94
+ske	93
+eg	92
+_u	92
+tte	91
+em	91
+rge	89
+på	89
+_på	89
+på_	86
+tr	83
+sa	83
+ere	82
+a_	82
+pr	82
+be	82
+je	81
+bl	80
+_g	79
+le_	79
+ett	78
+va	78
+il_	77
+ko	77
+si	77
+der	77
+id	76
+_bl	75
+lle	74
+med	74
+ut	73
+ten	72
+rsk	71
+gen	70
+_la	70
+ors	70
+_et	70
+fr	69
+_fr	69
+ed_	69
+ts	68
+ent	68
+ver	68
+har	68
+it	67
+ng_	67
+men	66
+kk	65
+inn	65
+est	65
+del	65
+kr	65
+to	64
+lt	64
+_in	64
+jo	64
+dr	63
+am	62
+rig	62
+ro	60
+na	60
+mm	60
+_be	59
+rd	59
+kt	59
+as	59
+ør	59
+vi	59
+tal	58
+sen	58
+år	58
+_å	58
+ru	57
+_ko	57
+mi	56
+nin	55
+es_	55
+ls	55
+ble	55
+ma	55
+nt_	55
+gs	54
+tt_	53
+sj	53
+_al	53
+di	53
+or_	52
+pe	52
+_ut	51
+æ	51
+_ri	51
+mme	51
+_se	50
+sta	50
+ner	50
+rt_	50
+rå	50
+ær	50
+ens	50
+all	49
+ek	49
+ikk	48
+ak	48
+gn	48
+sp	48
+fra	48
+gj	48
+_re	47
+ra_	47
+nne	47
+_sk	47
+und	47
+sjo	47
+lk	47
+sl	47
+jon	47
+ler	46
+ss	46
+ger	46
+ov	46
+gh	46
+_ve	46
+_va	45
+var	45
+igh	45
+ali	45
+ist	45
+kon	44
+rk	44
+fi	44
+ert	44
+op	44
+os	43
+kri	43
+gr	43
+ka	43
+nte	43
+ev	43
+sam	43
+_si	43
+fol	42
+ld	42
+ser	42
+ks	42
+ds	42
+mer	42
+tat	41
+ad	41
+end	41
+ell	41
+ige	41
+lo	40
+one	40
+ren	40
+ign	40
+pp	40
+enn	40
+olk	39
+ht	39
+ndr	39
+dre	39
+ght	39
+ht_	39
+_sa	39
+ie	39
+ret	39
+ord	39
+he	39
+gn_	39
+po	38
+ty	38
+lit	38
+kke	38
+lt_	38
+rte	37
+dl	37
+els	37
+isk	37
+st_	36
+fa	36
+_pr	36
+ei	36
+sk_	36
+tet	36
+gi	36
+rin	35
+_om	35
+ku	35
+jen	35
+_år	35
+_an	34
+gg	34
+_tr	34
+ede	34
+let	34
+ur	34
+eri	34
+len	33
+_un	33
+fø	33
+ang	33
+ef	33
+nn_	33
+us	33
+ig_	33
+_ta	33
+da	33
+ove	33
+ga	33
+asj	33
+ide	32
+ong	32
+sto	32
+reg	32
 ag	32
-to	32
-har_	31
-kr	31
-_med	31
-må	30
-fr	30
-ette	30
-kon	30
-ak	30
-ru	30
-med_	30
-ell	30
-_re	30
-ni	29
-pr	29
-le_	29
-der	29
-si	28
-ten_	28
-for_	28
-ek	28
-ss	28
-rk	28
-mi	28
-_fr	28
-ut	28
-�r	27
-�l	27
-år	27
-�	27
-men	27
-ks	27
-ål	27
-as	27
-ie	27
-ei_	27
-æ	27
-tin	26
-he	26
-mål	26
-hu	26
-enn	26
-ver	26
-nne	26
-ande	26
-ans	26
-ter_	26
-_var	26
-eri	25
-oreg	25
-lo	25
-s�	25
-_å	25
-nore	25
-reg_	25
-ord	25
-gje	25
-sv	24
-_kon	24
-tt_	24
-sj	24
-ge_	24
-rsk_	24
-sta	24
-gen	24
-ere	24
-_hu	23
-bl	23
-gr	23
-_en	23
-nga	23
-ting	23
-_lan	23
-kke	23
-_om	23
-_et	23
-ts	23
-ene	22
-_s�	22
-ong	22
-isk	22
-ds	22
-_ka	22
-_sa	22
-ir	21
-ane	21
-kri	21
-øy	21
-ok	21
-_sk	21
-�r	21
-sam	21
-_ut	21
-rm	21
-�y	21
-ær	21
-us	21
-sl	20
-_vi	20
-unn	20
-rik	20
-ing_	20
-_he	20
-f�	20
-_da	20
-kong	20
-_hun	20
-_in	20
-ad	20
-art	20
-ist	20
-_bl	20
-hun	20
-bo	20
-ld	20
-_un	20
-mo	20
-ndet	20
-n�	20
-fa	19
-gen_	19
-men_	19
-id	19
-_om_	19
-_seg	19
-ret	19
-un_	19
-seg_	19
-jo	19
-ort	19
-ein	19
-rske	19
-inga	19
-ert	19
-lt	19
-ale	19
-hun_	19
-inge	19
-st_	19
-ro	19
-seg	19
-elle	18
-sm	18
-ang	18
-tor	18
-dan	18
-in_	18
-mn	18
-ikk	18
-tter	18
-år_	18
-_bo	18
-rin	18
-lag	18
-est	18
-ov	18
-sto	18
-�r_	18
-gs	18
-ren	18
-lle_	17
-ser	17
-nsk	17
-_sv	17
-_at	17
-mm	17
-at_	17
-ls	17
+iv	31
+o_	31
+ale	31
+ns_	30
+att	30
+tre	30
+_da	30
+gje	30
+ho	30
+åk	30
+spr	29
+åd	29
+opp	29
+rm	29
+se_	29
+str	28
+ket	28
+ft	28
+gan	28
+tid	28
+ul	28
+tor	28
+ros	28
+ele	28
+prå	27
+_ma	27
+_gj	27
+br	27
+så	27
+tu	27
+dle	27
+lse	27
+lke	27
+ker	27
+råk	27