scylla 0.9.3 → 1.0.0

data/test/fixtures/lms/slovenian.lm

@@ -0,0 +1,400 @@
+_	1600
+a	446
+e	430
+i	393
+o	380
+n	325
+v	261
+s	260
+r	232
+l	212
+j	199
+a_	192
+t	169
+d	164
+p	140
+e_	132
+i_	122
+_s	121
+k	119
+m	103
+_p	98
+z	95
+je	92
+o_	81
+u	81
+na	75
+ov	74
+ni	73
+_n	72
+st	72
+je_	67
+_v	64
+ve	63
+en	63
+g	60
+ra	59
+_i	55
+b	55
+_j	54
+pr	54
+_d	53
+in	53
+v_	52
+_na	50
+lo	48
+_pr	46
+n_	46
+_o	46
+na_	45
+_je	44
+sk	44
+po	44
+č	44
+sl	42
+la	42
+ne	41
+no	41
+_v_	40
+lov	39
+š	38
+_po	38
+va	38
+os	37
+ro	37
+h	37
+_sl	37
+le	36
+li	36
+ja	36
+_in	36
+slo	36
+in_	36
+an	36
+_z	35
+ij	35
+av	35
+ven	33
+ove	33
+od	32
+vi	32
+ta	31
+el	31
+ž	31
+ed	31
+re	31
+ev	30
+eni	30
+t_	30
+de	29
+lj	29
+ki	29
+al	28
+ri	28
+ja_	28
+u_	27
+_r	27
+ost	26
+et	26
+se	26
+_k	26
+ti	26
+nij	25
+dn	25
+ni_	25
+h_	25
+ar	24
+vo	24
+em	24
+ih	23
+me	23
+ko	23
+ih_	23
+ad	23
+it	23
+ol	22
+aj	22
+ik	22
+_l	22
+m_	22
+la_	21
+ka	21
+za	21
+ob	21
+c	21
+raz	21
+az	21
+di	20
+del	20
+dr	20
+ki_	20
+no_	19
+nj	19
+om	19
+pre	19
+_se	19
+_ra	19
+ma	18
+to	18
+ji	18
+_le	18
+_za	18
+_g	18
+_m	18
+_t	18
+as	17
+ga	17
+let	17
+_ob	17
+er	17
+da	17
+ne_	17
+jo	16
+vn	16
+ija	16
+so	16
+_dr	16
+rs	16
+vr	16
+te	16
+_de	15
+ta_	15
+di_	15
+mo	15
+oč	15
+pro	15
+st_	15
+ga_	15
+ža	15
+red	15
+jo_	15
+or	15
+tv	15
+rž	14
+do	14
+žav	14
+im	14
+drž	14
+ke	14
+iv	14
+_so	14
+bl	14
+_u	14
+rža	14
+so_	13
+sta	13
+s_	13
+ova	13
+avn	13
+ns	13
+nsk	13
+ka_	13
+nos	13
+oz	13
+ju	13
+is	13
+il	13
+f	12
+ru	12
+va_	12
+lje	12
+val	12
+go	12
+sti	12
+eg	12
+ot	12
+ze	12
+_š	12
+pa	12
+ma_	12
+jen	12
+nje	12
+iz	12
+iva	11
+ti_	11
+d_	11
+ros	11
+_st	11
+kr	11
+sa	11
+bli	10
+op	10
+vi_	10
+elj	10
+ud	10
+pod	10
+li_	10
+_ne	10
+ske	10
+tu	10
+ir	10
+ski	10
+sto	10
+zem	10
+lja	10
+ega	10
+ej	10
+tr	10
+se_	10
+ic	10
+ič	10
+bi	10
+am	10
+ije	10
+r_	10
+kih	9
+či	9
+ji_	9
+iš	9
+_iz	9
+stv	9
+mi	9
+ča	9
+_oz	9
+pri	9
+ve_	9
+zn	9
+vl	9
+_a	9
+ge	9
+dan	9
+_e	9
+lik	9
+rad	9
+_ki	9
+_tu	9
+et_	9
+ovi	9
+_sk	9
+udi	9
+men	9
+ži	9
+em_	9
+og	9
+tud	8
+še	8
+ala	8
+ela	8
+k_	8
+pol	8
+ska	8
+dne	8
+nar	8
+nik	8
+edn	8
+tav	8
+ke_	8
+ajo	8
+_pa	8
+bo	8
+up	8
+dni	8
+ep	8
+eta	8
+iti	8
+ok	8
+zv	8
+es	8
+_s_	8
+_b	8
+gr	8
+pra	7
+pi	7
+rav	7
+van	7
+pu	7
+sv	7
+odn	7
+zg	7
+gl	7
+ši	7
+ur	7
+ani	7
+vni	7
+jih	7
+_me	7
+ez	7
+pa_	7
+eb	7
+zi	7
+čj	7
+aš	7
+iki	7
+j_	7
+ko_	7
+ars	7
+rst	7
+rsk	7
+anj	7
+ci	7
+pe	7
+ev_	7
+eno	7
+zd	7
+_da	7
+_do	7
+eo	7
+šč	7
+ogr	6
+tn	6
+ru_	6
+eve	6
+sr	6
+še_	6
+ava	6
+ak	6
+tvo	6
+iji	6
+eli	6
+ug	6
+_sv	6
+_ž	6
+jn	6
+ho	6
+ast	6
+du	6
+ave	6
+kra	6
+om_	6
+lad	6
+eds	6
+vo_	6
+ds	6
+at	6
+als	6
+ls	6
+_ka	6
+ver	6
+z_	6
+str	6
+rit	6
+gla	6
+nov	6
+ubl	6
+vro	6
+_bi	6
+ub	6
+sn	6
+sed	6
+_al	6
+eč	6
+ura	6
+sko	6
+kov	6
+obl	6
+št	6
+ml	6
+oze	6
+tev	6
+pov	6
+evi	6
+_ur	6
+ima	6
+ali	6
+oma	6
+čn	6
+gra	6
+ine	6
+_ni	6
+ede	6
+očj	5

data/test/fixtures/lms/spanish.lm

@@ -1,400 +1,400 @@
-_	34626
-e	11141
-a	10911
-o	7205
-n	6456
-s	6294
-i	6242
-r	5717
-l	5323
-d	4722
-c	4125
-t	3987
-a_	3660
-e_	3082
-s_	2999
-u	2992
-�	2572
-p	2522
-de	2507
-_d	2443
-m	2383
-_e	2376
-o_	2213
-_de	2152
-n_	1888
-en	1833
-es	1771
-de_	1698
-_de_	1621
-_l	1599
-la	1570
-_c	1492
-l_	1375
-_p	1285
-os	1221
-_a	1212
-er	1197
-as	1140
-el	1135
-on	1125
-ci	1117
-os_	1093
-g	1078
-al	1059
-an	1056
-_la	1051
-co	1034
-ra	1021
-b	998
-_s	978
-la_	974
-te	956
-re	949
-nt	927
-ar	901
-el_	882
-ta	880
-as_	841
-ri	837
-ad	835
-or	832
-pa	817
-_la_	801
-ca	795
-_m	794
-es_	786
-v	779
-do	756
-�	756
-ó	755
-st	738
-ro	737
-_en	737
-_co	731
-na	727
-y	721
-en_	710
-f	710
-in	696
-ue	694
-_el	645
-lo	642
-ic	635
-_es	630
-da	627
-ia	621
-to	619
-_en_	609
-_el_	591
-y_	585
-r_	580
-un	563
-�	557
-_t	557
-í	557
-le	546
-ti	540
-no	540
-_y	535
-po	529
-se	523
-ent	521
-_y_	511
-ma	509
-_r	500
-io	495
-h	490
-�n	488
-ón	488
-i�	487
-_i	483
-tr	482
-a�	475
-sp	465
-do_	462
-is	461
-q	458
-con	457
-qu	457
-�n_	454
-ón_	454
-ñ	453
-�	453
-ac	439
-id	434
-ni	428
-ió	428
-om	425
-ne	422
-me	422
-al_	421
-si	421
-nte	415
-pr	415
-li	410
-nc	405
-nd	403
-ie	401
-_re	401
-añ	397
-_f	392
-te_	392
-á	391
-�	391
-_con	390
-ue_	387
-spa	380
-pa�	377
-que	375
-ión	373
-_h	369
-_se	367
-esp	365
-_po	363
-mi	363
-_pr	360
-di	357
-pe	355
-_lo	348
-ec	347
-_ca	346
-_u	344
-que_	336
-los	336
-rt	336
-los_	334
-mo	333
-_esp	331
-_o	328
-it	327
-_q	326
-_qu	326
-espa	319
-ia_	315
-pañ	315
-_que	314
-spa�	310
-_un	307
-ol	307
-su	303
-ce	301
-ci�	300
-aci	300
-ció	299
-ur	296
-ado	295
-est	293
-_los	289
-z	287
-ra_	286
-na_	285
-or_	282
-_n	281
-�a	278
-ña	278
-por	277
-on_	276
-_g	275
-del	271
-_v	271
-ica	271
-las	270
-_del	269
-_pa	269
-cia	267
-j	266
-las_	265
-tu	264
-del_	264
-am	262
-�	261
-é	261
-nci	260
-_a_	258
-nte_	257
-ña_	257
-�a_	257
-sta	254
-vi	253
-at	250
-ab	250
-ll	248
-to_	247
-so	247
-ía	243
-�a	243
-aña	243
-r�	240
-no_	240
-im	239
-cu	239
-da_	236
-_al	232
-sa	231
-em	229
-ns	228
-se_	227
-ant	226
-com	225
-_su	221
-ul	221
-ente	219
-tra	218
-rr	218
-_in	217
-ter	216
-il	215
-dad	215
-_com	215
-_las	214
-_por	212
-ca_	207
-ig	207
-d_	206
-ada	205
-m�	205
-va	204
-ba	204
-men	204
-era	202
-ran	201
-les	201
-ed	199
-ía_	196
-�a_	196
-ien	195
-_b	195
-res	195
-ha	194
-gu	191
-cio	190
-one	189
-ale	189
-ida	189
-t�	187
-des	187
-_ma	186
-bi	185
-ona	185
-les_	184
-oc	184
-ion	184
-br	183
-nes	183
-od	182
-pro	182
-x	179
-mu	179
-_si	179
-_est	178
-por_	178
-mo_	177
-ga	177
-_se_	177
-mp	177
-ist	176
-dos	175
-_pro	173
-aci�	173
-an_	173
-go	172
-nes_	172
-ct	172
-ado_	172
-ta_	171
-lo_	170
-_pe	169
-eg	167
-ero	165
-fi	165
-io_	165
-dos_	163
-iv	163
-�o	163
-ño	163
-op	162
-ment	161
-_ha	161
-za	161
-et	161
-ndo	159
-par	156
-ici	155
-ria	154
-ve	153
-ica_	153
-ron	152
-ad_	151
-fe	151
-ones	151
-año	150
-us	150
-uc	149
-_mi	149
-gr	149
-mb	149
-con_	148
-rio	147
-ncia	147
-sti	147
-ua	146
-ico	146
-_te	146
-rc	145
-art	144
-má	143
-cion	143
-tor	142
-esta	141
-ndo_	141
-ip	141
-cia_	141
-dad_	140
-ir	140
-ntr	140
-ob	140
-nto	139
-ori	139
-n�	138
-ó_	138
-�_	138
-co_	138
-ar_	138
-ante	138
-ot	138
-hi	136
-du	136
-bl	136
-ada_	135
-rm	134
-eri	134
-ro_	134
-err	134
-una	134
-ales	133
-rec	133
-nta	132
-per	131
-_me	130
-ita	129
-idad	129
-ara	129
-enc	129
-ina	128
-_di	128
-ial	128
-tan	127
-_par	127
-inc	127
-ido	127
-i_	125
-ura	125
-ut	123
-ana	123
-_ar	123
-uer	122
-uni	122
-_no	122
-pu	122
-ali	121
+_	28730
+e	9319
+a	8074
+o	5889
+n	5309
+s	5298
+i	4672
+r	4349
+l	4265
+d	3819
+t	3186
+c	3100
+a_	2764
+s_	2599
+e_	2560
+u	2374
+_e	2190
+de	2048
+_d	2014
+p	1986
+m	1873
+_de	1745
+o_	1729
+n_	1722
+en	1646
+es	1468
+_l	1453
+la	1334
+de_	1318
+l_	1220
+_c	1143
+os	1065
+_p	1060
+el	1057
+on	980
+_la	980
+_a	970
+er	960
+os_	955
+as	893
+co	891
+_s	884
+la_	859
+el_	859
+ci	829
+te	820
+re	804
+g	784
+nt	781
+an	741
+ra	736
+_en	726
+b	726
+al	719
+en_	706
+as_	691
+or	686
+y	682
+es_	678
+ta	667
+_co	663
+ad	653
+_el	650
+do	638
+pa	617
+ar	614
+ó	589
+ri	587
+_m	586
+ro	584
+st	573
+y_	572
+ue	557
+v	551
+in	551
+f	526
+_y	524
+na	520
+_es	520
+ca	520
+lo	518
+to	516
+_y_	510
+r_	490
+da	485
+un	483
+se	476
+_t	476
+no	457
+ent	455
+con	451
+ic	450
+po	432
+ia	425
+í	423
+ti	417
+_r	416
+io	408
+le	405
+tr	399
+do_	399
+qu	389
+q	389
+nte	375
+om	371
+si	367
+h	364
+te_	363
+ac	358
+me	355
+ón	353
+ie	352
+_re	352
+ue_	351
+is	351
+ió	345
+sp	344
+nd	343
+_se	341
+ma	336
+ñ	336
+pr	333
+_lo	331
+ón_	330
+que	329
+_i	326
+id	322
+ne	321
+al_	319
+mi	311
+_u	311
+añ	311
+_q	306
+_qu	306
+los	303
+_po	302
+ni	301
+di	300
+á	300
+ec	300
+_pr	293
+ión	290
+on_	288
+su	286
+_f	286
+_h	283
+nc	280
+pe	280
+li	279
+_un	277
+spa	276
+mo	270
+_o	270
+esp	268
+it	267
+or_	263
+del	262
+rt	250
+_a_	250
+est	247
+ado	245
+por	239
+aci	236
+ció	235
+las	234
+_n	231
+pañ	227
+ce	225
+so	222
+se_	221
+_pa	219
+_ca	218
+_su	213
+sta	213
+com	203
+ur	202
+tu	200
+ol	199
+ia_	198
+na_	197
+am	197
+ab	196
+ra_	196
+im	193
+tra	191
+no_	190
+men	190
+da_	190
+ter	189
+ns	188
+em	188
+cia	187
+z	185
+ña	185
+to_	184
+_al	181
+é	180
+ien	179
+ía	179
+ica	177
+_v	176
+cu	175
+_in	175
+ant	172
+des	172
+aña	170
+j	169
+ña_	169
+_g	168
+res	168
+ed	168
+pro	167
+ul	165
+ct	165
+od	165
+mo_	164
+ig	163
+vi	163
+one	162
+ll	161
+dad	161
+ha	160
+nci	160
+les	159
+_si	158
+era	158
+ada	158
+cio	156
+ion	155
+oc	155
+nes	154
+at	154
+sa	154
+va	150
+rr	150
+bi	149
+d_	149
+eg	149
+dos	148
+ist	147
+_pe	147
+ndo	147
+mp	146
+ran	145
+ño	145
+an_	144
+ida	143
+par	143
+_ha	140
+ó_	140
+gu	140
+año	139
+fi	137
+ron	136
+ale	135
+ía_	135
+us	134
+br	134
+ero	134
+mu	133
+_mi	132
+má	129
+tor	129
+x	129
+iv	128
+ona	127
+rio	127
+ntr	126
+ua	125
+bl	124
+ot	124
+ba	123
+ve	123
+il	123
+ici	123
+una	123
+_di	122
+ori	122
+ta_	122
+mb	121
+go	121
+io_	121
+lo_	120
+du	120
+_te	119
+ca_	118
+omo	118
+rec	117
+ob	117
+_no	116
+un_	116
+rm	116
+ina	115
+ad_	114
+uc	114
+nto	114
+ás	113
+re_	112
+za	112
+per	111
+ás_	110
+et	107
+_ma	107
+op	106
+pu	106
+ial	106
+ga	106
+ico	105
+ras	105
+u_	104
+más	104
+err	104
+hi	104
+ar_	103
+_tr	103
+ir	101
+ex	101
+fu	101
+gr	101
+ier	101
+ura	100
+min	100
+art	100
+ro_	99
+ido	99
+ita	99
+_so	99
+su_	99
+_b	98
+_me	98
+sti	97
+_mu	97
+tan	97
+rte	96
+_hi	95
+ú	94
+tes	94
+enc	94
+ste	94
+nom	92
+_fu	92
+fe	92
+eri	92
+ara	91
+tal	91
+nta	90
+rc	90
+_ex	90
+end	90
+ria	89
+_má	88
+ui	88
+gi	88
+nos	88
+der	87
+pre	87
+co_	86
+pi	86
+ten	86
+tur	85
+ali	85
+ut	85
+_to	85
+and	85
+ort	85
+tad	85
+tro	84
+ip	84
+tos	84
+inc	84
+tic	83
+und	82
+ios	82
+rí	81
+nal	80
+ade	79
+ep	79
+den	79
+ís	79
+man	78
+cr	78
+ula	78
+ito	77
+rn	76
+sig	76
+ene	76
+er_	75
+uer	75
+lt	75
+vo	75
+ano	74
+eci	73
+rá	73
+ons	73
+_ci	73
+au	73
+cos	73
+ros	73
+ont	72
+ma_	72