scylla 0.9.3 → 1.2.0

data/test/fixtures/lms/portuguese.lm

@@ -0,0 +1,400 @@
+_	20180
+a	5778
+e	5540
+o	5022
+s	3817
+i	3527
+r	3350
+d	2736
+n	2416
+t	2304
+o_	2303
+m	2139
+s_	1812
+a_	1803
+e_	1737
+c	1601
+u	1599
+l	1572
+p	1504
+_d	1370
+_e	1177
+de	1049
+_a	1020
+_p	982
+ra	911
+as	859
+es	777
+do	769
+m_	751
+_de	745
+de_	706
+b	674
+os	661
+_c	654
+_o	644
+en	586
+v	583
+g	581
+_s	573
+do_	572
+te	570
+os_	554
+er	552
+nt	551
+co	546
+or	540
+as_	517
+da	510
+re	488
+em	474
+ad	460
+f	454
+ri	450
+_m	447
+ta	434
+_a_	431
+ma	422
+l_	421
+ar	420
+_e_	407
+an	400
+_o_	386
+to	386
+_n	386
+_co	386
+si	365
+em_	365
+il	362
+st	360
+na	357
+po	351
+al	350
+se	349
+in	346
+is	345
+r_	345
+_b	344
+es_	342
+ia	340
+_t	338
+ro	337
+ã	336
+ão	334
+pa	334
+ent	333
+ão_	332
+om	327
+ca	326
+ti	323
+io	321
+no	318
+me	317
+on	314
+br	314
+nd	312
+_do	306
+ras	298
+ic	290
+h	290
+_em	289
+ç	285
+da_	284
+ci	283
+_f	273
+tr	271
+í	271
+_r	267
+bra	262
+nte	260
+_br	259
+am	258
+it	257
+_pa	255
+_i	253
+qu	249
+q	249
+_po	245
+com	245
+é	243
+sil	243
+ei	241
+asi	240
+ra_	234
+pr	231
+te_	227
+ir	224
+ai	222
+_se	220
+_u	218
+pe	216
+le	216
+ue	215
+id	213
+at	211
+um	210
+el	209
+di	202
+li	202
+_re	199
+ado	196
+_da	192
+to_	192
+mo	192
+_ma	191
+la	191
+_q	188
+_qu	188
+_pr	183
+ve	181
+_no	181
+ss	177
+al_	176
+il_	176
+_um	175
+no_	169
+im	168
+or_	166
+çã	162
+ção	162
+ica	162
+ia_	161
+rt	161
+ce	160
+eir	159
+va	159
+que	158
+á	158
+men	157
+un	156
+mi	150
+is_	150
+_l	148
+con	146
+ua	146
+ni	146
+aç	145
+_g	145
+u_	144
+lo	143
+res	143
+tu	142
+_es	141
+ou	140
+ec	140
+fo	139
+por	139
+dos	139
+z	138
+ol	138
+_in	138
+_v	137
+x	136
+iv	135
+ns	134
+nc	134
+ul	134
+est	134
+ada	134
+ue_	134
+sa	133
+su	132
+_na	132
+par	130
+ma_	128
+ndo	127
+ara	127
+ed	127
+ro_	127
+io_	126
+ais	126
+_pe	125
+vi	123
+eg	123
+mai	121
+é_	119
+so	118
+_fo	118
+ca_	117
+ur	117
+des	117
+_te	115
+sta	114
+ter	114
+ant	114
+om_	113
+_ 	113
+et	113
+ 	113
+na_	112
+ria	110
+ac	110
+i_	109
+j	109
+õe	108
+õ	108
+am_	107
+p_	105
+_ _	105
+ _	105
+mp	105
+gu	104
+açã	104
+ões	104
+od	102
+_en	102
+uma	102
+era	101
+_os	101
+_é	100
+ut	100
+_as	99
+ui	99
+lei	98
+and	97
+mo_	97
+ís	97
+tra	96
+das	96
+ita	96
+fi	95
+nto	95
+cia	95
+aí	94
+gi	94
+_h	94
+ida	94
+rio	93
+ne	93
+_su	92
+_é_	92
+ist	92
+dad	91
+se_	90
+ex	90
+mu	89
+aís	89
+paí	89
+sã	88
+são	88
+um_	88
+ess	88
+gr	88
+ort	88
+ga	87
+ó	87
+_ca	87
+ge	87
+iro	86
+rn	86
+_ex	85
+_di	84
+nde	83
+ou_	83
+tes	82
+vo	81
+ira	81
+ar_	81
+ha	80
+ade	80
+ran	79
+lh	79
+pro	78
+tad	77
+omo	76
+tiv	76
+rr	75
+op	75
+ta_	75
+nci	75
+ram	75
+_j	74
+ile	74
+au	74
+rc	74
+der	73
+_p_	73
+nta	72
+for	72
+ati	72
+oi	72
+ior	71
+rm	71
+ito	71
+ame	70
+ev	70
+_mu	70
+ís_	70
+mb	70
+fe	69
+cu	69
+go	69
+us	69
+ov	69
+er_	69
+pre	69
+ntr	68
+ial	68
+ap	68
+tem	67
+tor	67
+ime	67
+ú	67
+aio	66
+und	66
+iz	65
+tic	65
+_s_	65
+ver	65
+ê	64
+_sã	64
+ab	64
+_me	64
+pri	64
+end	63
+lo_	63
+gra	63
+ura	63
+ind	63
+_mi	63
+_to	62
+tro	62
+ont	62
+_at	61
+tan	61
+_tr	61
+ona	61
+lu	61
+ros	60
+pel	60
+sp	60
+ho	60
+pos	59
+ste	59
+qua	59
+ico	59
+ion	58
+fa	58
+ár	58
+cio	58
+du	58
+bi	58
+ern	58
+sc	57
+nal	57
+re_	57
+nh	57
+ig	56
+ela	56
+rte	56
+mun	56
+ob	55
+eu	55
+sti	55
+err	55
+cr	55
+egi	54
+ons	54
+ao	54
+n_	54
+mas	53

data/test/fixtures/lms/romanian.lm

@@ -0,0 +1,400 @@
+_	28742
+e	8540
+i	8396
+a	8094
+r	5707
+t	5166
+n	5138
+u	3874
+l	3870
+o	3696
+c	3575
+e_	3398
+d	2898
+s	2766
+m	2507
+a_	2393
+i_	2249
+_d	1971
+p	1965
+_a	1818
+ă	1597
+de	1377
+re	1284
+at	1273
+_c	1193
+_de	1168
+ri	1147
+n_	1141
+in	1130
+ă_	1034
+_p	1003
+t_	1002
+te	999
+de_	976
+or	941
+ar	935
+st	897
+ni	887
+ș	881
+_s	872
+ț	857
+_r	856
+_l	830
+î	819
+l_	813
+_î	810
+ul	807
+f	789
+în	769
+_în	765
+ce	761
+ro	743
+v	742
+al	737
+la	733
+er	716
+ta	712
+nt	704
+le	702
+es	690
+â	649
+om	646
+_m	641
+g	634
+și	616
+ia	601
+en	601
+b	599
+ti	599
+ra	598
+și_	590
+_ș	588
+un	574
+it	570
+în_	568
+ea	568
+di	567
+ți	557
+ân	556
+_și	551
+tr	544
+an	538
+_e	537
+ma	534
+ie	525
+cu	521
+te_	515
+ur	505
+ic	496
+_la	493
+la_	488
+r_	485
+u_	484
+rom	481
+_i	480
+ul_	478
+le_	478
+_ro	473
+pr	473
+on	472
+el	467
+ac	467
+mâ	463
+mân	463
+ii	460
+z	459
+tu	459
+li	455
+re_	454
+ne	453
+at_	449
+_f	442
+_a_	421
+omâ	412
+to	406
+pe	404
+co	402
+il	391
+lo	389
+ca	370
+_t	364
+_ac	363
+are	363
+_di	362
+lu	359
+da	358
+ea_	353
+_pr	350
+_u	350
+me	349
+ia_	349
+na	343
+ec	340
+sa	339
+is	331
+din	331
+ii_	322
+in_	315
+ei	311
+tă	310
+_n	309
+âni	308
+im	306
+ci	304
+nd	298
+_o	297
+mi	293
+ru	292
+ei_	292
+_co	287
+ces	285
+se	285
+ta_	282
+_da	282
+ui	282
+ori	282
+_re	276
+est	271
+tor	271
+dat	270
+po	266
+ate	264
+_ma	258
+or_	251
+cc	249
+nu	244
+as	244
+că	243
+cce	241
+_al	240
+ata	240
+fo	240
+pa	239
+um	239
+aț	238
+sat	238
+acc	237
+_un	236
+_cu	232
+ent	232
+ie_	231
+esa	231
+al_	229
+rt	228
+_ca	224
+fi	222
+_pe	222
+tă_	219
+s_	218
+iu	217
+sc	217
+ați	216
+ele	216
+ist	215
+ve	215
+su	215
+ri_	212
+lor	212
+ntr	211
+nia	210
+iv	209
+ste	207
+con	206
+ol	205
+_ce	203
+io	203
+au	202
+h	201
+ale	199
+ăr	199
+ui_	198
+o_	196
+mu	196
+ns	196
+_v	196
+_fo	195
+em	195
+pri	195
+_in	193
+int	192
+ai	191
+rea	191
+tur	188
+nc	188
+d_	187
+ter	187
+ră	186
+că_	185
+oc	183
+rm	183
+lui	181
+du	179
+tat	177
+ut	176
+șt	174
+_b	173
+si	172
+oa	172
+_se	172
+eri	170
+_su	169
+op	169
+pu	167
+lt	166
+ne_	163
+os	162
+no	157
+iei	156
+vi	155
+pre	155
+nț	155
+tra	154
+ct	153
+cu_	153
+ulu	153
+mp	151
+ai_	151
+uri	149
+sp	149
+tre	148
+ce_	148
+st_	148
+ge	147
+nte	147
+ani	146
+x	146
+_es	146
+nt_	144
+c_	143
+eș	143
+ed	142
+_au	142
+mai	140
+_g	140
+tul	140
+et	140
+uc	138
+j	138
+uni	138
+ile	137
+m_	137
+car	136
+men	134
+eg	134
+se_	133
+do	132
+str	131
+va	130
+au_	129
+_po	129
+mo	128
+sta	128
+ita	127
+ar_	127
+gi	127
+ad	127
+ep	126
+_st	126
+ona	126
+_pa	125
+nd_	125
+nă	124
+ap	123
+ilo	123
+ni_	123
+am	122
+nie	122
+ez	122
+rii	121
+_tr	119
+zi	119
+ști	119
+eșt	118
+par	117
+ot	117
+pă	116
+_ar	116
+ție	115
+ion	115
+ră_	115
+up	111
+_mi	111
+era	111
+rat	110
+ra_	110
+tru	110
+cl	110
+_o_	109
+mat	109
+nal	109
+rin	108
+pe_	108
+_nu	108
+ost	107
+ță	107
+us	107
+un_	107
+mb	105
+ir	105
+ere	104
+cur	104
+nă_	104
+tiv	104
+ini	104
+să	103
+tic	103
+iz	103
+ări	103
+_fi	103
+bu	102
+por	102
+_mo	102
+num	102
+rma	102
+cr	101
+lă	100
+ch	100
+itu	100
+ga	99
+hi	99
+mar	99
+art	99
+for	99
+ene	99
+za	99
+rit	99
+ică	99
+ace	97
+fe	97
+bi	97
+ice	97
+pi	96
+ici	96
+pro	96
+mul	95
+ati	95
+lit	94
+ba	94
+ort	94
+ito	94
+ud	94
+ind	94
+ine	94
+rn	94
+fos	93
+ții	93
+_an	92
+nea	92
+tar	92
+reș	92
+loc	92
+mă	92
+„	91
+”_	91
+_„	91
+_lo	91
+”	91
+sti	90
+_li	90
+ăt	89