scylla 0.9.3 → 1.0.0

data/test/fixtures/lms/greek.lm

@@ -0,0 +1,400 @@
+_	11632
+α	2829
+τ	2653
+ο	2590
+ε	2335
+ι	2221
+ν	1723
+η	1480
+ρ	1415
+κ	1398
+σ	1314
+ς	1253
+ς_	1252
+π	1169
+_τ	1083
+μ	1058
+υ	1044
+λ	1040
+ί	800
+α_	748
+ό	658
+το	655
+ι_	648
+ν_	626
+ου	589
+τη	575
+ά	563
+_π	552
+δ	548
+_ε	543
+_κ	542
+έ	537
+ο_	522
+η_	506
+αι	498
+_σ	485
+_α	485
+ή	469
+ικ	440
+αι_	440
+_το	434
+κα	432
+ω	418
+χ	417
+γ	404
+στ	388
+_κα	379
+_τη	370
+πο	367
+_μ	366
+τα	361
+υ_	331
+ου_	330
+θ	316
+τι	315
+ύ	312
+ε_	309
+να	290
+ερ	282
+και	278
+ει	273
+με	272
+ην	271
+_ο	267
+_στ	261
+ης_	255
+ης	255
+τε	244
+_η	242
+το_	240
+εί	235
+ώ	233
+αν	232
+ό_	226
+_δ	223
+του	222
+ελ	216
+ια	215
+ή_	212
+ατ	211
+απ	210
+_η_	209
+ρι	207
+ην_	206
+την	204
+ία	201
+_με	201
+λλ	199
+β	198
+ρα	192
+ρο	190
+_απ	189
+της	186
+φ	186
+ιο	180
+μα	177
+ισ	171
+πό	169
+κή	169
+ση	164
+ετ	161
+_πο	158
+ά_	158
+ική	157
+ων	157
+τικ	155
+_ελ	154
+ον	153
+οι	152
+σε	152
+πε	147
+ες	147
+ες_	146
+ελλ	146
+ία_	145
+ολ	142
+ού	141
+ρί	139
+από	138
+νο	138
+ας	137
+ας_	137
+πρ	135
+κο	135
+δι	135
+αρ	134
+λε	132
+τα_	132
+πό_	131
+ων_	130
+ια_	127
+_πρ	125
+_έ	125
+μο	125
+λι	124
+ξ	124
+ρε	123
+λά	120
+λο	118
+ησ	117
+ος	117
+_ν	117
+ος_	117
+στη	116
+_χ	115
+ίν	114
+ις	113
+νι	113
+ίο	113
+ις_	113
+κε	113
+δα	111
+ές_	110
+υν	110
+ντ	110
+ές	110
+_πε	110
+άδ	110
+ορ	109
+κό	106
+κή_	106
+περ	105
+λλά	105
+ασ	105
+μέ	104
+νε	104
+που	103
+_γ	103
+ών	102
+ότ	102
+επ	102
+σμ	100
+λη	100
+ει_	100
+ση_	99
+σε_	99
+τη_	98
+υτ	98
+να_	98
+λάδ	97
+_αν	97
+τω	96
+_β	96
+ής_	95
+τερ	95
+ής	95
+_δι	94
+στο	93
+άδα	93
+εν	93
+_εί	92
+ται	92
+υρ	89
+οπ	89
+θε	89
+_επ	88
+είν	88
+ημ	88
+με_	88
+αλ	87
+ευ	84
+οί	84
+ναι	83
+υς_	83
+των	83
+ίνα	83
+ους	83
+ύ_	83
+υς	83
+χε	82
+ομ	81
+νικ	80
+ετα	80
+πολ	79
+νη	78
+ερι	78
+κρ	77
+δα_	77
+ολι	76
+δε	76
+ακ	76
+συ	75
+_τω	75
+τις	75
+γι	75
+εκ	74
+ί_	74
+_ο_	74
+_οι	73
+πα	73
+μι	73
+_θ	72
+ως	72
+ών_	72
+ως_	72
+ικο	72
+τά	71
+οι_	71
+_υ	71
+κατ	71
+κά	71
+ιτ	70
+_συ	70
+μετ	69
+ός_	69
+ός	69
+τρ	69
+τον	67
+ού_	67
+ισμ	67
+ματ	67
+ον_	67
+οπο	67
+ρά	67
+ζ	67
+ιν	66
+αν_	65
+σι	65
+έν	65
+έρ	64
+πλ	64
+έχ	63
+οχ	63
+υσ	63
+θη	62
+ρα_	62
+ηκ	61
+προ	61
+τέ	61
+υπ	61
+_τα	61
+στι	61
+κής	60
+_μέ	60
+ικό	60
+ργ	60
+κτ	60
+ρω	60
+μό	60
+ίου	58
+_ό	58
+_σε	58
+όμ	58
+κά_	58
+γε	57
+δο	57
+ητ	57
+αί	56
+_οπ	56
+δια	56
+κυ	55
+ψ	55
+_πλ	55
+λλη	54
+αυ	54
+ρό	54
+έλ	54
+άλ	53
+ίσ	53
+ανα	53
+αθ	53
+ίας	53
+ότε	53
+ικά	52
+ριο	52
+μα_	52
+κού	52
+χρ	52
+ποί	52
+οδ	52
+οσ	51
+σί	51
+λην	51
+εγ	51
+κε_	50
+_κυ	50
+ντα	50
+_ι	50
+_εκ	50
+ηση	50
+τή	50
+αυτ	50
+λιτ	50
+νησ	49
+όν	49
+ηκε	49
+ρισ	49
+ογ	48
+ύν	48
+εσ	48
+ατο	48
+οκ	48
+λα	47
+τό	47
+βο	47
+χει	47
+ουν	47
+εδ	47
+εί_	47
+ηνι	47
+_να	47
+τά_	46
+στα	46
+κό_	46
+ιο_	46
+οτ	46
+αμ	46
+εξ	45
+απο	45
+ωτ	45
+δρ	45
+συν	45
+_υπ	45
+σα	45
+_γι	45
+ιστ	44
+ιτι	44
+για	44
+ρη	43
+ρχ	43
+γα	43
+_εν	43
+πι	43
+ερα	43
+άρ	43
+ουρ	43
+έσ	42
+ατα	42
+υλ	42
+_πα	42
+_αυ	42
+λή	41
+μη	41
+νό	41
+νομ	41
+κλ	41
+αφ	41
+μεγ	41
+ιά	41
+_αρ	40
+σης	40
+κέ	40
+μμ	40
+σσ	40
+_τι	40
+σο	40
+νέ	39
+τισ	39
+ρο_	39
+_δε	39
+σει	39
+παρ	39
+ουλ	39
+ατά	38
+βρ	38
+φο	38
+δη	38
+βου	37
+_λ	37
+εις	37

data/test/fixtures/lms/hebrew.lm

@@ -0,0 +1,400 @@
+_	18062
+י	4677
+ו	4444
+ה	3588
+ל	2678
+ת	2626
+ר	2409
+ב	2408
+מ	2267
+ש	2066
+_ה	1876
+א	1819
+ת_	1690
+נ	1361
+ה_	1277
+ם	1246
+ם_	1246
+ע	1245
+_ב	1242
+ח	1008
+ל_	996
+ד	986
+ות	935
+כ	894
+_מ	875
+ים	784
+ים_	784
+פ	776
+ות_	761
+ק	688
+_ש	674
+_ו	674
+_ל	638
+י_	616
+ג	615
+ס	562
+ו_	529
+צ	515
+_א	480
+ר_	475
+רא	459
+יש	457
+_י	454
+ן	450
+ן_	450
+בי	449
+שר	434
+אל	423
+ט	406
+_ע	401
+ני	368
+שרא	364
+ישר	363
+ראל	361
+יו	357
+ית	348
+ב_	345
+של	342
+_כ	340
+די	331
+אל_	323
+רו	318
+ינ	317
+לי	316
+ז	309
+המ	300
+רי	294
+נו	286
+הי	282
+_המ	280
+ול	279
+מי	272
+ור	270
+ית_	269
+יי	269
+או	268
+_יש	265
+מו	263
+מד	257
+_של	249
+ונ	241
+של_	236
+יה	232
+על	224
+וב	220
+הו	219
+_נ	219
+בו	218
+_בי	213
+_הי	211
+ד_	207
+ומ	205
+בר	202
+לו	198
+א_	196
+בע	192
+עו	192
+נה	189
+לה	188
+שי	186
+חו	185
+_ב_	185
+מדי	180
+תי	178
+רב	172
+על_	171
+_ר	171
+דינ	171
+יות	169
+שנ	169
+אי	167
+ון	163
+מש	163
+ון_	163
+נה_	161
+_על	159
+_ח	158
+יה_	156
+נת	153
+וד	150
+וה	149
+את	148
+שו	148
+כל	148
+ך_	147
+ך	147
+דו	145
+חי	144
+מה	143
+_בע	139
+יר	139
+הת	137
+תו	137
+_ה_	136
+את_	136
+הש	135
+קו	135
+_פ	134
+במ	133
+חר	132
+סי	132
+פי	131
+_ת	130
+לא	128
+אח	128
+מת	128
+בש	128
+_ג	127
+וע	127
+פר	125
+לה_	125
+_ו_	124
+הח	124
+פו	124
+בא	124
+יל	123
+אר	122
+נות	122
+ער	121
+_במ	120
+עי	120
+_וה	119
+וא	118
+ש_	117
+גו	116
+יא	115
+נים	115
+נת_	113
+_בש	112
+בה	112
+_את	112
+שב	112
+כו	111
+וני	110
+_הח	109
+הע	108
+_הש	107
+יים	104
+הא	104
+ין	103
+צי	103
+_ק	103
+ין_	103
+רות	102
+למ	102
+מא	101
+תר	101
+_הו	100
+גי	100
+יד	99
+וש	99
+ממ	99
+ור_	99
+ף	98
+מס	98
+תה	98
+ף_	98
+שה	97
+ופ	97
+ני_	97
+ק_	97
+וס	96
+_הע	95
+וי	95
+ע_	95
+_הת	94
+אחר	94
+בת	94
+ץ_	93
+יב	93
+_הא	93
+ץ	93
+_מד	93
+תה_	92
+רכ	91
+חל	91
+הג	91
+שמ	91
+הר	91
+רים	90
+ום	89
+כי	89
+ום_	89
+ספ	88
+אש	87
+צו	86
+מע	86
+_וב	84
+מר	84
+מצ	84
+יק	84
+בות	83
+קר	83
+_ז	83
+ביש	82
+_או	82
+עם_	82
+טי	82
+עם	82
+ימ	81
+תח	81
+וכ	80
+הצ	80
+לת	80
+ינה	80
+וח	79
+הב	78
+_לא	78
+בים	78
+ח_	78
+_בא	77
+_ומ	76
+יע	76
+ינו	76
+רת	76
+גד	76
+וצ	75
+קי	75
+_למ	75
+ברי	75
+וג	74
+יני	74
+עול	74
+_הג	74
+_ד	74
+וו	73
+רבי	73
+המד	73
+_ל_	72
+פל	72
+_שנ	71
+לכ	71
+הפ	71
+כנ	69
+לות	69
+ירו	69
+טו	69
+_הב	68
+_שה	68
+מפ	68
+_מו	68
+אלי	67
+סו	67
+יט	67
+_עם	67
+_מי	67
+הם_	67
+יח	67
+וק	67
+הם	67
+יכ	67
+לים	66
+תר_	66
+יא_	66
+ערב	65
+מה_	65
+הק	65
+_מס	64
+קב	63
+ומי	63
+עת	63
+תק	63
+פע	63
+_לה	63
+טח	62
+רה	62
+_הצ	62
+רה_	61
+_הר	61
+וא_	61
+_צ	61
+_אח	60
+הוד	60
+ראש	60
+או_	59
+_בה	59
+_ס	59
+ותר	58
+בין	58
+יהו	58
+חב	58
+אות	58
+בח	58
+דר	58
+ינת	58
+צב	58
+היא	57
+_מא	57
+כמ	57
+ודי	57
+הוא	57
+זר	56
+בשנ	56
+_בת	56
+ולו	56
+_מה	56
+לי_	56
+לג	55
+מו_	55
+רת_	55
+הנ	55
+וב_	54
+בל	54
+זו	54
+מת_	53
+_מש	53
+עד	53
+רח	53
+_רב	53
+ספר	53
+פה	52
+פת	52
+מח	52
+הס	52
+שפ	52
+פה_	52
+גב	52
+שני	52
+טר	52
+צא	52
+כ_	51
+_ממ	51
+דה	51
+כת	51
+אז	51
+_הפ	51
+_שב	51
+דה_	51
+רית	50
+לם_	50
+כן	50
+כן_	50
+לם	50
+מק	50
+תנ	50
+יצ	50
+_כל	50
+נית	49
+פי_	49
+ולם	49
+מל	49
+די_	49
+_כ_	49
+_הק	48
+בה_	48
+כה	48
+פר_	48
+עב	48
+_אי	48
+משל	48
+_בר	48
+הן_	47
+הה	47
+ותי	47
+ורי	47
+דול	47
+שא	47
+הל	47
+עה_	47
+עה	47