scylla 0.9.3 → 1.0.0

data/test/fixtures/lms/kannada.lm

@@ -0,0 +1,400 @@
+_	3110
+್	1071
+ರ	744
+ಿ	704
+ಾ	654
+ು	579
+ದ	524
+ತ	496
+ನ	458
+ಲ	453
+ಕ	405
+ು_	381
+ೆ	376
+ಗ	344
+ಯ	341
+ಸ	324
+ವ	310
+ಮ	264
+ಪ	209
+ಂ	199
+ಳ	189
+ಲ್	185
+ಿ_	182
+ೆ_	179
+ಟ	165
+_ಕ	161
+್ರ	160
+ತ್	156
+_ಸ	155
+ದ_	141
+್ಲ	135
+_ಮ	135
+ಲ್ಲ	132
+್ತ	131
+ಜ	131
+್ಯ	128
+ರ್	126
+ಗಳ	121
+ಡ	119
+_ಪ	118
+ಲಿ	117
+್ನ	114
+ರು	112
+ಹ	110
+ರಾ	109
+ತ್ತ	104
+್ಲಿ	103
+ಶ	100
+ಲಿ_	94
+ಯ_	93
+ನಾ	92
+ಪ್	88
+ೇ	81
+ಸ್	79
+ಷ	78
+ರು_	78
+ಬ	77
+ಾಗ	77
+್_	76
+ಾರ	76
+ರಿ	76
+ಣ	74
+ತು	74
+ೆಯ	73
+ನ್	73
+_ಹ	72
+ಪ್ರ	72
+_ನ	72
+ರ_	71
+ಕರ	70
+ಕ್	70
+ಭ	70
+ಂದ	70
+ೂ	68
+_ವ	67
+ಅ	67
+_ರ	66
+ದಲ	66
+ತಿ	66
+ೀ	66
+_ಅ	66
+ಿದ	65
+ೊ	65
+_ಪ್	65
+ಚ	64
+_ಕರ	64
+ತು_	63
+ಾಟ	62
+್ನಾ	62
+ಾನ	62
+ಧ	62
+ಾಜ	62
+ರ್ನ	61
+_ಜ	61
+ರಾಜ	60
+ಕರ್	59
+ನಾಟ	58
+ಟಕ	58
+ಾಟಕ	58
+ವಾ	57
+ಳು	57
+ದಲ್	56
+ಿಯ	55
+ಗಿ	55
+ಳು_	53
+ನ_	52
+ನ್ನ	51
+್ತು	50
+_ಭ	50
+ಗಳು	49
+ಿತ	48
+ಸಾ	47
+_ಬ	47
+್ಕ	46
+೧	46
+ದ್	46
+ದರ	45
+ಜ್	45
+್ಟ	45
+ಿಗ	45
+ರದ	44
+_ಸಾ	44
+_ರಾ	44
+ೆಗ	44
+ದಿ	43
+ಭಾ	43
+ವಿ	43
+ಾಮ	43
+ಾಜ್	43
+ಜ್ಯ	42
+ರೆ	41
+ಿಸ	41
+_ತ	40
+ಗೆ	40
+ಕದ	40
+ನು	40
+_ದ	40
+ಿಂ	39
+ಿಕ	39
+ೈ	39
+_ಶ	39
+ಾಗಿ	39
+ಾದ	39
+ಟಕದ	39
+ದೆ	39
+ಾಲ	38
+ಕ_	38
+_ಭಾ	38
+ದೆ_	38
+_ಆ	38
+ಆ	38
+ಂತ	37
+ದೇ	37
+ಲೆ	37
+ನು_	37
+ಿಲ	37
+್ರಾ	36
+_ಇ	36
+ಗೆ_	36
+ಇ	36
+ದು	36
+ಮತ	36
+ಸಂ	36
+ತರ	35
+ಖ	35
+ಕೆ	35
+_ಮತ	35
+ಮತ್	35
+ಮಾ	34
+ೋ	34
+ುತ್	34
+ುತ	34
+ಟ್	34
+ರತ	33
+ಕಾ	33
+೦	33
+್ಪ	33
+ವು	33
+್ನು	33
+ಯು	33
+ೇಶ	33
+ಗು	32
+ತಾ	32
+ದೇಶ	32
+ುವ	32
+_೧	32
+ವ_	32
+ಾಯ	32
+ಳಿ	32
+ವರ	32
+್ವ	32
+್ಷ	32
+ನೆ	31
+ಿದೆ	31
+ೂರ	31
+ಹಾ	31
+_ವಿ	31
+ೆಯ_	31
+೩	30
+ಿರ	30
+ವೆ	30
+್ರದ	30
+ವು_	29
+್ಯ_	29
+ದು_	29
+ಕ್ಕ	29
+ಲಾ	29
+ಧಾ	28
+ಿಲ್	28
+ಯಾ	28
+ಯದ	28
+ಮ್	27
+ರದೇ	27
+ತ_	27
+ಜನ	26
+_ಸಂ	26
+ಿಂದ	26
+ಎ	26
+ಮು	26
+ಡಿ	26
+_ಎ	26
+೫	25
+ಸಾಮ	25
+ಂಗ	25
+_ಜನ	25
+ಯಿ	25
+ಸು	25
+ೃ	25
+ುವ_	25
+ಿಗಳ	24
+ಾಮ್	24
+_ಗ	24
+ಾಸ	24
+ಒ	24
+_ಚ	24
+ಸರ	24
+ೆಗಳ	24
+_ಹಾ	24
+ಕ್ಷ	24
+ಜಿ	24
+್ತಿ	24
+_ಒ	24
+ಜಿಲ	23
+್ಯದ	23
+ಥ	23
+೨	23
+ಡೆ	23
+ಾವ	23
+ಂದ_	23
+ಮ್ರ	23
+ವೆ_	23
+ಹಾಗ	23
+ತದ	23
+ಕದ_	23
+ಶಿ	23
+ನಿ	23
+_ಜಿ	23
+ಿರು	22
+್ದ	22
+೭	22
+ಗು_	22
+ತರ_	22
+ಾಗು	22
+ಟ್ಟ	22
+೯	21
+೮	21
+ಟಿ	21
+ುದ	21
+ಾದ_	21
+ಿನ	21
+_ಕಾ	21
+ಧಾನ	21
+ರೆ_	21
+ರುವ	21
+ಿತ್	21
+ಸಿ	21
+ಯಲ	21
+ುಗ	21
+ಿದ್	21
+ದ್ದ	20
+ಉ	20
+_ಉ	20
+ದರು	20
+ಣ್	20
+ಲು	20
+ತ್ರ	20
+ಳ_	20
+ಯನ	20
+ಗಿದ	20
+ನೆಯ	20
+_ಸ್	20
+್ಸ	20
+್ಲೆ	19
+ಖ್	19
+ಖ್ಯ	19
+್ರಿ	19
+ೂರು	19
+ಷ್	19
+ಡು	19
+ಾನ_	19
+ರಿ_	19
+್ಥ	19
+ನದ	19
+_೩	18
+ವ್	18
+ಿತು	18
+ಯಲ್	18
+ಭಾರ	18
+ಿವ	18
+ತಿ_	18
+ರವ	18
+ರಣ	18
+ಿನ_	18
+ಚಿ	18
+ಸ್_	17
+ನಡ	17
+ಾರತ	17
+ಂದು	17
+ಕೆ_	17
+ೆಗೆ	17
+ಲ_	17
+ದಾ	17
+ೀಯ	17
+ಯದ_	17
+ಸ್ತ	17
+ನ್_	17
+ಗಳಿ	16
+ಮಾನ	16
+ಯರ	16
+ೈಸ	16
+ೃತ	16
+ಸ್ಥ	16
+೪	16
+್ತರ	16
+_ಸು	16
+ಮೈ	16
+_ಮು	16
+ಿಗೆ	16
+_ಮೈ	16
+ಲ್ಪ	16
+_ನಾ	16
+ಕದಲ	16
+ತ್ಯ	16
+ತಿಯ	15
+ಹಿ	15
+ಿಮ	15
+ಳನ	15
+ಷ್ಟ	15
+್ಚ	15
+ಳಲ್	15
+ನಗ	15
+ಿಕ_	15
+ಳಲ	15
+೬	15
+ಯು_	15
+ಕಲ	15
+೦_	15
+ಗಳಲ	15
+ನರ	15
+ಸೂ	15
+ಾತ	15
+ವನ	15
+ಯಗಳ	15
+ವಾಗ	15
+ಮಿ	15
+ಯವ	15
+ಯಗ	15
+ೂ_	15
+ಂಖ	14
+ಸಂಖ	14
+ಂಖ್	14
+ಪು	14
+ೀಯ_	14
+್ಯಗ	14
+ಕಾರ	14
+ಸೂರ	14
+್ಟಿ	14
+ಾಡ	14
+್ಕೆ	14
+ೆಂ	14
+್ಣ	14
+ಾಯಿ	14
+ರ್_	14
+ಲೆಯ	14
+ಾಪ	14
+ಮೈಸ	14
+ೈಸೂ	14
+ಿಯ_	14
+ತೆ	14
+ಡ_	13
+ಷಿ	13
+ಗಿ_	13
+ಈ	13
+ಾ_	13
+ಗ್	13
+ಟಕ_	13
+೩_	13
+ಶ್	13
+್ಸ್	13
+ತಮ	13

data/test/fixtures/lms/korean.lm

@@ -0,0 +1,400 @@
+_	4316
+다	185
+에	179
+다_	165
+이	160
+하	147
+로	144
+한	134
+의	129
+로_	129
+는	126
+는_	122
+시	119
+의_	109
+에_	109
+은_	99
+은	99
+도	97
+고	96
+국	92
+를	92
+를_	92
+을	90
+을_	90
+지	88
+_이	87
+으	80
+서	80
+역	73
+_한	67
+구	64
+였	62
+이_	60
+하였	60
+으로	59
+고_	57
+대	57
+기	56
+_에	56
+가	56
+라	55
+도_	55
+으로_	53
+하였다	53
+주	53
+였다_	53
+였다	53
+부	52
+동	52
+되	49
+정	48
+시_	47
+와	47
+인	47
+여	46
+한_	45
+_은_	44
+_은	44
+일	44
+와_	44
+해	43
+과	42
+리	42
+조	41
+과_	41
+자	41
+_에_	40
+지역	40
+전	40
+_지	39
+에서	39
+어	39
+서_	38
+_일	38
+군	38
+_대	37
+여_	37
+직	36
+제	36
+었	36
+한국	36
+특	36
+_고	35
+선	35
+_있	35
+남	35
+가_	35
+있	35
+개	35
+나	33
+만	33
+하여	32
+하여_	32
+성	31
+_한국	31
+북	31
+할	31
+_의	31
+들	29
+_개	29
+_동	29
+직할	28
+할시	28
+직할시	28
+세	27
+계	27
+며_	27
+문	27
+화	27
+며	27
+합	26
+사	26
+년	26
+_를	26
+단	26
+_를_	26
+에서_	25
+되었	25
+명	25
+민	25
+_로	25
+_년	25
+_남	25
+_조	24
+경	24
+었다_	24
+에는_	24
+에는	24
+었다	24
+역_	23
+_로_	23
+려	23
+조선	23
+신	23
+_이_	22
+등	22
+_만	22
+구_	22
+_세	22
+별	21
+산	21
+_특	21
+적	21
+_의_	21
+_지역	21
+치	21
+반	21
+_등	21
+분	21
+만_	21
+_문	20
+_을_	20
+_을	20
+_도	20
+특별	20
+해_	20
+군_	20
+_인	20
+_신	20
+_전	19
+_중	19
+_가	19
+행	19
+행정	19
+후	19
+인_	19
+면	19
+된	19
+중	19
+원	19
+_명	18
+국_	18
+편	18
+_행정	18
+_북	18
+_주	18
+_부	18
+_행	18
+하고_	18
+하고	18
+설	18
+영	18
+이다	18
+_영	17
+통	17
+_경	17
+이다_	17
+되었다	17
+_그	17
+용	17
+그	17
+_직	16
+지역_	16
+라_	16
+장	16
+있다	16
+나_	16
+쪽	16
+상	16
+_있다	16
+어_	16
+최	15
+_사	15
+공	15
+유	15
+_시	15
+_조선	15
+기_	15
+체	15
+_제	15
+문화	15
+_과_	15
+있다_	15
+_최	15
+발	15
+_와	15
+_과	15
+_발	14
+_분	14
+_합	14
+수	14
+_문화	14
+_다	14
+_정	14
+나라	14
+포	14
+_고려	14
+_되	14
+진	14
+_라	14
+승	14
+년_	14
+고려	14
+국에	13
+할시_	13
+_특별	13
+아	13
+_에서	13
+반도	13
+_서	13
+강	13
+_와_	13
+_통	13
+단지	13
+_만_	13
+정구	13
+시로	13
+행정구	13
+_하	13
+_년_	13
+시로_	13
+현	13
+게_	12
+_한반	12
+_국	12
+단지역	12
+함	12
+게	12
+급	12
+_으로	12
+별자	12
+한반	12
+특별자	12
+한반도	12
+광	12
+또	12
+_승	12
+_현	12
+건	12
+된_	12
+_으	12
+세기	12
+_대한	12
+지_	12
+구역	12
+대한	12
+했	12
+서는_	12
+서는	12
+_또	12
+기에	12
+내	11
+속	11
+방	11
+쳐_	11
+_사용	11
+정구역	11
+그_	11
+사용	11
+쳐	11
+시를_	11
+시를	11
+권	11
+본	11
+력	11
+_수	11
+_기	11
+_그_	11
+국의_	11
+국의	11
+격	11
+리_	11
+_후	11
+_세기	11
+당	11
+부_	11
+시와	10
+한다_	10
+한다	10
+_광	10
+같	10
+시와_	10
+_군	10
+_같	10
+으나_	10
+_단	10
+으며	10
+_및	10
+음	10
+으나	10
+되어	10
+후_	10
+_및_	10
+및	10
+형	10
+되어_	10
+_나	10
+및_	10
+격하	10
+승격하	10
+승격	10
+면_	10
+에서는	10
+보	10
+_승격	10
+재	10
+안	10
+_도_	10
+기도	10
+_되었	10
+위	10
+입	10
+으며_	10
+_개성	10
+바	10
+_구	10
+청	10
+_바	10
+개성	10
+신설	10
+족	9
+르	9
+특급	9
+_직할	9
+라는	9
+라는_	9
+_유	9
+_해	9
+특급시	9
+_자	9
+급시	9
+명_	9
+하는	9
+기도_	9
+또한_	9
+_신설	9
+소	9
+하는_	9
+또한	9
+_또한	9
+_건	9
+도에	9
+제_	9
+국에서	9
+삼	9
+합쳐_	9
+북도	9
+_합쳐	9
+세력	9
+천	9
+일부	9
+_일부	9
+글	9
+자_	9
+_체	9
+_형	9
+_편	9
+합쳐	9
+독	8
+역은_	8
+역은	8
+한민	8
+역시	8
+외	8
+_함	8
+호	8
+쓰	8
+·	8
+초	8
+_쓰	8