scylla 0.9.3 → 1.0.0

data/test/classifier_test.rb

@@ -1,17 +1,19 @@
-require 'test/helper'
+# encoding: utf-8
+require 'helper'
 
 class ClassifierTest < Test::Unit::TestCase
 
   context "#classify" do
     setup do
       Scylla::Loader.set_dir(File.join("test","fixtures","lms"))
+      puts __ENCODING__
       @entext = "Please allow me to introduce myself, I'm a man of wealth and taste."
       @frtext = "Veux-tu m'épouser? C'est juste une blague."
       @detext = "Alle warten auf das Licht, fürchtet euch nicht"
       @estext = "Que hora son mi corazon. Te lo dije bien clarito."
       @datext = "Gennem anstrengelser når man stjernerne."
       @jptext = " ラ゜珥 ドゥ背騥ヴェ祟 ウァ諤椺と䤎 覥ヒュぱカキャ ゝド"
-      @hitext = "ಚಿತ್ರಲಿಪಿಯಿಂದ ಹಿಡಿದು ಇಂದಿನ ಮುದ್ರಣ— ಕಂಪ್ಯೂಟರ್"
+      @katext = "ಚಿತ್ರಲಿಪಿಯಿಂದ ಹಿಡಿದು ಇಂದಿನ ಮುದ್ರಣ— ಕಂಪ್ಯೂಟರ್"
       @sc = Scylla::Classifier.new
     end
 
@@ -23,7 +25,7 @@ class ClassifierTest < Test::Unit::TestCase
       assert_equal "spanish", @sc.classify_string(@estext).first
       assert_equal "danish", @sc.classify_string(@datext).first
       assert_equal "japanese", @sc.classify_string(@jptext).first
-      assert_equal "hindi", @sc.classify_string(@hitext).first
+      assert_equal "kannada", @sc.classify_string(@katext).first
     end
 
     should "correctly identify the language based on a given file" do

data/test/fixtures/lms/arabic.lm

@@ -0,0 +1,400 @@
+_	10168
+ا	3663
+ل	2972
+ي	1852
+ال	1849
+م	1794
+_ا	1551
+_ال	1496
+و	1431
+ر	1149
+ت	1066
+ن	1064
+ة	1009
+ة_	972
+ع	924
+ب	839
+د	780
+_و	656
+س	586
+_م	562
+ف	544
+ي_	502
+ه	501
+ن_	478
+ق	477
+ك	443
+ح	417
+ية	399
+أ	387
+ية_	380
+لم	349
+ط	330
+الم	316
+ج	303
+ر_	302
+وا	297
+م_	296
+من	294
+ا_	293
+_ب	287
+ت_	267
+ل_	266
+ص	262
+_ف	261
+في	260
+_ع	250
+د_	229
+_في	225
+ات	222
+_من	219
+إ	214
+في_	214
+خ	213
+ش	212
+لي	204
+من_	203
+ى	197
+ى_	196
+_أ	195
+_ت	192
+ار	191
+ض	190
+_وا	188
+ز	183
+وال	183
+ات_	183
+لا	173
+دي	170
+،	169
+ما	168
+،_	167
+مل	163
+عا	156
+ها	150
+لع	147
+_ل	137
+لس	137
+را	136
+لك	136
+ام	136
+الع	136
+يا	133
+ود	132
+بي	131
+ين	131
+ري	130
+ث	128
+لى_	127
+لى	127
+ها_	127
+الس	126
+با	120
+لأ	119
+مي	119
+ه_	117
+_إ	115
+ع_	113
+لت	108
+غ	107
+ذ	105
+الأ	105
+_ي	104
+و_	102
+سع	101
+عو	101
+وي	98
+اد	98
+رب	97
+ول	97
+عل	97
+ئ	96
+ان	93
+ب_	93
+لب	90
+ام_	89
+عود	89
+ودي	89
+سعو	86
+دية	86
+ين_	86
+لإ	84
+الت	84
+رة	83
+ار_	83
+رة_	81
+_ه	81
+ف_	81
+ير	81
+عر	81
+الب	80
+_ك	80
+مر	80
+كة	79
+سي	79
+نا	79
+وت	78
+الإ	78
+ملك	77
+كة_	76
+لسع	76
+وم	76
+اع	76
+_وت	75
+لر	75
+شر	74
+عد	74
+إل	73
+_س	72
+نت	72
+يم	72
+لق	72
+الر	71
+بل	71
+ء	71
+_إل	70
+عام	70
+لل	70
+مم	69
+طا	68
+لج	68
+لن	68
+ائ	67
+_ق	67
+لح	66
+_عا	66
+لش	66
+سم	65
+مع	65
+ما_	65
+كا	65
+ني	64
+الج	64
+_ن	64
+ء_	64
+_عل	64
+الق	63
+در	63
+إلى	63
+الش	62
+لكة	62
+لغ	62
+لص	62
+ممل	62
+سا	62
+لمم	62
+اس	62
+بر	61
+ق_	61
+ً	61
+اح	61
+ون	60
+مت	60
+_ح	60
+تم	60
+الح	59
+اء	59
+على	59
+جا	59
+يو	58
+نو	57
+وب	57
+الص	56
+_وي	56
+لخ	56
+لعر	56
+لي_	56
+ربي	55
+ز_	55
+لة	55
+الخ	55
+الن	54
+عي	53
+ك_	53
+لة_	53
+مس	53
+بع	53
+لد	53
+دو	53
+اء_	53
+بال	52
+تع	52
+_لل	52
+تي	52
+ون_	52
+_مل	52
+مة	51
+_با	51
+نه	51
+ال_	50
+مة_	50
+ط_	50
+تر	50
+أن	50
+الي	50
+ست	50
+_و_	49
+تو	49
+صا	49
+ض_	49
+_ش	48
+دا	48
+بية	48
+الد	48
+الا	47
+تص	47
+مو	47
+عرب	46
+عة	46
+لو	46
+ور	46
+اف	46
+حل	45
+كم	45
+عة_	45
+لف	45
+ير_	45
+ئي	45
+تق	44
+يد	44
+زي	44
+خا	44
+قد	44
+قا	44
+مط	44
+حو	44
+لية	44
+قر	43
+يل	43
+مد	43
+ملي	43
+اد_	43
+يع	42
+_ج	42
+حد	42
+رق	41
+طار	41
+ّ	41
+رو	40
+ول_	40
+س_	40
+مطا	40
+تب	40
+نها	39
+ضا	39
+اق	39
+حر	39
+وف	38
+يت	38
+رم	38
+ح_	38
+ارة	38
+مح	37
+ان_	37
+ة،	37
+لعا	37
+ة،_	37
+يس	37
+رات	37
+قي	36
+أو	36
+أس	36
+مال	36
+_وم	36
+اب	36
+إن	36
+وع	35
+_ر	35
+حي	35
+فا	35
+قة	35
+لك_	35
+ته	35
+بين	34
+له	34
+تح	34
+هم	34
+طق	34
+دم	34
+اض	34
+خل	34
+قة_	34
+قل	34
+طو	34
+أم	33
+لمن	33
+جد	33
+_ط	33
+نة	33
+لشر	33
+يه	33
+نية	33
+_،	33
+صل	33
+تت	33
+_بي	32
+_كم	32
+تا	32
+_مع	32
+_مط	32
+يق	31
+نة_	31
+از	31
+دة	31
+رت	31
+ث_	31
+_،_	31
+ظ	31
+هي	31
+_أن	31
+نف	31
+وس	31
+لط	31
+الغ	31
+ليم	31
+شم	31
+رية	31
+كان	31
+كو	30
+دول	30
+بة_	30
+ً_	30
+أك	30
+لذ	30
+در_	30
+بر_	30
+اً	30
+_د	30
+عن	30
+رك	30
+بة	30
+طن	29
+اص	29
+الو	29
+عب	29
+ائي	29
+رض	29
+دة_	29
+_م_	29
+حلي	29
+نط	29
+_عن	29
+سب	29
+لخا	29
+حت	29
+يد_	28
+هو	28
+حا	28
+ليو	28
+دن	28
+سل	28
+_مر	28
+اً_	28
+عية	28
+يم_	28
+ود_	28
+ًا	28
+_بع	28
+بد	28
+ميا	28
+ساح	28

data/test/fixtures/lms/bulgarian.lm

@@ -0,0 +1,400 @@
+_	13700
+а	4459
+и	3567
+о	3044
+е	2931
+т	2805
+н	2742
+р	2147
+а_	1928
+с	1913
+в	1711
+л	1371
+и_	1199
+к	1125
+на	1109
+д	1052
+п	994
+_н	851
+_с	830
+о_	814
+з	777
+е_	767
+на_	716
+_на	713
+ъ	711
+_п	672
+г	663
+я	644
+б	635
+м	618
+_и	604
+ни	593
+_в	566
+то	537
+ст	530
+ат	528
+ра	527
+т_	512
+та	478
+те	469
+_о	452
+ва	426
+ит	417
+ен	411
+ре	401
+у	398
+_и_	387
+ри	385
+ч	382
+пр	379
+ан	379
+но	369
+та_	362
+то_	361
+ар	360
+от	358
+ия	342
+_б	339
+_пр	321
+ка	321
+_к	302
+_д	294
+по	288
+_е	286
+ск	285
+ите	279
+я_	279
+в_	267
+_т	264
+ли	262
+ко	261
+ата	256
+га	255
+ти	254
+ни_	251
+ия_	249
+ъл	245
+ет	242
+ле	237
+ц	237
+ж	237
+те_	235
+ел	231
+ед	230
+ро	229
+_от	228
+ав	223
+_в_	222
+се	222
+не	221
+ве	221
+за	219
+_по	218
+лг	216
+ълг	214
+бъ	214
+ин	213
+лга	212
+_г	211
+ов	211
+бъл	209
+гар	209
+_р	208
+ки	207
+_з	207
+_бъ	203
+й	202
+от_	195
+ос	193
+ди	190
+ва_	189
+од	188
+из	187
+ор	186
+да	184
+ол	181
+ви	181
+во	180
+пре	178
+ал	174
+тр	168
+_м	168
+но_	167
+ер	165
+_се	160
+ес	158
+ени	158
+_за	156
+ие	156
+об	156
+_е_	155
+ас	153
+че	152
+го	152
+н_	149
+ла	143
+ър	142
+са	142
+ми	141
+ез	140
+ма	140
+рия	137
+ари	135
+ски	135
+с_	133
+ето	131
+тв	131
+се_	130
+х	127
+лн	125
+ка_	125
+ки_	125
+кат	125
+ис	124
+ят	121
+де	120
+рс	118
+ем	118
+щ	117
+аз	117
+ци	116
+съ	116
+_ст	112
+ич	112
+ад	112
+_са	110
+ме	109
+до	108
+_а	108
+са_	107
+въ	107
+ик	107
+он	106
+ек	105
+си	104
+_го	104
+ние	104
+_ко	103
+р_	103
+ств	103
+ран	103
+д_	102
+ат_	102
+ска	102
+нат	102
+рск	101
+_ра	101
+дн	101
+з_	100
+арс	100
+да_	99
+рез	98
+ост	97
+ане	96
+_с_	95
+ват	95
+ил	95
+ава	95
+_из	94
+стр	93
+тел	93
+ло	93
+вн	92
+раз	92
+_съ	92
+оди	92
+сл	91
+ез_	90
+про	89
+_об	89
+дин	88
+_ч	88
+лен	88
+тра	87
+ие_	87
+ш	86
+ото	86
+нс	86
+яв	85
+ред	85
+ир	85
+ив	85
+нит	84
+ен_	84
+_ка	84
+ван	83
+ина	83
+ф	83
+ок	82
+_до	81
+ай	81
+бр	81
+би	80
+им	79
+_въ	79
+ани	79
+не_	79
+за_	78
+ият	78
+зв	77
+_те	76
+нт	76
+й_	76
+ато	75
+пе	74
+жд	73
+ява	73
+оп	73
+ом	72
+по_	72
+иц	72
+аст	72
+ли_	72
+_у	71
+па	71
+св	70
+ча	70
+ест	70
+тн	70
+ля	70
+еж	70
+чес	70
+ти_	69
+год	69
+ст_	68
+к_	67
+_ц	67
+дъ	67
+еле	67
+ят_	67
+иче	65
+мо	65
+ста	65
+сти	64
+ги	64
+зи	64
+ана	64
+лед	64
+вр	64
+сто	63
+при	63
+ои	63
+бо	63
+кт	62
+рат	62
+_ре	62
+_ви	62
+едн	61
+г_	61
+ай_	61
+ту	61
+най	60
+_ос	59
+ира	59
+сле	58
+тор	58
+рав	58
+лно	58
+жа	57
+—_	57
+—	57
+ори	56
+_то	56
+л_	56
+ур	56
+_сл	56
+ср	56
+ог	56
+елн	55
+нов	55
+иет	55
+ио	55
+_ср	55
+вл	55
+ели	54
+ю	54
+ак	54
+ъс	54
+ра_	54
+ери	54
+_не	54
+ове	53
+ам	53
+ой	53
+пъ	53
+_дъ	52
+тво	52
+ри_	52
+м_	52
+ца	51
+_—	51
+_да	51
+_—_	51
+ъз	51
+ния	51
+ев	51
+чи	50
+_ве	50
+нос	50
+гр	50
+_а_	50
+еск	50
+рн	49
+ед_	49
+жда	49
+ика	49
+ист	49
+ру	49
+оч	49
+_си	48
+кон	48
+бл	48
+др	48
+_г_	48
+ова	48
+ма_	48
+нас	48
+рит	47
+_х	47
+йс	47
+_пъ	46
+жав	46
+или	45
+зн	45
+тер	45
+пол	44
+ап	44
+авн	44
+ско	43
+алн	43
+оя	43
+ици	43
+лит	43
+еди	43
+вет	43
+со	43
+тур	43
+нск	43
+пл	42
+ид	42
+во_	42
+ден	42
+ач	42
+нет	42
+чн	42
+ду	42
+ежд	42
+до_	41
+асе	41
+кр	41
+рв	41
+ена	41
+сп	41
+ща	41
+ърж	40
+оли	40
+ито	40
+рж	40
+_ма	40
+_св	40