scylla 1.0.0 → 1.0.7

data/lib/scylla/classifier.rb

@@ -50,7 +50,8 @@ module Scylla
     # Gets the score of the text in question compared to a particular language
     def get_score(unknown, ngram)
       i, p = 0,0
-      while i < unknown.size
+      max_size = [unknown.size, 400].min
+      while i < max_size
         if (ngram[unknown[i]])
           p += (ngram[unknown[i]]-i).abs
         else
@@ -61,4 +62,4 @@ module Scylla
       return p
     end
   end
-end
+end

data/lib/scylla/generator.rb

@@ -1,3 +1,4 @@
+# encoding: utf-8
 require 'sanitize'
 require 'cgi'
 require 'unicode'
@@ -5,7 +6,7 @@ require 'unicode'
 module Scylla
   class Generator
     attr_accessor :dirtext, :dirlm, :minsize, :delimiter
-    NONLATIN = ["bg","ar","ru","zh","ja","he","kn","ko","mr","hi","th","fa","el"]
+    NONLATIN = ["bg","ar","ru","zh","ja","he","kn","ko","mr","hi","th","fa","el","uk"]
     # dirtext: The location of the source training text files
     # minsize: The minimum size of the ngrams that you would like to store
     def initialize(dirtext = DEFAULT_SOURCE_DIR, dirlm = DEFAULT_TARGET_DIR, minsize = 0, silent = false, delimiter = "[[classifier_delimiter]]")
@@ -50,7 +51,9 @@ module Scylla
       }
       p article
       page = Wikipedia.find( article )
-      value = page.content.gsub(/\{\{(.*?)\}\}/,"")
+      value = page.raw_data['query']['pages'].values.first['revisions'].first.fetch('*')
+      value = value.force_encoding("UTF-8").chars.select {|c| c.valid_encoding?}.join
+      value = value.gsub(/\{\{(.*?)\}\}/,"")
       value = value.gsub(/\[\[(.+?)\]\]/m,"")
       value = value.gsub(/\{\{(.+?)\}\}/m,"")
       value = value.gsub(/\{(.+?)\}/m,"")
@@ -82,9 +85,13 @@ module Scylla
       string = string[0, delimit] if delimit
       string = Sanitize.clean(string)
       string = CGI.unescapeHTML(string)
+      string = Unicode::downcase(string)
       string.gsub!(/(?:http|https):\/\/[a-z0-9]+(?:[\-\.]{1}[a-z0-9]+)*\.[a-z]{2,5}(?:(?::[0-9]{1,5})?\/[^\s]*)?/, "")
+      string.gsub!(/[a-z0-9._%+-]+@[a-z0-9.-]+\.[a-z]{2,4}/, "")
       string.gsub!(/[\*\^><!\"#\$%&\'\(\)\*\+:;,._\/=\?@\{\}\[\]|\-\n\r0-9]/," ")
-      Unicode::downcase(string.strip.split(" ").join(" "))
+      latin, nonlatin = string.scan(/[a-z]/), string.scan(/[\p{L}&&[^a-z]]/)
+      string.gsub!(/[a-zA-Z]/, "") if !latin.empty? && !nonlatin.empty? && nonlatin.size/(latin.size*1.0) > 0.5
+      string.strip.split(" ").join(" ")
     end
 
     # Creates a language map for a given input string. 
@@ -115,4 +122,4 @@ module Scylla
       return sorted
     end
   end
-end 
+end 

data/lib/scylla/lms/arabic.lm

@@ -1,400 +1,400 @@
-_	10168
-ا	3663
-ل	2972
-ي	1852
-ال	1849
-م	1794
-_ا	1551
-_ال	1496
-و	1431
-ر	1149
-ت	1066
-ن	1064
-ة	1009
-ة_	972
-ع	924
-ب	839
-د	780
-_و	656
-س	586
-_م	562
-ف	544
-ي_	502
-ه	501
-ن_	478
-ق	477
-ك	443
-ح	417
-ية	399
-أ	387
-ية_	380
-لم	349
-ط	330
-الم	316
-ج	303
-ر_	302
-وا	297
-م_	296
-من	294
-ا_	293
-_ب	287
-ت_	267
-ل_	266
-ص	262
-_ف	261
-في	260
-_ع	250
-د_	229
-_في	225
-ات	222
-_من	219
-إ	214
-في_	214
-خ	213
-ش	212
-لي	204
-من_	203
-ى	197
-ى_	196
-_أ	195
-_ت	192
-ار	191
-ض	190
-_وا	188
-ز	183
-وال	183
-ات_	183
-لا	173
-دي	170
-،	169
-ما	168
-،_	167
-مل	163
-عا	156
-ها	150
-لع	147
-_ل	137
-لس	137
-را	136
-لك	136
-ام	136
-الع	136
-يا	133
-ود	132
-بي	131
-ين	131
-ري	130
-ث	128
-لى_	127
-لى	127
-ها_	127
-الس	126
-با	120
-لأ	119
-مي	119
-ه_	117
-_إ	115
-ع_	113
-لت	108
-غ	107
-ذ	105
-الأ	105
-_ي	104
-و_	102
-سع	101
-عو	101
-وي	98
-اد	98
-رب	97
-ول	97
-عل	97
-ئ	96
-ان	93
-ب_	93
-لب	90
-ام_	89
-عود	89
-ودي	89
-سعو	86
-دية	86
-ين_	86
-لإ	84
-الت	84
-رة	83
-ار_	83
-رة_	81
-_ه	81
-ف_	81
-ير	81
-عر	81
-الب	80
-_ك	80
-مر	80
-كة	79
-سي	79
-نا	79
-وت	78
-الإ	78
-ملك	77
-كة_	76
-لسع	76
-وم	76
-اع	76
-_وت	75
-لر	75
-شر	74
-عد	74
-إل	73
-_س	72
-نت	72
-يم	72
-لق	72
-الر	71
-بل	71
-ء	71
-_إل	70
-عام	70
-لل	70
-مم	69
-طا	68
-لج	68
-لن	68
-ائ	67
-_ق	67
-لح	66
-_عا	66
-لش	66
-سم	65
-مع	65
-ما_	65
-كا	65
-ني	64
-الج	64
-_ن	64
-ء_	64
-_عل	64
-الق	63
-در	63
-إلى	63
-الش	62
-لكة	62
-لغ	62
-لص	62
-ممل	62
-سا	62
-لمم	62
-اس	62
-بر	61
-ق_	61
-ً	61
-اح	61
-ون	60
-مت	60
-_ح	60
-تم	60
-الح	59
-اء	59
-على	59
-جا	59
-يو	58
-نو	57
-وب	57
-الص	56
-_وي	56
-لخ	56
-لعر	56
-لي_	56
-ربي	55
-ز_	55
-لة	55
-الخ	55
-الن	54
-عي	53
-ك_	53
-لة_	53
-مس	53
-بع	53
-لد	53
-دو	53
-اء_	53
-بال	52
-تع	52
-_لل	52
-تي	52
-ون_	52
-_مل	52
-مة	51
-_با	51
-نه	51
-ال_	50
-مة_	50
-ط_	50
-تر	50
-أن	50
-الي	50
-ست	50
-_و_	49
-تو	49
-صا	49
-ض_	49
-_ش	48
-دا	48
-بية	48
-الد	48
-الا	47
-تص	47
-مو	47
-عرب	46
-عة	46
-لو	46
-ور	46
-اف	46
-حل	45
-كم	45
-عة_	45
-لف	45
-ير_	45
-ئي	45
-تق	44
-يد	44
-زي	44
-خا	44
-قد	44
-قا	44
-مط	44
-حو	44
-لية	44
-قر	43
-يل	43
-مد	43
-ملي	43
-اد_	43
-يع	42
-_ج	42
-حد	42
-رق	41
+_	13714
+ا	4707
+ل	3908
+ي	2408
+م	2346
+ال	2310
+و	1917
+_ا	1909
+_ال	1867
+ر	1519
+ن	1505
+ت	1443
+ة	1291
+ع	1264
+ة_	1251
+د	1164
+ب	1148
+_و	867
+س	784
+ن_	747
+_م	742
+ف	730
+ه	670
+ق	644
+ي_	632
+ك	629
+ح	558
+أ	527
+ية	511
+ية_	487
+لم	443
+م_	435
+ا_	433
+_ب	411
+ط	402
+ج	391
+من	389
+الم	384
+ر_	382
+إ	380
+د_	365
+ت_	363
+ل_	359
+_ع	359
+وا	355
+ص	351
+_ف	351
+في	326
+_من	297
+_ت	288
+ات	287
+_في	286
+_أ	284
+ش	283
+من_	278
+في_	276
+خ	269
+لي	265
+ى	265
+ى_	264
+لا	243
+ات_	242
+ار	236
+ض	227
+_ل	226
+دي	224
+ز	221
+ما	219
+_وا	217
+عا	207
+ها	204
+وال	203
+را	198
+_إ	198
+ود	197
+ام	196
+مل	195
+لى_	189
+لك	189
+لى	189
+يا	183
+ين	183
+لس	182
+،	181
+،_	180
+ري	177
+ها_	173
+لع	170
+بي	168
+الس	166
+با	163
+عو	162
+عل	161
+الع	158
+سع	158
+عود	150
+ه_	149
+سعو	147
+ث	146
+و_	145
+مي	144
+ع_	143
+غ	142
+لت	141
+لأ	141
+ام_	140
+_ي	139
+ول	139
+اد	139
+ذ	137
+ب_	135
+ان	133
+لإ	133
+ين_	130
+الأ	129
+رة	125
+الإ	124
+رة_	123
+ودي	122
+ئ	122
+ف_	121
+_ك	120
+رب	119
+ير	118
+لب	116
+دية	116
+_س	115
+وي	115
+عد	114
+الت	112
+_عل	110
+وت	108
+لسع	107
+لل	105
+إل	105
+عر	104
+لح	102
+_إل	101
+_ن	101
+على	101
+_ق	100
+اع	100
+كا	100
+مع	99
+لق	99
+أن	99
+_وت	99
+الب	98
+در	97
+ء	96
+ملك	96
+مر	94
+بل	93
+_ه	93
+نا	93
+ار_	92
+كة	92
+سي	92
+عام	92
+ك_	90
+الح	90
+لن	90
+كة_	90
+سم	89
+نه	89
+لر	89
+مم	88
+ائ	87
+_عا	87
+شر	86
+ء_	86
+نت	85
+اء	84
+وم	84
+_لل	83
+طا	83
+الر	83
+_ح	83
+الق	83
+ون	82
+دو	82
+يم	81
+_با	81
+لص	79
+تم	78
+تر	78
+لج	77
+لة	77
+إلى	77
+ني	77
+مت	77
+دا	77
+دة	77
+اء_	76
+بر	76
+دة_	75
+لش	75
+لة_	75
+بال	75
+اح	75
+ممل	74
+الج	73
+ق_	73
+سا	72
+نو	72
+لد	72
+تو	72
+لغ	72
+_أن	72
+مة	71
+صا	71
+تع	70
+مة_	70
+لمم	70
+الص	70
+لعر	69
+تص	69
+عي	69
+ست	69
+اس	69
+ير_	68
+ور	68
+لي_	68
+لكة	68
+حد	68
+إن	68
+يو	68
+_و_	68
+ربي	68
+لو	67
+جا	67
+الش	67
+قا	66
+ال_	66
+ما_	66
+كم	66
+وب	66
+قر	65
+تي	65
+الد	65
+ز_	65
+اف	65
+مس	64
+الن	64
+الي	63
+خل	63
+ون_	63
+لك_	63
+يد	63
+لخ	63
+بن	63
+الخ	62
+هم	62
+ط_	62
+لف	62
+_مل	61
+قي	61
+_ج	61
+بع	60
+تق	59
+اد_	59
+مد	59
+كان	59
+عرب	59
+_ش	58
+ود_	58
+ان_	58
+بية	58
+مو	58
+نها	58
+_وي	57
+قد	57
+ته	57
+س_	56
+_مع	56
+اب	55
+أن_	55
+_ر	55
+لية	54
+خا	54
+يل	54
+رو	54
+جد	54
+ض_	54
+لا_	53
+زي	53
+أس	52
+حا	52
+ئي	51
+له	51
+تح	51
+ً	50
+تب	50
+يت	50
+بين	50
+تل	49
+ضا	49
+ملي	49
+وع	48
+ارة	48
+مط	48
+دم	48
+حل	48
+يع	48
+أو	47
+نف	47
+قة	47
+حر	47
+بة_	46
+در_	46
+حي	46
+رق	46
+إم	46
+قة_	46
+بة	46
+رات	46
+عة	45
+أم	45
+صد	45
+يس	45
+وه	45
+حو	45
+وف	45
+مال	45
+كل	44
+بد	44
+ول_	44
+قل	44
+اق	44
+هو	44
+رك	44
+_د	44
+الو	44
+طق	44
+عة_	44
+لم_	44
+يا_	44
+_بن	43
+لعا	43
+صل	43
+_بي	43
+ح_	42
+كو	42
+مح	42
+وج	42
+_وم	42
+لذ	42
 طار	41
-ّ	41
-رو	40
-ول_	40
-س_	40
+إما	41
+تا	41
+تي_	41
+_خ	41
+هد	41
+لمن	41
+رت	40
+ة،_	40
 مطا	40
-تب	40
-نها	39
-ضا	39
-اق	39
-حر	39
-وف	38
-يت	38
-رم	38
-ح_	38
-ارة	38
-مح	37
-ان_	37
-ة،	37
-لعا	37
-ة،_	37
-يس	37
-رات	37
-قي	36
-أو	36
-أس	36
-مال	36
-_وم	36
-اب	36
-إن	36
-وع	35
-_ر	35
-حي	35
-فا	35
-قة	35
-لك_	35
-ته	35
-بين	34
-له	34
-تح	34
-هم	34
-طق	34
-دم	34
-اض	34
-خل	34
-قة_	34
-قل	34
-طو	34
-أم	33
-لمن	33
-جد	33
-_ط	33
-نة	33
-لشر	33
-يه	33
-نية	33
-_،	33
-صل	33
-تت	33
-_بي	32
-_كم	32
-تا	32
-_مع	32
-_مط	32
-يق	31
-نة_	31
-از	31
-دة	31
-رت	31
-ث_	31
-_،_	31
-ظ	31
-هي	31
-_أن	31
-نف	31
-وس	31
-لط	31
-الغ	31
-ليم	31
-شم	31
-رية	31
-كان	31
-كو	30
-دول	30
-بة_	30
-ً_	30
-أك	30
-لذ	30
-در_	30
-بر_	30
-اً	30
-_د	30
-عن	30
-رك	30
-بة	30
-طن	29
-اص	29
-الو	29
-عب	29
-ائي	29
-رض	29
-دة_	29
-_م_	29
-حلي	29
-نط	29
-_عن	29
-سب	29
-لخا	29
-حت	29
-يد_	28
-هو	28
-حا	28
-ليو	28
-دن	28
-سل	28
-_مر	28
-اً_	28
-عية	28
-يم_	28
-ود_	28
-ًا	28
-_بع	28
-بد	28
-ميا	28
-ساح	28
+الا	40
+ة،	40
+ّ	40
+دول	40
+رية	40
+عن	40
+هم_	40
+بن_	40
+يد_	40
+اض	40
+سب	39
+يق	39
+_سع	39
+ظ	39
+طو	39
+رم	39
+نية	39
+سل	39
+تت	39
+وأ	39
+عب	38
+لإن	38
+_وه	38
+صاد	38
+الذ	38
+الغ	38
+_وأ	38
+مية	38
+اي	37
+بت	37
+اه	37
+يه	37
+فا	37
+هي	37
+_عد	37
+_كا	36
+ج_	36
+_كم	36
+_مس	36
+_عن	36
+نج	36
+كل_	36
+لط	36