simhash 0.0.1 → 0.0.3

data/lib/simhash/stopwords/en.rb

@@ -0,0 +1,5 @@
+module Simhash
+  module Stopwords
+    EN = %w{a able about above abst accordance according accordingly across act actually added adj adopted affected affecting affects after afterwards again against ah all almost alone along already also although always am among amongst an and announce another any anybody anyhow anymore anyone anything anyway anyways anywhere apparently approximately are aren arent arise around as aside ask asking at auth available away awfully b back be became because become becomes becoming been before beforehand begin beginning beginnings begins behind being believe below beside besides between beyond biol both brief briefly but by c ca came can cannot can't cause causes certain certainly co com come comes contain containing contains could couldnt d date did didn't different do does doesn't doing done don't down downwards due during e each ed edu effect eg eight eighty either else elsewhere end ending enough especially et et-al etc even ever every everybody everyone everything everywhere ex except f far few ff fifth first five fix followed following follows for former formerly forth found four from further furthermore g gave get gets getting give given gives giving go goes gone got gotten h had happens hardly has hasn't have haven't having he hed hence her here hereafter hereby herein heres hereupon hers herself hes hi hid him himself his hither home how howbeit however hundred i id ie if i'll im immediate immediately importance important in inc indeed index information instead into invention inward is isn't it itd it'll its itself i've j just k keep keeps kept keys kg km know known knows l largely last lately later latter latterly least less lest let lets like liked likely line little 'll look looking looks ltd m made mainly make makes many may maybe me mean means meantime meanwhile merely mg might million miss ml more moreover most mostly mr mrs much mug must my myself n na name namely nay nd near nearly necessarily necessary need needs neither never nevertheless new next nine ninety no nobody non none nonetheless noone nor normally nos not noted nothing now nowhere o obtain obtained obviously of off often oh ok okay old omitted on once one ones only onto or ord other others otherwise ought our ours ourselves out outside over overall owing own p page pages part particular particularly past per perhaps placed please plus poorly possible possibly potentially pp predominantly present previously primarily probably promptly proud provides put q que quickly quite qv r ran rather rd re readily really recent recently ref refs regarding regardless regards related relatively research respectively resulted resulting results right run s said same saw say saying says sec section see seeing seem seemed seeming seems seen self selves sent seven several shall she shed she'll shes should shouldn't show showed shown showns shows significant significantly similar similarly since six slightly so some somebody somehow someone somethan something sometime sometimes somewhat somewhere soon sorry specifically specified specify specifying state states still stop strongly sub substantially successfully such sufficiently suggest sup sure t take taken taking tell tends th than thank thanks thanx that that'll thats that've the their theirs them themselves then thence there thereafter thereby thered therefore therein there'll thereof therere theres thereto thereupon there've these they theyd they'll theyre they've think this those thou though thoughh thousand throug through throughout thru thus til tip to together too took toward towards tried tries truly try trying ts twice two u un under unfortunately unless unlike unlikely until unto up upon ups us use used useful usefully usefulness uses using usually v value various 've very via viz vol vols vs w want wants was wasn't way we wed welcome we'll went were weren't we've what whatever what'll whats when whence whenever where whereafter whereas whereby wherein wheres whereupon wherever whether which while whim whither who whod whoever whole who'll whom whomever whos whose why widely willing wish with within without won't words world would wouldn't www x y yes yet you youd you'll your youre yours yourself yourselves you've z zero}
+  end
+end

data/lib/simhash/stopwords/ru.rb

@@ -0,0 +1,5 @@
+module Simhash
+  module Stopwords
+    RU = %w{а е и ж м о на не ни об но он мне мои мож она они оно мной много многочисленное многочисленная многочисленные многочисленный мною мой мог могут можно может можхо мор моя моё мочь над нее оба нам нем нами ними мимо немного одной одного менее однажды однако меня нему меньше ней наверху него ниже мало надо один одиннадцать одиннадцатый назад наиболее недавно миллионов недалеко между низко меля нельзя нибудь непрерывно наконец никогда никуда нас наш нет нею неё них мира наша наше наши ничего начала нередко несколько обычно опять около мы ну нх от отовсюду особенно нужно очень отсюда в во вон вниз внизу вокруг вот восемнадцать восемнадцатый восемь восьмой вверх вам вами важное важная важные важный вдали везде ведь вас ваш ваша ваше ваши впрочем весь вдруг вы все второй всем всеми времени время всему всего всегда всех всею всю вся всё всюду г год говорил говорит года году где да ее за из ли же им до по ими под иногда довольно именно долго позже более должно пожалуйста значит иметь больше пока ему имя пор пора потом потому после почему почти посреди ей два две двенадцать двенадцатый двадцать двадцатый двух его дел или без день занят занята занято заняты действительно давно девятнадцать девятнадцатый девять девятый даже алло жизнь далеко близко здесь дальше для лет зато даром первый перед затем зачем лишь десять десятый ею её их бы еще при был про процентов против просто бывает бывь если люди была были было будем будет будете будешь прекрасно буду будь будто будут ещё пятнадцать пятнадцатый друго другое другой другие другая других есть пять быть лучше пятый к ком конечно кому кого когда которой которого которая которые который которых кем каждое каждая каждые каждый кажется как какой какая кто кроме куда кругом с т у я та те уж со то том снова тому совсем того тогда тоже собой тобой собою тобою сначала только уметь тот тою хорошо хотеть хочешь хоть хотя свое свои твой своей своего своих свою твоя твоё раз уже сам там тем чем сама сами теми само рано самом самому самой самого семнадцать семнадцатый самим самими самих саму семь чему раньше сейчас чего сегодня себе тебе сеаой человек разве теперь себя тебя седьмой спасибо слишком так такое такой такие также такая сих тех чаще четвертый через часто шестой шестнадцать шестнадцатый шесть четыре четырнадцать четырнадцатый сколько сказал сказала сказать ту ты три эта эти что это чтоб этом этому этой этого чтобы этот стал туда этим этими рядом тринадцать тринадцатый этих третий тут эту суть чуть тысяч}
+  end
+end

data/lib/simhash/stopwords.rb

@@ -0,0 +1,8 @@
+require File.join(File.dirname(__FILE__), "stopwords", "en")
+require File.join(File.dirname(__FILE__), "stopwords", "ru")
+
+module Simhash
+  module Stopwords
+    ALL = RU + EN
+  end
+end

data/lib/simhash.rb

@@ -1,56 +1,35 @@
-class Simhash
-  attr_accessor :hashbits, :hash
-  def initialize(tokens='', hashbits=128)
-    self.hashbits = hashbits
-    self.hash = self.simhash(tokens)
-    hash
-  end
-  
-  def to_s
-    self.hash.to_s
-  end
-  
-  def to_i
-    self.hash.to_i
-  end
-  
-  def simhash(tokens)
-    v = [0] * self.hashbits
+#require 'rubygems'
+#require 'lingua/stemmer'
+$KCODE = 'u' 
+require 'active_support/core_ext/string/multibyte'
+require File.join(File.dirname(__FILE__), "simhash", "stopwords")
+
+module Simhash  
+  def self.hash(tokens, options={})
+    hashbits = options[:hashbits] || 64
+    
+    v = [0] * hashbits
     masks = v.dup
     masks.each_with_index {|e, i| masks[i] = (1 << i)}
+    
     tokens.each do |token|
-      hashed_token = token.hash_wl(self.hashbits)
+      token = token.gsub(/(\s|\d|\W)+/u,' ').strip
+      
+      next if token.size < 2 
+      next if options[:stop_words] && Stopwords::ALL.include?(token.strip.mb_chars.downcase)
+      
+      #token = Lingua.stemmer(token, :language => :ru)
+      hashed_token = token.hash_wl(hashbits)
       bitmask = 0
-      self.hashbits.times do |i|
+      hashbits.times do |i|
         v[i] += (hashed_token & masks[i]).zero? ? -1 : +1
       end
     end
    
     fingerprint = 0
 
-    self.hashbits.times { |i| fingerprint += 1 << i if v[i] >= 0 }  
+    hashbits.times { |i| fingerprint += 1 << i if v[i] >= 0 }  
       
     fingerprint    
   end
-  
-  def hamming_distance(other_hash)
-    self.hash.hamming_distance_to(other_hash.hash)
-  end
-
-  def string_hash(string)
-    if string == ""
-      return 0
-    else
-      x = string[0] << 7
-      m = 1000003
-      mask = (1<<self.hashbits) - 1
-      string.each_byte do |char| 
-        x = ((x * m) ^ char) & mask
-      end
-          
-      x ^= string.size
-      x = -2 if x == -1
-      x
-    end
-  end
 end

data/lib/string.rb

@@ -1,6 +1,6 @@
 class String
-  def simhash(hashbits=128)
-    Simhash.new(self.split, hashbits)
+  def simhash(options={})
+    Simhash.hash(self.split, options)
   end
   
   # string hash of predefined length

metadata

@@ -1,13 +1,13 @@
 --- !ruby/object:Gem::Specification 
 name: simhash
 version: !ruby/object:Gem::Version 
-  hash: 29
+  hash: 25
   prerelease: false
   segments: 
   - 0
   - 0
-  - 1
-  version: 0.0.1
+  - 3
+  version: 0.0.3
 platform: ruby
 authors: 
 - Alex Gusev
@@ -15,7 +15,7 @@ autorequire:
 bindir: bin
 cert_chain: []
 
-date: 2010-08-11 00:00:00 +04:00
+date: 2010-08-12 00:00:00 +04:00
 default_executable: 
 dependencies: []
 
@@ -33,6 +33,9 @@ files:
 - Rakefile
 - init.rb
 - lib/integer.rb
+- lib/simhash/stopwords/en.rb
+- lib/simhash/stopwords/ru.rb
+- lib/simhash/stopwords.rb
 - lib/simhash.rb
 - lib/string.rb
 - rails/init.rb