simhash 0.2.3 → 0.2.4

data/Rakefile

@@ -1,7 +1,6 @@
 require 'rake'
 require 'rake/testtask'
 require 'rake/rdoctask'
-require 'rake/extensiontask'
 
 $LOAD_PATH << File.join(File.dirname(__FILE__), 'lib')
 require 'simhash'
@@ -9,11 +8,9 @@ require 'simhash'
 desc 'Default: run unit tests.'
 task :default => [:test]
 
-Rake::ExtensionTask.new('string_hashing')
-
 desc 'Test the simhash gem'
 Rake::TestTask.new(:test) do |t|
-  t.libs << 'lib'
+  t.libs << '.'
   t.pattern = 'test/**/*_test.rb'
   t.verbose = true
 end

data/ext/string_hashing/extconf.rb

@@ -37,7 +37,7 @@ if RUBY_PLATFORM.include?( 'darwin' )
   end
 end
 
-if find_header("gmp.h")
+if (find_header("gmp.h") rescue false)
   $stderr.puts "Configuring extensions"
   dir_config(extension_name)
   create_makefile(extension_name)

data/ext/string_hashing/string_hashing.c

@@ -19,14 +19,14 @@ VALUE method_hash_vl(VALUE self, VALUE bitlength) {
     unsigned char one_char;
     char* result;
     result = malloc(bl*sizeof(char));
-	unsigned long long len = RSTRING(self)->len;
-    char *string = RSTRING(self)->ptr;
+    unsigned long long len = RSTRING_LEN(self);
+    char *string = RSTRING_PTR(self);
 
-	if(len == 0){ return 0; }
+    if(len == 0){ return 0; }
 
-	mpz_t x, mask, long_len;
+    mpz_t x, mask, long_len;
     mpz_init_set_ui (long_len, len);
-    one_char = RSTRING(self)->ptr[0];
+    one_char = RSTRING_PTR(self)[0];
     mpz_init_set_ui (x, one_char << 7);
     int m = 1000003; 
     
@@ -47,8 +47,9 @@ VALUE method_hash_vl(VALUE self, VALUE bitlength) {
         mpz_xor(computations, computations, byte);
         mpz_and (x, mask, computations);
     }
-
+    
     mpz_xor(x, x, long_len);
+    //gmp_printf ("C xored x is %Zd\n", x);
     mpz_get_str (result, 10, x);
     VALUE res = rb_str_new2(result);
 
@@ -59,5 +60,5 @@ VALUE method_hash_vl(VALUE self, VALUE bitlength) {
     mpz_clear(long_len);
     free(result);
     
-	return res;
+    return res;
 }

data/lib/simhash.rb

@@ -1,4 +1,4 @@
-$KCODE = 'u' 
+# encoding: utf-8
 
 require 'active_support/core_ext/string/multibyte'
 require 'unicode'
@@ -12,9 +12,10 @@ begin
 rescue LoadError
 end
 
-
 module Simhash  
   DEFAULT_STRING_HASH_METHOD = String.public_instance_methods.include?("hash_vl") ? :hash_vl : :hash_vl_rb
+  PUNCTUATION_REGEXP = /(\s|\d|\W|\302\240| *— *|[«»…\-–—]| )+/u
+  
   
   def self.hash(tokens, options={})
     hashbits = options[:hashbits] || 64
@@ -43,7 +44,7 @@ module Simhash
     stop_sentenses = options[:stop_sentenses]
     tokens.each do |token|
       # cutting punctuation (\302\240 is unbreakable space)
-      token = token.gsub(/(\s|\d|\W|\302\240| *— *|[«»\…\-\–\—]| )+/u,' ') if !options[:preserve_punctuation]
+      token = token.gsub(PUNCTUATION_REGEXP, ' ') if !options[:preserve_punctuation]
       
       token = Unicode::downcase(token.strip)
       

data/lib/simhash/stopwords/ru.rb

@@ -1,3 +1,4 @@
+# encoding: utf-8
 module Simhash
   module Stopwords
     RU = " а е и ж м о на не ни об но он мне мои мож она они оно мной много многочисленное многочисленная многочисленные многочисленный мною мой мог могут можно может можхо мор моя моё мочь над нее оба нам нем нами ними мимо немного одной одного менее однажды однако меня нему меньше ней наверху него ниже мало надо один одиннадцать одиннадцатый назад наиболее недавно миллионов недалеко между низко меля нельзя нибудь непрерывно наконец никогда никуда нас наш нет нею неё них мира наша наше наши ничего начала нередко несколько обычно опять около мы ну нх от отовсюду особенно нужно очень отсюда в во вон вниз внизу вокруг вот восемнадцать восемнадцатый восемь восьмой вверх вам вами важное важная важные важный вдали везде ведь вас ваш ваша ваше ваши впрочем весь вдруг вы все второй всем всеми времени время всему всего всегда всех всею всю вся всё всюду г год говорил говорит года году где да ее за из ли же им до по ими под иногда довольно именно долго позже более должно пожалуйста значит иметь больше пока ему имя пор пора потом потому после почему почти посреди ей два две двенадцать двенадцатый двадцать двадцатый двух его дел или без день занят занята занято заняты действительно давно девятнадцать девятнадцатый девять девятый даже алло жизнь далеко близко здесь дальше для лет зато даром первый перед затем зачем лишь десять десятый ею её их бы еще при был про процентов против просто бывает бывь если люди была были было будем будет будете будешь прекрасно буду будь будто будут ещё пятнадцать пятнадцатый друго другое другой другие другая других есть пять быть лучше пятый к ком конечно кому кого когда которой которого которая которые который которых кем каждое каждая каждые каждый кажется как какой какая кто кроме куда кругом с т у я та те уж со то том снова тому совсем того тогда тоже собой тобой собою тобою сначала только уметь тот тою хорошо хотеть хочешь хоть хотя свое свои твой своей своего своих свою твоя твоё раз уже сам там тем чем сама сами теми само рано самом самому самой самого семнадцать семнадцатый самим самими самих саму семь чему раньше сейчас чего сегодня себе тебе сеаой человек разве теперь себя тебя седьмой спасибо слишком так такое такой такие также такая сих тех чаще четвертый через часто шестой шестнадцать шестнадцатый шесть четыре четырнадцать четырнадцатый сколько сказал сказала сказать ту ты три эта эти что это чтоб этом этому этой этого чтобы этот стал туда этим этими рядом тринадцать тринадцатый этих третий тут эту суть чуть тысяч "

data/lib/string.rb

@@ -7,12 +7,12 @@ class String
   def hash_vl_rb(length)
     return 0 if self == ""
 
-    x = self[0] << 7
+    x = self.bytes.first << 7
     m = 1000003
     mask = (1<<length) - 1
-    self.each_byte{ |char| x = ((x * m) ^ char) & mask }
-      
-    x ^= self.size
+    self.each_byte{ |char| x = ((x * m) ^ char.to_i) & mask }
+
+    x ^= self.bytes.count
     x = -2 if x == -1
     x
   end

metadata

@@ -1,13 +1,13 @@
 --- !ruby/object:Gem::Specification 
 name: simhash
 version: !ruby/object:Gem::Version 
-  hash: 17
-  prerelease: false
+  hash: 31
+  prerelease: 
   segments: 
   - 0
   - 2
-  - 3
-  version: 0.2.3
+  - 4
+  version: 0.2.4
 platform: ruby
 authors: 
 - Alex Gusev
@@ -15,7 +15,7 @@ autorequire:
 bindir: bin
 cert_chain: []
 
-date: 2011-01-20 00:00:00 +03:00
+date: 2011-04-06 00:00:00 +04:00
 default_executable: 
 dependencies: 
 - !ruby/object:Gem::Dependency 
@@ -98,7 +98,7 @@ required_rubygems_version: !ruby/object:Gem::Requirement
 requirements: []
 
 rubyforge_project: simhash
-rubygems_version: 1.3.7
+rubygems_version: 1.6.2
 signing_key: 
 specification_version: 3
 summary: "Gives you possbility to convert string into simhashes to futher use: finding near-duplicates, similar strings, etc."