tre-ruby 0.1.0 → 0.1.1

data/VERSION

@@ -1 +1 @@
-0.1.0
+0.1.1

data/ext/tre/tre.c

@@ -1,4 +1,5 @@
 #include "ruby.h"
+#include "ruby/version.h"
 #include "tre/tre.h"
 
 VALUE mTRE;
@@ -81,6 +82,14 @@ tre_compile_regex(regex_t* preg, VALUE pattern, VALUE ignore_case, VALUE multi_l
 	}
 }
 
+#if RUBY_VERSION_MAJOR == 1 && RUBY_VERSION_MINOR == 8
+	#define CHAR_LENGTH(string)       RSTRING_LEN(string)
+	#define BYTE_TO_CHAR(string, bo)  bo
+#else
+	#define CHAR_LENGTH(string)       NUM2LONG( rb_str_length(string) ) 
+	#define BYTE_TO_CHAR(string, bo)  rb_str_sublen(string, bo)
+#endif
+
 static VALUE
 tre_traverse(VALUE pattern, VALUE string, long char_offset, VALUE params,
 		VALUE ignore_case, VALUE multi_line, int num_captures, VALUE repeat) {
@@ -107,18 +116,19 @@ tre_traverse(VALUE pattern, VALUE string, long char_offset, VALUE params,
 
 	while (1) {
 		// Get substring to start with
-		long len = RSTRING_LEN(string) - char_offset;
-		if (char_offset >= len) break;
-		string = rb_str_substr(string, char_offset, len);
+		long char_len = CHAR_LENGTH(string) - char_offset;
+		if (char_len <= 0) break;
+		string = rb_str_substr(string, char_offset, char_len);
 
-		int result = tre_reganexec(&preg, StringValuePtr(string), len, &match, aparams, 0);
+		int result = tre_reganexec(&preg, StringValuePtr(string), 
+											RSTRING_LEN(string), &match, aparams, 0);
 
 		if (result == REG_NOMATCH) break;
 
 		// Fill in array with ranges
 		VALUE subarr;
 		if (match.nmatch == 1) 
-			subarr = arr;	// Fake
+			subarr = arr;	// Faking.. kind of.
 		else {
 			subarr = rb_ary_new();
 			// rb_global_variable(&subarr);
@@ -126,12 +136,14 @@ tre_traverse(VALUE pattern, VALUE string, long char_offset, VALUE params,
 
 		unsigned int i;
 		for (i = 0; i < match.nmatch; ++i)
+			// No match
 			if (match.pmatch[i].rm_so == -1)
 				rb_ary_push(subarr, Qnil);
+			// Match => Range
 			else {
 				VALUE range = rb_range_new(
-						LONG2NUM( char_offset_acc + rb_str_sublen(string, match.pmatch[i].rm_so) ),
-						LONG2NUM( char_offset_acc + rb_str_sublen(string, match.pmatch[i].rm_eo) ),
+						LONG2NUM( char_offset_acc + BYTE_TO_CHAR(string, match.pmatch[i].rm_so) ),
+						LONG2NUM( char_offset_acc + BYTE_TO_CHAR(string, match.pmatch[i].rm_eo) ),
 						1);
 				// rb_global_variable(&range);
 
@@ -143,7 +155,7 @@ tre_traverse(VALUE pattern, VALUE string, long char_offset, VALUE params,
 		if (repeat == Qfalse)
 			break;
 		else {
-			char_offset = rb_str_sublen(string, match.pmatch[0].rm_eo);
+			char_offset = BYTE_TO_CHAR(string, match.pmatch[0].rm_eo);
 			if (char_offset == 0) char_offset = 1; // Weird case
 			char_offset_acc += char_offset;
 		}

data/lib/tre-ruby.rb

@@ -160,7 +160,8 @@ private
 			opts &= ~Regexp::MULTILINE
 			ret[:ignore_case] = (opts & Regexp::IGNORECASE) > 0
 			opts &= ~Regexp::IGNORECASE
-			opts &= ~Regexp::FIXEDENCODING # FIXME
+			opts &= ~Regexp::FIXEDENCODING if 
+					Regexp.constants.map { |c| c.to_s }.include? "FIXEDENCODING"
 			raise ArgumentError.new("Unsupported Regexp flag provided") if opts > 0
 
 			# Pessimistic estimation of the number of captures

data/test/test_tre-ruby.rb

@@ -76,7 +76,7 @@ class TestTRE < Test::Unit::TestCase
 		assert_equal nil, TWISTER.aindex(/toult/i, 0, params)
 
 		# Frozen: cannot modify
-		assert_raise(RuntimeError) { params.max_err = 2 }
+		assert_raise(RUBY_VERSION =~ /^1.8/ ? TypeError : RuntimeError) { params.max_err = 2 }
 
 		# Warm AParams
 		params = TRE::AParams.new
@@ -176,6 +176,52 @@ class TestTRE < Test::Unit::TestCase
 		assert_not_equal copy, TWISTER
 	end
 
+	def test_multibyte
+		$KCODE = 'u' if RUBY_VERSION =~ /^1.8/
+		lyric = "
+			사랑을 한다는 말은 못했어
+			어쨌거나 지금은 너무 늦어버렸어
+			그때 나는 무얼 하고 있었나
+			그 미소는 너무 아름다웠어
+			난 정말 그대 그대만을 좋아헀어
+			나에게 이런 슬픔 안겨 주는 그대여
+			제발 이별만은 말 하지 말아요
+			나에겐 오직 그대만이 전부였잖아
+			오 그대여 가지 마세요
+			나를 정말 떠나 가나요
+			오 그대여 가지 마세요
+			나는 지금 울잖아요
+			난 알아요
+			이 밤이 흐르면 YO!
+			그대 떠나는 모습 뒤로 하고
+			마지막 키스에 슬픈 마음
+			정말 떠나는가
+			사랑을 하고 싶어 너의 모든 향기
+			내 몸 속에 젖어 있는 너의 많은 숨결
+			그 미소 그 눈물 그 알 수 없는 마음 그대 마음
+			그리고 또 마음 그대 마음
+			그 어렵다는 편지는 쓰지 않아도 돼
+			너의 진실한 모습을 바라보고 있어요
+			아직도 마음속엔 내가 있나요
+			나는 그대의 영원한
+			난 정말 그대 그대만을 좋아했어
+			나에게 이런 슬픔 안겨주는 그대여
+			오 그대여 가지 마세요
+			나를 정말 떠나 가나요
+			오 그대여 가지 마세요
+			나는 지금 울잖아요
+			오 그대여 가지 마세요
+			나를 정말 떠나 가나요
+			오 그대여 가지 마세요
+			나는 지금 울잖아요"
+		srch = "오 그대여 가지 마세요"
+		assert_equal 6,
+			lyric.extend(TRE).ascan_r(/#{srch}/i, TRE.fuzziness(0)).length
+		assert_equal 6,
+			lyric.extend(TRE).ascan(/#{srch}/i, TRE.fuzziness(0)).length
+		assert lyric.extend(TRE).ascan(/#{srch}/i, TRE.fuzziness(0)).all? { |e| e == srch }
+	end
+
 	TWISTER = TREString.new <<-EOF
 		She sells sea shells by the sea shore.
 		The shells she sells are surely seashells.

metadata

@@ -1,7 +1,7 @@
 --- !ruby/object:Gem::Specification
 name: tre-ruby
 version: !ruby/object:Gem::Version
-  version: 0.1.0
+  version: 0.1.1
   prerelease: 
 platform: ruby
 authors:
@@ -9,11 +9,11 @@ authors:
 autorequire: 
 bindir: bin
 cert_chain: []
-date: 2011-04-12 00:00:00.000000000Z
+date: 2011-04-20 00:00:00.000000000Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: bundler
-  requirement: &2153038680 !ruby/object:Gem::Requirement
+  requirement: &2156453820 !ruby/object:Gem::Requirement
     none: false
     requirements:
     - - ~>
@@ -21,10 +21,10 @@ dependencies:
         version: 1.0.0
   type: :development
   prerelease: false
-  version_requirements: *2153038680
+  version_requirements: *2156453820
 - !ruby/object:Gem::Dependency
   name: jeweler
-  requirement: &2153037520 !ruby/object:Gem::Requirement
+  requirement: &2156452860 !ruby/object:Gem::Requirement
     none: false
     requirements:
     - - ~>
@@ -32,10 +32,10 @@ dependencies:
         version: 1.5.2
   type: :development
   prerelease: false
-  version_requirements: *2153037520
+  version_requirements: *2156452860
 - !ruby/object:Gem::Dependency
   name: rcov
-  requirement: &2153036080 !ruby/object:Gem::Requirement
+  requirement: &2156451820 !ruby/object:Gem::Requirement
     none: false
     requirements:
     - - ! '>='
@@ -43,10 +43,10 @@ dependencies:
         version: '0'
   type: :development
   prerelease: false
-  version_requirements: *2153036080
+  version_requirements: *2156451820
 - !ruby/object:Gem::Dependency
   name: rake-compiler
-  requirement: &2153024580 !ruby/object:Gem::Requirement
+  requirement: &2156450920 !ruby/object:Gem::Requirement
     none: false
     requirements:
     - - ! '>='
@@ -54,7 +54,7 @@ dependencies:
         version: 0.7.7
   type: :development
   prerelease: false
-  version_requirements: *2153024580
+  version_requirements: *2156450920
 description: Ruby binding for TRE library. Provides interface for approximate regular
   expression matching.
 email: junegunn.c@gmail.com
@@ -91,7 +91,7 @@ required_ruby_version: !ruby/object:Gem::Requirement
       version: '0'
       segments:
       - 0
-      hash: -2920886793274010137
+      hash: -2151247154818609627
 required_rubygems_version: !ruby/object:Gem::Requirement
   none: false
   requirements: