nokogiri 1.3.0 → 1.3.1

data/CHANGELOG.ja.rdoc

@@ -1,26 +1,46 @@
+=== 1.3.1 / ２００９年６月７日
+
+* バグの修正
+
+  * extconf.rb は任意のRelaxNGとSchemaの機能を探すようになった
+  * ドキュメントのノードキャッシュに名前空間のノードが入るようになった
+
 === 1.3.0 / ２００９年５月３０日
 
 * 新しい機能
 
-  * ビルダーはブロックのアリティによりスコープを変換出来るようになった
-  * ビルダーはアンダースコア、アンダーラインで終わるメソッドをtagzと同様の機能でサポートするようになった
-  * Nokogiri::XML::Node#<=> はドキュメントの位置によりノードを比較するようになった
-  * Nokogiri::XML::Node#matches?は与えられたセレクタ内でノードが認知されたらtrueを返す事が出来るようになった
-  * Nokogiri::XML::Node#ancestors はNokogiri::XML::NodeSetを返すようになった
-  * Nokogiri::XML::Node#ancestorsはオプションのセレクタに対応する親をマッチするようになった
-  * Nokogiri::HTML::Document#meta_encoding はメタデータのエンコードを返すようになった
-  * Nokogiri::HTML::Document#meta_encoding= はメタデータのエンコードを設定するようになった
-  * Nokogiri::XML::Document#encoding= はドキュメントのエンコードを設定するようになった
-  * Nokogiri::XML::Schema はドキュメントがXSDのスキーマに沿って記述されているかを検証するようになった
-  * Nokogiri::XML::RelaxNG はドキュメントがRelaxNGのスキーマに沿って記述されているかを検証するようになった
-  * Nokogiri::HTML::ElementDescription はHTML要素の説明フェッチ動作するようになった
-  * Nokogiri::XML::Node#descriptionは ノードの説明をフェッチ動作するようになった
+  * Builderがブロックの引数の数に応じてスコープが定まるようになった
+  * Builderがアンダースコアで終わるメソッドをtagzと同様にサポートするようになった
+  * Nokogiri::XML::Node#<=> がドキュメントの位置によりノードを比較するように
+    なった
+  * Nokogiri::XML::Node#matches?が与えられたセレクタ内でノードがあればtrue
+    を返すようになった
+  * Nokogiri::XML::Node#ancestors がNokogiri::XML::NodeSetオブジェクトを返すようになった
+  * Nokogiri::XML::Node#ancestorsがオプションのセレクタに対応する親をマッチする
+    ようになった
+  * Nokogiri::HTML::Document#meta_encoding がメタデータのエンコードを返すように
+    なった
+  * Nokogiri::HTML::Document#meta_encoding= でメタデータのエンコードを
+    設定できるようになった
+  * Nokogiri::XML::Document#encoding= でドキュメントのエンコードを
+    設定できるようになった
+  * Nokogiri::XML::Schema でドキュメントがXSDのスキーマに沿って記述されているか
+    を検証できるようになった
+  * Nokogiri::XML::RelaxNG でドキュメントがRelaxNGのスキーマに沿って
+    記述されているかを検証できるようになった
+  * Nokogiri::HTML::ElementDescription はHTML要素の説明フェッチ動作するよう
+    になった
+  * Nokogiri::XML::Node#descriptionは ノードの説明をフェッチ動作するよう
+    になった
   * Nokogiri::XML::Node#accept は Visitor パターンを実行するようになった
-  * bin/nokogiri にドキュメントを簡単に監査するようになった (Yataka HARAさんに感謝感激)
-  * Nokogiri::XML::NodeSetが更にArrayとEnumerableの演算をサポートするようになった:
-    index, delete, slice, - (差分), + (連結), & (共通部分),
-    push, pop, shift, ==
-  * Nokogiri.XML, Nokogiri.HTML はNokogiri::XML::ParseOptions objectと一緒に呼び出されるブロックを受け入れるようになった
+  * 簡単にドキュメントを解析するコマンド bin/nokogiri を追加
+    (Yataka HARAさんに感謝感激)
+  * Nokogiri::XML::NodeSetが更にArrayとEnumerableの演算を
+    サポートするようになった:
+      index, delete, slice, - (差分), + (連結), & (共通部分),
+      push, pop, shift, ==
+  * Nokogiri.XML, Nokogiri.HTML はNokogiri::XML::ParseOptions objectと一緒に
+    呼び出されるブロックを受け入れるようになった
   * Nokogiri::XML::Node#namespace は Nokogiri::XML::Namespaceを返すようになった
   * Nokogiri::XML::Node#namespaceはノードの名前空間を設定するようになった
   * FFI 経由で JRuby 1.3.0 をサポートするようになった
@@ -28,13 +48,15 @@
 * バグの修正
 
   * nilがCDATAsonstructorに渡される際の問題を修正
-  * Fragment メソッドが正規表現を抜け出させるようになった (Thanks Joel!) (LH #73)
+  * Fragment メソッドが正規表現を抜け出させるようになった
+    (Joelさんに感謝感激) (LH #73)
   * Builder スコープのLH #61, LH #74, LH #70に関しての様々な問題を修正
   * 名前空間を付け加える時、名前空間が LH#78より除去されてしまう問題を修正
   * 連結しないノードが発生し、再育成してしまう問題を修正(GH#22)
   * XSLT が解析中にエラーを発見し損なう問題を修正(GH#32)
   * CSS selectors内での条件属性のバグ問題を修正(GH#36)
-  * Node#before/after/inner_html=で値なしのHTML属性が受け入れられなかった問題を修正　(GH#35)
+  * Node#before/after/inner_html=で値なしのHTML属性が受け入れられなかった問題を
+    修正　(GH#35)
 
 === 1.2.3 / ２００９年３月２２日
 
@@ -53,13 +75,13 @@
 
   * Nokogiri は soap4r と一緒に使う事が可能。(XSD::XMLParser::Nokogiri 参照)
   * Nokogiri::XML::Node#inner_html= はノードの中のHTMLをセット出来る
-  * Nokogiriのビルダーのインタフェースの改良
+  * NokogiriのBuilderのインタフェースの改良
   * Nokogiri::XML::Node#swap　は、現在のノードに新しいhtmlを交換する事が出来る
 
 
 * バグの修正
 
-  * ビルダーAPIのタグのネスティングを修正 (LH #41)
+  * BuilderAPIのタグのネスティングを修正 (LH #41)
   * Nokogiri::HTML.fragment はテキストだけのノードを適切に扱う事が出来る(LH #43)
   * Nokogiri::XML::Node#before はテキストノードのはじめに挿入する事が出来る (LH #44)
   * Nokogiri::XML::Node#after はテキストノードの文末に挿入する事が出来る
@@ -184,7 +206,7 @@
 
   * 弱参照からドキュメント参照へのメモリー管理の変換
   * メモリリークに接続
-  * ビルダーブロックが取り囲んでいるコンテキストから
+  * Builderブロックが取り囲んでいるコンテキストから
     メソッドの呼び出しをする事が出来る
 
 === 1.0.3

data/CHANGELOG.rdoc

@@ -1,3 +1,10 @@
+=== 1.3.1 / 2009-06-07
+
+* Bugfixes
+
+  * extconf.rb checks for optional RelaxNG and Schema functions
+  * Namespace nodes are added to the Document node cache
+
 === 1.3.0 / 2009-05-30
 
 * New Features

data/README.ja.rdoc

@@ -8,7 +8,11 @@
 
 == DESCRIPTION:
 
-Nokogiri はHTMLやXMLやSAXやXSLTやReaderのパーサーです。
+Nokogiri はHTMLやXMLやSAXやXSLTやReaderのパーサーです。Nokogiri はドキュメント
+をXPath と CSS3 セレクター経由で検索する機能が特徴のひとつ。
+
+XMLは暴力に似ている - XMLが君の問題を解決しないとしたら、君はXMLを十分に
+使いこなしていない事になる。
 
 == FEATURES:
 

data/README.rdoc

@@ -8,7 +8,11 @@
 
 == DESCRIPTION:
 
-Nokogiri (鋸) is an HTML, XML, SAX, and Reader parser.
+Nokogiri (鋸) is an HTML, XML, SAX, and Reader parser.  Among Nokogiri's
+many features is the ability to search documents via XPath or CSS3 selectors.
+
+XML is like violence - if it doesn’t solve your problems, you are not using
+enough of it.
 
 == FEATURES:
 

data/Rakefile

@@ -29,7 +29,7 @@ HOE = Hoe.new('nokogiri', Nokogiri::VERSION) do |p|
   ]
 
   p.extra_dev_deps  << "racc"
-  p.extra_dev_deps  << "tenderlove-frex"
+  p.extra_dev_deps  << "rexical"
   p.extra_dev_deps  << "rake-compiler"
 
   p.spec_extras = { :extensions => ["ext/nokogiri/extconf.rb"] }
@@ -74,7 +74,7 @@ require "#{HOE.name}/\#{RUBY_VERSION.sub(/\\.\\d+$/, '')}/#{HOE.name}"
       eoruby
     end
     HOE.spec.extensions = []
-    HOE.spec.platform = 'i386-mingw32'
+    HOE.spec.platform = 'x86-mswin32'
     HOE.spec.files += Dir["lib/#{HOE.name}/#{HOE.name}.rb"]
     HOE.spec.files += Dir["lib/#{HOE.name}/1.{8,9}/*"]
     HOE.spec.files += Dir["ext/nokogiri/*.dll"]
@@ -119,7 +119,7 @@ file GENERATED_PARSER => "lib/nokogiri/css/parser.y" do |t|
   begin
     racc = `which racc`.strip
     racc = "#{::Config::CONFIG['bindir']}/racc" if racc.empty?
-    sh "#{racc} -o #{t.name} #{t.prerequisites.first}"
+    sh "#{racc} -l -o #{t.name} #{t.prerequisites.first}"
   rescue
     abort "need racc, sudo gem install racc"
   end
@@ -127,9 +127,9 @@ end
 
 file GENERATED_TOKENIZER => "lib/nokogiri/css/tokenizer.rex" do |t|
   begin
-    sh "frex --independent -o #{t.name} #{t.prerequisites.first}"
+    sh "rex --independent -o #{t.name} #{t.prerequisites.first}"
   rescue
-    abort "need frex, sudo gem install tenderlove-frex -s http://gems.github.com"
+    abort "need rexical, sudo gem install rexical"
   end
 end
 
@@ -190,15 +190,15 @@ unless windows || java || ENV['NOKOGIRI_FFI']
 end
 
 namespace :install do
-  desc "Install frex and racc for development"
-  task :deps => %w(frex racc)
+  desc "Install rex and racc for development"
+  task :deps => %w(rexical racc)
 
   task :racc do |t|
     sh "sudo gem install racc"
   end
 
-  task :frex do
-    sh "sudo gem install tenderlove-frex -s http://gems.github.com"
+  task :rexical do
+    sh "sudo gem install rexical"
   end
 end
 

data/ext/nokogiri/extconf.rb

@@ -22,17 +22,35 @@ end
 $CFLAGS << " -O3 -Wall -Wcast-qual -Wwrite-strings -Wconversion -Wmissing-noreturn -Winline"
 
 HEADER_DIRS = [
-  File.join(INCLUDEDIR, "libxml2"),
-  INCLUDEDIR,
+  # First search /opt/local for macports
+  '/opt/local/include',
+  '/opt/local/include/libxml2',
+
+  # Then search /usr/local for people that installed from source
+  '/usr/local/include',
   '/usr/local/include/libxml2',
+
+  # Check the ruby install locations
+  INCLUDEDIR,
+  File.join(INCLUDEDIR, "libxml2"),
+
+  # Finally fall back to /usr
+  '/usr/include',
   '/usr/include/libxml2',
 ]
 
 LIB_DIRS = [
-  LIBDIR,
+  # First search /opt/local for macports
   '/opt/local/lib',
+
+  # Then search /usr/local for people that installed from source
   '/usr/local/lib',
-  '/usr/lib'
+
+  # Check the ruby install locations
+  LIBDIR,
+
+  # Finally fall back to /usr
+  '/usr/lib',
 ]
 
 iconv_dirs = dir_config('iconv', '/opt/local/include', '/opt/local/lib')
@@ -80,6 +98,11 @@ unless find_library('exslt', 'exsltFuncRegister', *LIB_DIRS)
   abort "libxslt is missing.  try 'port install libxslt' or 'yum install libxslt-devel'"
 end
 
+have_func('xmlRelaxNGSetParserStructuredErrors')
+have_func('xmlRelaxNGSetValidStructuredErrors')
+have_func('xmlSchemaSetValidStructuredErrors')
+have_func('xmlSchemaSetParserStructuredErrors')
+
 if ENV['CPUPROFILE']
   unless find_library('profiler', 'ProfilerEnable', *LIB_DIRS)
     abort "google performance tools are not installed"

data/ext/nokogiri/nokogiri.h

@@ -12,6 +12,7 @@
 #include <libxml/xmlschemas.h>
 #include <libxml/HTMLparser.h>
 #include <libxml/HTMLtree.h>
+#include <libxml/relaxng.h>
 
 #ifdef USE_INCLUDED_VASPRINTF
 int vasprintf (char **strp, const char *fmt, va_list ap);

data/ext/nokogiri/xml_namespace.c

@@ -49,6 +49,11 @@ VALUE Nokogiri_wrap_xml_namespace(xmlDocPtr doc, xmlNsPtr node)
 
   VALUE ns = Data_Wrap_Struct(cNokogiriXmlNamespace, 0, 0, node);
 
+  VALUE document = DOC_RUBY_OBJECT(doc);
+
+  VALUE node_cache = rb_iv_get(document, "@node_cache");
+  rb_ary_push(node_cache, ns);
+
   rb_iv_set(ns, "@document", DOC_RUBY_OBJECT(doc));
 
   node->_private = (void *)ns;

data/ext/nokogiri/xml_node.c

@@ -807,57 +807,44 @@ VALUE Nokogiri_wrap_xml_node(VALUE klass, xmlNodePtr node)
   if(RTEST(klass))
     rb_node = Data_Wrap_Struct(klass, mark, debug_node_dealloc, node) ;
 
-  if(!RTEST(klass)) switch(node->type)
+  else switch(node->type)
   {
     case XML_ELEMENT_NODE:
       klass = cNokogiriXmlElement;
-      rb_node = Data_Wrap_Struct(klass, mark, debug_node_dealloc, node) ;
       break;
     case XML_TEXT_NODE:
       klass = cNokogiriXmlText;
-      rb_node = Data_Wrap_Struct(klass, mark, debug_node_dealloc, node) ;
+      break;
+    case XML_ATTRIBUTE_NODE:
+      klass = cNokogiriXmlAttr;
       break;
     case XML_ENTITY_REF_NODE:
       klass = cNokogiriXmlEntityReference;
-      rb_node = Data_Wrap_Struct(klass, mark, debug_node_dealloc, node) ;
       break;
     case XML_COMMENT_NODE:
       klass = cNokogiriXmlComment;
-      rb_node = Data_Wrap_Struct(klass, mark, debug_node_dealloc, node) ;
       break;
     case XML_DOCUMENT_FRAG_NODE:
       klass = cNokogiriXmlDocumentFragment;
-      rb_node = Data_Wrap_Struct(klass, mark, debug_node_dealloc, node) ;
       break;
     case XML_PI_NODE:
       klass = cNokogiriXmlProcessingInstruction;
-      rb_node = Data_Wrap_Struct(klass, mark, debug_node_dealloc, node) ;
-      break;
-    case XML_ATTRIBUTE_NODE:
-      klass = cNokogiriXmlAttr;
-      rb_node = Data_Wrap_Struct(klass, mark, debug_node_dealloc, node) ;
       break;
     case XML_ENTITY_DECL:
       klass = cNokogiriXmlEntityDeclaration;
-      rb_node = Data_Wrap_Struct(klass, mark, debug_node_dealloc, node) ;
       break;
     case XML_CDATA_SECTION_NODE:
       klass = cNokogiriXmlCData;
-      rb_node = Data_Wrap_Struct(klass, mark, debug_node_dealloc, node) ;
       break;
     case XML_DTD_NODE:
       klass = rb_const_get(mNokogiriXml, rb_intern("DTD"));
-      rb_node = Data_Wrap_Struct(klass, mark, debug_node_dealloc, node) ;
       break;
     default:
-      rb_node = Data_Wrap_Struct(
-          cNokogiriXmlNode,
-          mark,
-          debug_node_dealloc,
-          node
-      );
+      klass = cNokogiriXmlNode;
   }
 
+  rb_node = Data_Wrap_Struct(klass, mark, debug_node_dealloc, node) ;
+
   node->_private = (void *)rb_node;
 
   if (DOC_RUBY_OBJECT_TEST(node->doc) && DOC_RUBY_OBJECT(node->doc)) {
@@ -866,7 +853,6 @@ VALUE Nokogiri_wrap_xml_node(VALUE klass, xmlNodePtr node)
   }
 
   rb_ary_push(node_cache, rb_node);
-  //rb_iv_set(rb_node, "@document", document);
   rb_funcall(document, rb_intern("decorate"), 1, rb_node);
 
   return rb_node ;

data/ext/nokogiri/xml_relax_ng.c

@@ -30,13 +30,13 @@ static VALUE validate_document(VALUE self, VALUE document)
     rb_raise(rb_eRuntimeError, "Could not create a validation context");
   }
 
-  if (! is_2_6_16()) {
-    xmlRelaxNGSetValidStructuredErrors(
-      valid_ctxt,
-      Nokogiri_error_array_pusher,
-      (void *)errors
-    );
-  }
+#ifdef HAVE_XMLRELAXNGSETVALIDSTRUCTUREDERRORS
+  xmlRelaxNGSetValidStructuredErrors(
+    valid_ctxt,
+    Nokogiri_error_array_pusher,
+    (void *)errors
+  );
+#endif
 
   xmlRelaxNGValidateDoc(valid_ctxt, doc);
 
@@ -61,13 +61,13 @@ static VALUE read_memory(VALUE klass, VALUE content)
   VALUE errors = rb_ary_new();
   xmlSetStructuredErrorFunc((void *)errors, Nokogiri_error_array_pusher);
 
-  if (! is_2_6_16()) {
-    xmlRelaxNGSetParserStructuredErrors(
-      ctx,
-      Nokogiri_error_array_pusher,
-      (void *)errors
-    );
-  }
+#ifdef HAVE_XMLRELAXNGSETPARSERSTRUCTUREDERRORS
+  xmlRelaxNGSetParserStructuredErrors(
+    ctx,
+    Nokogiri_error_array_pusher,
+    (void *)errors
+  );
+#endif
 
   xmlRelaxNGPtr schema = xmlRelaxNGParse(ctx);
 

data/ext/nokogiri/xml_schema.c

@@ -30,13 +30,13 @@ static VALUE validate_document(VALUE self, VALUE document)
     rb_raise(rb_eRuntimeError, "Could not create a validation context");
   }
 
-  if (! is_2_6_16()) {
-    xmlSchemaSetValidStructuredErrors(
-      valid_ctxt,
-      Nokogiri_error_array_pusher,
-      (void *)errors
-    );
-  }
+#ifdef HAVE_XMLSCHEMASETVALIDSTRUCTUREDERRORS
+  xmlSchemaSetValidStructuredErrors(
+    valid_ctxt,
+    Nokogiri_error_array_pusher,
+    (void *)errors
+  );
+#endif
 
   xmlSchemaValidateDoc(valid_ctxt, doc);
 
@@ -62,13 +62,13 @@ static VALUE read_memory(VALUE klass, VALUE content)
   VALUE errors = rb_ary_new();
   xmlSetStructuredErrorFunc((void *)errors, Nokogiri_error_array_pusher);
 
-  if (! is_2_6_16()) {
-    xmlSchemaSetParserStructuredErrors(
-      ctx,
-      Nokogiri_error_array_pusher,
-      (void *)errors
-    );
-  }
+#ifdef HAVE_XMLSCHEMASETPARSERSTRUCTUREDERRORS
+  xmlSchemaSetParserStructuredErrors(
+    ctx,
+    Nokogiri_error_array_pusher,
+    (void *)errors
+  );
+#endif
 
   xmlSchemaPtr schema = xmlSchemaParse(ctx);
 

data/lib/nokogiri/css/generated_parser.rb

@@ -271,78 +271,59 @@ Racc_debug_parser = false
 
 # reduce 0 omitted
 
-module_eval(<<'.,.,', 'parser.y', 9)
-  def _reduce_1(val, _values, result)
-            result = [val.first, val.last].flatten
+def _reduce_1(val, _values, result)
+        result = [val.first, val.last].flatten
       
     result
-  end
-.,.,
+end
 
-module_eval(<<'.,.,', 'parser.y', 11)
-  def _reduce_2(val, _values, result)
-     result = val.flatten 
+def _reduce_2(val, _values, result)
+ result = val.flatten 
     result
-  end
-.,.,
+end
 
-module_eval(<<'.,.,', 'parser.y', 14)
-  def _reduce_3(val, _values, result)
-     result = :DIRECT_ADJACENT_SELECTOR 
+def _reduce_3(val, _values, result)
+ result = :DIRECT_ADJACENT_SELECTOR 
     result
-  end
-.,.,
+end
 
-module_eval(<<'.,.,', 'parser.y', 15)
-  def _reduce_4(val, _values, result)
-     result = :CHILD_SELECTOR 
+def _reduce_4(val, _values, result)
+ result = :CHILD_SELECTOR 
     result
-  end
-.,.,
+end
 
-module_eval(<<'.,.,', 'parser.y', 16)
-  def _reduce_5(val, _values, result)
-     result = :PRECEDING_SELECTOR 
+def _reduce_5(val, _values, result)
+ result = :PRECEDING_SELECTOR 
     result
-  end
-.,.,
+end
 
-module_eval(<<'.,.,', 'parser.y', 17)
-  def _reduce_6(val, _values, result)
-     result = :DESCENDANT_SELECTOR 
+def _reduce_6(val, _values, result)
+ result = :DESCENDANT_SELECTOR 
     result
-  end
-.,.,
+end
 
-module_eval(<<'.,.,', 'parser.y', 18)
-  def _reduce_7(val, _values, result)
-     result = :DESCENDANT_SELECTOR 
+def _reduce_7(val, _values, result)
+ result = :DESCENDANT_SELECTOR 
     result
-  end
-.,.,
+end
 
-module_eval(<<'.,.,', 'parser.y', 19)
-  def _reduce_8(val, _values, result)
-     result = :CHILD_SELECTOR 
+def _reduce_8(val, _values, result)
+ result = :CHILD_SELECTOR 
     result
-  end
-.,.,
+end
 
-module_eval(<<'.,.,', 'parser.y', 23)
-  def _reduce_9(val, _values, result)
-            result =  if val[1].nil?
+def _reduce_9(val, _values, result)
+        result =  if val[1].nil?
                     val.first
                   else
                     Node.new(:CONDITIONAL_SELECTOR, [val.first, val[1]])
                   end
       
     result
-  end
-.,.,
+end
 
-module_eval(<<'.,.,', 'parser.y', 30)
-  def _reduce_10(val, _values, result)
-            result = Node.new(:CONDITIONAL_SELECTOR,
+def _reduce_10(val, _values, result)
+        result = Node.new(:CONDITIONAL_SELECTOR,
           [
             val.first,
             Node.new(:COMBINATOR, [val[1], val.last])
@@ -350,30 +331,24 @@ module_eval(<<'.,.,', 'parser.y', 30)
         )
       
     result
-  end
-.,.,
+end
 
-module_eval(<<'.,.,', 'parser.y', 38)
-  def _reduce_11(val, _values, result)
-            result = Node.new(:CONDITIONAL_SELECTOR, val)
+def _reduce_11(val, _values, result)
+        result = Node.new(:CONDITIONAL_SELECTOR, val)
       
     result
-  end
-.,.,
+end
 
 # reduce 12 omitted
 
-module_eval(<<'.,.,', 'parser.y', 42)
-  def _reduce_13(val, _values, result)
-            result = Node.new(:CONDITIONAL_SELECTOR, val)
+def _reduce_13(val, _values, result)
+        result = Node.new(:CONDITIONAL_SELECTOR, val)
       
     result
-  end
-.,.,
+end
 
-module_eval(<<'.,.,', 'parser.y', 45)
-  def _reduce_14(val, _values, result)
-            result = Node.new(:CONDITIONAL_SELECTOR,
+def _reduce_14(val, _values, result)
+        result = Node.new(:CONDITIONAL_SELECTOR,
           [
             Node.new(:ELEMENT_NAME, ['*']),
             Node.new(:COMBINATOR, val)
@@ -381,162 +356,126 @@ module_eval(<<'.,.,', 'parser.y', 45)
         )
       
     result
-  end
-.,.,
+end
 
-module_eval(<<'.,.,', 'parser.y', 53)
-  def _reduce_15(val, _values, result)
-            result = Node.new(:CONDITIONAL_SELECTOR,
+def _reduce_15(val, _values, result)
+        result = Node.new(:CONDITIONAL_SELECTOR,
           [Node.new(:ELEMENT_NAME, ['*']), val.first]
         )
       
     result
-  end
-.,.,
+end
 
-module_eval(<<'.,.,', 'parser.y', 60)
-  def _reduce_16(val, _values, result)
-            result = Node.new(val[1], [val.first, val.last])
+def _reduce_16(val, _values, result)
+        result = Node.new(val[1], [val.first, val.last])
       
     result
-  end
-.,.,
+end
 
 # reduce 17 omitted
 
-module_eval(<<'.,.,', 'parser.y', 65)
-  def _reduce_18(val, _values, result)
-     result = Node.new(:CLASS_CONDITION, [val[1]]) 
+def _reduce_18(val, _values, result)
+ result = Node.new(:CLASS_CONDITION, [val[1]]) 
     result
-  end
-.,.,
+end
 
-module_eval(<<'.,.,', 'parser.y', 69)
-  def _reduce_19(val, _values, result)
-            result = Node.new(:ELEMENT_NAME,
+def _reduce_19(val, _values, result)
+        result = Node.new(:ELEMENT_NAME,
           [[val.first, val.last].compact.join(':')]
         )
       
     result
-  end
-.,.,
+end
 
-module_eval(<<'.,.,', 'parser.y', 74)
-  def _reduce_20(val, _values, result)
-            name = @namespaces.key?('xmlns') ? "xmlns:#{val.first}" : val.first
+def _reduce_20(val, _values, result)
+        name = @namespaces.key?('xmlns') ? "xmlns:#{val.first}" : val.first
         result = Node.new(:ELEMENT_NAME, [name])
       
     result
-  end
-.,.,
+end
 
-module_eval(<<'.,.,', 'parser.y', 77)
-  def _reduce_21(val, _values, result)
-     result = Node.new(:ELEMENT_NAME, val) 
+def _reduce_21(val, _values, result)
+ result = Node.new(:ELEMENT_NAME, val) 
     result
-  end
-.,.,
+end
 
-module_eval(<<'.,.,', 'parser.y', 80)
-  def _reduce_22(val, _values, result)
-     result = val[0] 
+def _reduce_22(val, _values, result)
+ result = val[0] 
     result
-  end
-.,.,
+end
 
 # reduce 23 omitted
 
-module_eval(<<'.,.,', 'parser.y', 85)
-  def _reduce_24(val, _values, result)
-            result = Node.new(:ATTRIBUTE_CONDITION,
+def _reduce_24(val, _values, result)
+        result = Node.new(:ATTRIBUTE_CONDITION,
           [Node.new(:ELEMENT_NAME, [val[1]])] + (val[2] || [])
         )
       
     result
-  end
-.,.,
+end
 
-module_eval(<<'.,.,', 'parser.y', 90)
-  def _reduce_25(val, _values, result)
-            result = Node.new(:ATTRIBUTE_CONDITION,
+def _reduce_25(val, _values, result)
+        result = Node.new(:ATTRIBUTE_CONDITION,
           [val[1]] + (val[2] || [])
         )
       
     result
-  end
-.,.,
+end
 
-module_eval(<<'.,.,', 'parser.y', 95)
-  def _reduce_26(val, _values, result)
-            # Non standard, but hpricot supports it.
+def _reduce_26(val, _values, result)
+        # Non standard, but hpricot supports it.
         result = Node.new(:PSEUDO_CLASS,
           [Node.new(:FUNCTION, ['nth-child(', val[1]])]
         )
       
     result
-  end
-.,.,
+end
 
-module_eval(<<'.,.,', 'parser.y', 103)
-  def _reduce_27(val, _values, result)
-            result = Node.new(:FUNCTION, [val.first.strip])
+def _reduce_27(val, _values, result)
+        result = Node.new(:FUNCTION, [val.first.strip])
       
     result
-  end
-.,.,
+end
 
-module_eval(<<'.,.,', 'parser.y', 106)
-  def _reduce_28(val, _values, result)
-            result = Node.new(:FUNCTION, [val.first.strip, val[1]].flatten)
+def _reduce_28(val, _values, result)
+        result = Node.new(:FUNCTION, [val.first.strip, val[1]].flatten)
       
     result
-  end
-.,.,
+end
 
-module_eval(<<'.,.,', 'parser.y', 109)
-  def _reduce_29(val, _values, result)
-            result = Node.new(:FUNCTION, [val.first.strip, val[1]].flatten)
+def _reduce_29(val, _values, result)
+        result = Node.new(:FUNCTION, [val.first.strip, val[1]].flatten)
       
     result
-  end
-.,.,
+end
 
-module_eval(<<'.,.,', 'parser.y', 112)
-  def _reduce_30(val, _values, result)
-            result = Node.new(:FUNCTION, [val.first.strip, val[1]].flatten)
+def _reduce_30(val, _values, result)
+        result = Node.new(:FUNCTION, [val.first.strip, val[1]].flatten)
       
     result
-  end
-.,.,
+end
 
-module_eval(<<'.,.,', 'parser.y', 116)
-  def _reduce_31(val, _values, result)
-     result = [val.first, val.last] 
+def _reduce_31(val, _values, result)
+ result = [val.first, val.last] 
     result
-  end
-.,.,
+end
 
-module_eval(<<'.,.,', 'parser.y', 117)
-  def _reduce_32(val, _values, result)
-     result = [val.first, val.last] 
+def _reduce_32(val, _values, result)
+ result = [val.first, val.last] 
     result
-  end
-.,.,
+end
 
-module_eval(<<'.,.,', 'parser.y', 118)
-  def _reduce_33(val, _values, result)
-     result = [val.first, val.last] 
+def _reduce_33(val, _values, result)
+ result = [val.first, val.last] 
     result
-  end
-.,.,
+end
 
 # reduce 34 omitted
 
 # reduce 35 omitted
 
-module_eval(<<'.,.,', 'parser.y', 123)
-  def _reduce_36(val, _values, result)
-            if val[0] == 'even'
+def _reduce_36(val, _values, result)
+        if val[0] == 'even'
           val = ["2","n","+","0"]
           result = Node.new(:AN_PLUS_B, val)
         elsif val[0] == 'odd'
@@ -551,24 +490,20 @@ module_eval(<<'.,.,', 'parser.y', 123)
         end
       
     result
-  end
-.,.,
+end
 
-module_eval(<<'.,.,', 'parser.y', 141)
-  def _reduce_37(val, _values, result)
-            if val[1] == 'n'
+def _reduce_37(val, _values, result)
+        if val[1] == 'n'
           result = Node.new(:AN_PLUS_B, val)
         else
           raise Racc::ParseError, "parse error on IDENT '#{val[1]}'"
         end
       
     result
-  end
-.,.,
+end
 
-module_eval(<<'.,.,', 'parser.y', 147)
-  def _reduce_38(val, _values, result)
-                   # n+3, -n+3
+def _reduce_38(val, _values, result)
+               # n+3, -n+3
         if val[0] == 'n'
           val.unshift("1")
           result = Node.new(:AN_PLUS_B, val)
@@ -581,12 +516,10 @@ module_eval(<<'.,.,', 'parser.y', 147)
         end
       
     result
-  end
-.,.,
+end
 
-module_eval(<<'.,.,', 'parser.y', 161)
-  def _reduce_39(val, _values, result)
-            if val[1] == 'n'
+def _reduce_39(val, _values, result)
+        if val[1] == 'n'
           val << "+"
           val << "0"
           result = Node.new(:AN_PLUS_B, val)
@@ -595,59 +528,46 @@ module_eval(<<'.,.,', 'parser.y', 161)
         end
       
     result
-  end
-.,.,
+end
 
-module_eval(<<'.,.,', 'parser.y', 172)
-  def _reduce_40(val, _values, result)
-            result = Node.new(:PSEUDO_CLASS, [val[1]])
+def _reduce_40(val, _values, result)
+        result = Node.new(:PSEUDO_CLASS, [val[1]])
       
     result
-  end
-.,.,
+end
 
-module_eval(<<'.,.,', 'parser.y', 174)
-  def _reduce_41(val, _values, result)
-     result = Node.new(:PSEUDO_CLASS, [val[1]]) 
+def _reduce_41(val, _values, result)
+ result = Node.new(:PSEUDO_CLASS, [val[1]]) 
     result
-  end
-.,.,
+end
 
 # reduce 42 omitted
 
 # reduce 43 omitted
 
-module_eval(<<'.,.,', 'parser.y', 182)
-  def _reduce_44(val, _values, result)
-            result = Node.new(:COMBINATOR, val)
+def _reduce_44(val, _values, result)
+        result = Node.new(:COMBINATOR, val)
       
     result
-  end
-.,.,
+end
 
-module_eval(<<'.,.,', 'parser.y', 185)
-  def _reduce_45(val, _values, result)
-            result = Node.new(:COMBINATOR, val)
+def _reduce_45(val, _values, result)
+        result = Node.new(:COMBINATOR, val)
       
     result
-  end
-.,.,
+end
 
-module_eval(<<'.,.,', 'parser.y', 188)
-  def _reduce_46(val, _values, result)
-            result = Node.new(:COMBINATOR, val)
+def _reduce_46(val, _values, result)
+        result = Node.new(:COMBINATOR, val)
       
     result
-  end
-.,.,
+end
 
-module_eval(<<'.,.,', 'parser.y', 191)
-  def _reduce_47(val, _values, result)
-            result = Node.new(:COMBINATOR, val)
+def _reduce_47(val, _values, result)
+        result = Node.new(:COMBINATOR, val)
       
     result
-  end
-.,.,
+end
 
 # reduce 48 omitted
 
@@ -657,85 +577,63 @@ module_eval(<<'.,.,', 'parser.y', 191)
 
 # reduce 51 omitted
 
-module_eval(<<'.,.,', 'parser.y', 199)
-  def _reduce_52(val, _values, result)
-     result = Node.new(:ID, val) 
+def _reduce_52(val, _values, result)
+ result = Node.new(:ID, val) 
     result
-  end
-.,.,
+end
 
-module_eval(<<'.,.,', 'parser.y', 202)
-  def _reduce_53(val, _values, result)
-     result = [val.first, val[1]] 
+def _reduce_53(val, _values, result)
+ result = [val.first, val[1]] 
     result
-  end
-.,.,
+end
 
-module_eval(<<'.,.,', 'parser.y', 203)
-  def _reduce_54(val, _values, result)
-     result = [val.first, val[1]] 
+def _reduce_54(val, _values, result)
+ result = [val.first, val[1]] 
     result
-  end
-.,.,
+end
 
 # reduce 55 omitted
 
-module_eval(<<'.,.,', 'parser.y', 207)
-  def _reduce_56(val, _values, result)
-     result = :equal 
+def _reduce_56(val, _values, result)
+ result = :equal 
     result
-  end
-.,.,
+end
 
-module_eval(<<'.,.,', 'parser.y', 208)
-  def _reduce_57(val, _values, result)
-     result = :prefix_match 
+def _reduce_57(val, _values, result)
+ result = :prefix_match 
     result
-  end
-.,.,
+end
 
-module_eval(<<'.,.,', 'parser.y', 209)
-  def _reduce_58(val, _values, result)
-     result = :suffix_match 
+def _reduce_58(val, _values, result)
+ result = :suffix_match 
     result
-  end
-.,.,
+end
 
-module_eval(<<'.,.,', 'parser.y', 210)
-  def _reduce_59(val, _values, result)
-     result = :substring_match 
+def _reduce_59(val, _values, result)
+ result = :substring_match 
     result
-  end
-.,.,
+end
 
-module_eval(<<'.,.,', 'parser.y', 211)
-  def _reduce_60(val, _values, result)
-     result = :not_equal 
+def _reduce_60(val, _values, result)
+ result = :not_equal 
     result
-  end
-.,.,
+end
 
-module_eval(<<'.,.,', 'parser.y', 212)
-  def _reduce_61(val, _values, result)
-     result = :includes 
+def _reduce_61(val, _values, result)
+ result = :includes 
     result
-  end
-.,.,
+end
 
-module_eval(<<'.,.,', 'parser.y', 213)
-  def _reduce_62(val, _values, result)
-     result = :dash_match 
+def _reduce_62(val, _values, result)
+ result = :dash_match 
     result
-  end
-.,.,
+end
 
-module_eval(<<'.,.,', 'parser.y', 217)
-  def _reduce_63(val, _values, result)
-            result = Node.new(:NOT, [val[1]])
+def _reduce_63(val, _values, result)
+        result = Node.new(:NOT, [val[1]])
       
     result
-  end
-.,.,
+end
 
 # reduce 64 omitted
 

data/lib/nokogiri/css/generated_tokenizer.rb

@@ -1,8 +1,8 @@
-#
+#--
 # DO NOT MODIFY!!!!
-# This file is automatically generated by rex 1.0.1
+# This file is automatically generated by rex 1.0.3
 # from lexical definition file "lib/nokogiri/css/tokenizer.rex".
-#
+#++
 
 module Nokogiri
 module CSS
@@ -122,7 +122,7 @@ class GeneratedTokenizer < GeneratedParser
         when (text = ss.scan(/[\s\t\r\n\f]+/))
            @rex_tokens.push action { [:S, text] }
 
-        when (text = ss.scan(/"([^\n\r\f"]|\\n|\r\n|\r|\f|[^\0-\177]|\\[0-9A-Fa-f]{1,6}(\r\n|[\s\n\r\t\f])?|\\[^\n\r\f0-9A-Fa-f])*"|'([^\n\r\f']|\\n|\r\n|\r|\f|[^\0-\177]|\\[0-9A-Fa-f]{1,6}(\r\n|[\s\n\r\t\f])?|\\[^\n\r\f0-9A-Fa-f])*'/))
+        when (text = ss.scan(/"([^\n\r\f"]|\n|\r\n|\r|\f|[^\0-\177]|\\[0-9A-Fa-f]{1,6}(\r\n|[\s\n\r\t\f])?|\\[^\n\r\f0-9A-Fa-f])*"|'([^\n\r\f']|\n|\r\n|\r|\f|[^\0-\177]|\\[0-9A-Fa-f]{1,6}(\r\n|[\s\n\r\t\f])?|\\[^\n\r\f0-9A-Fa-f])*'/))
            @rex_tokens.push action { [:STRING, text] }
 
         when (text = ss.scan(/./))

data/lib/nokogiri/css/tokenizer.rex

@@ -5,17 +5,17 @@ class GeneratedTokenizer < GeneratedParser
 macro
   nl        \n|\r\n|\r|\f
   w         [\s\r\n\f]*
-  nonascii  [^\\\\0-\\\\177]
+  nonascii  [^\0-\177]
   num       -?([0-9]+|[0-9]*\.[0-9]+)
-  unicode   \\\\\\\\\[0-9A-Fa-f]{1,6}(\r\n|[\s\n\r\t\f])?
+  unicode   \\[0-9A-Fa-f]{1,6}(\r\n|[\s\n\r\t\f])?
 
-  escape    {unicode}|\\\\\\\[^\n\r\f0-9A-Fa-f]
+  escape    {unicode}|\\[^\n\r\f0-9A-Fa-f]
   nmchar    [_A-Za-z0-9-]|{nonascii}|{escape}
   nmstart   [_A-Za-z]|{nonascii}|{escape}
   ident     [-@]?({nmstart})({nmchar})*
   name      ({nmchar})+
-  string1   "([^\n\r\f"]|\\{nl}|{nonascii}|{escape})*"
-  string2   '([^\n\r\f']|\\{nl}|{nonascii}|{escape})*'
+  string1   "([^\n\r\f"]|{nl}|{nonascii}|{escape})*"
+  string2   '([^\n\r\f']|{nl}|{nonascii}|{escape})*'
   string    {string1}|{string2}
 
 rule

data/lib/nokogiri/ffi/xml/namespace.rb

@@ -29,6 +29,10 @@ module Nokogiri
           ns.cstruct = node_struct
           
           ns.cstruct.ruby_node = ns
+
+          cache = ns.document.instance_variable_get(:@node_cache)
+          cache << ns
+
           ns
         end
       end

data/lib/nokogiri/ffi/xml/node.rb

@@ -376,5 +376,3 @@ module Nokogiri
     end
   end
 end
-
-class Nokogiri::XML::Element < Nokogiri::XML::Node ; end

data/lib/nokogiri/version.rb

@@ -1,6 +1,6 @@
 module Nokogiri
   # The version of Nokogiri you are using
-  VERSION = '1.3.0'
+  VERSION = '1.3.1'
 
   # More complete version information about libxml
   VERSION_INFO = {}
@@ -19,8 +19,12 @@ module Nokogiri
     end
   end
 
+  def self.uses_libxml? # :nodoc:
+    !Nokogiri::VERSION_INFO['libxml'].nil?
+  end
+
   def self.ffi? # :nodoc:
-    Nokogiri::VERSION_INFO['libxml']['binding'] == 'ffi'
+    uses_libxml? && Nokogiri::VERSION_INFO['libxml']['binding'] == 'ffi'
   end
 
   def self.is_2_6_16? # :nodoc:

data/lib/nokogiri/xml/document.rb

@@ -12,6 +12,7 @@ module Nokogiri
       attr_accessor :errors
 
       def initialize *args
+        @decorators = nil
       end
 
       # The name of this document.  Always returns "document"

data/lib/nokogiri/xml/node.rb

@@ -324,7 +324,7 @@ module Nokogiri
       def namespaces
         Hash[*namespace_definitions.map { |nd|
           key = ['xmlns', nd.prefix].compact.join(':')
-          if defined?(Encoding) && document.encoding
+          if RUBY_VERSION >= '1.9' && document.encoding
             begin
               key.force_encoding document.encoding
             rescue ArgumentError
@@ -743,3 +743,5 @@ Please change to Node#write_xml_to(io, :encoding => #{options})
     end
   end
 end
+
+class Nokogiri::XML::Element < Nokogiri::XML::Node ; end

data/test/css/test_tokenizer.rb

@@ -1,3 +1,5 @@
+# -*- coding: utf-8 -*-
+
 require File.expand_path(File.join(File.dirname(__FILE__), '..', "helper"))
 
 module Nokogiri
@@ -8,6 +10,11 @@ module Nokogiri
         @scanner = Nokogiri::CSS::Tokenizer.new
       end
 
+      def test_unicode
+        @scanner.scan("a日本語")
+        assert_tokens([[:IDENT, 'a日本語']], @scanner)
+      end
+
       def test_tokenize_bad_single_quote
         @scanner.scan("'")
         assert_tokens([["'", "'"]], @scanner)

data/test/test_reader.rb

@@ -71,7 +71,7 @@ class TestReader < Nokogiri::TestCase
     </x>
     eoxml
     reader = Nokogiri::XML::Reader(xml)
-    if Nokogiri::VERSION_INFO['libxml']['binding'] == 'ffi'
+    if Nokogiri.ffi?
       assert_not_nil reader.source
       assert reader.source.is_a?(FFI::MemoryPointer)
     else

data/test/xml/test_namespace.rb

@@ -11,6 +11,11 @@ module Nokogiri
         eoxml
       end
 
+      def test_namespace_is_in_node_cache
+        node = @xml.root.namespace
+        assert @xml.instance_variable_get(:@node_cache).include?(node)
+      end
+
       def test_namespace_node_prefix
         namespaces = @xml.root.namespace_definitions
         assert_equal [nil, 'foo'], namespaces.map { |x| x.prefix }

metadata

@@ -1,7 +1,7 @@
 --- !ruby/object:Gem::Specification 
 name: nokogiri
 version: !ruby/object:Gem::Version 
-  version: 1.3.0
+  version: 1.3.1
 platform: ruby
 authors: 
 - Aaron Patterson
@@ -10,7 +10,7 @@ autorequire:
 bindir: bin
 cert_chain: []
 
-date: 2009-05-30 00:00:00 -07:00
+date: 2009-06-07 00:00:00 -07:00
 default_executable: 
 dependencies: 
 - !ruby/object:Gem::Dependency 
@@ -24,7 +24,7 @@ dependencies:
         version: "0"
     version: 
 - !ruby/object:Gem::Dependency 
-  name: tenderlove-frex
+  name: rexical
   type: :development
   version_requirement: 
   version_requirements: !ruby/object:Gem::Requirement 
@@ -53,7 +53,10 @@ dependencies:
       - !ruby/object:Gem::Version 
         version: 1.12.2
     version: 
-description: "Nokogiri (\xE9\x8B\xB8) is an HTML, XML, SAX, and Reader parser."
+description: "Nokogiri (\xE9\x8B\xB8) is an HTML, XML, SAX, and Reader parser.  Among Nokogiri's\n\
+  many features is the ability to search documents via XPath or CSS3 selectors.\n\n\
+  XML is like violence - if it doesn\xE2\x80\x99t solve your problems, you are not using\n\
+  enough of it."
 email: 
 - aaronp@rubyforge.org
 - mike.dalessio@gmail.com
@@ -344,7 +347,7 @@ rubyforge_project: nokogiri
 rubygems_version: 1.3.3
 signing_key: 
 specification_version: 3
-summary: "Nokogiri (\xE9\x8B\xB8) is an HTML, XML, SAX, and Reader parser."
+summary: "Nokogiri (\xE9\x8B\xB8) is an HTML, XML, SAX, and Reader parser"
 test_files: 
 - test/css/test_nthiness.rb
 - test/css/test_parser.rb