spix_parser 1.7.6 → 1.7.7

data/lib/spix_parser/parser.rb

@@ -41,8 +41,33 @@ module Spix
       text
     end
 
+    def publisher_special_case(options)
+      text = options[:text] 
+      url = options[:url]
+      begin
+        case publisher = URI.parse(url).host
+        when /ig\.com/
+          strip_tags(text, 'span', :class => 'inclusion')  
+        else
+          text
+        end
+      rescue
+        text
+      end
+    end
+
     private
 
+    def strip_tags(text, tag, attrs)
+      attr_parts = attrs.map{ |t| 
+        %r{#{t.first.to_s}=['"]#{t.last.to_s}['"]}
+      }
+      tag_regexp = %r{<#{tag}.*?/#{tag}>}
+      text.gsub(tag_regexp) do |s|
+        s unless attr_parts.all? {|reg| reg =~ s}
+      end
+    end 
+
     def join_attributes(attrs)
       attrs.map do |attr, value|
         %Q[#{attr}="#{value.to_s}"] unless value.blank?

data/lib/spix_parser/version.rb

@@ -4,7 +4,7 @@ module Spix
     module Version
       MAJOR = 1
       MINOR = 7
-      TINY  = 6
+      TINY  = 7
 
       def self.current_version
         "#{MAJOR}.#{MINOR}.#{TINY}"

data/lib/spix_parser/wrappers/entry.rb

@@ -58,6 +58,7 @@ module Spix
         text = Sanitizer.strip_comments(text)
         text = Sanitizer.strip_disallowed_tags(text)
         text = Sanitizer.entities_to_chars(text)
+        text = Spix::Utils.publisher_special_case :text => text, :url => @feed.url
         Spix::Utils.format_links({:text => text, :site_url => @feed.site_url})
       end
       memoize(:content)

data/lib/spix_parser/wrappers/feed.rb

@@ -35,6 +35,10 @@ module Spix
         @feed.feed_url
       end
 
+      def url
+        @feed.url
+      end
+
       def uid
         @feed.feed_url.to_sha1
       end

data/spec/spix_parser/utils_spec.rb

@@ -2,6 +2,23 @@
 require 'spec_helper'
 
 describe Spix::Utils do
+  describe ".publisher_special_case" do
+    context "when ig publisher" do
+      it "should extract all span.inclusion tags" do
+        text = %{
+          <![CDATA[
+          <p>National Geographic</p>Chimpanzé passa de geração a geração os truques para caçar cupins usando ferramentas<p><img src=http://i0.ig.com/bancodeimagens/38/8z/o6/388zo6avp3myfcfn7k8bsjupj.jpg /></p><p>Foto: Ian Nichols / National Geographic Image Sales</p><p><span id="_CSEMBEDTYPE_=inclusion&_PAGENAME_=ultimosegundo%2FMiGComponente_C%2FConteudoRelacionadoFoto&_cid_=1597176997854 &_c_=MiGComponente_C" class="inclusion">_CSEMBEDTYPE_=inclusion&_PAGENAME_=ultimosegundo%2FMiGComponente_C%2FConteudoRelacionadoFoto&_cid_=1597176997854 &_c_=MiGComponente_C</span>Para caçar um lanche de alto valor proteico, um chimpanzé macho se aproxima de um cupinzeiro com um graveto para caçar os insetos. Chimpanzé caçando cupins com pedaços de madeira tem sido observado por toda a África, mas os macacos do triângulo de Goualougo transmitem seu conhecimento de geração a geração.</p>
+          ]]>
+        }
+        Spix::Utils.publisher_special_case(:text => text, :url => "http://ultimosegundo.ig.com.br/").should == %{
+          <![CDATA[
+          <p>National Geographic</p>Chimpanzé passa de geração a geração os truques para caçar cupins usando ferramentas<p><img src=http://i0.ig.com/bancodeimagens/38/8z/o6/388zo6avp3myfcfn7k8bsjupj.jpg /></p><p>Foto: Ian Nichols / National Geographic Image Sales</p><p>Para caçar um lanche de alto valor proteico, um chimpanzé macho se aproxima de um cupinzeiro com um graveto para caçar os insetos. Chimpanzé caçando cupins com pedaços de madeira tem sido observado por toda a África, mas os macacos do triângulo de Goualougo transmitem seu conhecimento de geração a geração.</p>
+          ]]>
+        }
+      end
+    end
+  end
+
   describe ".format_links" do
     context "html containing links" do
 

data/spec/spix_parser/wrappers/feed_spec.rb

@@ -0,0 +1,11 @@
+# encoding: utf-8
+require 'spec_helper'
+
+describe Spix::Parser::Feed do
+  describe '#url' do
+    it 'should return the same url from feed' do
+      feed = Spix::Parser.parse(fixture('feed.rss'), :mode => :file) 
+      feed.url.should == 'http://3den.org/component/content/frontpage' 
+    end
+  end
+end

metadata

@@ -2,7 +2,7 @@
 name: spix_parser
 version: !ruby/object:Gem::Version 
   prerelease: 
-  version: 1.7.6
+  version: 1.7.7
 platform: ruby
 authors: 
 - Marcio Lopes de Faria
@@ -11,7 +11,7 @@ autorequire:
 bindir: bin
 cert_chain: []
 
-date: 2011-07-13 00:00:00 -03:00
+date: 2011-08-25 00:00:00 -03:00
 default_executable: 
 dependencies: 
 - !ruby/object:Gem::Dependency 
@@ -116,6 +116,7 @@ files:
 - spec/spix_parser/tools/feed_discovery/feed_spec.rb
 - spec/spix_parser/tools/feed_discovery_spec.rb
 - spec/spix_parser/utils_spec.rb
+- spec/spix_parser/wrappers/feed_spec.rb
 has_rdoc: true
 homepage: http://github.com/busk/spix_parser
 licenses: []
@@ -151,3 +152,4 @@ test_files:
 - spec/spix_parser/tools/feed_discovery/feed_spec.rb
 - spec/spix_parser/tools/feed_discovery_spec.rb
 - spec/spix_parser/utils_spec.rb
+- spec/spix_parser/wrappers/feed_spec.rb