busk-ruby-readability 1.1.1 → 1.2.0

data/spec/readability_spec.rb

@@ -216,4 +216,49 @@ describe Readability do
 
   end
 
+  describe "handles portal o dia" do
+
+    it "should extract the news and images from the page" do
+      url = "http://portalodia.com/noticias/piaui/mais-de-um-veiculo-e-roubado-por-dia-na-capital-102189.html"
+      FakeWeb.register_uri(:get, url,
+                           :response => File.read("spec/fixtures/portalodia_photo.html"))
+      @uri = URI.parse(url)
+      @parsed_page = Readability::Document.new(Nokogiri::HTML(open(url)),
+      @uri.host, @uri.request_uri)
+      @content = @parsed_page.content
+
+      @content.should == "<p>\"A gente fica se sentindo impotente. N\303\243o sabe o que fazer\". Foi esse o sentimento que a jornalista Vanessa Viana teve ao saber que o seu carro havia sido levado por um assaltante no bairro Bela Vista, zona Sul de Teresina, no \303\272ltimo dia 29. Assim como Vanessa, de acordo com um levantamento do Comando de Policiamento da Capital da Pol\303\255cia Militar, outras 45 pessoas<br>tiveram seus ve\303\255culos (carros e motocicletas) roubados ou furtados em janeiro deste ano. O n\303\272mero representa uma m\303\251dia de 1,5 ve\303\255culos levados por bandidos diariamente na capital no per\303\255odo.</p><p>\"Eu tinha comprado o carro h\303\241 quatro meses apenas. Quando me falaram, na delegacia, que o assaltante j\303\241 era procurado pela pol\303\255cia, fiquei assustada. Afinal, uma pessoa que podia estar presa levou meu carro\", afirma Vanessa Viana. A jornalista conta que o carro, um Uno Mille novo, na noite em que foi roubado estava estacionado em uma rua no bairro Bela Vista em Teresina. No local, o seu cunhado que dirigia o ve\303\255culo participava de um encontro de jovens da Igreja do bairro.</p><p><img src=\"/media/uploads/filebrowser/moto1.jpg\" alt=\"\" width=\"510\" height=\"339\"></p>"
+    end
+
+    it "should extract the news from the page" do
+      FakeWeb.register_uri(:get, 'http://portalodia.com/noticias/mundo/homem-chama-a-policia-porque-nao-quer-fazer-sexo-com-a-mulher-100984.html',
+                           :response => File.read("spec/fixtures/portalodia.com.html"))
+      @uri = URI.parse("http://portalodia.com/noticias/mundo/homem-chama-a-policia-porque-nao-quer-fazer-sexo-com-a-mulher-100984.html")
+      @parsed_page = Readability::Document.new(Nokogiri::HTML(open('http://portalodia.com/noticias/mundo/homem-chama-a-policia-porque-nao-quer-fazer-sexo-com-a-mulher-100984.html')),
+      @uri.host, @uri.request_uri)
+      @content = @parsed_page.content
+
+      @content.should == "<p>A pol\303\255cia alem\303\243 informou nesta ter\303\247a-feira que recebeu um chamado no m\303\255nimo inusitado. Um homem da cidade de Waiblingen, distrito de Stuttgart, ligou para os policiais porque n\303\243o queria mais fazer sexo com sua mulher.</p><p>De acordo com ele, apesar de recusar seguidamente as ofertas, ela continua insistindo e n\303\243o o\302\240deixa dormir. O casal, que tem dois filhos, est\303\241 junto h\303\241 18 anos, mas j\303\241 n\303\243o dorme na mesma cama h\303\241 quatro.\302\240</p><p>Embora o caso seja curioso, n\303\243o \303\251 in\303\251dito no pa\303\255s europeu. Em 2006, a pol\303\255cia de Aachen, oeste da Alemanha, foi acionada por uma mulher que acusava o marido de n\303\243o cumprir suas obriga\303\247\303\265es conjugais.</p><p>Na ocasi\303\243o, ap\303\263s meses sem nenhum contato f\303\255sico, ela acordou no meio da madrugada e exigiu que o c\303\264njuge satisfizesse suas necessidades sexuais. Frustrada por ter seu pedido negado, ela acionou os agentes, que nada puderam fazer.</p><p>O porta voz da pol\303\255cia, Paul Kemen, explicou \303\240 \303\251poca que os policiais n\303\243o se sentiram capazes de resolver o caso. \"O que eles puderam fazer foi abrir uma ocorr\303\252ncia para o caso de uma poss\303\255vel interven\303\247\303\243o futura\", disse.\302\240</p>"
+    end
+  end
+
+  describe "#has_special_rule?" do
+    it "should return true when I have a special rule" do
+      url = "http://portalodia.com/noticias/piaui/mais-de-um-veiculo-e-roubado-por-dia-na-capital-102189.html"
+      FakeWeb.register_uri(:get, url,
+                           :response => File.read("spec/fixtures/portalodia_photo.html"))
+      @uri = URI.parse(url)
+      @parsed_page = Readability::Document.new(Nokogiri::HTML(open(url)), @uri.host, @uri.request_uri)
+      @parsed_page.has_special_rule?.should be_true
+    end
+
+    it "should return false when I don't have a special rule" do
+      url = "http://globoesporte.globo.com/futebol/times/internacional/noticia/2011/02/inter-ainda-aguarda-sinal-verde-da-fifa-para-cavenaghi-ser-relacionado.html"
+      FakeWeb.register_uri(:get, url,
+                           :response => File.read("spec/fixtures/portalodia_photo.html"))
+      @uri = URI.parse(url)
+      @parsed_page = Readability::Document.new(Nokogiri::HTML(open(url)), @uri.host, @uri.request_uri)
+      @parsed_page.has_special_rule?.should be_false
+    end
+  end
 end

data/special_rules.yml

@@ -0,0 +1,5 @@
+sites:
+  "portalodia.com":
+    name: Portal O Dia
+    css:  "#content-noticia p"
+

metadata

@@ -1,13 +1,13 @@
 --- !ruby/object:Gem::Specification 
 name: busk-ruby-readability
 version: !ruby/object:Gem::Version 
-  hash: 17
+  hash: 31
   prerelease: false
   segments: 
   - 1
-  - 1
-  - 1
-  version: 1.1.1
+  - 2
+  - 0
+  version: 1.2.0
 platform: ruby
 authors: 
 - Fabio Mont Alegre
@@ -16,7 +16,7 @@ autorequire:
 bindir: bin
 cert_chain: []
 
-date: 2011-01-28 00:00:00 -02:00
+date: 2011-02-11 00:00:00 -02:00
 default_executable: 
 dependencies: []
 
@@ -37,6 +37,8 @@ files:
 - ruby-readability.gemspec
 - spec/fixtures/cant_read.html
 - spec/fixtures/folha.html
+- spec/fixtures/portalodia.com.html
+- spec/fixtures/portalodia_photo.html
 - spec/fixtures/sample.html
 - spec/fixtures/samples/channel4-1-fragments.rb
 - spec/fixtures/samples/channel4-1.html
@@ -47,6 +49,7 @@ files:
 - spec/readability_spec.rb
 - spec/spec.opts
 - spec/spec_helper.rb
+- special_rules.yml
 - test_on_url.rb
 has_rdoc: true
 homepage: http://github.com/busk/ruby-readability
@@ -85,6 +88,8 @@ summary: A rewrite of original ruby-readability
 test_files: 
 - spec/fixtures/cant_read.html
 - spec/fixtures/folha.html
+- spec/fixtures/portalodia.com.html
+- spec/fixtures/portalodia_photo.html
 - spec/fixtures/sample.html
 - spec/fixtures/samples/channel4-1-fragments.rb
 - spec/fixtures/samples/channel4-1.html