congress-scrapper 0.0.3 → 0.0.4

data/spec/lib/scrapper_spec.rb

@@ -12,28 +12,20 @@ describe Congress::Scrapper do
       stub_request(:get, search_results_next_page).to_return(:body => fixture(:search_results_page2), :headers => { 'Content-Type' => 'text/html' })
       stub_request(:get, proposal_page1).to_return(:body => fixture(:open_proposal_page), :headers => { 'Content-Type' => 'text/html' })
       stub_request(:get, proposal_page2).to_return(:body => fixture(:closed_proposal_with_changes_page), :headers => { 'Content-Type' => 'text/html' })
-      stub_request(:get, proposal_page3).to_return(:body => "", :headers => { 'Content-Type' => 'text/html' })
+      stub_request(:get, proposal_page3).to_return(:body => fixture(:proposal_with_law_draft), :headers => { 'Content-Type' => 'text/html' })
       stub_request(:get, proposal_page4).to_return(:body => fixture(:closed_proposal_page), :headers => { 'Content-Type' => 'text/html' })
+
+      stub_request(:get, /#{full_proposal_text}/).to_return(:body => fixture(:full_proposal_text), :headers => { 'Content-Type' => 'text/html' })
     end
     
     it "should go to the proposal search form" do
       Congress::Scrapper.scrape
-      a_request(:get, search_page).should have_been_made
+      a_request(:get, search_page).should have_been_made.times(2)
     end
     
     it "should search the proposals we're interested in" do
       Congress::Scrapper.scrape
-      a_request(:post, search_results_page).with{|r| r.body =~ /TPTR=Competencia\+Legislativa\+Plena/}.should have_been_made
-    end
-    
-    it "should create one proposal for record found" do
-      proposals = Congress::Scrapper.scrape
-      proposals.collect { |p| p[:title] }.should == [
-        "Proyecto de Ley de almacenamiento geológico de dióxido de carbono",
-        "Proyecto de Ley del régimen de cesión de tributos del Estado a la Comunitat Valenciana y de fijación del alcance y condiciones de dicha cesión",
-        "Proyecto de Ley de Reforma del Sistema de Apoyo Financiero a la Internacionalización de la empresa española",
-        "Proyecto de Ley por la que se modifica el Estatuto Legal del Consorcio de Compensación de Seguros, aprobado por el Real Decreto Legislativo 7/2004, de 29 de octubre, para suprimir las funciones del Consorcio de Compensación de Seguros en relación con los seguros obligatorios de viajeros y del cazador y reducir el recargo destinado a financiar las funciones de liquidación de entidades aseguradoras, y el texto refundido de la Ley de Ordenación y Supervisión de los Seguros Privados, aprobado por el Real Decreto Legislativo 6/2004, de 29 de octubre"
-      ]
+      a_request(:post, search_results_page).with{|r| r.body =~ /TPTR=Competencia\+Legislativa\+Plena/}.should have_been_made.times(2)
     end
     
     it "should populate open proposals info" do
@@ -42,7 +34,7 @@ describe Congress::Scrapper do
       proposal[:official_url].should == proposal_page1
       proposal[:proposal_type].should == "Proyecto de ley"
       proposal[:closed_at].should be_nil
-      proposal[:official_resolution].should == "Comisión de Medio Ambiente, Agricultura y Pesca Enmiendas"
+      proposal[:status].should == "Comisión de Medio Ambiente, Agricultura y Pesca Enmiendas"
       proposal[:proposed_at].should == Date.new(2010, 4, 9)
       proposal[:category_name].should == "Medio Ambiente, Agricultura y Pesca"
       proposal[:proposer_name].should == "PSOE"
@@ -54,7 +46,7 @@ describe Congress::Scrapper do
       proposal[:official_url].should        == proposal_page2
       proposal[:proposal_type].should       == "Proyecto de ley"
       proposal[:closed_at].should           == Date.new(2012, 10, 24)
-      proposal[:official_resolution].should == "Concluido - (Aprobado con modificaciones)"
+      proposal[:status].should == "Concluido - (Aprobado con modificaciones)"
       proposal[:category_name].should       == "Hacienda y Administraciones Públicas"
       proposal[:proposer_name].should       == "Gobierno"
     end
@@ -65,10 +57,17 @@ describe Congress::Scrapper do
       proposal[:official_url].should        == proposal_page4
       proposal[:proposal_type].should       == "Proyecto de ley"
       proposal[:closed_at].should           == Date.new(2009, 6, 24)
-      proposal[:official_resolution].should == "Aprobado sin modificaciones"
+      proposal[:status].should == "Aprobado sin modificaciones"
       proposal[:category_name].should       == "Economía y Hacienda"
       proposal[:proposer_name].should       == "Gobierno"
     end
+
+    it "should populate the full proposal text" do
+      proposals = Congress::Scrapper.scrape
+      proposal = proposals[2]
+      proposal[:official_url].should        == proposal_page3
+      proposal[:body].should                =~ /En cumplimiento de lo dispuesto en el artículo 86.2/
+    end
     
   end
 end

data/spec/lib/scrapper_spec_helper.rb

@@ -32,6 +32,10 @@ module CongressWebSitePaths
   def proposal_page5
     "http://www.congreso.es/portal/page/portal/Congreso/Congreso/Iniciativas/Busqueda%20Avanzada?_piref73_1335465_73_1335464_1335464.next_page=/wc/servidorCGI&CMD=VERLST&BASE=IW10&PIECE=IWA0&FMT=INITXD1S.fmt&FORM1=INITXLTS.fmt&DOCS=13-13&QUERY=%28I%29.ACIN1.+%26+%28%22COMPETENCIA+LEGISLATIVA+PLENA%22%29.TPTR."
   end
+
+  def full_proposal_text
+    "http://www.congreso.es/portal/page/portal/Congreso/PopUpCGI"
+  end
   
 end
 

metadata

@@ -1,7 +1,7 @@
 --- !ruby/object:Gem::Specification
 name: congress-scrapper
 version: !ruby/object:Gem::Version
-  version: 0.0.3
+  version: 0.0.4
   prerelease: 
 platform: ruby
 authors:
@@ -11,7 +11,7 @@ authors:
 autorequire: 
 bindir: bin
 cert_chain: []
-date: 2012-12-21 00:00:00.000000000 Z
+date: 2013-07-21 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: rspec
@@ -94,7 +94,9 @@ files:
 - lib/proposer.rb
 - spec/fixtures/closed_proposal_page.html
 - spec/fixtures/closed_proposal_with_changes_page.html
+- spec/fixtures/full_proposal_text.html
 - spec/fixtures/open_proposal_page.html
+- spec/fixtures/proposal_with_law_draft.html
 - spec/fixtures/proposers.yml
 - spec/fixtures/search_page.html
 - spec/fixtures/search_results_page1.html
@@ -129,7 +131,9 @@ summary: Scrapper to get proposals from Spanish Congress
 test_files:
 - spec/fixtures/closed_proposal_page.html
 - spec/fixtures/closed_proposal_with_changes_page.html
+- spec/fixtures/full_proposal_text.html
 - spec/fixtures/open_proposal_page.html
+- spec/fixtures/proposal_with_law_draft.html
 - spec/fixtures/proposers.yml
 - spec/fixtures/search_page.html
 - spec/fixtures/search_results_page1.html