guia_mais 0.2 → 0.3

data/Manifest

@@ -1,3 +1,5 @@
+README
 Rakefile
-Manifest
 lib/guia_mais.rb
+test/guia_mais_test.rb
+Manifest

data/README

@@ -0,0 +1,15 @@
+GuiaMais v0.3
+
+Busca endereços no site guiamais.com.br através de mineração de dados.
+
+Exemplo:
+
+require 'rubygems'
+require 'guia_mais'
+
+cliente = Cliente.buscar("32222222", :estado => :piaui)
+puts cliente.nome #=> RÁDIO TÁXI
+puts cliente.endereco #=> R Álvaro Ferreira, 60 Monte Castelo
+puts cliente.bairro #=> Monte Castelo
+puts cliente.cep #=> 64017-380
+puts cliente.categoria #=> Táxi

data/Rakefile

@@ -3,12 +3,13 @@ require "rubygems"
 require "rake"
 require "echoe"
 
-Echoe.new("guia_mais", "0.2") do |p|
+Echoe.new("guia_mais", "0.3") do |p|
+  p.url = "https://github.com/dimiro1/guia_mais"
   p.description = "Busca dados no site Guia Mais através do telefone"
   p.author = "Claudemiro Alves Feitosa Neto"
   p.email = "dimiro1@gmail.com"
   p.ignore_pattern = ["tmp/*", "script/*"]
-  p.development_dependencies = ["hpricot", "httparty"]
+  p.development_dependencies = ["hpricot", "httparty", "htmlentities"]
 end
 
 Dir["#{File.dirname(__FILE__)}/tasks/*.rake"].sort.each { |ext| load ext }

data/guia_mais.gemspec

@@ -1,37 +1,39 @@
 # -*- encoding: utf-8 -*-
 
 Gem::Specification.new do |s|
-  s.name = %q{guia_mais}
-  s.version = "0.2"
+  s.name = "guia_mais"
+  s.version = "0.3"
 
   s.required_rubygems_version = Gem::Requirement.new(">= 1.2") if s.respond_to? :required_rubygems_version=
   s.authors = ["Claudemiro Alves Feitosa Neto"]
-  s.date = %q{2009-11-09}
-  s.description = %q{Busca dados no site Guia Mais através do telefone}
-  s.email = %q{dimiro1@gmail.com}
-  s.extra_rdoc_files = ["lib/guia_mais.rb"]
-  s.files = ["Rakefile", "Manifest", "lib/guia_mais.rb", "guia_mais.gemspec", "test/guia_mais_test.rb"]
-  s.homepage = %q{}
+  s.date = "2011-11-01"
+  s.description = "Busca dados no site Guia Mais atrav\303\251s do telefone"
+  s.email = "dimiro1@gmail.com"
+  s.extra_rdoc_files = ["README", "lib/guia_mais.rb"]
+  s.files = ["README", "Rakefile", "lib/guia_mais.rb", "test/guia_mais_test.rb", "Manifest", "guia_mais.gemspec"]
+  s.homepage = "https://github.com/dimiro1/guia_mais"
   s.rdoc_options = ["--line-numbers", "--inline-source", "--title", "Guia_mais", "--main", "README"]
   s.require_paths = ["lib"]
-  s.rubyforge_project = %q{guia_mais}
-  s.rubygems_version = %q{1.3.5}
-  s.summary = %q{Busca dados no site Guia Mais através do telefone}
+  s.rubyforge_project = "guia_mais"
+  s.rubygems_version = "1.8.11"
+  s.summary = "Busca dados no site Guia Mais atrav\303\251s do telefone"
   s.test_files = ["test/guia_mais_test.rb"]
 
   if s.respond_to? :specification_version then
-    current_version = Gem::Specification::CURRENT_SPECIFICATION_VERSION
     s.specification_version = 3
 
-    if Gem::Version.new(Gem::RubyGemsVersion) >= Gem::Version.new('1.2.0') then
+    if Gem::Version.new(Gem::VERSION) >= Gem::Version.new('1.2.0') then
       s.add_development_dependency(%q<hpricot>, [">= 0"])
       s.add_development_dependency(%q<httparty>, [">= 0"])
+      s.add_development_dependency(%q<htmlentities>, [">= 0"])
     else
       s.add_dependency(%q<hpricot>, [">= 0"])
       s.add_dependency(%q<httparty>, [">= 0"])
+      s.add_dependency(%q<htmlentities>, [">= 0"])
     end
   else
     s.add_dependency(%q<hpricot>, [">= 0"])
     s.add_dependency(%q<httparty>, [">= 0"])
+    s.add_dependency(%q<htmlentities>, [">= 0"])
   end
 end

data/lib/guia_mais.rb

@@ -3,6 +3,9 @@ require "rubygems"
 require "httparty"
 require "hpricot"
 require "timeout"
+require "htmlentities"
+require "iconv"
+require "cgi"
 
 class String
   def to_utf8
@@ -14,34 +17,56 @@ module GuiaMais
   class GuiaMaisException < Exception
   end
 
+  # We have to pass a valid UerAgent
+  USER_AGENTS = [
+                 "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0)",
+                 "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.14 (KHTML, like Gecko) Chrome/10.0.603.3 Safari/534.14",
+                 "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2; OfficeLiveConnector.1.3; OfficeLivePatch.0.0)",
+                 "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0; FunWebProducts; BOIE9;PTBR)",
+                 "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; GTB7.1; InfoPath.2; .NET CLR 2.0.50727; OfficeLiveConnector.1.3; OfficeLivePatch.0.0; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; BRI/2)",
+                 "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/535.2 (KHTML, like Gecko) Chrome/15.0.874.106 Safari/535.2",
+                 "Mozilla/5.0 (X11; Linux x86_64; rv:7.0.1) Gecko/20100101 Firefox/7.0.1",
+                 "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/534.26+ (KHTML, like Gecko) Version/5.0 Safari/534.26+",
+                 "Opera/9.80 (X11; Linux x86_64; U; pt-BR) Presto/2.9.168 Version/11.51",
+                 "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; pt-br) AppleWebKit/533.21.1 (KHTML, like Gecko) Safari/522.0",
+                 "Mozilla/5.0 (X11; U; Linux i686; pt-br) AppleWebKit/531.2+ (KHTML, like Gecko) Version/5.0 Safari/531.2+",
+                 "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729)",
+                 "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; pt-br) AppleWebKit/533.21.1 (KHTML, like Gecko)",
+                 "Mozilla/5.0 (Windows NT 6.0; WOW64; rv:8.0) Gecko/20100101 Firefox/8.0",
+                 "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)",
+                 "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)",
+                 "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; InfoPath.2; .NET4.0C; AskTbATU3/5.13.1.18107)",
+                 "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; InfoPath.2)"
+                ]
+
   ESTADOS = {
-    :acre                => {:guia => 579, :sigla => 'AC'},
-    :alagoas             => {:guia => 580, :sigla => 'AL'},
-    :amazonas            => {:guia => 325, :sigla => 'AM'},
-    :amapa               => {:guia => 581, :sigla => 'AP'},
-    :bahia               => {:guia => 326, :sigla => 'BA'},
-    :ceara               => {:guia => 582, :sigla => 'CE'},
-    :distrito_federal    => {:guia => 327, :sigla => 'DF'},
-    :espirito_santo      => {:guia => 328, :sigla => 'ES'},
-    :goias               => {:guia => 329, :sigla => 'GO'},
-    :maranhao            => {:guia => 584, :sigla => 'MA'},
-    :minas_gerais        => {:guia => 585, :sigla => 'MG'},
-    :mato_grosso_do_sul  => {:guia => 586, :sigla => 'MS'},
-    :mato_grosso         => {:guia => 587, :sigla => 'MT'},
-    :para                => {:guia => 330, :sigla => 'PA'},
-    :paraiba             => {:guia => 588, :sigla => 'PB'},
-    :pernambuco          => {:guia => 589, :sigla => 'PE'},
-    :piaui               => {:guia => 590, :sigla => 'PI'},
-    :parana              => {:guia => 331, :sigla => 'PR'},
-    :rio_de_janeiro      => {:guia => 333, :sigla => 'RJ'},
-    :rio_grande_do_norte => {:guia => 591, :sigla => 'RN'},
-    :rondonia            => {:guia => 592, :sigla => 'RO'},
-    :roraima             => {:guia => 593, :sigla => 'RR'},
-    :rio_grande_do_sul   => {:guia => 334, :sigla => 'RS'},
-    :santa_catarina      => {:guia => 335, :sigla => 'SC'},
-    :sergipe             => {:guia => 594, :sigla => 'SE'},
-    :sao_paulo           => {:guia => 336, :sigla => 'SP'},
-    :tocantins           => {:guia => 595, :sigla => 'TO'}
+    :acre                => {:sigla => 'AC'},
+    :alagoas             => {:sigla => 'AL'},
+    :amazonas            => {:sigla => 'AM'},
+    :amapa               => {:sigla => 'AP'},
+    :bahia               => {:sigla => 'BA'},
+    :ceara               => {:sigla => 'CE'},
+    :distrito_federal    => {:sigla => 'DF'},
+    :espirito_santo      => {:sigla => 'ES'},
+    :goias               => {:sigla => 'GO'},
+    :maranhao            => {:sigla => 'MA'},
+    :minas_gerais        => {:sigla => 'MG'},
+    :mato_grosso_do_sul  => {:sigla => 'MS'},
+    :mato_grosso         => {:sigla => 'MT'},
+    :para                => {:sigla => 'PA'},
+    :paraiba             => {:sigla => 'PB'},
+    :pernambuco          => {:sigla => 'PE'},
+    :piaui               => {:sigla => 'PI'},
+    :parana              => {:sigla => 'PR'},
+    :rio_de_janeiro      => {:sigla => 'RJ'},
+    :rio_grande_do_norte => {:sigla => 'RN'},
+    :rondonia            => {:sigla => 'RO'},
+    :roraima             => {:sigla => 'RR'},
+    :rio_grande_do_sul   => {:sigla => 'RS'},
+    :santa_catarina      => {:sigla => 'SC'},
+    :sergipe             => {:sigla => 'SE'},
+    :sao_paulo           => {:sigla => 'SP'},
+    :tocantins           => {:sigla => 'TO'}
   }
 
   class Cliente
@@ -64,16 +89,14 @@ module GuiaMais
   class Minerador
     include HTTParty
     base_uri "http://www.guiamais.com.br"
+    headers 'User-Agent' => USER_AGENTS.shuffle[0]
     @@pagina = ""
     @@query = {}
 
     def self.buscar(oque, query = {})
-      query[:txb] = oque
-      query[:nes] ||= ESTADOS[query[:estado]][:sigla] if query[:estado]
-      query[:ies] ||= ESTADOS[query[:estado]][:guia] if query[:estado]
-      query.delete(:estado)
+      estado = ESTADOS[query[:estado]][:sigla] if query[:estado] || ""
       @@query = query
-      resultado = get("/Results.aspx", :query => query)
+      resultado = get("/busca/#{CGI.escapeHTML(oque)}-#{estado}")
       @@pagina = Hpricot(resultado.body.to_utf8)
       minerar_dados
     end
@@ -89,18 +112,26 @@ module GuiaMais
       nome, endereco, bairro, cep, categoria = nil
       begin
         timeout(10) do
-          nome = buscar_elemento("div#ctl00_C1_RR_ctl00_lst_oPanelTittle span.txtT")
-          unless nome
-            nome = buscar_elemento("div#ctl00_C1_RR_ctl00_lst_oPanelTittle span.txtTitleBlack")
-          end
-          unless nome
-            nome = buscar_elemento("div#ctl00_C1_RR_ctl00_lst_oPanelTittle a.txtT")
+          nome = buscar_elemento("html/body/div[1]/div/div/div[3]/div[1]/div[1]/div[3]/div[2]/h2/a")
+          endereco = buscar_elemento("html/body/div[1]/div/div/div[3]/div[1]/div[1]/div[3]/div[2]/p[1]")
+
+          unless endereco.nil?
+            cep = endereco.slice(endereco.index("CEP:"), endereco.length)
+            cep = cep.slice(5, cep.index("<br"))
+            cep = cep.slice(0, 9)
+
+            endereco = endereco.slice(0, endereco.index("<br />"))
+
+            bairro = endereco.slice(endereco.index(" - "), endereco.length)
+            endereco = endereco.slice(0, endereco.index(" - "))
+            bairro = bairro.slice(3, bairro.length)
           end
+          categoria = buscar_elemento("html/body/div[1]/div/div/div[3]/div[1]/div[1]/div[3]/div[2]/p[2]/b")
 
-          endereco = buscar_elemento("div#ctl00_C1_RR_ctl00_lst_oPanelTitleCat+div div.divAddress>span.CmpInf")
-          bairro = buscar_elemento("div#ctl00_C1_RR_ctl00_lst_oPanelTitleCat+div div.divNeighborHood>span.CmpInf")
-          cep = buscar_elemento("div#ctl00_C1_RR_ctl00_lst_oPanelTitleCat+div div.divCEP>span.CmpInf")
-          categoria = buscar_elemento("div#ctl00_C1_RR_ctl00_lst_oPanelCategory>span.CmpInf")
+          nome = HTMLEntities.new.decode(nome)
+          endereco = HTMLEntities.new.decode(endereco)
+          bairro = HTMLEntities.new.decode(bairro)
+          categoria = Iconv.conv("ISO-8859-1", "UTF-8", categoria)
         end
       rescue TimeoutError
         raise GuiaMaisException.new, 'GuiaMais fora do ar'

data/test/guia_mais_test.rb

@@ -5,47 +5,48 @@ require "test/unit"
 class GuiaMaisTest < Test::Unit::TestCase
   def test_se_funciona_com_32222222_RN
     cliente = GuiaMais::Cliente.buscar("32222222", :estado => :rio_grande_do_norte)
-    assert_equal cliente.nome, "MED DIET DROGARIA"
-    assert_equal cliente.endereco, "Av Afonso Pena 939 "
-    assert_equal cliente.bairro, "Tirol"
-    assert_equal cliente.cep, "59020-100"
-    assert_equal cliente.categoria, "Farmácias e Drogarias - Art"
+    #p cliente
+    assert_equal "MED DIET DROGARIA", cliente.nome
+    assert_equal "Av Afonso Pena 939 ", cliente.endereco
+    assert_equal "Tirol", cliente.bairro
+    assert_equal "59020-100", cliente.cep
+    assert_equal "Farmácias e Drogarias", cliente.categoria
   end
 
   def test_se_funciona_com_32222222_PI
     cliente = GuiaMais::Cliente.buscar("32222222", :estado => :piaui)
-    assert_equal cliente.nome, "RÁDIO TÁXI"
-    assert_equal cliente.endereco, "R Álvaro Ferreira, 60"
-    assert_equal cliente.bairro, "Monte Castelo"
-    assert_equal cliente.cep, "64017-380"
-    assert_equal cliente.categoria, "Táxi"
+    assert_equal "RÁDIO TÁXI", cliente.nome
+    assert_equal "R Álvaro Ferreira, 60", cliente.endereco
+    assert_equal "Monte Castelo", cliente.bairro
+    assert_equal "64017-380", cliente.cep
+    assert_equal "Táxi", cliente.categoria
   end
 
   def test_se_funciona_com_32222222_AP
     cliente = GuiaMais::Cliente.buscar("32222222", :estado => :amapa)
-    assert_equal cliente.nome, "ELDORADO VEÍCULOS"
-    assert_equal cliente.endereco, "Rod Br-156 km 3 Boné Azul"
-    assert_equal cliente.bairro, "Lotm Açaí"
-    assert_equal cliente.cep, "68900-001"
-    assert_equal cliente.categoria, "Automóveis - Agências e Revendedores"
+    assert_equal "ELDORADO VEÍCULOS E PEÇAS LTDA", cliente.nome
+    assert_equal "Rod BR-156 km 3", cliente.endereco
+    assert_equal "Jardim Felicidade", cliente.bairro
+    assert_equal "68909-094", cliente.cep
+    assert_equal "Automóveis - Concessionárias e Serviços Autorizados", cliente.categoria
   end
 
   def test_se_funciona_com_32325151_PI
     cliente = GuiaMais::Cliente.buscar("32325151", :estado => :piaui)
-    assert_equal cliente.nome, "ARTTE DOS PÉS"
-    assert_equal cliente.endereco, "Av Dom Severino, 1065"
-    assert_equal cliente.bairro, "Fátima"
-    assert_equal cliente.cep, "64049-370"
-    assert_equal cliente.categoria, "Cabeleireiros e Institutos de Beleza"
+    assert_equal "ARTTE DOS PÉS", cliente.nome
+    assert_equal "Av Elias João Tajra, 1684", cliente.endereco
+    assert_equal "Jóquei", cliente.bairro
+    assert_equal "64049-300", cliente.cep
+    assert_equal "Cabeleireiros e Institutos de Beleza", cliente.categoria
   end
 
   def test_se_funciona_com_32321311_PI
-    cliente = GuiaMais::Cliente.buscar("32331128", :estado => :piaui)
-    assert_equal cliente.nome, "ALEMANHA VEICULOS"
-    assert_equal cliente.endereco, "Av João XXIII 3480 "
-    assert_equal cliente.bairro, "Noivos"
-    assert_equal cliente.cep, "64045-000"
-    assert_equal cliente.categoria, "Automóveis - Concessionárias e Serviços Autorizados"
+    cliente = GuiaMais::Cliente.buscar("21071311", :estado => :piaui)
+    assert_equal "ALEMANHA VEÍCULOS", cliente.nome
+    assert_equal "Av João XXIII 3480 ", cliente.endereco
+    assert_equal "Noivos", cliente.bairro
+    assert_equal "64045-000", cliente.cep
+    assert_equal "Automóveis - Agências e Revendedores", cliente.categoria
   end
 
 end

metadata

@@ -1,7 +1,12 @@
 --- !ruby/object:Gem::Specification 
 name: guia_mais
 version: !ruby/object:Gem::Version 
-  version: "0.2"
+  hash: 13
+  prerelease: 
+  segments: 
+  - 0
+  - 3
+  version: "0.3"
 platform: ruby
 authors: 
 - Claudemiro Alves Feitosa Neto
@@ -9,29 +14,50 @@ autorequire:
 bindir: bin
 cert_chain: []
 
-date: 2009-11-09 00:00:00 -03:00
-default_executable: 
+date: 2011-11-01 00:00:00 Z
 dependencies: 
 - !ruby/object:Gem::Dependency 
   name: hpricot
-  type: :development
-  version_requirement: 
-  version_requirements: !ruby/object:Gem::Requirement 
+  prerelease: false
+  requirement: &id001 !ruby/object:Gem::Requirement 
+    none: false
     requirements: 
     - - ">="
       - !ruby/object:Gem::Version 
+        hash: 3
+        segments: 
+        - 0
         version: "0"
-    version: 
+  type: :development
+  version_requirements: *id001
 - !ruby/object:Gem::Dependency 
   name: httparty
+  prerelease: false
+  requirement: &id002 !ruby/object:Gem::Requirement 
+    none: false
+    requirements: 
+    - - ">="
+      - !ruby/object:Gem::Version 
+        hash: 3
+        segments: 
+        - 0
+        version: "0"
   type: :development
-  version_requirement: 
-  version_requirements: !ruby/object:Gem::Requirement 
+  version_requirements: *id002
+- !ruby/object:Gem::Dependency 
+  name: htmlentities
+  prerelease: false
+  requirement: &id003 !ruby/object:Gem::Requirement 
+    none: false
     requirements: 
     - - ">="
       - !ruby/object:Gem::Version 
+        hash: 3
+        segments: 
+        - 0
         version: "0"
-    version: 
+  type: :development
+  version_requirements: *id003
 description: "Busca dados no site Guia Mais atrav\xC3\xA9s do telefone"
 email: dimiro1@gmail.com
 executables: []
@@ -39,14 +65,16 @@ executables: []
 extensions: []
 
 extra_rdoc_files: 
+- README
 - lib/guia_mais.rb
 files: 
+- README
 - Rakefile
-- Manifest
 - lib/guia_mais.rb
+- test/guia_mais_test.rb
+- Manifest
 - guia_mais.gemspec
-has_rdoc: true
-homepage: ""
+homepage: https://github.com/dimiro1/guia_mais
 licenses: []
 
 post_install_message: 
@@ -60,21 +88,28 @@ rdoc_options:
 require_paths: 
 - lib
 required_ruby_version: !ruby/object:Gem::Requirement 
+  none: false
   requirements: 
   - - ">="
     - !ruby/object:Gem::Version 
+      hash: 3
+      segments: 
+      - 0
       version: "0"
-  version: 
 required_rubygems_version: !ruby/object:Gem::Requirement 
+  none: false
   requirements: 
   - - ">="
     - !ruby/object:Gem::Version 
+      hash: 11
+      segments: 
+      - 1
+      - 2
       version: "1.2"
-  version: 
 requirements: []
 
 rubyforge_project: guia_mais
-rubygems_version: 1.3.5
+rubygems_version: 1.8.11
 signing_key: 
 specification_version: 3
 summary: "Busca dados no site Guia Mais atrav\xC3\xA9s do telefone"