rogerleite-anvisa-bot 0.2.1

data/README.textile

@@ -0,0 +1,64 @@
+h1. anvisa-bot
+
+anvisa-bot é uma API Ruby para consultar Produtos para Saúde Registrados.
+
+Até o momento, somente a busca por registro anvisa foi implementada.
+Esta API faz requests e parse no HTML do site da anvisa para fornecer informações sobre produtos.
+
+Site da Anvisa:
+
+http://www.anvisa.gov.br/scriptsweb/correlato/correlato.htm
+
+h2. Instalação
+
+@sudo gem install rogerleite-anvisa-bot -s http://gems.github.com@
+
+h2. Usando como executável
+
+$ anvisa-bot "numero_registro_anvisa" <br>
+Por exemplo:
+@anvisa-bot 10008530225@
+
+h2. Usando a API Ruby
+
+<pre>
+require "rubygems"
+require "anvisa_bot"
+
+produto = AnvisaBot.consulta_produto_por_registro(10247530027)
+
+puts produto.empresa
+puts produto.cnpj
+puts produto.autorizacao
+puts produto.nome
+puts produto.modelo
+puts produto.registro
+puts produto.processo
+puts produto.origem
+puts produto.vencimento_registro
+</pre>
+
+h2. LICENSE:
+
+(The MIT License)
+
+Copyright (c) 2008 FIX
+
+Permission is hereby granted, free of charge, to any person obtaining
+a copy of this software and associated documentation files (the
+'Software'), to deal in the Software without restriction, including
+without limitation the rights to use, copy, modify, merge, publish,
+distribute, sublicense, and/or sell copies of the Software, and to
+permit persons to whom the Software is furnished to do so, subject to
+the following conditions:
+
+The above copyright notice and this permission notice shall be
+included in all copies or substantial portions of the Software.
+
+THE SOFTWARE IS PROVIDED 'AS IS', WITHOUT WARRANTY OF ANY KIND,
+EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
+MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT.
+IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY
+CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT,
+TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE
+SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.

data/Rakefile

@@ -0,0 +1,53 @@
+require 'rubygems'
+require 'rubygems/specification'
+require 'rake'
+require 'rake/gempackagetask'
+require 'spec/rake/spectask'
+
+GEM = "anvisa-bot"
+GEM_VERSION = "0.2.1"
+SUMMARY = "Pesquisa de produtos para saúde registrados"
+AUTHOR = "Roger Leite"
+EMAIL = "roger.barreto@gmail.com"
+HOMEPAGE = "http://github.com/rogerleite/anvisa-bot"
+
+
+spec = Gem::Specification.new do |s|
+  s.name = GEM
+  s.version = GEM_VERSION
+  s.platform = Gem::Platform::RUBY
+  s.summary = SUMMARY
+  s.require_paths = ['bin', 'lib']
+  s.files = FileList['bin/*.rb', 'lib/**/*.rb', '[A-Z]*', '[a-z]*'].to_a
+  s.executables = ["anvisa-bot"]
+
+  s.author = AUTHOR
+  s.email = EMAIL
+  s.homepage = HOMEPAGE
+
+  s.rubyforge_project = GEM # GitHub bug, gem isn't being build when this miss
+
+  s.add_dependency(%q<hpricot>, [">= 0.8.1"])
+end
+
+Spec::Rake::SpecTask.new do |t|
+  t.spec_files = FileList['spec/**/*_spec.rb']
+  t.spec_opts = %w(-fs --color)
+end
+
+Rake::GemPackageTask.new(spec) do |pkg|
+  pkg.gem_spec = spec
+end
+
+desc "Install the gem locally"
+task :install => [:package] do
+  sh %{sudo gem install pkg/#{GEM}-#{GEM_VERSION}}
+end
+
+desc "Create a gemspec file"
+task :make_spec do
+  File.open("#{GEM}.gemspec", "w") do |file|
+    file.puts spec.to_ruby
+  end
+end
+

data/anvisa-bot.gemspec

@@ -0,0 +1,32 @@
+# -*- encoding: utf-8 -*-
+
+Gem::Specification.new do |s|
+  s.name = %q{anvisa-bot}
+  s.version = "0.2.1"
+
+  s.required_rubygems_version = Gem::Requirement.new(">= 0") if s.respond_to? :required_rubygems_version=
+  s.authors = ["Roger Leite"]
+  s.date = %q{2009-08-10}
+  s.default_executable = %q{anvisa-bot}
+  s.email = %q{roger.barreto@gmail.com}
+  s.executables = ["anvisa-bot"]
+  s.files = ["lib/anvisa_bot.rb", "lib/anvisa_browser.rb", "lib/anvisa_parser.rb", "README.textile", "Rakefile", "spec", "fluxo_site_anvisa.txt", "anvisa-bot.gemspec", "bin", "lib", "bin/anvisa-bot"]
+  s.homepage = %q{http://github.com/rogerleite/anvisa-bot}
+  s.require_paths = ["bin", "lib"]
+  s.rubyforge_project = %q{anvisa-bot}
+  s.rubygems_version = %q{1.3.1}
+  s.summary = %q{Pesquisa de produtos para saúde registrados}
+
+  if s.respond_to? :specification_version then
+    current_version = Gem::Specification::CURRENT_SPECIFICATION_VERSION
+    s.specification_version = 2
+
+    if Gem::Version.new(Gem::RubyGemsVersion) >= Gem::Version.new('1.2.0') then
+      s.add_runtime_dependency(%q<hpricot>, [">= 0.8.1"])
+    else
+      s.add_dependency(%q<hpricot>, [">= 0.8.1"])
+    end
+  else
+    s.add_dependency(%q<hpricot>, [">= 0.8.1"])
+  end
+end

data/bin/anvisa-bot

@@ -0,0 +1,35 @@
+#!/usr/bin/env ruby
+
+# Exemplo de comando:
+# ruby bin/anvisa-bot.rb 10008530225
+# exemplos de registros anvisa:
+# - 10008530225
+# - 10247530027
+# - 80175510005
+
+$LOAD_PATH << File.expand_path(File.dirname(__FILE__) + "/../lib")
+
+require "anvisa_bot"
+
+args = ARGV.dup
+ARGV.clear
+
+puts "usage: anvisa-bot <registro_anvisa>"
+
+numero_registro = args[0]
+produto = AnvisaBot.consulta_produto_por_registro(numero_registro)
+
+puts produto.to_yaml
+
+=begin
+puts <<HTML
+<html>
+<body>
+<div>
+<p>empresa: #{produto.empresa}</p><br>
+<p>modelo: #{produto.modelo}</p>
+</div>
+</body>
+</html>
+HTML
+=end

data/fluxo_site_anvisa.txt

@@ -0,0 +1,38 @@
+===Fluxo para pesquisa por num. de registro no site da Anvisa===
+
+POST rconsulta_produto_internet.asp
+
+CO_TIPO_PRODUTO=8
+Area=Cosmético
+Processo=
+Produto=
+Registro=
+CNPJ=
+NO_EMPRESA=
+
+-recebo o html de produtos.
+-extrair os links e executar:
+
+POST rconsulta_produto_detalhe.asp
+
+CO_PRODUTO=var_codigo
+NO_EMPRESA=var_empresa
+NU_CNPJ=var_cnpj
+REGISTRO=var_registro
+
+NU_PROCESSO=
+NO_PRODUTO=
+NU_REGISTRO=
+NU_AUTORIZACAO=
+
+CO_TIPO_PRODUTO=8
+hdnpgAtual=1
+hdnmodo=
+PROCESSO=
+PRODUTO=
+EMPRESA=
+CNPJ=
+
+-recebe o html de detalhe do produto
+-extrair as informacoes e retornar
+

data/lib/anvisa_bot.rb

@@ -0,0 +1,20 @@
+require "anvisa_browser"
+require "anvisa_parser"
+
+class AnvisaBot
+
+  #veja o fluxo de "navegacao" do bot no arquivo fluxo_site_anvisa.txt
+  def self.consulta_produto_por_registro(numero_registro)
+    anvisa_browser = AnvisaBrowser.new
+    plain_html = anvisa_browser.consulta_produto_por_registro(numero_registro)
+
+    #puts "ZZZ ... ~10 segs"
+    sleep( rand(10) )    #para não chamar atencao do server
+
+    links = AnvisaParser.find_links_produtos(plain_html)
+    plain_html = anvisa_browser.consulta_produto_detalhe(numero_registro, links.first)
+    AnvisaParser.extract_produto(plain_html)
+  end
+
+end
+

data/lib/anvisa_browser.rb

@@ -0,0 +1,101 @@
+require 'net/http'
+require 'uri'
+
+class AnvisaBrowser
+
+  ANVISA_URL = 'http://www7.anvisa.gov.br/datavisa/Consulta_Produto_correlato/'
+  USER_AGENT = "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.13) Gecko/2009080315 Ubuntu/9.04 (jaunty) Firefox/3.0.13"
+  DEBUG_REQ = false
+
+  class << self
+		attr_accessor :default_headers
+	end
+	self.default_headers = {
+	  'User-Agent' => USER_AGENT,
+    'Accept'     => 'text/html',
+    'Accept-Charset' => 'ISO-8859-1,utf-8;q=0.7,*;q=0.7'
+  }
+
+  def consulta_produto_por_registro(numero_registro)
+    plain_url = "#{ANVISA_URL}rconsulta_produto_internet.asp"
+    params = {
+      :CO_TIPO_PRODUTO => '8',  :Area => 'Cosmético', :Processo => '',
+      :Produto => '',           :CNPJ => '',          :NO_EMPRESA => '',
+      :Registro => numero_registro
+    }
+
+    user_headers = {
+      'Referer' => 'http://www7.anvisa.gov.br/datavisa/Consulta_Produto_correlato/consulta_correlato.asp'
+    }
+
+    simple_post(plain_url, params, user_headers)
+  end
+
+  def consulta_produto_detalhe(numero_registro, link_produto)
+    plain_url = "#{ANVISA_URL}rconsulta_produto_detalhe.asp"
+    params = {
+      :CO_PRODUTO => link_produto.codigo,
+      :NO_EMPRESA => link_produto.empresa,
+      :NU_CNPJ    => link_produto.cnpj,
+      :REGISTRO   => numero_registro,
+      :NU_PROCESSO  => '',
+      :NO_PRODUTO   => '',
+      :NU_REGISTRO  => '',
+      :NU_AUTORIZACAO   => '',
+      :CO_TIPO_PRODUTO  => '8',
+      :hdnpgAtual => '1',
+      :hdnmodo    => '',
+      :PROCESSO   => '',
+      :PRODUTO    => '',
+      :EMPRESA    => '',
+      :CNPJ       => ''
+    }
+
+    user_headers = {
+      'Referer' => 'http://www7.anvisa.gov.br/datavisa/Consulta_Produto_correlato/consulta_correlato.asp'
+    }
+
+    simple_post(plain_url, params, user_headers)
+  end
+
+  private
+  # Faz um post simples e retorna o "plain html" da pagina.
+  # fonte: http://ruby-doc.org/stdlib/libdoc/net/http/rdoc/classes/Net/HTTP.html
+  def simple_post(plain_url, params, user_headers)
+    url = URI.parse(plain_url)
+
+    headers = self.class.default_headers.merge(user_headers)
+
+    req = Net::HTTP::Post.new(url.path, headers)
+    req.set_form_data(params)
+
+    if DEBUG_REQ
+      puts "=== Debug Http Request"
+      puts "url  => #{url}"
+      puts "body => #{req.body}"
+      puts "=== Fim Debug Http Request"
+    end
+
+    res = Net::HTTP.new(url.host, url.port).start {|http| http.request(req) }
+    case res
+      when Net::HTTPSuccess, Net::HTTPRedirection
+        # OK
+      else
+        res.error!
+    end
+
+    plain_html = res.body
+    if DEBUG_REQ
+      puts "=== Debug Http Response Body"
+      puts plain_html
+      puts "=== Fim Debug Http Response Body"
+    end
+    plain_html
+  end
+
+  def make_headers(user_headers)
+    self.class.default_headers.merge(user_headers)
+  end
+
+end
+

data/lib/anvisa_parser.rb

@@ -0,0 +1,80 @@
+require "rubygems"
+require "hpricot"
+
+class AnvisaParser
+
+  DEBUG = false
+
+  def self.find_links_produtos(plain_html)
+    html = Hpricot(plain_html)
+    links = []
+    html.search('a[@href*="ver_detalhes"]').each do |link|
+      #link['href'] returns:
+      #javascript:ver_detalhes('302629','LABORAT%C3%93RIOS%20B.%20BRAUN%20S/A','31673254000102');
+      params = link['href'].scan(/'([^']*)'/) #ER, pega os valores que estão dentro das ''
+      links << LinkProduto.new(params[0].to_s, params[1].to_s, params[2].to_s)
+    end
+    links
+  end
+
+  def self.extract_produto(plain_html)
+    html = Hpricot(plain_html)
+
+    table = html.at("table.formulario")
+    #devido a html errado da anvisa (ln 106 e 116), subo dois niveis e ignoro o primeiro td
+    table = table.parent.parent.parent
+
+    values = []
+    ignore_first = true
+    table.search("td").each do |td|
+      if ignore_first
+        ignore_first = false
+        next
+      end
+      if DEBUG
+        puts '=== td.inner_html ==='
+        puts td.inner_html
+      end
+      value = td.inner_html
+      value.gsub!(/&nbsp;/, ' ')    #substitui o espaco do html por espaco
+      value.strip!                   #remove espacos adicionais
+      value.gsub!(/(<br>|<br\s\/>)/, "\n")
+      value.gsub!(/<[^>]*>/, '')    #remove qualquer tag restante
+      values << value
+    end
+
+
+    Produto.new(:empresa  => values[0], :cnpj   => values[1], :autorizacao  => values[2],
+                :nome     => values[3], :modelo => values[4], :registro     => values[5],
+                :processo => values[6], :origem => values[7], :vencimento_registro  => values[8])
+  end
+
+end
+
+class LinkProduto
+
+  attr_accessor :codigo, :empresa, :cnpj
+
+  def initialize(codigo, empresa, cnpj)
+    @codigo = codigo
+    @empresa = empresa
+    @cnpj = cnpj
+  end
+
+end
+
+class Produto
+
+  attr_accessor :empresa, :cnpj, :autorizacao,
+                  :nome, :modelo, :registro,
+                  :processo,:origem, :vencimento_registro
+
+  def initialize(args)
+    raise ArgumentError("Args have to be a Hash with attributes") unless args.is_a?(Hash)
+    args.each do |att, value|
+      self.send("#{att}=", value)
+    end
+  end
+
+end
+

metadata

@@ -0,0 +1,74 @@
+--- !ruby/object:Gem::Specification 
+name: rogerleite-anvisa-bot
+version: !ruby/object:Gem::Version 
+  version: 0.2.1
+platform: ruby
+authors: 
+- Roger Leite
+autorequire: 
+bindir: bin
+cert_chain: []
+
+date: 2009-08-10 00:00:00 -07:00
+default_executable: anvisa-bot
+dependencies: 
+- !ruby/object:Gem::Dependency 
+  name: hpricot
+  type: :runtime
+  version_requirement: 
+  version_requirements: !ruby/object:Gem::Requirement 
+    requirements: 
+    - - ">="
+      - !ruby/object:Gem::Version 
+        version: 0.8.1
+    version: 
+description: 
+email: roger.barreto@gmail.com
+executables: 
+- anvisa-bot
+extensions: []
+
+extra_rdoc_files: []
+
+files: 
+- lib/anvisa_bot.rb
+- lib/anvisa_browser.rb
+- lib/anvisa_parser.rb
+- README.textile
+- Rakefile
+- spec
+- fluxo_site_anvisa.txt
+- anvisa-bot.gemspec
+- bin
+- lib
+- bin/anvisa-bot
+has_rdoc: false
+homepage: http://github.com/rogerleite/anvisa-bot
+licenses: 
+post_install_message: 
+rdoc_options: []
+
+require_paths: 
+- bin
+- lib
+required_ruby_version: !ruby/object:Gem::Requirement 
+  requirements: 
+  - - ">="
+    - !ruby/object:Gem::Version 
+      version: "0"
+  version: 
+required_rubygems_version: !ruby/object:Gem::Requirement 
+  requirements: 
+  - - ">="
+    - !ruby/object:Gem::Version 
+      version: "0"
+  version: 
+requirements: []
+
+rubyforge_project: anvisa-bot
+rubygems_version: 1.3.5
+signing_key: 
+specification_version: 2
+summary: "Pesquisa de produtos para sa\xC3\xBAde registrados"
+test_files: []
+