xupa_emec 1.0.2 → 1.0.3

data/bin/xupa_emec

@@ -13,15 +13,20 @@ as opções são:
   EOS
   opt :entrada, "Arquivo fonte com lista de faculdades exportadas pelo emec", :short => 'i', :default => 'in.xls'
   opt :saida, "Arquivo csv que será gerado", :short => 'o', :default => 'out.csv'
+  opt :quebraemail, "Gera uma linha por email", :short => 'q' 
+  opt :buscacursos, "Busca lista de cursos das IES (demora mais)", :short => 'c' 
 end
 
-crawler = XupaEmec::Crawler.new
+crawler = XupaEmec::Crawler.new(:search_courses => opts[:buscacursos])
+
+headers = ['nome', 'sigla', 'nome_limpo', 'tipo', 'cidade', 'tel', 'site', 'email', 'mantenedora', 'representante_nome', 'representante_primeiro_nome', 'representante_cargo']
+headers << 'num_cursos' << 'lista_cursos' if opts[:buscacursos]
 
 File.open(opts[:entrada], "r") do |input|
 
   FasterCSV.open(opts[:saida], "w", 
     :write_headers => true,
-    :headers => ['nome', 'tipo', 'cidade', 'tel', 'site', 'email', 'mantenedora', 'representante_nome', 'representante_primeiro_nome', 'representante_cargo']) do |out_csv|
+    :headers => headers) do |out_csv|
 
     in_html = doc = Nokogiri::HTML(input)
     iess_to_search = in_html.css('table:nth-child(2) tbody tr')
@@ -37,8 +42,18 @@ File.open(opts[:entrada], "r") do |input|
       puts
       puts "#{index+1} - Buscando nome da instituição '#{ies_search_name}'..."
 
-      out_csv << crawler.crawl(ies_search_name)
 
+      if opts[:quebraemail]
+        ies_hash = crawler.crawl(ies_search_name)
+        ies_hash['email'].split(',').each do |email|
+          new_hash = ies_hash.clone
+          new_hash['email'] = email
+          out_csv << new_hash
+        end
+      else
+        out_csv << crawler.crawl(ies_search_name)
+      end
+      
     end
 
   end

data/lib/xupa_emec/crawler.rb

@@ -1,7 +1,8 @@
 module XupaEmec
   class Crawler
-    def initialize(agent = Mechanize.new)
-      @agent = agent
+    def initialize(options={})
+      @search_courses = options[:search_courses]
+      @agent = options[:agent] || Mechanize.new
     end
     
     attr_reader :agent
@@ -36,6 +37,10 @@ module XupaEmec
 
       ies_info['nome'] = ies_data.search("table.tab_paleta > tr:nth-child(4) tr:nth-child(1) > td:nth-child(2)").first.text.strip
 
+      ies_info['sigla'] = ies_info['nome'].split(' - ')[1..-1].join('-')
+
+      ies_info['nome_limpo'] = ies_info['nome'].split(' - ')[0].mb_chars.titleize
+
       ies_info['cidade'] = ies_data.search("table.tab_paleta > tr:nth-child(4) tr:nth-child(5) > td:nth-child(2)").first.text.strip
 
       ies_info['tel'] = ies_data.search("table.tab_paleta > tr:nth-child(4) tr:nth-child(6) > td:nth-child(2)").first.text.strip
@@ -44,7 +49,13 @@ module XupaEmec
 
       ies_info['site'] = ies_data.search("table.tab_paleta > tr:nth-child(4) tr:nth-child(7) > td:nth-child(4)").first.text.strip
 
-      ies_info['email'] = ies_data.search("table.tab_paleta > tr:nth-child(4) tr:nth-child(8) > td:nth-child(2)").first.text.strip
+      ies_info['email'] = ies_data.search("table.tab_paleta > tr:nth-child(4) tr:nth-child(8) > td:nth-child(2)").first.text.strip.split(/\s*[\s,;\/\\]\s*/).join(',')
+
+      if @search_courses
+        courses_page= agent.get("http://emec.mec.gov.br/emec/consulta-ies/listar-curso-agrupado/#{ies_url}/page/1/list/1000")
+        ies_info['num_cursos'] = courses_page.search("div.campform > div:first-child").text.match(/Registro\(s\)\: 1 a \d+ de (\d+)/)[1]
+        ies_info['lista_cursos'] = courses_page.search("table#listar-ies-cadastro > tbody > tr").map{|l| l.search('td').first.text.gsub(' ', '').strip}.join(', ')
+      end      
 
       puts "Informação processada para '#{ies_search_name}' :"
       puts ies_info.to_yaml

data/lib/xupa_emec/version.rb

@@ -2,7 +2,7 @@ module XupaEmec
   module Version
     MAJOR = 1
     MINOR = 0
-    PATCH = 2
+    PATCH = 3
     STRING = "#{MAJOR}.#{MINOR}.#{PATCH}"
   end
 end

data/xupa_emec.gemspec

@@ -5,7 +5,7 @@
 
 Gem::Specification.new do |s|
   s.name = %q{xupa_emec}
-  s.version = "1.0.2"
+  s.version = "1.0.3"
 
   s.required_rubygems_version = Gem::Requirement.new(">= 0") if s.respond_to? :required_rubygems_version=
   s.authors = ["Bernardo de P\303\241dua"]

metadata

@@ -1,13 +1,13 @@
 --- !ruby/object:Gem::Specification 
 name: xupa_emec
 version: !ruby/object:Gem::Version 
-  hash: 19
+  hash: 17
   prerelease: false
   segments: 
   - 1
   - 0
-  - 2
-  version: 1.0.2
+  - 3
+  version: 1.0.3
 platform: ruby
 authors: 
 - "Bernardo de P\xC3\xA1dua"