catalogos_sat 0.0.1

checksums.yaml

@@ -0,0 +1,7 @@
+---
+SHA1:
+  metadata.gz: 41b11713b713805df8f7a78fb4aca19e86feae42
+  data.tar.gz: 80624306049fb3540ef12e781467ffabdd54b254
+SHA512:
+  metadata.gz: 72c7dca4e2f59323b1493ef7571ae2bdc5bff10119805245a6766ce4009cb9048bad18ca55a5376578a62fb74d8789e46bdd8611ec633b161c117f4e73625046
+  data.tar.gz: 32b20b082ece9adb6cd410bf259e939992eaf3498a6c04023b3bb8bb32fde47983cbe2f8e58afaf99bea700c38ec3a6a5d12aadc92ef67ccca500dcf616d5432

data/lib/catalogos_sat.rb

@@ -0,0 +1,252 @@
+
+
+class Catalogos
+  require 'progressbar'
+  require 'spreadsheet'
+  require 'json'
+  require 'net/http'
+
+  REPLACEMENTS = { 
+    'á' => "a",
+    'é' => 'e',
+    'í' => 'i',
+    'ó' => 'o',
+    'ú' => 'u',
+    'ñ' => 'n',
+    'ü' => 'u'
+  }
+
+  attr_accessor :local_eTag
+
+
+  def initialize()
+    @encoding_options = {
+      :invalid   => :replace,     # Replace invalid byte sequences
+      :replace => "",             # Use a blank for those replacements
+      :universal_newline => true, # Always break lines with \n
+      # For any character that isn't defined in ASCII, run this
+      # code to find out how to replace it
+      :fallback => lambda { |char|
+        # If no replacement is specified, use an empty string
+        REPLACEMENTS.fetch(char, "")
+      },
+    }
+    @last_eTag = nil
+  end
+
+
+  def descargar(url_excel = "http://www.sat.gob.mx/informacion_fiscal/factura_electronica/Documents/catCFDI.xls")
+
+    begin
+      puts "Descargando archivo de Excel desde el SAT: #{url_excel}"
+      url_excel = URI.parse(url_excel)
+      bytesDescargados = 0      
+  
+      httpWork = Net::HTTP.start(url_excel.host) do
+        |http|
+        response = http.request_head(url_excel.path)
+        totalSize = response['content-length'].to_i
+        @local_eTag = response['etag'].split(",")[0]
+        pbar = ProgressBar.create(:title => "Progreso:", :format => "%t %B %p%% %E")
+        
+        tempdir = Dir.tmpdir()
+  
+        File.open("#{tempdir}/catalogo.xls", "w") do |f|
+          http.get(url_excel.path) do |str|
+            bytesDescargados += str.length 
+            relation = 100 * bytesDescargados / totalSize
+            pbar.progress = relation
+            f.write str          
+          end
+          pbar.finish()
+   
+        end
+        puts "Descarga de Excel finalizada, guardado en #{tempdir}/catalogo.xls"      
+      end
+    rescue => e
+      puts "Error al momento de descargar: #{e.message}"
+      raise
+    end
+
+    return true
+
+  end
+  
+
+  def procesar()
+
+    begin
+      Spreadsheet.client_encoding = 'UTF-8'
+      
+      # Checamos que el archivo de Excel exista previamente
+      tempdir = Dir.tmpdir() 
+      archivo = "#{tempdir}/catalogo.xls"
+  
+      
+      raise 'El archivo de catálogos de Excel no existe o no ha sido descargado' if File.exist?(archivo) == false
+      
+      final_dir = "catalogosJSON"
+      unless File.exist?("#{tempdir}/#{final_dir}")
+        Dir.mkdir("#{tempdir}/#{final_dir}")
+      end
+  
+  
+      book = Spreadsheet.open(archivo)
+      en_partes = false
+      ultima_parte = false
+      encabezados = Array.new
+      renglones_json = nil
+  
+      # Recorremos todas las hojas/catálogos
+      for i in 0..book.worksheets.count - 1 do
+        hoja = book.worksheet i
+      
+        puts "\n\n----------------------------------------------"
+        puts "Conviertiendo a JSON hoja #{hoja.name}..."
+      
+        # Manejamos la lectura de dos hojas separadas en partes, como la de Codigo Postal  
+        if hoja.name.index("_Parte_") != nil
+          en_partes = true
+          ultima_parte = hoja.name.index("_Parte_2") != nil
+          #TODO asume que hay como maximo 2 partes por archivo y que el identificador siempre es "_Parte_X"
+        end 
+  
+        # Recorremos todos los renglones de la hoja de Excel
+        j = 0
+        hoja.each do |row|
+          j += 1
+          # Nos saltamos el primer renglon ya que siempre tiene la descripcion del catálogo, ejem "Catálogo de aduanas ..."
+          next if j == 1
+  
+          break if row.to_s.index("Continúa en") != nil
+          next if row.formats[0] == nil 
+          # Nos saltamos renglones vacios
+          next if row.to_s.index("[nil") != nil
+          next if (row.to_s.index('["Fecha inicio de vigencia", "Fecha fin de vigencia", "Versión", "Revisión"]') != nil) && (ultima_parte == true)
+          
+          if row.formats[0].pattern_fg_color == :silver then
+            if renglones_json.nil? then
+              puts "Ignorando: #{row}"
+              renglones_json = Array.new  
+              encabezados = Array.new
+            else   
+              # Segundo encabezado, el "real"
+              # Si ya tenemos encabezados nos salimos
+              next if encabezados.count > 0  
+              row.each do |col|
+                # HACK: Para poder poner los valores correspondientes tomando en cuenta los encabezados
+                if hoja.name == "c_TasaOCuota"
+                  col = "maximo" if col == nil 
+                  col = "minimo" if col == "c_TasaOCuota" 
+                end
+              
+                next if col == nil
+                # Si el nombre de la columna es el mismo que la hoja entonces es el "id" del catálogo
+                col = "id" if hoja.name.index(col.to_s) != nil
+                nombre = col.to_s
+                # Convertimos a ASCII valido
+                nombre = nombre.encode(Encoding.find('ASCII'), @encoding_options)
+                # Convertimos la primer letra a minuscula
+                nombre[0] = nombre[0].chr.downcase
+                # La convertimos a camelCase para seguir la guia de JSON de Google:
+                # https://google.github.io/styleguide/jsoncstyleguide.xml
+                nombre = nombre.gsub(/\s(.)/) {|e| $1.upcase}
+              
+                encabezados << nombre
+              end
+            
+              next
+            end    
+          end
+        
+          # Solo procedemos si ya hubo encabezados
+          if  encabezados.count > 0 then
+            #puts encabezados.to_s
+            # Si la columna es tipo fecha nos la saltamos ya que es probable
+            # que sea el valor de la fecha de modificacion del catálogo
+            next if row[0].class == Date 
+            
+            hash_renglon = Hash.new
+            for k in 0..encabezados.count - 1
+              next if encabezados[k].to_s == ""  
+              if row[k].instance_of?(Spreadsheet::Formula) == true
+                  valor = row[k].value
+              else                      
+                  if row[k].class == Float 
+                    if hoja.name == "c_Impuesto"
+                      #puts "poniendo a tres cero"
+                      valor = "%03d" % row[k].to_i
+                    else
+                      #puts "poniendo a 2 ceros: " + "%02d" % row[k].to_i
+                      valor = "%02d" % row[k].to_i
+                    end
+                  else
+                    valor = row[k].to_s
+                  end
+              end
+          
+              hash_renglon[encabezados[k]] = valor
+            end
+            renglones_json << hash_renglon
+          end  
+        end 
+      
+        # Guardamos el contenido JSON
+        if !en_partes || ultima_parte then 
+          puts "Escribiendo archivo JSON..."
+          hoja.name.sub!(/(_Parte_\d+)$/, '') if ultima_parte
+          File.open("#{tempdir}/#{final_dir}/#{hoja.name}.json","w") do |f|
+            f.write(JSON.pretty_generate(renglones_json))
+          end
+          renglones_json = nil
+          en_partes = false
+          ultima_parte = false
+          encabezados = Array.new
+        end
+      end
+  
+     
+      
+      puts "---------------------------------------------------------"
+      puts "Se finalizó creacion de JSONs en directorio: #{tempdir}"
+
+    rescue => e
+      puts "Error en generacion de JSONs: #{e.message}"
+      raise
+    end
+
+    return true
+
+  end
+
+  def nuevo_xls?(local_eTag = nil, url_excel = "http://www.sat.gob.mx/informacion_fiscal/factura_electronica/Documents/catCFDI.xls")
+    local_eTag = @local_eTag if local_eTag.nil?
+    url_excel = URI.parse(url_excel)
+    new_eTag = nil
+
+    httpWork = Net::HTTP.start(url_excel.host) do
+      |http|
+      response = http.request_head(url_excel.path)
+      new_eTag = response['etag'].split(",")[0]
+    end
+
+
+    return new_eTag != local_eTag
+
+  end
+
+  def main(local_eTag = nil, url_excel = "http://www.sat.gob.mx/informacion_fiscal/factura_electronica/Documents/catCFDI.xls")
+    
+    if (nuevo_xls?(local_eTag, url_excel))
+      descargar(url_excel)
+      procesar()
+    end
+    
+    return true
+    
+        
+  end
+
+end
+  
+

metadata

@@ -0,0 +1,46 @@
+--- !ruby/object:Gem::Specification
+name: catalogos_sat
+version: !ruby/object:Gem::Version
+  version: 0.0.1
+platform: ruby
+authors:
+- BambuCode
+- Ricardo Trevizo
+autorequire: 
+bindir: bin
+cert_chain: []
+date: 2017-11-01 00:00:00.000000000 Z
+dependencies: []
+description: Utilerias para generar JSONS de los catalogos del SAT en Mexico. Descarga
+  el archivo .xls que el sat proporciona y parsea las columnas y filas
+email: hola@bambucode.com
+executables: []
+extensions: []
+extra_rdoc_files: []
+files:
+- lib/catalogos_sat.rb
+homepage: http://rubygems.org/gems/catalogos_sat
+licenses:
+- MIT
+metadata: {}
+post_install_message: 
+rdoc_options: []
+require_paths:
+- lib
+required_ruby_version: !ruby/object:Gem::Requirement
+  requirements:
+  - - ">="
+    - !ruby/object:Gem::Version
+      version: '0'
+required_rubygems_version: !ruby/object:Gem::Requirement
+  requirements:
+  - - ">="
+    - !ruby/object:Gem::Version
+      version: '0'
+requirements: []
+rubyforge_project: 
+rubygems_version: 2.6.12
+signing_key: 
+specification_version: 4
+summary: Script para generar JSONS de catalogos del SAT
+test_files: []