sped2db 1.0.0

checksums.yaml

@@ -0,0 +1,7 @@
+---
+SHA1:
+  metadata.gz: ad09f676034b84b559018d4f402f5df413d9cc50
+  data.tar.gz: c0ce5a28c092dd878e6cc82cdf0af3c0a50158fd
+SHA512:
+  metadata.gz: 012f612a2f111828aa646d12548f68a20447aba4b11cfdf9d0a030c66ecd7613619a8c25b44fe3accadd7e85881bb4e27d235bff85151857268e4e9e0075429e
+  data.tar.gz: a5f049a222a0d0278a2217437194c7b8621619bc86f38f053b7ff67b6b57ffb4eed6f9daf36d2170aee0ca9edc1532113cf20051996dd190364442a00bd1a6a8

data/.editorconfig

@@ -0,0 +1,11 @@
+root = true
+
+[*]
+indent_style = space
+indent_size = 2
+trim_trailing_whitespace = true
+insert_final_newline = true
+
+[*.md]
+trim_trailing_whitespace = false
+insert_final_newline = false

data/.gitignore

@@ -0,0 +1,10 @@
+/.bundle/
+/.yardoc
+/Gemfile.lock
+/_yardoc/
+/coverage/
+/doc/
+/pkg/
+/spec/reports/
+/tmp/
+.idea/

data/.rspec

@@ -0,0 +1,2 @@
+--format documentation
+--color

data/.rubocop.yml

@@ -0,0 +1,36 @@
+Lint/HandleExceptions:
+  Exclude:
+    - 'spec/**/*'
+
+Lint/UnifiedInteger:
+  Exclude:
+    - 'migrations/**/*'
+
+Metrics/AbcSize:
+  Enabled: false
+
+Metrics/ClassLength:
+  Exclude:
+    - 'lib/**/cli.rb'
+    - 'spec/**/*'
+
+Metrics/BlockLength:
+  Exclude:
+    - 'migrations/**/*'
+    - 'spec/**/*'
+
+Metrics/LineLength:
+  Max: 100
+  Exclude:
+    - 'sped2db.gemspec'
+    - 'spec/**/*'
+
+Metrics/MethodLength:
+  Max: 20
+
+Metrics/ModuleLength:
+  Exclude:
+    - 'spec/**/*'
+
+Style/Documentation:
+  Enabled: false

data/.travis.yml

@@ -0,0 +1,4 @@
+language: ruby
+rvm:
+  - 2.2.2
+before_install: gem install bundler -v 1.11.2

data/Gemfile

@@ -0,0 +1,4 @@
+source 'https://rubygems.org'
+
+# Specify your gem's dependencies in sped2db.gemspec
+gemspec

data/LICENSE.txt

@@ -0,0 +1,21 @@
+The MIT License (MIT)
+
+Copyright (c) 2017 Elvis Luciano
+
+Permission is hereby granted, free of charge, to any person obtaining a copy
+of this software and associated documentation files (the "Software"), to deal
+in the Software without restriction, including without limitation the rights
+to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
+copies of the Software, and to permit persons to whom the Software is
+furnished to do so, subject to the following conditions:
+
+The above copyright notice and this permission notice shall be included in
+all copies or substantial portions of the Software.
+
+THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
+IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
+FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
+AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
+LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
+OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN
+THE SOFTWARE.

data/README.md

@@ -0,0 +1,72 @@
+# Sped2db
+
+[![Gem Version](https://badge.fury.io/rb/sped2db.svg)](https://badge.fury.io/rb/sped2db) [![Build Status](https://travis-ci.org/elvisgs/sped2db.svg?branch=master)](https://travis-ci.org/elvisgs/sped2db)
+
+Importa registros de arquivos no formato [SPED](http://sped.rfb.gov.br) fiscal/contribuições para um Banco de Dados
+
+## Instalação
+
+O sped2db usa o [Sequel](https://github.com/jeremyevans/sequel) para acesso ao banco de dados. Para tanto, é necessário instalar também o driver ruby adequado. 
+
+
+```
+$ gem install sped2db
+$ gem install <driver do seu BD>
+```
+
+Sendo que driver pode ser `sqlite3`, `pg`, `mysql2`, etc.
+
+## Uso
+
+```
+$ sped2db [opções] <caminho sped>
+Opções:
+    -c, --config             Arquivo de configuração ou URI de conexão (default: ./sped2db.yml)
+    -n, --dbname             Nome do BD (sobrescreve config)
+    -u, --user               Nome do usuário do BD (sobrescreve config)
+    -p, --passwd             Senha do usuário (sobrescreve config)
+    -e, --continue-on-error  Continua se encontrar erro (default: false)
+    -v, --version
+    -h, --help
+```
+
+O caminho SPED pode ser um único arquivo ou um diretório contendo arquivos SPED.
+
+## Exemplos
+
+1. Usa configurações de conexão do `sped2db.yml` (se existir) no diretório atual e carrega arquivo `~/sped.txt` no BD teste:
+```
+$ sped2db -n teste ~/sped.txt
+```
+
+2. Usa configurações de conexão contidas em `~/database.yml` com usuário john, senha 123 e carrega arquivo `~/sped.txt`:
+```
+$ sped2db -c ~/database.yml -u john -p 123 ~/sped.txt
+```
+
+3. Usa URI de conexão e carrega todos os arquivos SPED do diretório `~/sped-files/`, mesmo se algum tiver erros:
+```
+$ sped2db -c postgres://localhost/teste -e ~/sped-files/
+```
+
+Um arquivo de configuração tem o seguinte formato:
+```yaml
+adapter: postgres
+host: localhost
+port: 5432
+user: myUser
+password: myPassword
+database: sped
+```
+Para mais detalhes sobre configuração e strings de conexão, consulte a [documentação](https://github.com/jeremyevans/sequel/blob/master/doc/opening_databases.rdoc) do Sequel.
+
+## Desenvolvimento
+
+Depois de clonar o repo, execute `bundle install` para instalar as dependências, então execute `rake spec` para rodar os testes. Execute `bundle exec sped2db` para usar a gem neste diretório, ignorando outras cópias desta gem instaladas.
+
+Para instalar esta gem na sua máquina local, execute `bundle exec rake install`. Para fazer o release de uma nova versão, atualize o número de versão em `version.rb` e então execute `bundle exec rake release`, que criará uma tag git para a versão, fará push no git dos commits e tags e mandará o `.gem` para [rubygems.org](https://rubygems.org).
+
+## Licença
+
+Esta gem está disponível como open source sob os termos da [MIT License](http://opensource.org/licenses/MIT).
+

data/Rakefile

@@ -0,0 +1,6 @@
+require 'bundler/gem_tasks'
+require 'rspec/core/rake_task'
+
+RSpec::Core::RakeTask.new(:spec)
+
+task default: :spec

data/bin/sped2db

@@ -0,0 +1,5 @@
+#!/usr/bin/env ruby
+
+require 'sped2db'
+
+Sped2DB::CLI.new.run ARGV

data/lib/sped2db/cli.rb

@@ -0,0 +1,181 @@
+module Sped2DB
+  class CLI
+    include Utils
+
+    DEFAULT_CONFIG_FILE = 'sped2db.yml'.freeze
+    CONFIG_NOT_PROVIDED = 'Arquivo de configuração não encontrado
+                           e opção -c não especificada'.freeze
+    CONFIG_INVALID = 'Arquivo de configuração ou URI inválido(a)'.freeze
+    SPED_PATH_INVALID = 'Caminho de arquivo(s) SPED inválido'.freeze
+    SPED_FILES_NOT_FOUND = 'O caminho especificado não é ou não contém arquivo(s) SPED'.freeze
+
+    attr_reader :opts
+
+    def initialize(io = $stdout, extractor = nil, db_tools = nil)
+      @io = io
+      @extractor = extractor
+      @db_tools = db_tools
+      @exe = 'sped2db'
+    end
+
+    def run(args)
+      @args = args
+      @opts = parse_args(args)
+
+      process_opts
+    end
+
+    private
+
+    def parse_args(args)
+      Slop.parse(args) do |o|
+        o.banner = "Uso: #{@exe} [opções] <caminho sped>"
+        o.separator 'Opções:'
+        o.string '-c', '--config',
+                 'Arquivo de configuração ou URI de conexão (default: ./sped2db.yml)'
+        o.string '-n', '--dbname', 'Nome do BD (sobrescreve config)'
+        o.string '-u', '--user', 'Nome do usuário do BD (sobrescreve config)'
+        o.string '-p', '--passwd', 'Senha do usuário (sobrescreve config)'
+        o.bool '-e', '--continue-on-error', 'Continua se encontrar erro (default: false)',
+               default: false
+        o.on('-v', '--version') { show_version }
+        o.on('-h', '--help') { show_help(o) }
+      end
+    end
+
+    def process_opts
+      show_help if @args.nil? || @args.empty?
+      show_error CONFIG_NOT_PROVIDED unless exist_config?
+
+      db_config = fetch_db_config
+      db_opts = fetch_db_opts
+      @sped_files = fetch_sped_files
+      @layout = get_layout @sped_files.first
+
+      @io.puts "SPED #{@layout.type.to_s.capitalize} v#{@layout.version}"
+
+      @db = Sequel.connect(db_config, db_opts)
+      bootstrap_db
+      import
+    rescue => e
+      @io.puts format_error(e)
+    ensure
+      @db.disconnect unless @db.nil?
+    end
+
+    def fetch_db_config
+      config = opts[:config] || DEFAULT_CONFIG_FILE
+      config_hash = YAML.load_file(config) if File.exist?(config)
+      config_hash || config
+    end
+
+    def fetch_db_opts
+      db_name = opts[:dbname]
+      user = opts[:user]
+      passwd = opts[:passwd]
+      db_opts = {}
+      db_opts.update(database: db_name) unless db_name.nil?
+      db_opts.update(user: user) unless user.nil?
+      db_opts.update(password: passwd) unless passwd.nil?
+      db_opts
+    end
+
+    def fetch_sped_files
+      path = opts.args[0]
+      show_error SPED_PATH_INVALID if path.nil?
+      show_error SPED_PATH_INVALID unless file_or_dir?(path)
+
+      sped_files = Find.find(path).select { |f| sped_file?(f) }
+      show_error SPED_FILES_NOT_FOUND if sped_files.size.zero?
+
+      sped_files
+    end
+
+    def bootstrap_db
+      @db_tools ||= DbTools.new(@db, @layout)
+
+      if @db_tools.exists?
+        @io.puts 'Banco de dados existente'
+      else
+        @io.puts 'Criando Banco de dados'
+        @db_tools.create_database
+      end
+
+      @io.puts 'Criando tabelas'
+      @db_tools.create_tables
+    end
+
+    def import
+      @extractor ||= Extractor.new@sped_files, @db, continue_on_error: opts.continue_on_error?
+      @files_count = @sped_files.size
+
+      configure_progress_listeners
+
+      @extractor.import
+    end
+
+    def configure_progress_listeners
+      progressbar = nil
+      io = @io
+      files_count = @files_count
+      format_error = method(:format_error)
+
+      @extractor.on :process_file_start do |file, index|
+        file = File.basename(file)
+        io.puts format("\n[%03d/%03d] %s", index + 1, files_count, file)
+        progressbar = ProgressBar.create(title: 'Progresso', format: '[%B] %p%%', output: io)
+      end
+      @extractor.on :progress do |progress|
+        progressbar.progress = progress if progress > progressbar.progress
+      end
+      @extractor.on(:process_file_end) { progressbar.finish }
+      @extractor.on :error do |e|
+        progressbar.stop
+        io.puts format_error[e]
+      end
+    end
+
+    def show_version
+      @io.puts Sped2DB::VERSION
+      exit
+    end
+
+    def show_help(opts = nil)
+      @io.puts opts || @opts
+      @io.puts "\nExemplos:"
+
+      @io.puts "\n# Usa configurações de conexão do sped2db.yml no diretório"
+      @io.puts '# atual e carrega arquivo ~/sped.txt no BD teste'
+      @io.puts "#{@exe} -n teste ~/sped.txt"
+
+      @io.puts "\n# Usa configurações de conexão contidas em ~/database.yml"
+      @io.puts '# com usuário john, senha 123 e carrega arquivo ~/sped.txt'
+      @io.puts "#{@exe} -c ~/database.yml -u john -p 123 ~/sped.txt"
+
+      @io.puts "\n# Usa URI de conexão e carrega todos os arquivos SPED do"
+      @io.puts '# diretório ~/sped-files/, mesmo se algum tiver erros'
+      @io.puts "#{@exe} -c postgres://localhost/teste -e ~/sped-files/"
+      exit
+    end
+
+    def format_error(e)
+      msg = "Erro: #{e.class}: #{e.message}\n#{e.backtrace.first}\n"
+      msg << "Linha #{e.lineno}: #{e.line}" if e.instance_of? SpedError
+      msg
+    end
+
+    def show_error(msg)
+      @io.puts "Erro: #{msg}"
+      @io.puts "Para mais detalhes: #{@exe} --help"
+      exit 1
+    end
+
+    def exist_config?
+      !opts[:config].nil? || File.exist?(DEFAULT_CONFIG_FILE)
+    end
+
+    def file_or_dir?(path)
+      File.file?(path) || File.directory?(path)
+    end
+  end
+end

data/lib/sped2db/db_tools.rb

@@ -0,0 +1,43 @@
+Sequel.extension :migration
+
+module Sped2DB
+  class DbTools
+    DEFAULT_DATABASES = {
+      ado: 'master',
+      mysql2: 'mysql',
+      postgres: 'template1'
+    }.freeze
+
+    def initialize(db, layout)
+      @db = db
+      @layout = layout
+    end
+
+    def exists?
+      @db.test_connection
+    rescue Sequel::DatabaseConnectionError
+      false
+    end
+
+    def create_database
+      db_opts = @db.opts.dup
+      adapter = db_opts[:adapter].to_sym
+
+      return unless DEFAULT_DATABASES.keys.include? adapter
+
+      db_name = db_opts[:database]
+      db_opts[:database] = DEFAULT_DATABASES[adapter]
+
+      Sequel.connect(db_opts) do |db|
+        db.run "create database #{db_name}"
+      end
+    end
+
+    def create_tables
+      directory = "../../../migrations/#{@layout.type}/v#{@layout.version}"
+      Sequel::Migrator.run @db, File.expand_path(directory, __FILE__)
+
+      # @db.drop_table? :schema_info
+    end
+  end
+end

data/lib/sped2db/extractor.rb

@@ -0,0 +1,95 @@
+module Sped2DB
+  class Extractor
+    include EventEmitter
+    include Utils
+
+    attr_reader :layout
+
+    def initialize(sped_files, db, opts = {})
+      @sped_files = sped_files
+      @db = db
+      @continue_on_error = opts.fetch(:continue_on_error, false)
+      @layout = get_layout(sped_files.first)
+      @metadata = load_metadata
+      @ids = {}
+    end
+
+    def import
+      @sped_files.each_with_index { |f, i| process_file(f, i) }
+    end
+
+    private
+
+    def load_metadata
+      metadata_file = "metadata-#{@layout.type}-v#{layout.version}.yml"
+      metadata_path = File.expand_path("../../../meta/#{metadata_file}", __FILE__)
+      YAML.load_file(metadata_path)
+    end
+
+    def process_file(f, index)
+      emit :process_file_start, f, index
+
+      total_lines = count_lines f
+      sped = File.open(f, 'r:CP850:UTF-8')
+      @cnpj_pai = nil
+
+      @db.transaction(rollback: :reraise) do
+        sped.each_line do |line|
+          process_line(line, sped.lineno)
+
+          progress = ((sped.lineno * 100) / total_lines).round
+          emit :progress, progress, f, index
+        end
+      end
+
+      emit :process_file_end, f, index
+    rescue => e
+      raise unless @continue_on_error
+      emit :error, e, f, index
+    ensure
+      sped.close unless sped.nil?
+    end
+
+    def process_line(line, lineno)
+      reg = Registro.new line, @metadata
+      reg_table = @db[table_name(reg)]
+
+      @cnpj_pai = get_cnpj_pai(reg)
+      id = next_id(reg)
+      id_pai = @ids[reg.pai] || (@layout == :contrib ? 1 : 0)
+
+      values = { id: id, id_pai: id_pai, cnpj_pai: @cnpj_pai }
+      values.update reg.to_h
+
+      reg_table.insert values
+    rescue SpedError => e
+      e.line = line
+      e.lineno = lineno
+      raise e
+    end
+
+    def get_cnpj_pai(reg)
+      cnpj = @cnpj_pai
+      name = reg.nome
+
+      if @layout == :fiscal && name == '0000'
+        cnpj = reg[:cnpj]
+      elsif @layout == :contrib
+        cnpj = reg[:cnpj] if name.end_with?('010') || name == '0140'
+      end
+
+      cnpj
+    end
+
+    def table_name(reg)
+      "reg_#{reg.nome}".downcase.to_sym
+    end
+
+    def next_id(reg)
+      reg_table = @db[table_name(reg)]
+      id = @ids[reg.nome] || Integer(reg_table.max(:id) || 0)
+      id += 1
+      (@ids[reg.nome] = id)
+    end
+  end
+end

data/lib/sped2db/layout.rb

@@ -0,0 +1,32 @@
+module Sped2DB
+  class Layout
+    VERSIONS = {
+      fiscal: %w[009 010 011],
+      contrib: %w[002 003]
+    }.freeze
+
+    attr_reader :type, :version
+
+    def initialize(type, version)
+      raise ArgumentError, 'type is nil' if type.nil?
+      type = type.to_sym
+
+      layouts = VERSIONS.keys.join(', ')
+      raise ArgumentError, "type must be one of #{layouts}" unless
+        VERSIONS.key? type
+
+      raise ArgumentError, 'version is nil' if version.nil?
+
+      versions = VERSIONS[type].join(', ')
+      raise ArgumentError, "version must be one of #{versions}" unless
+        versions.include? version
+
+      @type = type
+      @version = version
+    end
+
+    def to_s
+      "SPED #{type.to_s.capitalize} v#{version}"
+    end
+  end
+end

data/lib/sped2db/registro.rb

@@ -0,0 +1,77 @@
+module Sped2DB
+  class Registro
+    attr_reader :nome, :pai, :campos, :valores
+
+    def initialize(linha, metadados)
+      @linha = linha
+      @metadados = metadados
+      @valores = dividir_linha_em_valores linha
+      @nome = @valores.shift.upcase
+
+      validar_registro
+
+      @pai = @metadados[@nome]['pai']
+      @campos = @metadados[@nome]['campos']
+
+      validar_campos
+
+      corrigir_caracteres_especiais
+      corrigir_datas
+
+      @hash = to_h
+    end
+
+    def to_h
+      valores = @valores.map { |v| v.empty? ? nil : v }
+      @campos.map(&:to_sym).zip(valores).to_h
+    end
+
+    def [](key)
+      @hash[key.to_sym]
+    end
+
+    private
+
+    def dividir_linha_em_valores(linha)
+      linha.sub(/^\|/, '').sub(/\|$/, '').gsub('\\', '\\\\\\\\').split('|', -1)
+    end
+
+    def corrigir_caracteres_especiais
+      @valores.map! do |c|
+        c.strip!
+        c.sub!(/,/, '.') if eh_decimal? c
+        c.gsub!(/'/, "''")
+        c
+      end
+    end
+
+    def eh_decimal?(str)
+      str =~ /^-?\d+,\d+$/
+    end
+
+    def corrigir_datas
+      @campos.each_with_index do |campo, i|
+        if campo.start_with?('dt_', 'dat_')
+          @valores[i] = formatar_data @valores[i]
+        end
+      end
+
+      @valores[0] = '0' if @nome == 'C495' && @valores[0] == ''
+    end
+
+    def formatar_data(d)
+      d != '' ? Date.strptime(d, '%d%m%Y').strftime('%Y-%m-%d') : ''
+    end
+
+    def validar_registro
+      msg = "Registro #{@nome} nao suportado"
+      raise SpedError.new msg, @linha unless @metadados.key? @nome
+    end
+
+    def validar_campos
+      msg = "Linha contem #{@valores.size + 1} campo(s), "
+      msg << "mas #{@campos.size + 1} eram esperado(s)"
+      raise SpedError.new msg, @linha if @valores.size != @campos.size
+    end
+  end
+end

data/lib/sped2db/sped_error.rb

@@ -0,0 +1,11 @@
+module Sped2DB
+  class SpedError < RuntimeError
+    attr_accessor :line, :lineno
+
+    def initialize(msg, line, lineno = nil)
+      super msg
+      @line = line
+      @lineno = lineno
+    end
+  end
+end

data/lib/sped2db/utils.rb

@@ -0,0 +1,37 @@
+module Sped2DB
+  module Utils
+    def get_first_line(file_path)
+      file = File.open(file_path, 'r:CP850:UTF-8')
+      file.readline
+    ensure
+      file.close unless file.nil?
+    end
+
+    def get_first_line_fields(file_path)
+      get_first_line(file_path).split('|', -1)
+    end
+
+    def count_lines(file_path)
+      # linux
+      `wc -l "#{file_path}"`.strip.split(' ')[0].to_i
+    rescue
+      # windows
+      `find /v /c "" "#{file_path}"`.strip.split(' ').last.to_i
+    end
+
+    def sped_file?(file_path)
+      File.file?(file_path) && get_first_line_fields(file_path)[1] == '0000'
+    end
+
+    def get_layout(file_path)
+      fields = get_first_line_fields(file_path)
+      type = date_string?(fields[4]) ? :fiscal : :contrib
+      version = fields[2]
+      Layout.new type, version
+    end
+
+    def date_string?(str)
+      str =~ /^\d{8}$/
+    end
+  end
+end

data/lib/sped2db/version.rb

@@ -0,0 +1,3 @@
+module Sped2DB
+  VERSION = '1.0.0'.freeze
+end