sped2sql 1.0.4

checksums.yaml

@@ -0,0 +1,7 @@
+---
+SHA1:
+  metadata.gz: 95c686634750ae95c0c53e640e3f828546dc3853
+  data.tar.gz: 9ca4fd15d9da0dcba6bb94b4105dc852dedb7bc2
+SHA512:
+  metadata.gz: e13b2d57d99fc60afefe148de62c42085a51455c4999bfcc7a4979c981476999d9785e843c688a7337a7c87b391af8659599e6ce14c4dd034640fdd48b0083f9
+  data.tar.gz: d2fa4d85a9036ebf94d6f79e975611c245717cc2c2dcc234002408ebddc32dfd0c610bc908d480e2a3493db83cec7919dff006d8d8d934279b56598f388fc8a9

data/.gitignore

@@ -0,0 +1,5 @@
+.DS_Store
+*.gem
+.rvmrc
+.bundle/
+.rspec

data/Gemfile

@@ -0,0 +1,6 @@
+source 'https://rubygems.org'
+gemspec
+
+group :development, :test do
+  gem "codeclimate-test-reporter", require: nil
+end

data/Gemfile.lock

@@ -0,0 +1,40 @@
+PATH
+  remote: .
+  specs:
+    sped2sql (1.0.4)
+      rake (~> 10.3)
+
+GEM
+  remote: https://rubygems.org/
+  specs:
+    codeclimate-test-reporter (0.4.0)
+      simplecov (>= 0.7.1, < 1.0.0)
+    diff-lcs (1.2.5)
+    docile (1.1.5)
+    multi_json (1.10.1)
+    rake (10.3.2)
+    rspec (3.0.0)
+      rspec-core (~> 3.0.0)
+      rspec-expectations (~> 3.0.0)
+      rspec-mocks (~> 3.0.0)
+    rspec-core (3.0.4)
+      rspec-support (~> 3.0.0)
+    rspec-expectations (3.0.4)
+      diff-lcs (>= 1.2.0, < 2.0)
+      rspec-support (~> 3.0.0)
+    rspec-mocks (3.0.4)
+      rspec-support (~> 3.0.0)
+    rspec-support (3.0.4)
+    simplecov (0.9.0)
+      docile (~> 1.1.0)
+      multi_json
+      simplecov-html (~> 0.8.0)
+    simplecov-html (0.8.0)
+
+PLATFORMS
+  ruby
+
+DEPENDENCIES
+  codeclimate-test-reporter
+  rspec (~> 3.0)
+  sped2sql!

data/LICENSE.md

@@ -0,0 +1,24 @@
+
+Copyright (c) 2014 Josué Lima ([@josuelima](https://github.com/josuelima))
+==========================================================================
+
+The "SPED2SQL" RubyGem is released under the **MIT LICENSE**
+------------------------------------------------------------
+
+Permission is hereby granted, free of charge, to any person obtaining a copy
+of this software and associated documentation files (the "Software"), to deal
+in the Software without restriction, including without limitation the rights
+to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
+copies of the Software, and to permit persons to whom the Software is
+furnished to do so, subject to the following conditions:
+
+The above copyright notice and this permission notice shall be included in
+all copies or substantial portions of the Software.
+
+THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
+IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
+FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
+AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
+LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
+OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN
+THE SOFTWARE.s

data/README.md

@@ -0,0 +1,106 @@
+# SPED2SQL
+
+[![Code Climate](https://codeclimate.com/github/josuelima/sped2sql.png)](https://codeclimate.com/github/josuelima/sped2sql)
+[![Build Status](https://travis-ci.org/josuelima/sped2sql.svg?branch=master)](https://travis-ci.org/josuelima/sped2sql)
+[![Test Coverage](https://codeclimate.com/github/josuelima/sped2sql/badges/coverage.svg)](https://codeclimate.com/github/josuelima/sped2sql)
+
+** SPED2SQL is a RubyGem to convert SPED tax data files into SQL. SPED2SQL reads the SPED file and matches it against a template in order to convert the data into its corresponding SQL format. You can also make it extensible by creating as many custom parsers as you want and attach it to the reading process **
+
+SPED2SQL é uma RubyGem que converte arquivos SPED para arquivos SQL prontos para serem inseridos no banco de dados (caso precise criar as tabelas do SPED, de uma olhada nesse outro repositório: [SPED Schema](https://github.com/josuelima/sped_schema)).
+
+Atualmente apenas o template para a EFD ICMS IPI está disponibilizado, porém você pode implementar e customizar o seu próprio template (e se possível enviar de volta como contribuição).
+
+## Instalação
+```ruby
+gem install sped2sql
+```
+
+## Uso
+
+### Convertendo um arquivo EFD ICMS IPI para SQL
+
+```ruby
+require 'sped2sql'
+
+conversor = SPED2SQL::Conversor.new(caminho_arquivo_sped, :efd_icms_ipi)
+conversor.converter!
+
+# Salva o SQL em um arquivo texto
+IO.write('caminho_destino_sql.sql', conversor.to_sql)
+```
+Verifique os SPECS para outros exemplos e o retorno SQL
+
+
+### Convertendo um arquivo SPED utilizando um template próprio
+
+```ruby
+require 'sped2sql'
+
+conversor = SPED2SQL::Conversor.new(caminho_arquivo_sped, caminho_template_txt)
+conversor.converter!
+
+# Salva o SQL em um arquivo texto
+IO.write('caminho_destino_sql.sql', conversor.to_sql)
+```
+Veja um exemplo de [template](https://github.com/josuelima/sped2sql/blob/master/templates/efd_icms_ipi.txt)
+
+
+### Parsers
+
+Por padrão duas operações (tasks) são executas durante a leitura de cada linha do SPED. São elas:
+* [NormalizaSQL](https://github.com/josuelima/sped2sql/blob/master/lib/sped2sql/pipeline/normaliza_sql.rb): Converte cada campo para o respectivo tipo de dado informado no template
+* [AddHash](https://github.com/josuelima/sped2sql/blob/master/lib/sped2sql/pipeline/add_hash.rb): Adiciona um identificador único para cada registro
+
+Para não utiliza-las, basta apenas instanciar o conversor explicitando as tasks vazias:
+
+```ruby
+conversor = SPED2SQL::Conversor.new(arquivo_sped, arquivo_mapa, {tasks: :vazio})
+```
+
+
+### Parsers customizados
+
+É possível utilizar seus próprios parsers para serem executados como tasks a cada leitura de linha.
+Basta apenas que ele responda ao metodo call recebendo como argumento um hash contendo:
+
+* :original => linha original que está sendo lida no momento
+* :final    => linha com as modificações feitas por outros parsers até o momento
+* :mapa     => template mapeando o tipo de dado para cada registro do sped
+* :memoria  => último registro lido de cada tabela
+* :saida    => acumulador das leituras feitas até momento
+* :options  => Opções enviadas na instaciação do conversor
+
+E retorne o mesmo hash como a key final modificada com suas alterações (apenas modificações nessa key serão levadas em conta).
+
+Neste exemplo, um simples parser que adiciona a hora atual na última coluna da linha lida:
+
+```ruby
+module MyParser
+  def self.call(env)
+    env[:final].push(Time.now)
+    env
+  end
+end
+```
+
+Para utilizar apenas este parser na leitura do seu arquivo:
+
+```ruby
+conversor = SPED2SQL::Conversor.new(arquivo_sped, arquivo_mapa, {tasks: [MyParser]})
+```
+
+Para utilizar os parsers default e acrescentar o seu ao final:
+
+```ruby
+conversor = SPED2SQL::Conversor.new(arquivo_sped, arquivo_mapa)
+conversor << MyParser
+```
+
+## Contribuindo
+
+Contribuições são bem vindas. Você pode contribuir de diversas maneiras:
+
+* Procurando e reportando erros ([faça isso aqui](https://github.com/josuelima/sped2sql/issues))
+* Corrigindo erros e enviando as correções (Fork o projeto e envie um Pull Request)
+* Criando novos templates
+* Criando parsers úteis de propósito geral

data/Rakefile

@@ -0,0 +1,3 @@
+require 'rspec/core/rake_task'
+task :default => :spec
+RSpec::Core::RakeTask.new

data/lib/sped2sql.rb

@@ -0,0 +1,11 @@
+# -*- encoding: utf-8 -*-
+require 'csv'
+require 'securerandom'
+require 'sped2sql/formatters/string_converter'
+require 'sped2sql/formatters/gera_hash'
+require 'sped2sql/pipeline/base'
+require 'sped2sql/pipeline/normaliza_sql'
+require 'sped2sql/pipeline/add_hash'
+require 'sped2sql/sql/parser'
+require 'sped2sql/layout/mapa'
+require 'sped2sql/conversor'

data/lib/sped2sql/conversor.rb

@@ -0,0 +1,68 @@
+# -*- encoding: utf-8 -*-
+module SPED2SQL
+  class Conversor < Pipeline::Base
+    include Layout
+
+    attr_reader :fonte, :template, :saida, :memoria, :options
+
+    def initialize(fonte, template, options = {})
+      @fonte      = fonte
+      @template   = template.is_a?(Symbol) ? Mapa.arquivo_template(template) : template
+      @saida      = []
+      @memoria    = Hash.new { |k, v| k[v] = [] }
+      @options    = options
+
+      valida_arquivo(@fonte)
+      valida_arquivo(@template)
+
+      tasks = if options[:tasks].is_a?(Array)
+                options[:tasks]
+              elsif options[:tasks] == :vazio
+                []
+              else
+                [Pipeline::NormalizaSQL, Pipeline::AddHash]
+              end
+
+      super(tasks)
+    end
+
+    def converter!
+      mapa  = Mapa.carrega!(@template)
+      dados = IO.read(fonte, encoding: 'ISO-8859-1').gsub("'", '"')
+
+      CSV.parse(dados, col_sep: '|', quote_char: "'") do |row|
+        # pula linha se o registro nao existe no mapa
+        next unless mapa.has_key?(row[1])
+
+        # O primeiro e o ultimo item de uma linha no SPED sempre eh nulo
+        linha = row.clone[1..-2]
+
+        # Executa o pipe
+        pipe = execute({ original: linha,
+                         final:    linha,
+                         mapa:     mapa,
+                         memoria:  @memoria,
+                         saida:    @saida,
+                         options:  @options })
+
+        @saida << pipe[:final]
+        @memoria[linha.first] << pipe[:final]
+
+        # Para um arquivo completo do SPED, 9999 eh o ultimo registro.
+        # termina a leitura do arquivo no registro 9999 evitando ler
+        # linhas em branco ou assinatura digital
+        break if linha[0].to_i == 9999
+      end
+    end
+
+    def to_sql
+      SQL::Parser.to_sql(@saida, @options[:db] || {})
+    end
+
+    private
+
+    def valida_arquivo(file)
+      fail(ArgumentError, "Arquivo inexistente: #{file}") unless File.exist?(file)
+    end
+  end
+end

data/lib/sped2sql/formatters/gera_hash.rb

@@ -0,0 +1,10 @@
+# -*- encoding: utf-8 -*-
+module SPED2SQL
+  module Formatters
+    class GeraHash
+      def self.get_hash
+        SecureRandom.uuid
+      end
+    end
+  end
+end

data/lib/sped2sql/formatters/string_converter.rb

@@ -0,0 +1,36 @@
+# -*- encoding: utf-8 -*-
+module SPED2SQL
+  module Formatters
+    class StringConverter
+      class << self
+        def converter(subject, tipo)
+          return '' unless valid_subject?(subject)
+          send(tipo, subject)
+        end
+
+        def string(subject)
+          subject.gsub(/['"\\\x0]/, '\\\\\0')
+        end
+
+        def date(subject)
+          "#{subject[4..7]}-#{subject[2..3]}-#{subject[0..1]}"
+        end
+
+        def decimal(subject)
+          # O formato para decimal no SPED eh sempre #.###,##
+          subject.gsub(/\./, '').gsub(/,/, '.')
+        end
+
+        private
+
+        def method_missing(_, *dados)
+          dados[0]
+        end
+
+        def valid_subject?(subject)
+          !(subject.nil? || subject == '')
+        end
+      end
+    end
+  end
+end

data/lib/sped2sql/layout/mapa.rb

@@ -0,0 +1,49 @@
+# -*- encoding: utf-8 -*-
+module SPED2SQL
+  module Layout
+    TEMPLATE_PATH = File.expand_path('../../../../templates', __FILE__)
+
+    class Mapa
+      ##
+      # Carrega um mapa (arquivo csv) para um hash
+      #
+      # Esse mapa define o tipo de dado em cada campo de
+      # um registro do SPED e eh utilizado para fazer a
+      # normalizacao do dado vindo do arquivo SPED na hora
+      # de inserir no banco de dados
+      #
+      # Exemplo de um mapa:
+      #
+      # - Para um arquivo SPED:
+      #   |0001|Dados aleatorios|Dados aleatorios|
+      #   |0001|Dados do Fornecedor|01012014|1150,00|
+      #
+      # - O mapa deveria ser:
+      #   |0001|string|string|string|
+      #   |0175|string|string|date|decimal|
+      #
+      # O hash final sera:
+      # { "0001" => [:string, :string], "0175" => [:string, :date, :decimal] }
+
+      def self.carrega!(fonte)
+        mapa = {}
+
+        CSV.foreach(fonte, col_sep: '|') do |row|
+          linha = row.clone.compact
+          mapa[linha[0]] = linha[1..-1].map(&:to_sym)
+        end
+
+        mapa
+      end
+
+      def self.arquivo_template(tipo)
+        case tipo
+        when :efd_icms_ipi
+          File.join(TEMPLATE_PATH, 'efd_icms_ipi.txt')
+        else
+          fail(ArgumentError, "Template inexistente: #{tipo}")
+        end
+      end
+    end
+  end
+end

data/lib/sped2sql/pipeline/add_hash.rb

@@ -0,0 +1,13 @@
+module SPED2SQL
+  module Pipeline
+    module AddHash
+      include Formatters
+
+      def self.call(env)
+        env[:final].push(GeraHash.get_hash)
+        env
+      end
+
+    end
+  end
+end

data/lib/sped2sql/pipeline/base.rb

@@ -0,0 +1,29 @@
+# -*- encoding: utf-8 -*-
+#
+# Simples class para adicionar tarefas a serem executadas
+# na leitura de cada linha do arquivo SPED
+#
+# Adicione qualquer modulo ou classe que responda a call
+# recebendo como argumento um hash com a linha atual e a
+# memoria e que devolva os mesmo no retorno.
+module SPED2SQL
+  module Pipeline
+    class Base
+      attr_accessor :tasks
+
+      def initialize(tasks = [])
+        @tasks = tasks
+      end
+
+      def <<(task)
+        @tasks << task
+        self
+      end
+
+      def execute(env)
+        @tasks.each { |t| env = t.call(env) }
+        env
+      end
+    end
+  end
+end

data/lib/sped2sql/pipeline/normaliza_sql.rb

@@ -0,0 +1,16 @@
+# -*- encoding: utf-8 -*-
+module SPED2SQL
+  module Pipeline
+    module NormalizaSQL
+      include Formatters
+
+      def self.call(env)
+        mapa = env[:mapa][env[:original].first]
+        env[:final] = env[:original].zip(mapa).map do |dado, tipo|
+          StringConverter.converter(dado, tipo)
+        end
+        env
+      end
+    end
+  end
+end