abank 0.2.3 → 0.2.9

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: 90945827ff39ea567dd16f073018ef56215da38498e9ca317a2aff12a23e9a6d
-  data.tar.gz: a2797459015e62c0a3bacc5eb2897ca58b52be346d885ce2494d9dd81cc08ba0
+  metadata.gz: 36171477026334dbce5da50183c84e693047db8fb387c1306308f254590793fc
+  data.tar.gz: da568eeb037c6deb414981abed805596ae1034f94eee103948bfdec5da958734
 SHA512:
-  metadata.gz: 87b7130b7a34943a80dad48903c083b5a06074f35d951575d435d4c4f58a466141bf0ef3021bca22515110e14cd179c64d7991292207d1fb029e309832d3258b
-  data.tar.gz: 48562e6cdae584b35bacea3c9a7ab5149922c244fe1b6248b57527577c288675e2da1b9eb082e7bd5ee9bb075b26199a34368e52cc3a3d18bcf575e9369fd6c7
+  metadata.gz: a9fbda092cf84a6ee8a2552fbd0ff363d482fd599a243d263d03374978e6ab819cfcd270dc3d0c67456c4b54ddcc126d161e45180888a38922d1a4d468dbfe35
+  data.tar.gz: 69365abb9979d7ca48369451c8496708cee0d15a3f4a0ef73521daa608c0c9c94a67ce2e5a00c4f2656c40ed4b1386d3224ea26b2094a6879bb87f03b6a14b1f

data/.rubocop.yml

@@ -0,0 +1,15 @@
+AllCops:
+  TargetRubyVersion: 2.7
+  EnabledByDefault: true
+
+Style/Copyright:
+    Enabled: false
+
+Lint/ConstantResolution:
+    Enabled: false
+
+Style/ConstantVisibility:
+    Enabled: false
+
+Style/EmptyElse:
+    EnforcedStyle: nil

data/Gemfile

@@ -1,6 +1,8 @@
-source "https://rubygems.org"
+# frozen_string_literal: true
+
+source 'https://rubygems.org'
 
 # Specify your gem's dependencies in abank.gemspec
 gemspec
 
-gem "rake", "~> 12.0"
+gem 'rake', '~> 12.0'

data/Gemfile.lock

@@ -1,7 +1,7 @@
 PATH
   remote: .
   specs:
-    abank (0.2.3)
+    abank (0.2.9)
       google-cloud-bigquery
       roo
       thor
@@ -12,12 +12,12 @@ GEM
   specs:
     addressable (2.7.0)
       public_suffix (>= 2.0.2, < 5.0)
-    concurrent-ruby (1.1.6)
-    declarative (0.0.10)
+    concurrent-ruby (1.1.7)
+    declarative (0.0.20)
     declarative-option (0.1.0)
     faraday (1.0.1)
       multipart-post (>= 1.2, < 3)
-    google-api-client (0.39.3)
+    google-api-client (0.43.0)
       addressable (~> 2.5, >= 2.5.1)
       googleauth (~> 0.9)
       httpclient (>= 2.8.1, < 3.0)
@@ -25,7 +25,7 @@ GEM
       representable (~> 3.0)
       retriable (>= 2.0, < 4.0)
       signet (~> 0.12)
-    google-cloud-bigquery (1.21.0)
+    google-cloud-bigquery (1.21.2)
       concurrent-ruby (~> 1.0)
       google-api-client (~> 0.33)
       google-cloud-core (~> 1.2)
@@ -34,10 +34,10 @@ GEM
     google-cloud-core (1.5.0)
       google-cloud-env (~> 1.0)
       google-cloud-errors (~> 1.0)
-    google-cloud-env (1.3.1)
+    google-cloud-env (1.3.3)
       faraday (>= 0.17.3, < 2.0)
-    google-cloud-errors (1.0.0)
-    googleauth (0.12.0)
+    google-cloud-errors (1.0.1)
+    googleauth (0.13.1)
       faraday (>= 0.17.3, < 2.0)
       jwt (>= 1.4, < 3.0)
       memoist (~> 0.16)
@@ -45,15 +45,15 @@ GEM
       os (>= 0.9, < 2.0)
       signet (~> 0.14)
     httpclient (2.8.3)
-    jwt (2.2.1)
+    jwt (2.2.2)
     memoist (0.16.2)
     mini_mime (1.0.2)
     mini_portile2 (2.4.0)
-    multi_json (1.14.1)
+    multi_json (1.15.0)
     multipart-post (2.1.1)
-    nokogiri (1.10.9)
+    nokogiri (1.10.10)
       mini_portile2 (~> 2.4.0)
-    os (1.1.0)
+    os (1.1.1)
     public_suffix (4.0.5)
     rake (12.3.3)
     representable (3.0.4)

data/README.md

@@ -1,6 +1,6 @@
 # Abank [![Build Status](https://travis-ci.com/hernanirvaz/abank.svg?branch=master)](https://travis-ci.com/hernanirvaz/abank)
 
-Arquiva movimentos conta-corrente, conta-cartao do activobank no bigquery. Permite apagar movimentos similares/existentes ja no bigquery. Permite ainda classificar movimentos ja no bigquery.
+Arquiva movimentos conta-corrente, conta-cartao do activobank no bigquery. Permite apagar/recriar movimentos/rendas ja no bigquery. Permite ainda classificar movimentos no bigquery.
 
 ## Installation
 
@@ -20,10 +20,14 @@ Or install it yourself as:
 
 ## Usage
 
-    $ abank help [COMANDO]  # ajuda aos comandos
-    $ abank mostra          # mostra dados da folha calculo
-    $ abank load            # carrega dados da folha calculo no bigquery
-    $ abank classifica      # classifica arquivo no bigquery
+    $ abank apagamv -k=KEY[,KEY...] # apaga movimentos
+    $ abank apagact  -c=CONTRATO    # apaga contrato arrendamento
+    $ abank criact   -c=CONTRATO    # cria contrato arrendamento
+    $ abank recriact -c=CONTRATO    # atualiza rendas de contrato arrendamento
+    $ abank recriare                # atualiza rendas dos contratos ativos
+    $ abank load                    # carrega dados da folha calculo
+    $ abank show                    # mostra dados da folha calculo
+    $ abank tag                     # classifica movimentos
 
 ## Development
 

data/Rakefile

@@ -1,2 +1,4 @@
-require "bundler/gem_tasks"
-task :default => :build
+# frozen_string_literal: true
+
+require 'bundler/gem_tasks'
+task default: :build

data/abank.gemspec

@@ -10,12 +10,9 @@ Gem::Specification.new do |spec|
   spec.homepage    = 'https://github.com/hernanirvaz/abank'
   spec.license     = 'MIT'
 
-  spec.summary     = 'Arquiva <conta-corrente>.xlsx,' \
-                     ' <conta-cartao>.xlsx no bigquery.'
-  spec.description = spec.summary +
-                     ' Pode apagar movimentos similares/existentes' \
-                     ' ja no bigquery.' \
-                     ' Pode ainda classificar movimentos ja no bigquery.'
+  spec.summary     = 'Arquiva movimentos conta-corrente, conta-cartao do activobank no bigquery.'
+  spec.description = spec.summary + ' Permite apagar/recriar movimentos/rendas ja no bigquery. ' \
+                     ' Permite ainda classificar movimentos no bigquery.'
 
   spec.metadata['homepage_uri'] = spec.homepage
   spec.metadata['yard.run'] = 'yard'
@@ -24,10 +21,10 @@ Gem::Specification.new do |spec|
 
   # Specify which files should be added to the gem when it is released.
   # The `git ls-files -z` loads files in RubyGem that have been added into git.
-  spec.files = Dir.chdir(File.expand_path(__dir__)) do
-    `git ls-files -z`.split("\x0")
-                     .reject { |f| f.match(%r{^(test|spec|features)/}) }
-  end
+  spec.files =
+    Dir.chdir(File.expand_path(__dir__)) do
+      `git ls-files -z`.split("\x0").reject { |f| f.match(%r{^(test|spec|features)/}) }
+    end
   spec.bindir        = 'exe'
   spec.executables   = spec.files.grep(%r{^exe/}) { |f| File.basename(f) }
   spec.require_paths = ['lib']

data/bin/console

@@ -1,7 +1,8 @@
 #!/usr/bin/env ruby
+# frozen_string_literal: true
 
-require "bundler/setup"
-require "abank"
+require 'bundler/setup'
+require 'abank'
 
 # You can add fixtures and/or initialization code here to make experimenting
 # with your gem easier. You can also use a different console, if you like.
@@ -10,5 +11,5 @@ require "abank"
 # require "pry"
 # Pry.start
 
-require "irb"
+require 'irb'
 IRB.start(__FILE__)

data/lib/abank.rb

@@ -1,90 +1,95 @@
 # frozen_string_literal: true
 
-require 'thor'
-require 'abank/bigquery'
-require 'abank/folhacalculo'
-require 'abank/version'
+require('thor')
+require('abank/big')
+require('abank/contrato')
+require('abank/rendas')
+require('abank/folha')
+require('abank/version')
 
 # @author Hernani Rodrigues Vaz
 module Abank
-  ID = `whoami`.chomp
+  DR = "/home/#{`whoami`.chomp}/Downloads"
+  BD = 'hernanilr.ab'
 
   class Error < StandardError; end
 
   # CLI para carregar folhas calculo comuns no bigquery
   class CLI < Thor
-    desc 'load', 'carrega dados da folha calculo no bigquery'
-    option :d, banner: 'DIR', default: "/home/#{ID}/Downloads",
-               desc: 'Onde procurar folhas calculo'
-    option :x, banner: 'EXT', default: '.xlsx',
-               desc: 'Extensao das folhas calculo'
-    option :n, banner: 'NUM', type: :numeric, default: 0,
-               desc: 'Correcao dias para data valor'
-    option :s, type: :boolean, default: false,
-               desc: 'apaga linha similar no bigquery'
-    option :e, type: :boolean, default: false,
-               desc: 'apaga linha igual no bigquery'
-    option :m, type: :boolean, default: false,
-               desc: 'apaga linhas existencia multipla no bigquery'
-    # processa folha calculo
-    def load
-      Dir.glob("#{options[:d]}/*#{options[:x]}").sort.each do |f|
-        Bigquery.new(f, load_ops).processa
-      end
+    desc 'tag', 'classifica movimentos'
+    # classifica movimentos
+    def tag
+      Big.new.mv_classifica
     end
 
-    desc 'mostra', 'mostra dados da folha calculo'
-    option :d, banner: 'DIR', default: "/home/#{ID}/Downloads",
-               desc: 'Onde procurar folhas calculo'
-    option :x, banner: 'EXT', default: '.xlsx',
-               desc: 'Extensao das folhas calculo'
-    # mostra folha calculo
-    def mostra
-      Dir.glob("#{options[:d]}/*#{options[:x]}").sort.each do |f|
-        Bigquery.new(f).processa
-      end
+    desc 'apagamv', 'apaga movimentos'
+    option :k, banner: 'KEY[,KEY...]', required: true, desc: 'keys movimentos a apagar'
+    # apaga movimentos
+    def apagamv
+      Big.new(k: options[:k]).mv_delete.mv_insert.re_work
+    end
+
+    desc 'criact', 'cria contrato arrendamento'
+    option :c, banner: 'CONTRATO', required: true, desc: 'Identificador contrato arrendamento'
+    option :t, type: :boolean, default: true,      desc: 'cria todas as rendas?'
+    option :d, banner: 'DATA', default: '',        desc: 'data contrato arrendamento'
+    # cria contrato arrendamento
+    def criact
+      Big.new(c: options[:c], t: options[:t], d: options[:d]).ct_cria
     end
 
-    desc 'classifica', 'classifica movimentos no bigquery'
-    # classifica movimentos no bigquery
-    def classifica
-      Bigquery.new('', { i: true }).classifica
+    desc 'apagact', 'apaga contrato arrendamento'
+    option :c, banner: 'CONTRATO', required: true, desc: 'Identificador contrato arrendamento'
+    option :t, type: :boolean, default: false,     desc: 'apaga todas as rendas?'
+    # apaga contrato arrendamento
+    def apagact
+      Big.new(c: options[:c], t: options[:t]).ct_apaga
     end
 
-    desc 'atualiza', 'atualiza rendas no arquivo bigquery'
-    # atualiza rendas no arquivo bigquery
-    def atualiza
-      Bigquery.new.atualiza
+    desc 'recriact', 'atualiza rendas de contrato arrendamento'
+    option :c, banner: 'CONTRATO', required: true, desc: 'Identificador contrato arrendamento'
+    option :t, type: :boolean, default: false,     desc: 'apaga todas as rendas?'
+    option :d, banner: 'DATA', default: '',        desc: 'data contrato arrendamento'
+    # atualiza rendas de contrato arrendamento
+    def recriact
+      Big.new(c: options[:c], t: options[:t]).ct_apaga
+      Big.new(c: options[:c], t: true, d: options[:d]).ct_cria
     end
 
-    desc 'cria', 'cria contrato arrendamento/rendas no arquivo bigquery'
-    option :r, banner: 'REN', required: true,
-               desc: 'identificador contrato arrendamento a criar'
-    option :t, type: :boolean, default: false,
-               desc: 'trabalha com renda inicio ou todas'
-    # cria contrato arrendamento/rendas no arquivo bigquery
-    def cria
-      Bigquery.new('', { r: options[:r], t: options[:t] }).cria
+    desc 'recriare', 'atualiza rendas dos contratos ativos'
+    option :t, type: :boolean, default: false, desc: 'atualiza todas as rendas?'
+    # atualiza rendas dos contratos ativos
+    def recriare
+      Big.new(t: options[:t]).re_atualiza
     end
 
-    desc 'apaga', 'apaga contrato arrendamento/rendas no arquivo bigquery'
-    option :r, banner: 'REN', required: true,
-               desc: 'identificador contrato arrendamento a apagar'
-    option :t, type: :boolean, default: false,
-               desc: 'trabalha com renda inicio ou todas'
-    # apaga contrato arrendamento/rendas no arquivo bigquery
-    def apaga
-      Bigquery.new('', { r: options[:r], t: options[:t] }).apaga
+    desc 'work', 'carrega/apaga dados da folha calculo'
+    option :s, type: :boolean, default: false, desc: 'apaga movimento similar'
+    option :e, type: :boolean, default: false, desc: 'apaga movimento igual'
+    option :v, banner: 'DATA', default: '',    desc: 'data valor para movimentos a carregar'
+    option :g, banner: 'TAG', default: '',     desc: 'classificacao para movimentos a carregar'
+    # carrega/apaga dados da folha calculo
+    def work
+      Dir.glob("#{DR}/*.xlsx").sort.each do |f|
+        Folha.new(work_opc.merge(f: f)).processa_xls
+      end
+    end
+
+    desc 'show', 'mostra dados da folha calculo'
+    # mostra folha calculo
+    def show
+      Dir.glob("#{DR}/*.xlsx").sort.each do |f|
+        Folha.new(f: f).processa_xls
+      end
     end
 
     no_commands do
-      # @return [Hash] ops opcoes trabalho com linhas para load
-      def load_ops
-        { s: options[:s], e: options[:e], m: options[:m],
-          i: true, t: false, n: options[:n], r: '' }
+      # @return [Hash] opcoes trabalho com movimentos para work
+      def work_opc
+        { s: options[:s], e: options[:e], i: true, v: options[:v], g: options[:g] }
       end
     end
 
-    default_task :mostra
+    default_task :show
   end
 end

data/lib/abank/big.rb

@@ -0,0 +1,135 @@
+# frozen_string_literal: true
+
+require('google/cloud/bigquery')
+
+module Abank
+  # @see Big
+  class Big
+    DF = '%Y-%m-%d'
+
+    # @return [Hash] opcoes trabalho
+    attr_reader :opcao
+
+    # @return [Google::Cloud::Bigquery] API bigquery
+    attr_reader :bqapi
+
+    # @return [Google::Cloud::Bigquery::QueryJob] job bigquery
+    attr_reader :bqjob
+
+    # @return [Google::Cloud::Bigquery::Data] resultado do select
+    attr_reader :bqres
+
+    # @return [Integer] numero linhas afetadas pela Data Manipulation Language (DML)
+    attr_reader :bqnrs
+
+    # @return [String] movimentos a inserir (values.mv)
+    attr_reader :mvvls
+
+    # @return [String] movimentos a apagar (keysin.mv)
+    attr_reader :mvkys
+
+    # acesso a base dados abank no bigquery
+    #
+    # @param [Hash] opc opcoes trabalho
+    # @option opc [String]  :k ('') movimentos a apagar (keysin.mv)
+    # @option opc [String]  :c ('') id contrato arrendamento (re)
+    # @option opc [String]  :d ('') data inicio contrato arrendamento (re)
+    # @option opc [Boolean] :t (false) trabalha todas as rendas? (re)
+    # @return [Hash] opcoes trabalho
+    def initialize(opc = {})
+      @opcao = opc
+      @bqapi = Google::Cloud::Bigquery.new
+      @mvvls = ''
+      @mvkys = opc.fetch(:k, '')
+      @ctide = opc.fetch(:c, '')
+      opcao
+    end
+
+    # (see CLI#tag)
+    def mv_classifica
+      dml("update #{BD}.mv set mv.ct=tt.nct from (select * from #{BD}.cl) as tt where #{ky_mv}=tt.ky")
+      puts("MOVIMENTOS CLASSIFICADOS #{bqnrs}")
+    end
+
+    # apaga movimentos & suas rendas associadas no bigquery
+    #
+    # @return [Big] acesso a base dados abank no bigquery
+    def mv_delete
+      vars_mv_work
+      if mvkys.size.positive?
+        # obtem lista contratos arrendamento associados aos movimentos a apagar
+        @ctlct = sql("select ct from #{BD}.mv where #{ky_mv} in(#{mvkys}) and substr(ct,1,1)='r' group by 1")
+
+        # apaga rendas associadas e depois movimentos
+        @opcao[:t] = true
+        lr_apaga.mv_delete_dml
+
+        # para obrigar re_work a trabalhar com lista contratos (ctlct)
+        @bqnrs = 0
+      else
+      end
+      self
+    end
+
+    # insere & classifica movimentos no bigquery
+    #
+    # @return [Big] acesso a base dados abank no bigquery
+    def mv_insert
+      if mvvls.size.positive?
+        dml("insert #{BD}.mv VALUES#{mvvls}")
+        puts("MOVIMENTOS INSERIDOS #{bqnrs}")
+        mv_classifica if bqnrs.positive?
+      else
+      end
+      self
+    end
+
+    # inicializa variaveis para delete/insert movimentos
+    def vars_mv_work
+      @bqnrs = 0
+      @ctlct = []
+      @mvkys = mvkys[1..] if mvkys[0] == ','
+      @mvvls = mvvls[1..] if mvvls[0] == ','
+    end
+
+    # apaga movimentos no bigquery
+    def mv_delete_dml
+      dml("delete from #{BD}.mv where #{ky_mv} in(#{mvkys})")
+      puts("MOVIMENTOS APAGADOS #{bqnrs}")
+    end
+
+    # @return [String] expressao sql da chave de movimentos
+    def ky_mv
+      'FARM_FINGERPRINT(CONCAT(CAST(mv.nc as STRING),mv.ds,CAST(mv.dl as STRING),CAST(mv.vl as STRING)))'
+    end
+
+    # cria job bigquery & verifica execucao
+    #
+    # @param [String] cmd comando a executar
+    # @return [Boolean] job ok?
+    def job?(cmd)
+      # p cmd
+      @bqjob = bqapi.query_job(cmd)
+      @bqjob.wait_until_done!
+      puts(@bqjob.error['message']) if @bqjob.failed?
+      @bqjob.failed?
+    end
+
+    # executa sql & devolve resultado do bigquery
+    #
+    # @param (see job?)
+    # @param [Array] erro quando da erro no bigquery
+    # @return [Google::Cloud::Bigquery::Data] resultado do sql
+    def sql(cmd, erro = [])
+      @bqres = job?(cmd) ? erro : bqjob.data
+    end
+
+    # executa Data Manipulation Language (DML) no bigquery
+    #
+    # @param (see job?)
+    # @return [Integer] numero rows afetadas pelo dml
+    def dml(cmd)
+      @bqnrs = job?(cmd) ? 0 : bqjob.num_dml_affected_rows
+    end
+  end
+end

data/lib/abank/contrato.rb

@@ -0,0 +1,110 @@
+# frozen_string_literal: true
+
+module Abank
+  # acesso a base dados abank no bigquery
+  class Big
+    # @return [String] id contrato arrendamento
+    attr_reader :ctide
+
+    # @return [Array<Hash>] lista ids contratos arrendamento
+    # @example
+    #   [{ ct: 'r03000' }, ...]
+    attr_reader :ctlct
+
+    # @return [Array<Hash>] lista dados contrato arrendamento (inclui lista movimentos novos)
+    # @example
+    #   [{ct: 'r03000', dc: '2020-03-01', ano: 2020, cnt: 0, dl: '2020-03-01', mv: [{dl: '2020-03-02', vl: 30}, ...]  }]
+    attr_reader :ctlcm
+
+    # (see CLI#criact)
+    def ct_cria
+      if existe_contrato?
+        @bqnrs = 1
+        puts('CONTRATO JA EXISTE')
+      else
+        dml("insert into #{BD}.re #{sql_contrato_mv}")
+        puts("CONTRATO #{ctide} " + (bqnrs.zero? ? 'NAO EXISTE' : 'INSERIDO'))
+      end
+      return unless existem_rendas?
+
+      # processa rendas associadas ao contrato arrendamento
+      cm_cria.vr_cria.re_insert
+    end
+
+    # (see CLI#apagact)
+    def ct_apaga
+      @ctlct = [{ ct: ctide }]
+      lc_apaga
+    end
+
+    # apaga rendas da lista de contrato arrendamento
+    #
+    # @return [Big] acesso a base dados abank no bigquery
+    def lr_apaga
+      return self unless opcao[:t] && ctlct.count.positive?
+
+      # para nao apagar contrato arrendamento - somente as rendas
+      @opcao[:t] = false
+
+      lc_apaga
+      self
+    end
+
+    # apaga rendas da lista de contratos arrendamento
+    def lc_apaga
+      dml("delete from #{BD}.re where ct in(#{str_lc})#{opcao[:t] ? '' : ' and cnt>0'}")
+      puts("RENDAS #{str_lc('')} APAGADAS " + bqnrs.to_s)
+    end
+
+    # @return [String] texto formatado que representa lista de contratos arrendamento
+    def str_lc(sep = "'")
+      ctlct.map { |c| sep + c[:ct] + sep }.join(',')
+    end
+
+    # optem lista dados contrato arrendamento (inclui lista movimentos novos)
+    #
+    # @return [Big] acesso a base dados abank no bigquery
+    def cm_cria
+      @ctlcm = []
+      ctlct.each do |c|
+        @ctide = c[:ct]
+        sql(sql_last_re)
+        @ctlcm << bqres[0].merge({ mv: sql(sql_novo_mv(bqres[0][:dl])) })
+      end
+      self
+    end
+
+    # @return [Boolean] existem rendas para processar sim/nao?
+    def existem_rendas?
+      @ctlct = [{ ct: ctide }]
+      bqnrs.positive? && opcao[:t]
+    end
+
+    # @return [Boolean] contrato arrendamento ja existe sim/nao?
+    def existe_contrato?
+      sql("select ct from #{BD}.re where ct='#{ctide}' and cnt=0").count.positive?
+    end
+
+    # @return [String] sql para obter ultima renda do contrato arrendamento
+    def sql_last_re
+      'select ct,DATE_SUB(DATE_SUB(dl,INTERVAL dias DAY),INTERVAL IF(cnt=0,0,cnt-1) MONTH) as dc,ano,cnt,dl ' \
+        "from #{BD}.re where ct='#{ctide}' order by ano desc,cnt desc limit 1"
+    end
+
+    # @return [String] sql para obter movimentos novos (depois da ultima renda do contrato arrendamento)
+    def sql_novo_mv(mdl)
+      "select dl,vl from #{BD}.mv where ct='#{ctide}' and dl>='#{(mdl + 1).strftime(DF)}' order by dl,dv"
+    end
+
+    # @return [String] sql para obter dados do inicio contrato arrendamento
+    def sql_contrato_mv
+      if opcao[:d].size.zero?
+        'select ct,EXTRACT(YEAR FROM DATE_TRUNC(dl,MONTH)) as ano,0 as cnt,DATE_TRUNC(dl,MONTH) as dl,0 dias ' \
+          "from #{BD}.mv where ct='#{ctide}' order by dl limit 1"
+      else
+        "select '#{ctide}' as ct,EXTRACT(YEAR FROM DATE '#{opcao[:d]}') as ano" \
+              ",0 as cnt,DATE '#{opcao[:d]}' as dl,0 dias"
+      end
+    end
+  end
+end

data/lib/abank/folha.rb

@@ -0,0 +1,156 @@
+# frozen_string_literal: true
+
+require('roo')
+
+module Abank
+  # acesso a folha calculo & base dados abank no bigquery
+  class Folha < Big
+    # @return [Roo::Excelx] folha calculo a processar
+    attr_reader :folha
+
+    # @return [Integer] numero conta associado a folha calculo
+    # @example
+    #   mov*.xlsx     --> 1 --> conta-corrente
+    #   movCard*.xlsx --> 2 --> conta-cartao
+    attr_reader :conta
+
+    # @return [Array] row folha calculo em processamento
+    attr_reader :rowfc
+
+    # acesso a folha calculo & base dados abank no bigquery
+    #
+    # @param [Hash] opc opcoes trabalho
+    # @option opc [String]  :f ('') folha calculo a processar
+    # @option opc [Boolean] :s (false) apaga movimento similar? (mv)
+    # @option opc [Boolean] :e (false) apaga movimento igual? (mv)
+    # @option opc [Boolean] :i (false) insere movimento novo? (mv)
+    # @option opc [String]  :v ('') data valor movimentos (mv)
+    # @option opc [String]  :g ('') classificacao movimentos (mv)
+    def initialize(opc = {})
+      @opcao = super
+      @folha = Roo::Spreadsheet.open(opc.fetch(:f))
+      @conta = opc.fetch(:f).match?(/card/i) ? 2 : 1
+      @opcao[:s] = opc.fetch(:s, false)
+      @opcao[:e] = opc.fetch(:e, false)
+      @opcao[:i] = opc.fetch(:i, false)
+      @opcao[:v] = opc.fetch(:v, '')
+      @opcao[:g] = opc.fetch(:g, '')
+    end
+
+    # carrega/mostra folha calculo
+    def processa_xls
+      n = 0
+      folha.sheet(0).parse(header_search: ['Data Lanc.', 'Data Valor', 'Descrição', 'Valor']) do |r|
+        n += 1
+        puts n == 1 ? "\n#{folha.info}" : processa_linha(r)
+      end
+      return unless opcao[:i]
+
+      # processa movimentos & atualiza rendas
+      mv_delete.mv_insert.re_work
+    end
+
+    # processa linha folha calculo
+    #
+    # @param [Hash] linha da folha calculo em processamento
+    # @return [String] texto informativo formatado da linha em processamento
+    def processa_linha(linha)
+      vars_xls(linha)
+      # pesquisa existencia linha folha calculo no bigquery
+      #  array.count = 0 ==> pode carregar esta linha
+      #  array.count = 1 ==> mais testes necessarios
+      #  array.count > 1 ==> nao pode carregar esta linha
+      sql(sql_existe_mv, [{}, {}])
+      if linha_naoexiste? then linha_base + values_mv
+      elsif linha_existe? then linha_existe
+      elsif linha_simila? then linha_similar
+      else                     linha_multiplas
+      end
+    end
+
+    # inicializa variavel para processar linha folha calculo
+    #
+    # @param (see processa_linha)
+    def vars_xls(linha)
+      @rowfc = linha.values
+      @rowfc[2] = rowfc[2].strip
+      @rowfc[3] = -1 * rowfc[3] if conta > 1
+    end
+
+    # @return [String] texto base formatado para display
+    def linha_base
+      "#{rowfc[0].strftime(DF)} #{format('%<v3>-34.34s %<v4>8.2f', v3: rowfc[2], v4: rowfc[3])}"
+    end
+
+    # @return [String] texto linha existente formatada para display
+    def linha_existe
+      add_kys if opcao[:e]
+      "#{linha_base} EXIS #{format('%<v1>20d', v1: bqres.first[:ky])}"
+    end
+
+    # @return [String] texto linha similar formatada para display
+    def linha_similar
+      add_kys if opcao[:s]
+      "#{linha_base} SIMI #{format('%<v1>-20.20s', v1: bqres.first[:ds].strip)}"
+    end
+
+    # @return [String] texto linha existencia multipla formatada para display
+    def linha_multiplas
+      "#{linha_base} MULT(#{bqres.count})"
+    end
+
+    # obtem chaves movimento (keysin.mv) para apagar
+    def add_kys
+      bqres.each { |r| @mvkys += ",#{r[:ky]}" }
+    end
+
+    # @return [Boolean] linha folha calculo nao existe no bigquery?
+    def linha_naoexiste?
+      bqres.count.zero?
+    end
+
+    # @return [Boolean] linha folha calculo existe no bigquery?
+    def linha_existe?
+      bqres.count == 1 && bqres.first[:ds].strip == rowfc[2]
+    end
+
+    # @return [Boolean] linha folha calculo existe parecida no bigquery?
+    def linha_simila?
+      bqres.count == 1 && bqres.first[:ds].strip != rowfc[2]
+    end
+
+    # @return [String] sql para movimentos no bigquery
+    def sql_existe_mv
+      "select *,#{ky_mv} as ky from #{BD}.mv " \
+       "where nc=#{conta} and dl='#{rowfc[0].strftime(DF)}' and vl=#{rowfc[3]}"
+    end
+
+    # obtem movimento (values.mv) para inserir
+    #
+    # @return [String] ' NOVO'
+    def values_mv
+      @mvvls += ",('#{rowfc[0].strftime(DF)}','#{dvc.strftime(DF)}','#{rowfc[2]}',#{rowfc[3]}" + values_mv_extra
+      ' NOVO'
+    end
+
+    # @return [String] campos extra do movimento (values.mv) para inserir
+    def values_mv_extra
+      ",#{conta},#{dvc.year},#{dvc.month},'#{tpc}',#{ctc})"
+    end
+
+    # @return [Date] data valor corrigida
+    def dvc
+      opcao[:v].size.zero? ? rowfc[1] : Date.parse(opcao[:v])
+    end
+
+    # @return [String] classificacao do movimento (null --> classificacao automatica)
+    def ctc
+      opcao[:g].size.zero? ? 'null' : "'#{opcao[:g]}'"
+    end
+
+    # @return [String] tipo movimento c[redito] ou d[ebito]
+    def tpc
+      rowfc[3].positive? ? 'c' : 'd'
+    end
+  end
+end

data/lib/abank/rendas.rb

@@ -0,0 +1,123 @@
+# frozen_string_literal: true
+
+module Abank
+  # @see Big
+  class Big
+    # @return [Integer] ano renda em tratamento
+    attr_reader :reano
+
+    # @return [Integer] mes renda em tratamento
+    attr_reader :repos
+
+    # @return [Float] valor renda mensal
+    attr_reader :revre
+
+    # @return [String] rendas a inserir (values.re)
+    attr_reader :revls
+
+    # @return [Integer] movimento em tratamento
+    attr_reader :mvpos
+
+    # @return [Date] data lancamento movimento em tratamento
+    attr_reader :mvdlm
+
+    # @return [Float] valor movimento em tratamento
+    attr_reader :mvvlm
+
+    # (see CLI#recriare)
+    def re_atualiza
+      # obtem contratos ativos
+      @ctlct = sql("SELECT ct from #{BD}.re group by 1")
+
+      # [re]cria rendas [novas|todas]
+      lr_apaga.cm_cria.vr_cria.re_insert
+    end
+
+    # cria rendas associadas a lista ids contratos arrendamento
+    def re_work
+      bqnrs.zero? || ctlct.count.positive? ? cm_cria.vr_cria.re_insert : re_atualiza
+    end
+
+    # obtem rendas a inserir (values.re)
+    #
+    # @return [Big] acesso a base dados abank no bigquery
+    def vr_cria
+      @revls = ctlcm.map { |c| rendas_novas(c) }.flatten(1).join(',')
+      self
+    end
+
+    # insere rendas no bigquery
+    def re_insert
+      if revls.size.zero?
+        puts('NAO EXISTEM RENDAS NOVAS')
+      else
+        dml("insert #{BD}.re VALUES#{revls}")
+        puts("RENDAS #{str_lc('')} CRIADAS " + bqnrs.to_s)
+      end
+    end
+
+    # @param [Hash] cmv dados contrato arrendamento (inclui lista movimentos novos)
+    # @return [Array<String>] lista rendas novas dum contrato arrendamento (values.re)
+    def rendas_novas(cmv)
+      return [] unless cmv[:mv].count.positive?
+
+      vars_re(cmv)
+      r = []
+      while mvvlm >= revre && mvpos < cmv[:mv].count
+        r << nova_re(cmv)
+        proximo_mv(cmv)
+      end
+      r
+    end
+
+    # inicializa variaveis para processar rendas do contrato arrendamento
+    # @param (see rendas_novas)
+    def vars_re(cmv)
+      @reano = cmv[:ano]
+      @repos = cmv[:cnt]
+      @revre = Float(cmv[:ct][/\d+/]) / 100
+      @mvpos = 0
+      vars_re_mv(cmv)
+    end
+
+    # inicializa variaveis para processar movimentos associados ao contrato arrendamento
+    # @param (see rendas_novas)
+    def vars_re_mv(cmv)
+      @mvdlm = cmv[:mv][mvpos][:dl]
+      @mvvlm = cmv[:mv][mvpos][:vl]
+    end
+
+    # @param (see rendas_novas)
+    # @return [String] renda formatada (values.re)
+    def nova_re(cmv)
+      # inicializa proxima renda
+      if repos == 12
+        @repos = 1
+        @reano += 1
+      else
+        @repos += 1
+      end
+      "('#{cmv[:ct]}',#{reano},#{repos},'#{mvdlm.strftime(DF)}',#{dias(cmv)})"
+    end
+
+    # @param (see rendas_novas)
+    # @return [Integer] dias atraso no pagamento da renda
+    def dias(cmv)
+      mvdlm.mjd - (Date.new(reano, repos, 1) >> (cmv[:dc].month - 1)).mjd
+    end
+
+    # inicializa variaveis para processar proximo movimento
+    # @param (see rendas_novas)
+    def proximo_mv(cmv)
+      # valor renda paga retirado do valor do movimento
+      @mvvlm -= revre
+      return unless mvvlm < revre
+
+      # avanca na lista de movimentos
+      @mvpos += 1
+      return unless mvpos < cmv[:mv].count
+
+      vars_re_mv(cmv)
+    end
+  end
+end

data/lib/abank/version.rb

@@ -1,5 +1,5 @@
 # frozen_string_literal: true
 
 module Abank
-  VERSION = '0.2.3'
+  VERSION = '0.2.9'
 end

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: abank
 version: !ruby/object:Gem::Version
-  version: 0.2.3
+  version: 0.2.9
 platform: ruby
 authors:
 - Hernâni Rodrigues Vaz
 autorequire: 
 bindir: exe
 cert_chain: []
-date: 2020-05-17 00:00:00.000000000 Z
+date: 2020-08-28 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: bundler
@@ -94,9 +94,9 @@ dependencies:
     - - ">="
       - !ruby/object:Gem::Version
         version: '0'
-description: Arquiva <conta-corrente>.xlsx, <conta-cartao>.xlsx no bigquery. Pode
-  apagar movimentos similares/existentes ja no bigquery. Pode ainda classificar movimentos
-  ja no bigquery.
+description: Arquiva movimentos conta-corrente, conta-cartao do activobank no bigquery.
+  Permite apagar/recriar movimentos/rendas ja no bigquery.  Permite ainda classificar
+  movimentos no bigquery.
 email:
 - hernanirvaz@gmail.com
 executables:
@@ -105,6 +105,7 @@ extensions: []
 extra_rdoc_files: []
 files:
 - ".gitignore"
+- ".rubocop.yml"
 - ".travis.yml"
 - Gemfile
 - Gemfile.lock
@@ -116,8 +117,10 @@ files:
 - bin/setup
 - exe/abank
 - lib/abank.rb
-- lib/abank/bigquery.rb
-- lib/abank/folhacalculo.rb
+- lib/abank/big.rb
+- lib/abank/contrato.rb
+- lib/abank/folha.rb
+- lib/abank/rendas.rb
 - lib/abank/version.rb
 homepage: https://github.com/hernanirvaz/abank
 licenses:
@@ -140,8 +143,8 @@ required_rubygems_version: !ruby/object:Gem::Requirement
     - !ruby/object:Gem::Version
       version: '0'
 requirements: []
-rubygems_version: 3.0.3
+rubygems_version: 3.1.2
 signing_key: 
 specification_version: 4
-summary: Arquiva <conta-corrente>.xlsx, <conta-cartao>.xlsx no bigquery.
+summary: Arquiva movimentos conta-corrente, conta-cartao do activobank no bigquery.
 test_files: []

data/lib/abank/bigquery.rb

@@ -1,176 +0,0 @@
-# frozen_string_literal: true
-
-require 'roo'
-require 'google/cloud/bigquery'
-
-module Abank
-  DF = '%Y-%m-%d'
-
-  # (see Bigquery)
-  class Bigquery
-    # @return [Google::Cloud::Bigquery] API bigquery
-    attr_reader :apibq
-    # @return [Roo::Excelx] folha calculo a processar
-    attr_reader :folha
-    # @return [Hash] opcoes trabalho com linhas
-    attr_reader :linha
-    # @return [Integer] numero conta
-    attr_reader :conta
-
-    # @return [Array] row folha calculo em processamento
-    attr_reader :row
-    # @return [Google::Cloud::Bigquery::QueryJob] job bigquery
-    attr_reader :job
-    # @return (see sql_select)
-    attr_reader :sql
-
-    # @param [String] xls folha calculo para processar
-    # @param [Hash] ops opcoes trabalho com linhas
-    # @option ops [Boolean] :s (false) apaga linha similar?
-    # @option ops [Boolean] :e (false) apaga linha igual?
-    # @option ops [Boolean] :m (false) apaga linhas existencia multipla?
-    # @option ops [Boolean] :i (false) insere linha nova?
-    # @option ops [Boolean] :t (false) apaga rendas totalmente?
-    # @option ops [Numeric] :n (0) numero dias correcao para data valor
-    # @option ops [String]  :r identificador contrato arrendamento
-    # @return [Bigquery] acesso folhas calculo activobank
-    #  & correspondente bigquery dataset
-    def initialize(xls = '', ops = { s: false, e: false, m: false,
-                                     i: false, t: false, n: 0, r: '' })
-      # usa env GOOGLE_APPLICATION_CREDENTIALS para obter credentials
-      # @see https://cloud.google.com/bigquery/docs/authentication/getting-started
-      @apibq = Google::Cloud::Bigquery.new
-      @folha = Roo::Spreadsheet.open(xls) if xls.size.positive?
-      @linha = ops
-      @conta = xls.match?(/card/i) ? 2 : 1
-    end
-
-    # cria job bigquery & verifica execucao
-    #
-    # @param [String] sql a executar
-    # @return [Boolean] job ok?
-    def job_bigquery?(sql)
-      @job = apibq.query_job(sql)
-      @job.wait_until_done!
-      puts @job.error['message'] if @job.failed?
-      @job.failed?
-    end
-
-    # executa Stored procedure (SP) job bigquery
-    #
-    # @param (see job_bigquery?)
-    # @return (see num_insert)
-    def esp(sql)
-      job_bigquery?(sql) ? 0 : num_insert(apibq.jobs(parent_job: job))
-    end
-
-    # @return [Integer] numero linhas inseridas
-    def num_insert(sps)
-      sps.find { |j| j.statement_type == 'INSERT' }.num_dml_affected_rows
-    end
-
-    # cria Data Manipulation Language (DML) job bigquery
-    #
-    # @param (see job_bigquery?)
-    # @return [Integer] numero linhas afetadas
-    def dml(sql)
-      p sql
-      job_bigquery?(sql) ? 0 : job.num_dml_affected_rows
-    end
-
-    # pesquisa existencia linha folha calculo no bigquery
-    #
-    # @return [Google::Cloud::Bigquery::Data] resultado do sql num array<hash>
-    def sql_select
-      # array.count = 0 ==> pode carregar esta linha
-      # array.count = 1 ==> mais testes necessarios
-      # array.count > 1 ==> nao carregar esta linha
-      @sql = job_bigquery?('select * ' + sql_where) ? [{}, {}] : job.data
-    end
-
-    # @return [String] parte sql para processamento linhas similares
-    def sql_where
-      "from hernanilr.ab.mv where nc=#{conta}" \
-      " and dl='#{row[0].strftime(DF)}'" \
-      " and vl=#{row[3]}"
-    end
-
-    # (see CLI#classifica)
-    def classifica
-      return unless linha[:i]
-
-      i = dml('update hernanilr.ab.mv set mv.ct=tt.nct' \
-              '  from (select * from hernanilr.ab.cl) as tt' \
-              ' where mv.dl=tt.dl and mv.dv=tt.dv' \
-              '   and mv.ds=tt.ds and mv.vl=tt.vl')
-      puts 'LINHAS CLASSIFICADAS ' + i.to_s
-      return unless i.positive?
-
-      atualiza
-    end
-
-    # (see CLI#atualiza)
-    def atualiza
-      puts 'RENDAS INSERIDAS ' + esp('call hernanilr.ab.rendas()').to_s
-    end
-
-    # (see CLI#cria)
-    def cria
-      i = dml('insert into hernanilr.ab.re ' + sql_contrato)
-      puts i.zero? ? 'NAO EXISTE CONTRATO' : 'CONTRATO INSERIDO'
-      return unless i.positive? && linha[:t]
-
-      atualiza
-    end
-
-    # @return [String] sql obtem dados inicio contrato arrendamento
-    def sql_contrato
-      'select ct,EXTRACT(YEAR FROM DATE_TRUNC(dl,MONTH)) as ano,0 as cnt' \
-                                 ',DATE_TRUNC(dl,MONTH) as dl,0 dias' \
-      '  from hernanilr.ab.mv' \
-      " where ct='#{linha[:r]}' " \
-      'order by dl limit 1'
-    end
-
-    # (see CLI#apaga)
-    def apaga
-      puts 'RENDAS APAGADAS ' + dml(sql_apaga).to_s
-    end
-
-    # @return [String] sql apaga rendas
-    def sql_apaga
-      "delete from hernanilr.ab.re where ct='#{linha[:r]}'" +
-        (linha[:t] ? '' : ' and cnt>0')
-    end
-
-    # @return [Integer] numero linhas inseridas
-    def sql_insert
-      return 1 unless linha[:i]
-
-      dml('insert hernanilr.ab.mv(dl,dv,ds,vl,nc,ano,mes,ct,tp) VALUES(' \
-          "'#{row[0].strftime(DF)}','#{data_valor.strftime(DF)}','#{row[2]}'" +
-        str_insert1)
-    end
-
-    # @return [Date] data valor corrigida
-    def data_valor
-      row[1] + linha[:n].to_i
-    end
-
-    # @return [String] campos extra da linha bigquery
-    def str_insert1
-      ",#{row[3]},#{conta}" + str_insert2
-    end
-
-    # @return [String] campos calculados da linha bigquery
-    def str_insert2
-      ",#{data_valor.year},#{data_valor.month},null," \
-        "'#{row[3].positive? ? 'c' : 'd'}')"
-    end
-
-    # @return [Integer] numero linhas apagadas
-    def sql_delete
-      dml('delete ' + sql_where + " and ds='#{sql.first[:ds].strip}'")
-    end
-  end
-end

data/lib/abank/folhacalculo.rb

@@ -1,87 +0,0 @@
-# frozen_string_literal: true
-
-module Abank
-  HT = ['Data Lanc.', 'Data Valor', 'Descrição', 'Valor'].freeze
-  RF = '%<v3>-35.35s %<v4>8.2f'
-
-  # classifica & arquiva dados das folhas calculo activobank no bigquery
-  class Bigquery
-    # corrige linha folha calculo para processamento
-    #
-    # @param [Hash] has da linha em processamento
-    def corrige_hash(has)
-      @row = has.values
-      @row[2] = row[2].strip
-      @row[3] = -1 * row[3] if conta > 1
-    end
-
-    # processa linhas folha calculo & classifica bigquery
-    def processa
-      n = 0
-      folha.sheet(0).parse(header_search: HT) do |r|
-        n += 1
-        puts n == 1 ? "\n" + folha.info : processa_row(r)
-      end
-      classifica
-    end
-
-    # processa linha folha calculo para arquivo
-    #
-    # @param (see corrige_hash)
-    # @return [String] texto informativo do processamento
-    def processa_row(has)
-      corrige_hash(has)
-      sql_select
-      if row_naoexiste? then row_str + (sql_insert == 1 ? ' NOVA' : ' ERRO')
-      elsif row_simila? then row_similar
-      elsif row_existe? then row_existente
-      else                   row_multiplas
-      end
-    end
-
-    # @return [String] linha folha calculo formatada
-    def row_str
-      "#{row[0].strftime(DF)} #{row[1].strftime(DF)} " \
-        "#{format(RF, v3: row[2], v4: row[3])}"
-    end
-
-    # @return [String] linha folha calculo similar
-    def row_similar
-      d = linha[:s] ? sql_delete : 0
-      row_str + ' SIMILAR' + str_apagadas(d) + sql.first[:ds].strip
-    end
-
-    # @return [String] linha folha calculo existente
-    def row_existente
-      d = linha[:e] ? sql_delete : 0
-      row_str + ' EXISTENTE' + str_apagadas(d)
-    end
-
-    # @return [String] linha folha calculo existencia multipla
-    def row_multiplas
-      d = linha[:m] ? sql_delete : 0
-      row_str + ' MULTIPLAS ' + sql.count.to_s + str_apagadas(d)
-    end
-
-    # @param [Integer] numero linhas apagadas
-    # @return [String] texto formatado linhas apagadas
-    def str_apagadas(num)
-      num.positive? ? ' & ' + num.to_s + ' APAGADA(S) ' : ' '
-    end
-
-    # @return [Boolean] linha folha calculo nao existe no bigquery?
-    def row_naoexiste?
-      sql.count.zero?
-    end
-
-    # @return [Boolean] linha folha calculo existe no bigquery?
-    def row_existe?
-      sql.count == 1 && sql.first[:ds].strip == row[2]
-    end
-
-    # @return [Boolean] linha folha calculo existe parecida no bigquery?
-    def row_simila?
-      sql.count == 1 && sql.first[:ds].strip != row[2]
-    end
-  end
-end