abank 0.2.2 → 0.2.7

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: cc8d38e615af3a1ef8965fdf7e395f93079b714028308ea85318e9d92b8df5ff
-  data.tar.gz: 40d941211ef1608af9fff0f1a9642ea69240933e1956578dcf20c0e8826f2cc0
+  metadata.gz: cc1db6b7872fbccb5da608191caea95a6c79e598b40dc86f64b4c64597a57a2a
+  data.tar.gz: c021d951d7cfb4c83413a72c097bdf7958e75ae4c886277da3848a3e88b97242
 SHA512:
-  metadata.gz: b22caac0a7226316674b00ceecf45be10f0af39171be63df18135de736286294707c4e34d688ebd3dc150f7749f7db34619a280daaf084983a7cf910f3338290
-  data.tar.gz: d5cf90b7b2625a59ad60ddcf36b902f926b27d54292067ae5b0e0e5a0c720ce14228339d18d471d27cb0e5eea8b80ce9138630bcd477521d483168ec8ff52e5b
+  metadata.gz: 859152f519b2517cfbbbe36635f92b66ff648e8ebf24fe9bb041d40e2d1f953094d75d94cca4f198ee90df68ad40abd9ceeb24d10b06ebafc2eb7a00ee00da69
+  data.tar.gz: 8f2fdb535d5edd44e6c3a8a959475de72bb8760685509317a2194d6e2e4f56833ecfd0891d850ad6647c1db2fd46d7b90b405f5975a4a29a7cdc7b16eb2d12bc

data/.rubocop.yml

@@ -0,0 +1,30 @@
+AllCops:
+  TargetRubyVersion: 2.6
+  EnabledByDefault: true
+
+Style/Copyright:
+  Enabled: false
+
+Style/DocumentationMethod:
+  Enabled: false
+
+Style/MethodCallWithArgsParentheses:
+  Enabled: false
+
+Style/ConstantVisibility:
+  Enabled: false
+
+Layout/MultilineMethodArgumentLineBreaks:
+  Enabled: false
+
+Layout/MultilineHashKeyLineBreaks:
+  Enabled: false
+
+Layout/FirstMethodParameterLineBreak:
+  Enabled: false
+
+Layout/FirstHashElementLineBreak:
+  Enabled: false
+
+Style/MissingElse:
+  Enabled: false

data/Gemfile

@@ -1,6 +1,8 @@
-source "https://rubygems.org"
+# frozen_string_literal: true
+
+source 'https://rubygems.org'
 
 # Specify your gem's dependencies in abank.gemspec
 gemspec
 
-gem "rake", "~> 12.0"
+gem 'rake', '~> 12.0'

data/Gemfile.lock

@@ -1,7 +1,7 @@
 PATH
   remote: .
   specs:
-    abank (0.2.2)
+    abank (0.2.7)
       google-cloud-bigquery
       roo
       thor
@@ -17,7 +17,7 @@ GEM
     declarative-option (0.1.0)
     faraday (1.0.1)
       multipart-post (>= 1.2, < 3)
-    google-api-client (0.39.3)
+    google-api-client (0.40.1)
       addressable (~> 2.5, >= 2.5.1)
       googleauth (~> 0.9)
       httpclient (>= 2.8.1, < 3.0)
@@ -25,7 +25,7 @@ GEM
       representable (~> 3.0)
       retriable (>= 2.0, < 4.0)
       signet (~> 0.12)
-    google-cloud-bigquery (1.21.0)
+    google-cloud-bigquery (1.21.1)
       concurrent-ruby (~> 1.0)
       google-api-client (~> 0.33)
       google-cloud-core (~> 1.2)
@@ -34,9 +34,9 @@ GEM
     google-cloud-core (1.5.0)
       google-cloud-env (~> 1.0)
       google-cloud-errors (~> 1.0)
-    google-cloud-env (1.3.1)
+    google-cloud-env (1.3.2)
       faraday (>= 0.17.3, < 2.0)
-    google-cloud-errors (1.0.0)
+    google-cloud-errors (1.0.1)
     googleauth (0.12.0)
       faraday (>= 0.17.3, < 2.0)
       jwt (>= 1.4, < 3.0)

data/README.md

@@ -1,6 +1,6 @@
 # Abank [![Build Status](https://travis-ci.com/hernanirvaz/abank.svg?branch=master)](https://travis-ci.com/hernanirvaz/abank)
 
-Arquiva movimentos conta-corrente, conta-cartao do activobank no bigquery. Permite apagar movimentos similares/existentes ja no bigquery. Permite ainda classificar movimentos ja no bigquery.
+Arquiva movimentos conta-corrente, conta-cartao do activobank no bigquery. Permite apagar/recriar movimentos/rendas ja no bigquery. Permite ainda classificar movimentos no bigquery.
 
 ## Installation
 
@@ -20,10 +20,14 @@ Or install it yourself as:
 
 ## Usage
 
-    $ abank help [COMANDO]  # ajuda aos comandos
-    $ abank mostra          # mostra dados da folha calculo
-    $ abank load            # carrega dados da folha calculo no bigquery
-    $ abank classifica      # classifica arquivo no bigquery
+    $ abank apagamv -k=KEY[,KEY...] # apaga movimentos
+    $ abank apagact  -c=CONTRATO    # apaga contrato arrendamento
+    $ abank criact   -c=CONTRATO    # cria contrato arrendamento
+    $ abank recriact -c=CONTRATO    # atualiza rendas de contrato arrendamento
+    $ abank recriare                # atualiza rendas dos contratos ativos
+    $ abank load                    # carrega dados da folha calculo
+    $ abank show                    # mostra dados da folha calculo
+    $ abank tag                     # classifica movimentos
 
 ## Development
 

data/Rakefile

@@ -1,2 +1,4 @@
-require "bundler/gem_tasks"
-task :default => :build
+# frozen_string_literal: true
+
+require 'bundler/gem_tasks'
+task default: :build

data/abank.gemspec

@@ -10,12 +10,9 @@ Gem::Specification.new do |spec|
   spec.homepage    = 'https://github.com/hernanirvaz/abank'
   spec.license     = 'MIT'
 
-  spec.summary     = 'Arquiva <conta-corrente>.xlsx,' \
-                     ' <conta-cartao>.xlsx no bigquery.'
-  spec.description = spec.summary +
-                     ' Pode apagar movimentos similares/existentes' \
-                     ' ja no bigquery.' \
-                     ' Pode ainda classificar movimentos ja no bigquery.'
+  spec.summary     = 'Arquiva movimentos conta-corrente, conta-cartao do activobank no bigquery.'
+  spec.description = spec.summary + ' Permite apagar/recriar movimentos/rendas ja no bigquery. ' \
+                     ' Permite ainda classificar movimentos no bigquery.'
 
   spec.metadata['homepage_uri'] = spec.homepage
   spec.metadata['yard.run'] = 'yard'
@@ -24,10 +21,10 @@ Gem::Specification.new do |spec|
 
   # Specify which files should be added to the gem when it is released.
   # The `git ls-files -z` loads files in RubyGem that have been added into git.
-  spec.files = Dir.chdir(File.expand_path(__dir__)) do
-    `git ls-files -z`.split("\x0")
-                     .reject { |f| f.match(%r{^(test|spec|features)/}) }
-  end
+  spec.files =
+    Dir.chdir(File.expand_path(__dir__)) do
+      `git ls-files -z`.split("\x0").reject { |f| f.match(%r{^(test|spec|features)/}) }
+    end
   spec.bindir        = 'exe'
   spec.executables   = spec.files.grep(%r{^exe/}) { |f| File.basename(f) }
   spec.require_paths = ['lib']

data/bin/console

@@ -1,7 +1,8 @@
 #!/usr/bin/env ruby
+# frozen_string_literal: true
 
-require "bundler/setup"
-require "abank"
+require 'bundler/setup'
+require 'abank'
 
 # You can add fixtures and/or initialization code here to make experimenting
 # with your gem easier. You can also use a different console, if you like.
@@ -10,5 +11,5 @@ require "abank"
 # require "pry"
 # Pry.start
 
-require "irb"
+require 'irb'
 IRB.start(__FILE__)

data/lib/abank.rb

@@ -1,64 +1,94 @@
 # frozen_string_literal: true
 
 require 'thor'
-require 'abank/bigquery'
-require 'abank/folhacalculo'
+require 'abank/big'
+require 'abank/contrato'
+require 'abank/rendas'
+require 'abank/folha'
 require 'abank/version'
 
 # @author Hernani Rodrigues Vaz
 module Abank
-  ID = `whoami`.chomp
+  DR = "/home/#{`whoami`.chomp}/Downloads"
 
   class Error < StandardError; end
 
   # CLI para carregar folhas calculo comuns no bigquery
   class CLI < Thor
-    desc 'load', 'carrega dados da folha calculo no bigquery'
-    option :d, banner: 'DIR', default: "/home/#{ID}/Downloads",
-               desc: 'Onde procurar folhas calculo'
-    option :x, banner: 'EXT', default: '.xlsx',
-               desc: 'Extensao das folhas calculo'
-    option :n, banner: 'NUM', type: :numeric, default: 0,
-               desc: 'Correcao dias para data valor'
-    option :s, type: :boolean, default: false,
-               desc: 'apaga linha similar no bigquery'
-    option :e, type: :boolean, default: false,
-               desc: 'apaga linha igual no bigquery'
-    option :m, type: :boolean, default: false,
-               desc: 'apaga linhas existencia multipla no bigquery'
-    # processa folha calculo
-    def load
-      Dir.glob("#{options[:d]}/*#{options[:x]}").sort.each do |f|
-        Bigquery.new(f, load_ops).processa
-      end
+    desc 'tag', 'classifica movimentos'
+    # classifica movimentos
+    def tag
+      Big.new.mv_classifica
     end
 
-    desc 'mostra', 'mostra dados da folha calculo'
-    option :d, banner: 'DIR', default: "/home/#{ID}/Downloads",
-               desc: 'Onde procurar folhas calculo'
-    option :x, banner: 'EXT', default: '.xlsx',
-               desc: 'Extensao das folhas calculo'
-    # mostra folha calculo
-    def mostra
-      Dir.glob("#{options[:d]}/*#{options[:x]}").sort.each do |f|
-        Bigquery.new(f).processa
+    desc 'apagamv', 'apaga movimentos'
+    option :k, banner: 'KEY[,KEY...]', required: true, desc: 'keys movimentos a apagar'
+    # apaga movimentos
+    def apagamv
+      Big.new(k: options[:k]).mv_delete.mv_insert.re_work
+    end
+
+    desc 'criact', 'cria contrato arrendamento'
+    option :c, banner: 'CONTRATO', required: true, desc: 'Identificador contrato arrendamento'
+    option :t, type: :boolean, default: true,      desc: 'cria todas as rendas?'
+    option :d, banner: 'DATA', default: '',        desc: 'data contrato arrendamento'
+    # cria contrato arrendamento
+    def criact
+      Big.new(c: options[:c], t: options[:t], d: options[:d]).ct_cria
+    end
+
+    desc 'apagact', 'apaga contrato arrendamento'
+    option :c, banner: 'CONTRATO', required: true, desc: 'Identificador contrato arrendamento'
+    option :t, type: :boolean, default: false,     desc: 'apaga todas as rendas?'
+    # apaga contrato arrendamento
+    def apagact
+      Big.new(c: options[:c], t: options[:t]).ct_apaga
+    end
+
+    desc 'recriact', 'atualiza rendas de contrato arrendamento'
+    option :c, banner: 'CONTRATO', required: true, desc: 'Identificador contrato arrendamento'
+    option :t, type: :boolean, default: false,     desc: 'apaga todas as rendas?'
+    option :d, banner: 'DATA', default: '',        desc: 'data contrato arrendamento'
+    # atualiza rendas de contrato arrendamento
+    def recriact
+      Big.new(c: options[:c], t: options[:t]).ct_apaga
+      Big.new(c: options[:c], t: true, d: options[:d]).ct_cria
+    end
+
+    desc 'recriare', 'atualiza rendas dos contratos ativos'
+    option :t, type: :boolean, default: false, desc: 'atualiza todas as rendas?'
+    # atualiza rendas dos contratos ativos
+    def recriare
+      Big.new(t: options[:t]).re_atualiza
+    end
+
+    desc 'work', 'carrega/apaga dados da folha calculo'
+    option :s, type: :boolean, default: false, desc: 'apaga movimento similar'
+    option :e, type: :boolean, default: false, desc: 'apaga movimento igual'
+    option :v, banner: 'DATA', default: '',    desc: 'data valor para movimentos a carregar'
+    option :g, banner: 'TAG', default: '',     desc: 'classificacao para movimentos a carregar'
+    # carrega/apaga dados da folha calculo
+    def work
+      Dir.glob("#{DR}/*.xlsx").sort.each do |f|
+        Folha.new(work_opc.merge(f: f)).processa_xls
       end
     end
 
-    desc 'classifica', 'classifica arquivo no bigquery'
-    # classifica arquivo no bigquery
-    def classifica
-      Bigquery.new.classifica
+    desc 'show', 'mostra dados da folha calculo'
+    # mostra folha calculo
+    def show
+      Dir.glob("#{DR}/*.xlsx").sort.each do |f|
+        Folha.new(f: f).processa_xls
+      end
     end
 
     no_commands do
-      # @return [Hash] ops opcoes trabalho com linhas para load
-      def load_ops
-        { s: options[:s], e: options[:e],
-          m: options[:m], i: true, n: options[:n] }
+      # @return [Hash] opcoes trabalho com movimentos para work
+      def work_opc
+        { s: options[:s], e: options[:e], i: true, v: options[:v], g: options[:g] }
       end
     end
 
-    default_task :mostra
+    default_task :show
   end
 end

data/lib/abank/big.rb

@@ -0,0 +1,136 @@
+# frozen_string_literal: true
+
+require 'google/cloud/bigquery'
+
+module Abank
+  # @see Big
+  class Big
+    DF = '%Y-%m-%d'
+
+    # @return [Hash] opcoes trabalho
+    attr_reader :opcao
+
+    # @return [Google::Cloud::Bigquery] API bigquery
+    attr_reader :bqapi
+
+    # @return [Google::Cloud::Bigquery::QueryJob] job bigquery
+    attr_reader :bqjob
+
+    # @return [Google::Cloud::Bigquery::Data] resultado do select
+    attr_reader :bqres
+
+    # @return [Integer] numero linhas afetadas pela Data Manipulation Language (DML)
+    attr_reader :bqnrs
+
+    # @return [String] movimentos a inserir (values.mv)
+    attr_reader :mvvls
+
+    # @return [String] movimentos a apagar (keysin.mv)
+    attr_reader :mvkys
+
+    # acesso a base dados abank no bigquery
+    #
+    # @param [Hash] opc opcoes trabalho
+    # @option opc [String]  :k ('') movimentos a apagar (keysin.mv)
+    # @option opc [String]  :c ('') id contrato arrendamento (re)
+    # @option opc [String]  :d ('') data inicio contrato arrendamento (re)
+    # @option opc [Boolean] :t (false) trabalha todas as rendas? (re)
+    # @return [Hash] opcoes trabalho
+    def initialize(opc = {})
+      @opcao = opc
+      @bqapi = Google::Cloud::Bigquery.new
+      @mvvls = ''
+      @mvkys = opc.fetch(:k, '')
+      @ctide = opc.fetch(:c, '')
+      # p ['B', opcao]
+      opcao
+    end
+
+    # (see CLI#tag)
+    def mv_classifica
+      dml('update hernanilr.ab.mv set mv.ct=tt.nct ' \
+            'from (select * from hernanilr.ab.cl) as tt ' \
+           "where #{ky_mv}=tt.ky")
+      puts 'MOVIMENTOS CLASSIFICADOS ' + bqnrs.to_s
+    end
+
+    # apaga movimentos & suas rendas associadas no bigquery
+    #
+    # @return [Big] acesso a base dados abank no bigquery
+    def mv_delete
+      vars_mv_work
+      if mvkys.size.positive?
+        # obtem lista contratos arrendamento associados aos movimentos a apagar
+        @ctlct = sel("select ct from hernanilr.ab.mv where #{ky_mv} in(#{mvkys}) and substr(ct,1,1)='r' group by 1")
+
+        # apaga rendas associadas e depois movimentos
+        @opcao[:t] = true
+        lr_apaga.mv_delete_dml
+
+        # para obrigar re_work a trabalhar com lista contratos (ctlct)
+        @bqnrs = 0
+      end
+      self
+    end
+
+    # insere & classifica movimentos no bigquery
+    #
+    # @return [Big] acesso a base dados abank no bigquery
+    def mv_insert
+      if mvvls.size.positive?
+        dml('insert hernanilr.ab.mv VALUES' + mvvls)
+        puts 'MOVIMENTOS INSERIDOS ' + bqnrs.to_s
+        mv_classifica if bqnrs.positive?
+      end
+      self
+    end
+
+    # inicializa variaveis para delete/insert movimentos
+    def vars_mv_work
+      @bqnrs = 0
+      @ctlct = []
+      @mvkys = mvkys[1..] if mvkys[0] == ','
+      @mvvls = mvvls[1..] if mvvls[0] == ','
+    end
+
+    # apaga movimentos no bigquery
+    def mv_delete_dml
+      dml("delete from hernanilr.ab.mv where #{ky_mv} in(#{mvkys})")
+      puts 'MOVIMENTOS APAGADOS ' + bqnrs.to_s
+    end
+
+    # @return [String] expressao sql da chave de movimentos
+    def ky_mv
+      'FARM_FINGERPRINT(CONCAT(CAST(mv.nc as STRING),mv.ds,CAST(mv.dl as STRING),CAST(mv.vl as STRING)))'
+    end
+
+    # cria job bigquery & verifica execucao
+    #
+    # @param [String] sql comando a executar
+    # @return [Boolean] job ok?
+    def job?(sql)
+      # p sql
+      @bqjob = bqapi.query_job(sql)
+      @bqjob.wait_until_done!
+      puts @bqjob.error['message'] if @bqjob.failed?
+      @bqjob.failed?
+    end
+
+    # executa sql & devolve resultado do bigquery
+    #
+    # @param (see job?)
+    # @param [Array] erro quando da erro no bigquery
+    # @return [Google::Cloud::Bigquery::Data] resultado do sql
+    def sel(sql, erro = [])
+      @bqres = job?(sql) ? erro : bqjob.data
+    end
+
+    # executa Data Manipulation Language (DML) no bigquery
+    #
+    # @param (see job?)
+    # @return [Integer] numero rows afetadas pelo dml
+    def dml(sql)
+      @bqnrs = job?(sql) ? 0 : bqjob.num_dml_affected_rows
+    end
+  end
+end

data/lib/abank/contrato.rb

@@ -0,0 +1,110 @@
+# frozen_string_literal: true
+
+module Abank
+  # acesso a base dados abank no bigquery
+  class Big
+    # @return [String] id contrato arrendamento
+    attr_reader :ctide
+
+    # @return [Array<Hash>] lista ids contratos arrendamento
+    # @example
+    #   [{ ct: 'r03000' }, ...]
+    attr_reader :ctlct
+
+    # @return [Array<Hash>] lista dados contrato arrendamento (inclui lista movimentos novos)
+    # @example
+    #   [{ct: 'r03000', dc: '2020-03-01', ano: 2020, cnt: 0, dl: '2020-03-01', mv: [{dl: '2020-03-02', vl: 30}, ...]  }]
+    attr_reader :ctlcm
+
+    # (see CLI#criact)
+    def ct_cria
+      if existe_contrato?
+        @bqnrs = 1
+        puts 'CONTRATO JA EXISTE'
+      else
+        dml('insert into hernanilr.ab.re ' + sql_contrato_mv)
+        puts "CONTRATO #{ctide} " + (bqnrs.zero? ? 'NAO EXISTE' : 'INSERIDO')
+      end
+      return unless existem_rendas?
+
+      # processa rendas associadas ao contrato arrendamento
+      cm_cria.vr_cria.re_insert
+    end
+
+    # (see CLI#apagact)
+    def ct_apaga
+      @ctlct = [{ ct: ctide }]
+      lc_apaga
+    end
+
+    # apaga rendas da lista de contrato arrendamento
+    #
+    # @return [Big] acesso a base dados abank no bigquery
+    def lr_apaga
+      return self unless opcao[:t] && ctlct.count.positive?
+
+      # para nao apagar contrato arrendamento - somente as rendas
+      @opcao[:t] = false
+
+      lc_apaga
+      self
+    end
+
+    # apaga rendas da lista de contratos arrendamento
+    def lc_apaga
+      dml("delete from hernanilr.ab.re where ct in(#{str_lc})#{opcao[:t] ? '' : ' and cnt>0'}")
+      puts "RENDAS #{str_lc('')} APAGADAS " + bqnrs.to_s
+    end
+
+    # @return [String] texto formatado que representa lista de contratos arrendamento
+    def str_lc(sep = "'")
+      ctlct.map { |c| sep + c[:ct] + sep }.join(',')
+    end
+
+    # optem lista dados contrato arrendamento (inclui lista movimentos novos)
+    #
+    # @return [Big] acesso a base dados abank no bigquery
+    def cm_cria
+      @ctlcm = []
+      ctlct.each do |c|
+        @ctide = c[:ct]
+        sel(sql_last_re)
+        @ctlcm << bqres[0].merge({ mv: sel(sql_novo_mv(bqres[0][:dl])) })
+      end
+      self
+    end
+
+    # @return [Boolean] existem rendas para processar sim/nao?
+    def existem_rendas?
+      @ctlct = [{ ct: ctide }]
+      bqnrs.positive? && opcao[:t]
+    end
+
+    # @return [Boolean] contrato arrendamento ja existe sim/nao?
+    def existe_contrato?
+      sel("select ct from hernanilr.ab.re where ct='#{ctide}' and cnt=0").count.positive?
+    end
+
+    # @return [String] sql para obter ultima renda do contrato arrendamento
+    def sql_last_re
+      'select ct,DATE_SUB(DATE_SUB(dl,INTERVAL dias DAY),INTERVAL IF(cnt=0,0,cnt-1) MONTH) as dc,ano,cnt,dl ' \
+        "from hernanilr.ab.re where ct='#{ctide}' order by ano desc,cnt desc limit 1"
+    end
+
+    # @return [String] sql para obter movimentos novos (depois da ultima renda do contrato arrendamento)
+    def sql_novo_mv(mdl)
+      "select dl,vl from hernanilr.ab.mv where ct='#{ctide}' and dl>='#{(mdl + 1).strftime(DF)}' order by dl,dv"
+    end
+
+    # @return [String] sql para obter dados do inicio contrato arrendamento
+    def sql_contrato_mv
+      if opcao[:d].size.zero?
+        'select ct,EXTRACT(YEAR FROM DATE_TRUNC(dl,MONTH)) as ano,0 as cnt,DATE_TRUNC(dl,MONTH) as dl,0 dias ' \
+          "from hernanilr.ab.mv where ct='#{ctide}' order by dl limit 1"
+      else
+        "select '#{ctide}' as ct,EXTRACT(YEAR FROM DATE '#{opcao[:d]}') as ano" \
+              ",0 as cnt,DATE '#{opcao[:d]}' as dl,0 dias"
+      end
+    end
+  end
+end

data/lib/abank/folha.rb

@@ -0,0 +1,156 @@
+# frozen_string_literal: true
+
+require 'roo'
+
+module Abank
+  # acesso a folha calculo & base dados abank no bigquery
+  class Folha < Big
+    # @return [Roo::Excelx] folha calculo a processar
+    attr_reader :folha
+
+    # @return [Integer] numero conta associado a folha calculo
+    # @example
+    #   mov*.xlsx     --> 1 --> conta-corrente
+    #   movCard*.xlsx --> 2 --> conta-cartao
+    attr_reader :conta
+
+    # @return [Array] row folha calculo em processamento
+    attr_reader :rowfc
+
+    # acesso a folha calculo & base dados abank no bigquery
+    #
+    # @param [Hash] opc opcoes trabalho
+    # @option opc [String]  :f ('') folha calculo a processar
+    # @option opc [Boolean] :s (false) apaga movimento similar? (mv)
+    # @option opc [Boolean] :e (false) apaga movimento igual? (mv)
+    # @option opc [Boolean] :i (false) insere movimento novo? (mv)
+    # @option opc [String]  :v ('') data valor movimentos (mv)
+    # @option opc [String]  :g ('') classificacao movimentos (mv)
+    def initialize(opc = {})
+      @opcao = super
+      @folha = Roo::Spreadsheet.open(opc.fetch(:f))
+      @conta = opc.fetch(:f).match?(/card/i) ? 2 : 1
+      @opcao[:s] = opc.fetch(:s, false)
+      @opcao[:e] = opc.fetch(:e, false)
+      @opcao[:i] = opc.fetch(:i, false)
+      @opcao[:v] = opc.fetch(:v, '')
+      @opcao[:g] = opc.fetch(:g, '')
+    end
+
+    # carrega/mostra folha calculo
+    def processa_xls
+      n = 0
+      folha.sheet(0).parse(header_search: ['Data Lanc.', 'Data Valor', 'Descrição', 'Valor']) do |r|
+        n += 1
+        puts n == 1 ? "\n" + folha.info : processa_linha(r)
+      end
+      return unless opcao[:i]
+
+      # processa movimentos & atualiza rendas
+      mv_delete.mv_insert.re_work
+    end
+
+    # processa linha folha calculo
+    #
+    # @param [Hash] linha da folha calculo em processamento
+    # @return [String] texto informativo formatado da linha em processamento
+    def processa_linha(linha)
+      vars_xls(linha)
+      # pesquisa existencia linha folha calculo no bigquery
+      #  array.count = 0 ==> pode carregar esta linha
+      #  array.count = 1 ==> mais testes necessarios
+      #  array.count > 1 ==> nao pode carregar esta linha
+      sel(sql_existe_mv, [{}, {}])
+      if linha_naoexiste? then linha_base + values_mv
+      elsif linha_existe? then linha_existe
+      elsif linha_simila? then linha_similar
+      else                     linha_multiplas
+      end
+    end
+
+    # inicializa variavel para processar linha folha calculo
+    #
+    # @param (see processa_linha)
+    def vars_xls(linha)
+      @rowfc = linha.values
+      @rowfc[2] = rowfc[2].strip
+      @rowfc[3] = -1 * rowfc[3] if conta > 1
+    end
+
+    # @return [String] texto base formatado para display
+    def linha_base
+      "#{rowfc[0].strftime(DF)} #{format('%<v3>-34.34s %<v4>8.2f', v3: rowfc[2], v4: rowfc[3])}"
+    end
+
+    # @return [String] texto linha existente formatada para display
+    def linha_existe
+      add_kys if opcao[:e]
+      linha_base + ' EXIS ' + format('%<v1>20d', v1: bqres.first[:ky])
+    end
+
+    # @return [String] texto linha similar formatada para display
+    def linha_similar
+      add_kys if opcao[:s]
+      linha_base + ' SIMI ' + format('%<v1>-20.20s', v1: bqres.first[:ds].strip)
+    end
+
+    # @return [String] texto linha existencia multipla formatada para display
+    def linha_multiplas
+      linha_base + ' MULT(' + bqres.count.to_s + ')'
+    end
+
+    # obtem chaves movimento (keysin.mv) para apagar
+    def add_kys
+      bqres.each { |r| @mvkys += ",#{r[:ky]}" }
+    end
+
+    # @return [Boolean] linha folha calculo nao existe no bigquery?
+    def linha_naoexiste?
+      bqres.count.zero?
+    end
+
+    # @return [Boolean] linha folha calculo existe no bigquery?
+    def linha_existe?
+      bqres.count == 1 && bqres.first[:ds].strip == rowfc[2]
+    end
+
+    # @return [Boolean] linha folha calculo existe parecida no bigquery?
+    def linha_simila?
+      bqres.count == 1 && bqres.first[:ds].strip != rowfc[2]
+    end
+
+    # @return [String] sql para movimentos no bigquery
+    def sql_existe_mv
+      "select *,#{ky_mv} as ky from hernanilr.ab.mv " \
+       "where nc=#{conta} and dl='#{rowfc[0].strftime(DF)}' and vl=#{rowfc[3]}"
+    end
+
+    # obtem movimento (values.mv) para inserir
+    #
+    # @return [String] ' NOVO'
+    def values_mv
+      @mvvls += ",('#{rowfc[0].strftime(DF)}','#{dvc.strftime(DF)}','#{rowfc[2]}',#{rowfc[3]}" + values_mv_extra
+      ' NOVO'
+    end
+
+    # @return [String] campos extra do movimento (values.mv) para inserir
+    def values_mv_extra
+      ",#{conta},#{dvc.year},#{dvc.month},'#{tpc}',#{ctc})"
+    end
+
+    # @return [Date] data valor corrigida
+    def dvc
+      opcao[:v].size.zero? ? rowfc[1] : Date.parse(opcao[:v])
+    end
+
+    # @return [String] classificacao do movimento (null --> classificacao automatica)
+    def ctc
+      opcao[:g].size.zero? ? 'null' : ("'" + opcao[:g] + "'")
+    end
+
+    # @return [String] tipo movimento c[redito] ou d[ebito]
+    def tpc
+      rowfc[3].positive? ? 'c' : 'd'
+    end
+  end
+end

data/lib/abank/rendas.rb

@@ -0,0 +1,123 @@
+# frozen_string_literal: true
+
+module Abank
+  # @see Big
+  class Big
+    # @return [Integer] ano renda em tratamento
+    attr_reader :reano
+
+    # @return [Integer] mes renda em tratamento
+    attr_reader :repos
+
+    # @return [Float] valor renda mensal
+    attr_reader :revre
+
+    # @return [String] rendas a inserir (values.re)
+    attr_reader :revls
+
+    # @return [Integer] movimento em tratamento
+    attr_reader :mvpos
+
+    # @return [Date] data lancamento movimento em tratamento
+    attr_reader :mvdlm
+
+    # @return [Float] valor movimento em tratamento
+    attr_reader :mvvlm
+
+    # (see CLI#recriare)
+    def re_atualiza
+      # obtem contratos ativos
+      @ctlct = sel('SELECT ct from hernanilr.ab.re group by 1')
+
+      # [re]cria rendas [novas|todas]
+      lr_apaga.cm_cria.vr_cria.re_insert
+    end
+
+    # cria rendas associadas a lista ids contratos arrendamento
+    def re_work
+      bqnrs.zero? || ctlct.count.positive? ? cm_cria.vr_cria.re_insert : re_atualiza
+    end
+
+    # obtem rendas a inserir (values.re)
+    #
+    # @return [Big] acesso a base dados abank no bigquery
+    def vr_cria
+      @revls = ctlcm.map { |c| rendas_novas(c) }.flatten(1).join(',')
+      self
+    end
+
+    # insere rendas no bigquery
+    def re_insert
+      if revls.size.zero?
+        puts 'NAO EXISTEM RENDAS NOVAS'
+      else
+        dml('insert hernanilr.ab.re VALUES' + revls)
+        puts "RENDAS #{str_lc('')} CRIADAS " + bqnrs.to_s
+      end
+    end
+
+    # @param [Hash] cmv dados contrato arrendamento (inclui lista movimentos novos)
+    # @return [Array<String>] lista rendas novas dum contrato arrendamento (values.re)
+    def rendas_novas(cmv)
+      return [] unless cmv[:mv].count.positive?
+
+      vars_re(cmv)
+      r = []
+      while mvvlm >= revre && mvpos < cmv[:mv].count
+        r << nova_re(cmv)
+        proximo_mv(cmv)
+      end
+      r
+    end
+
+    # inicializa variaveis para processar rendas do contrato arrendamento
+    # @param (see rendas_novas)
+    def vars_re(cmv)
+      @reano = cmv[:ano]
+      @repos = cmv[:cnt]
+      @revre = Float(cmv[:ct][/\d+/]) / 100
+      @mvpos = 0
+      vars_re_mv(cmv)
+    end
+
+    # inicializa variaveis para processar movimentos associados ao contrato arrendamento
+    # @param (see rendas_novas)
+    def vars_re_mv(cmv)
+      @mvdlm = cmv[:mv][mvpos][:dl]
+      @mvvlm = cmv[:mv][mvpos][:vl]
+    end
+
+    # @param (see rendas_novas)
+    # @return [String] renda formatada (values.re)
+    def nova_re(cmv)
+      # inicializa proxima renda
+      if repos == 12
+        @repos = 1
+        @reano += 1
+      else
+        @repos += 1
+      end
+      "('#{cmv[:ct]}',#{reano},#{repos},'#{mvdlm.strftime(DF)}',#{dias(cmv)})"
+    end
+
+    # @param (see rendas_novas)
+    # @return [Integer] dias atraso no pagamento da renda
+    def dias(cmv)
+      mvdlm.mjd - (Date.new(reano, repos, 1) >> (cmv[:dc].month - 1)).mjd
+    end
+
+    # inicializa variaveis para processar proximo movimento
+    # @param (see rendas_novas)
+    def proximo_mv(cmv)
+      # valor renda paga retirado do valor do movimento
+      @mvvlm -= revre
+      return unless mvvlm < revre
+
+      # avanca na lista de movimentos
+      @mvpos += 1
+      return unless mvpos < cmv[:mv].count
+
+      vars_re_mv(cmv)
+    end
+  end
+end

data/lib/abank/version.rb

@@ -1,5 +1,5 @@
 # frozen_string_literal: true
 
 module Abank
-  VERSION = '0.2.2'
+  VERSION = '0.2.7'
 end

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: abank
 version: !ruby/object:Gem::Version
-  version: 0.2.2
+  version: 0.2.7
 platform: ruby
 authors:
 - Hernâni Rodrigues Vaz
 autorequire: 
 bindir: exe
 cert_chain: []
-date: 2020-05-14 00:00:00.000000000 Z
+date: 2020-06-11 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: bundler
@@ -94,9 +94,9 @@ dependencies:
     - - ">="
       - !ruby/object:Gem::Version
         version: '0'
-description: Arquiva <conta-corrente>.xlsx, <conta-cartao>.xlsx no bigquery. Pode
-  apagar movimentos similares/existentes ja no bigquery. Pode ainda classificar movimentos
-  ja no bigquery.
+description: Arquiva movimentos conta-corrente, conta-cartao do activobank no bigquery.
+  Permite apagar/recriar movimentos/rendas ja no bigquery.  Permite ainda classificar
+  movimentos no bigquery.
 email:
 - hernanirvaz@gmail.com
 executables:
@@ -105,6 +105,7 @@ extensions: []
 extra_rdoc_files: []
 files:
 - ".gitignore"
+- ".rubocop.yml"
 - ".travis.yml"
 - Gemfile
 - Gemfile.lock
@@ -116,8 +117,10 @@ files:
 - bin/setup
 - exe/abank
 - lib/abank.rb
-- lib/abank/bigquery.rb
-- lib/abank/folhacalculo.rb
+- lib/abank/big.rb
+- lib/abank/contrato.rb
+- lib/abank/folha.rb
+- lib/abank/rendas.rb
 - lib/abank/version.rb
 homepage: https://github.com/hernanirvaz/abank
 licenses:
@@ -140,8 +143,8 @@ required_rubygems_version: !ruby/object:Gem::Requirement
     - !ruby/object:Gem::Version
       version: '0'
 requirements: []
-rubygems_version: 3.0.3
+rubygems_version: 3.0.8
 signing_key: 
 specification_version: 4
-summary: Arquiva <conta-corrente>.xlsx, <conta-cartao>.xlsx no bigquery.
+summary: Arquiva movimentos conta-corrente, conta-cartao do activobank no bigquery.
 test_files: []

data/lib/abank/bigquery.rb

@@ -1,137 +0,0 @@
-# frozen_string_literal: true
-
-require 'roo'
-require 'google/cloud/bigquery'
-
-module Abank
-  DF = '%Y-%m-%d'
-
-  # (see Bigquery)
-  class Bigquery
-    # @return [Google::Cloud::Bigquery] API bigquery
-    attr_reader :apibq
-    # @return [Roo::Excelx] folha calculo a processar
-    attr_reader :folha
-    # @return [Hash] opcoes trabalho com linhas
-    attr_reader :linha
-    # @return [Integer] numero conta
-    attr_reader :conta
-
-    # @return [Array] row folha calculo em processamento
-    attr_reader :row
-    # @return [Google::Cloud::Bigquery::QueryJob] job bigquery
-    attr_reader :job
-    # @return (see sql_select)
-    attr_reader :sql
-
-    # @param [String] xls folha calculo para processar
-    # @param [Hash] ops opcoes trabalho com linhas
-    # @option ops [Boolean] :s (false) apaga linha similar?
-    # @option ops [Boolean] :e (false) apaga linha igual?
-    # @option ops [Boolean] :m (false) apaga linhas existencia multipla?
-    # @option ops [Boolean] :i (false) insere linha nova?
-    # @option ops [Numeric] :n (0) numero dias correcao para data valor
-    # @return [Bigquery] acesso folhas calculo activobank
-    #  & correspondente bigquery dataset
-    def initialize(xls = '', ops = { s: false, e: false, m: false,
-                                     i: false, n: 0 })
-      # usa env GOOGLE_APPLICATION_CREDENTIALS para obter credentials
-      # @see https://cloud.google.com/bigquery/docs/authentication/getting-started
-      @apibq = Google::Cloud::Bigquery.new
-      @folha = Roo::Spreadsheet.open(xls) if xls.size.positive?
-      @linha = ops
-      @conta = xls.match?(/card/i) ? 2 : 1
-    end
-
-    # cria job bigquery & verifica execucao
-    #
-    # @param [String] sql a executar
-    # @return [Boolean] job ok?
-    def job_bigquery?(sql)
-      @job = apibq.query_job(sql)
-      @job.wait_until_done!
-      puts @job.error['message'] if @job.failed?
-      @job.failed?
-    end
-
-    # executa Stored procedure (SP) job bigquery
-    #
-    # @param (see job_bigquery?)
-    # @return (see num_insert)
-    def esp(sql)
-      job_bigquery?(sql) ? 0 : num_insert(apibq.jobs(parent_job: job))
-    end
-
-    # @return [Integer] numero linhas inseridas
-    def num_insert(sps)
-      sps.find { |j| j.statement_type == 'INSERT' }.num_dml_affected_rows
-    end
-
-    # cria Data Manipulation Language (DML) job bigquery
-    #
-    # @param (see job_bigquery?)
-    # @return [Integer] numero linhas afetadas
-    def dml(sql)
-      job_bigquery?(sql) ? 0 : job.num_dml_affected_rows
-    end
-
-    # pesquisa existencia linha folha calculo no bigquery
-    #
-    # @return [Google::Cloud::Bigquery::Data] resultado do sql num array<hash>
-    def sql_select
-      # array.count = 0 ==> pode carregar esta linha
-      # array.count = 1 ==> mais testes necessarios
-      # array.count > 1 ==> nao carregar esta linha
-      @sql = job_bigquery?('select * ' + sql_where) ? [{}, {}] : job.data
-    end
-
-    # @return [String] parte sql para processamento linhas similares
-    def sql_where
-      "from hernanilr.ab.mv where nc=#{conta}" \
-      " and dl='#{row[0].strftime(DF)}'" \
-      " and vl=#{row[3]}"
-    end
-
-    # (see CLI#classifica)
-    def classifica
-      return unless linha[:i]
-
-      puts 'LINHAS CLASSIFICADAS ' +
-           dml('update hernanilr.ab.mv set mv.ct=tt.nct' \
-               '  from (select * from hernanilr.ab.cl) as tt' \
-               ' where mv.dl=tt.dl and mv.dv=tt.dv' \
-               '   and mv.ds=tt.ds and mv.vl=tt.vl').to_s
-      puts 'RENDAS INSERIDAS ' + esp('call hernanilr.ab.rendas()').to_s
-    end
-
-    # @return [Integer] numero linhas inseridas
-    def sql_insert
-      return 1 unless linha[:i]
-
-      dml('insert hernanilr.ab.mv(dl,dv,ds,vl,nc,ano,mes,ct,tp) VALUES(' \
-          "'#{row[0].strftime(DF)}','#{data_valor.strftime(DF)}','#{row[2]}'" +
-        str_insert1)
-    end
-
-    # @return [Date] data valor corrigida
-    def data_valor
-      row[1] + linha[:n].to_i
-    end
-
-    # @return [String] campos extra da linha bigquery
-    def str_insert1
-      ",#{row[3]},#{conta}" + str_insert2
-    end
-
-    # @return [String] campos calculados da linha bigquery
-    def str_insert2
-      ",#{data_valor.year},#{data_valor.month},null," \
-        "'#{row[3].positive? ? 'c' : 'd'}')"
-    end
-
-    # @return [Integer] numero linhas apagadas
-    def sql_delete
-      dml('delete ' + sql_where + " and ds='#{sql.first[:ds].strip}'")
-    end
-  end
-end

data/lib/abank/folhacalculo.rb

@@ -1,87 +0,0 @@
-# frozen_string_literal: true
-
-module Abank
-  HT = ['Data Lanc.', 'Data Valor', 'Descrição', 'Valor'].freeze
-  RF = '%<v3>-35.35s %<v4>8.2f'
-
-  # classifica & arquiva dados das folhas calculo activobank no bigquery
-  class Bigquery
-    # corrige linha folha calculo para processamento
-    #
-    # @param [Hash] has da linha em processamento
-    def corrige_hash(has)
-      @row = has.values
-      @row[2] = row[2].strip
-      @row[3] = -1 * row[3] if conta > 1
-    end
-
-    # processa linhas folha calculo & classifica bigquery
-    def processa
-      n = 0
-      folha.sheet(0).parse(header_search: HT) do |r|
-        n += 1
-        puts n == 1 ? "\n" + folha.info : processa_row(r)
-      end
-      classifica
-    end
-
-    # processa linha folha calculo para arquivo
-    #
-    # @param (see corrige_hash)
-    # @return [String] texto informativo do processamento
-    def processa_row(has)
-      corrige_hash(has)
-      sql_select
-      if row_naoexiste? then row_str + (sql_insert == 1 ? ' NOVA' : ' ERRO')
-      elsif row_simila? then row_similar
-      elsif row_existe? then row_existente
-      else                   row_multiplas
-      end
-    end
-
-    # @return [String] linha folha calculo formatada
-    def row_str
-      "#{row[0].strftime(DF)} #{row[1].strftime(DF)} " \
-        "#{format(RF, v3: row[2], v4: row[3])}"
-    end
-
-    # @return [String] linha folha calculo similar
-    def row_similar
-      d = linha[:s] ? sql_delete : 0
-      row_str + ' SIMILAR' + str_apagadas(d) + sql.first[:ds].strip
-    end
-
-    # @return [String] linha folha calculo existente
-    def row_existente
-      d = linha[:e] ? sql_delete : 0
-      row_str + ' EXISTENTE' + str_apagadas(d)
-    end
-
-    # @return [String] linha folha calculo existencia multipla
-    def row_multiplas
-      d = linha[:m] ? sql_delete : 0
-      row_str + ' MULTIPLAS ' + sql.count.to_s + str_apagadas(d)
-    end
-
-    # @param [Integer] numero linhas apagadas
-    # @return [String] texto formatado linhas apagadas
-    def str_apagadas(num)
-      num.positive? ? ' & ' + num.to_s + ' APAGADA(S) ' : ' '
-    end
-
-    # @return [Boolean] linha folha calculo nao existe no bigquery?
-    def row_naoexiste?
-      sql.count.zero?
-    end
-
-    # @return [Boolean] linha folha calculo existe no bigquery?
-    def row_existe?
-      sql.count == 1 && sql.first[:ds].strip == row[2]
-    end
-
-    # @return [Boolean] linha folha calculo existe parecida no bigquery?
-    def row_simila?
-      sql.count == 1 && sql.first[:ds].strip != row[2]
-    end
-  end
-end