abank 0.2.0 → 0.2.5

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: 2a59c02ce2b0191c7352505afee9cc70a9cb089e13f8eff6bdb9fadd8033b71c
-  data.tar.gz: c010bc3136f075a8323403b147e064cfc4b34e3eacb38a71fddb88b84f5204eb
+  metadata.gz: 357eabd6927351fcd006bf58dda24c7b323395749b4ab6ef4ecf6f596a126241
+  data.tar.gz: 0c3fc3b9e2ebda8bfe13b0ba072f50b0ff303668dfde4ffa7378e04f1470b81e
 SHA512:
-  metadata.gz: 174bdd47142b4344abafeadff04c89a8cbea380d508667ba68ea27c602d98eb10a5920972fd017058e6f260712519b4e2d952ff3cdf854f893b9fffd79ee4e33
-  data.tar.gz: f62757b9667bfbcdfe8efbf85083d6bc2cd1351af83e8b3f7307fff9b4cffd13feff922242fdb0e23db1fdce25704dac89f88ba00f8123819302c31fed8fbc0c
+  metadata.gz: b11a19c0f7039ff253776441e4f7b7de443808c4bf90dfec078a65dab3342b40197017d36e69d30d09d35500afd6e187ebe7113580e36ef921737085599c26af
+  data.tar.gz: 98daf017bef2b5860fe498c9f11f6881374ebaa87451a10bf24fe1fa95006230c734a6dc1176e036983ec0e991777e59cfebaa34f2c2bc67828d3b95563163ae

data/.rubocop.yml

@@ -0,0 +1,33 @@
+AllCops:
+  TargetRubyVersion: 2.6
+  EnabledByDefault: true
+
+Style/ClassAndModuleChildren:
+  EnforcedStyle: compact
+
+Style/Copyright:
+  Enabled: false
+
+Style/DocumentationMethod:
+  Enabled: false
+
+Style/MethodCallWithArgsParentheses:
+  Enabled: false
+
+Style/ConstantVisibility:
+  Enabled: false
+
+Layout/MultilineMethodArgumentLineBreaks:
+  Enabled: false
+
+Layout/MultilineHashKeyLineBreaks:
+  Enabled: false
+
+Layout/FirstMethodParameterLineBreak:
+  Enabled: false
+
+Layout/FirstHashElementLineBreak:
+  Enabled: false
+
+Style/MissingElse:
+  Enabled: false

data/Gemfile

@@ -1,6 +1,8 @@
-source "https://rubygems.org"
+# frozen_string_literal: true
+
+source 'https://rubygems.org'
 
 # Specify your gem's dependencies in abank.gemspec
 gemspec
 
-gem "rake", "~> 12.0"
+gem 'rake', '~> 12.0'

data/Gemfile.lock

@@ -1,7 +1,7 @@
 PATH
   remote: .
   specs:
-    abank (0.2.0)
+    abank (0.2.5)
       google-cloud-bigquery
       roo
       thor
@@ -17,7 +17,7 @@ GEM
     declarative-option (0.1.0)
     faraday (1.0.1)
       multipart-post (>= 1.2, < 3)
-    google-api-client (0.38.0)
+    google-api-client (0.40.1)
       addressable (~> 2.5, >= 2.5.1)
       googleauth (~> 0.9)
       httpclient (>= 2.8.1, < 3.0)
@@ -25,7 +25,7 @@ GEM
       representable (~> 3.0)
       retriable (>= 2.0, < 4.0)
       signet (~> 0.12)
-    google-cloud-bigquery (1.21.0)
+    google-cloud-bigquery (1.21.1)
       concurrent-ruby (~> 1.0)
       google-api-client (~> 0.33)
       google-cloud-core (~> 1.2)
@@ -34,9 +34,9 @@ GEM
     google-cloud-core (1.5.0)
       google-cloud-env (~> 1.0)
       google-cloud-errors (~> 1.0)
-    google-cloud-env (1.3.1)
+    google-cloud-env (1.3.2)
       faraday (>= 0.17.3, < 2.0)
-    google-cloud-errors (1.0.0)
+    google-cloud-errors (1.0.1)
     googleauth (0.12.0)
       faraday (>= 0.17.3, < 2.0)
       jwt (>= 1.4, < 3.0)
@@ -54,7 +54,7 @@ GEM
     nokogiri (1.10.9)
       mini_portile2 (~> 2.4.0)
     os (1.1.0)
-    public_suffix (4.0.4)
+    public_suffix (4.0.5)
     rake (12.3.3)
     representable (3.0.4)
       declarative (< 0.1.0)
@@ -72,7 +72,7 @@ GEM
       multi_json (~> 1.10)
     thor (1.0.1)
     uber (0.1.0)
-    yard (0.9.24)
+    yard (0.9.25)
 
 PLATFORMS
   ruby

data/README.md

@@ -1,6 +1,6 @@
 # Abank [![Build Status](https://travis-ci.com/hernanirvaz/abank.svg?branch=master)](https://travis-ci.com/hernanirvaz/abank)
 
-Arquiva movimentos conta-corrente, conta-cartao do activobank no bigquery. Permite apagar movimentos similares/existentes ja no bigquery. Permite ainda classificar movimentos ja no bigquery.
+Arquiva movimentos conta-corrente, conta-cartao do activobank no bigquery. Permite apagar/recriar movimentos/rendas ja no bigquery. Permite ainda classificar movimentos no bigquery.
 
 ## Installation
 
@@ -20,10 +20,14 @@ Or install it yourself as:
 
 ## Usage
 
-    $ abank help [COMANDO]  # ajuda aos comandos
-    $ abank mostra          # mostra dados da folha calculo
-    $ abank load            # carrega dados da folha calculo no bigquery
-    $ abank classifica      # classifica arquivo no bigquery
+    $ abank apagamv -k=KEY[,KEY...] # apaga movimentos
+    $ abank apagact  -c=CONTRATO    # apaga contrato arrendamento
+    $ abank criact   -c=CONTRATO    # cria contrato arrendamento
+    $ abank recriact -c=CONTRATO    # atualiza rendas de contrato arrendamento
+    $ abank recriare                # atualiza rendas dos contratos ativos
+    $ abank load                    # carrega dados da folha calculo
+    $ abank show                    # mostra dados da folha calculo
+    $ abank tag                     # classifica movimentos
 
 ## Development
 

data/Rakefile

@@ -1,2 +1,4 @@
-require "bundler/gem_tasks"
-task :default => :build
+# frozen_string_literal: true
+
+require 'bundler/gem_tasks'
+task default: :build

data/abank.gemspec

@@ -10,12 +10,9 @@ Gem::Specification.new do |spec|
   spec.homepage    = 'https://github.com/hernanirvaz/abank'
   spec.license     = 'MIT'
 
-  spec.summary     = 'Arquiva <conta-corrente>.xlsx,' \
-                     ' <conta-cartao>.xlsx no bigquery.'
-  spec.description = spec.summary +
-                     ' Pode apagar movimentos similares/existentes' \
-                     ' ja no bigquery.' \
-                     ' Pode ainda classificar movimentos ja no bigquery.'
+  spec.summary     = 'Arquiva movimentos conta-corrente, conta-cartao do activobank no bigquery.'
+  spec.description = spec.summary + ' Permite apagar/recriar movimentos/rendas ja no bigquery. ' \
+                     ' Permite ainda classificar movimentos no bigquery.'
 
   spec.metadata['homepage_uri'] = spec.homepage
   spec.metadata['yard.run'] = 'yard'
@@ -24,10 +21,10 @@ Gem::Specification.new do |spec|
 
   # Specify which files should be added to the gem when it is released.
   # The `git ls-files -z` loads files in RubyGem that have been added into git.
-  spec.files = Dir.chdir(File.expand_path(__dir__)) do
-    `git ls-files -z`.split("\x0")
-                     .reject { |f| f.match(%r{^(test|spec|features)/}) }
-  end
+  spec.files =
+    Dir.chdir(File.expand_path(__dir__)) do
+      `git ls-files -z`.split("\x0").reject { |f| f.match(%r{^(test|spec|features)/}) }
+    end
   spec.bindir        = 'exe'
   spec.executables   = spec.files.grep(%r{^exe/}) { |f| File.basename(f) }
   spec.require_paths = ['lib']

data/bin/console

@@ -1,7 +1,8 @@
 #!/usr/bin/env ruby
+# frozen_string_literal: true
 
-require "bundler/setup"
-require "abank"
+require 'bundler/setup'
+require 'abank'
 
 # You can add fixtures and/or initialization code here to make experimenting
 # with your gem easier. You can also use a different console, if you like.
@@ -10,5 +11,5 @@ require "abank"
 # require "pry"
 # Pry.start
 
-require "irb"
+require 'irb'
 IRB.start(__FILE__)

data/lib/abank.rb

@@ -1,55 +1,94 @@
 # frozen_string_literal: true
 
 require 'thor'
-require 'abank/bigquery'
-require 'abank/folhacalculo'
+require 'abank/big'
+require 'abank/contrato'
+require 'abank/folha'
+require 'abank/rendas'
 require 'abank/version'
 
 # @author Hernani Rodrigues Vaz
 module Abank
-  ID = `whoami`.chomp
+  DR = "/home/#{`whoami`.chomp}/Downloads"
 
   class Error < StandardError; end
 
   # CLI para carregar folhas calculo comuns no bigquery
   class CLI < Thor
-    desc 'load', 'carrega dados da folha calculo no bigquery'
-    option :d, banner: 'DIR', default: "/home/#{ID}/Downloads",
-               desc: 'Onde procurar folhas calculo'
-    option :x, banner: 'EXT', default: '.xlsx',
-               desc: 'Extensao das folhas calculo'
-    option :s, type: :boolean, default: false,
-               desc: 'apaga linha similar no bigquery'
-    option :e, type: :boolean, default: false,
-               desc: 'apaga linha igual no bigquery'
-    option :m, type: :boolean, default: false,
-               desc: 'apaga linhas existencia multipla no bigquery'
-    # processa folha calculo
+    desc 'tag', 'classifica movimentos'
+    # classifica movimentos
+    def tag
+      Big.new.mv_classifica
+    end
+
+    desc 'apagamv', 'apaga movimentos'
+    option :k, banner: 'KEY[,KEY...]', required: true, desc: 'keys movimentos a apagar'
+    # apaga movimentos
+    def apagamv
+      Big.new(k: options[:k]).mv_delete.mv_insert.re_work
+    end
+
+    desc 'criact', 'cria contrato arrendamento'
+    option :c, banner: 'CONTRATO', required: true, desc: 'Identificador contrato arrendamento'
+    option :t, type: :boolean, default: true,      desc: 'cria todas as rendas?'
+    option :d, banner: 'DATA', default: '',        desc: 'data contrato arrendamento'
+    # cria contrato arrendamento
+    def criact
+      Big.new(c: options[:c], t: options[:t], d: options[:d]).ct_cria
+    end
+
+    desc 'apagact', 'apaga contrato arrendamento'
+    option :c, banner: 'CONTRATO', required: true, desc: 'Identificador contrato arrendamento'
+    option :t, type: :boolean, default: false,     desc: 'apaga todas as rendas?'
+    # apaga contrato arrendamento
+    def apagact
+      Big.new(c: options[:c], t: options[:t]).ct_apaga
+    end
+
+    desc 'recriact', 'atualiza rendas de contrato arrendamento'
+    option :c, banner: 'CONTRATO', required: true, desc: 'Identificador contrato arrendamento'
+    option :t, type: :boolean, default: false,     desc: 'apaga todas as rendas?'
+    option :d, banner: 'DATA', default: '',        desc: 'data contrato arrendamento'
+    # atualiza rendas de contrato arrendamento
+    def recriact
+      Big.new(c: options[:c], t: options[:t]).ct_apaga
+      Big.new(c: options[:c], t: true, d: options[:d]).ct_cria
+    end
+
+    desc 'recriare', 'atualiza rendas dos contratos ativos'
+    option :t, type: :boolean, default: false, desc: 'atualiza todas as rendas?'
+    # atualiza rendas dos contratos ativos
+    def recriare
+      Big.new(t: options[:t]).re_atualiza
+    end
+
+    desc 'load', 'carrega dados da folha calculo'
+    option :s, type: :boolean, default: false, desc: 'apaga movimento similar'
+    option :e, type: :boolean, default: false, desc: 'apaga movimento igual'
+    option :v, banner: 'DATA', default: '',    desc: 'data valor para movimentos a carregar'
+    option :g, banner: 'TAG', default: '',     desc: 'classificacao para movimentos a carregar'
+    # carrega folha calculo
     def load
-      Dir.glob("#{options[:d]}/*#{options[:x]}").sort.each do |f|
-        Bigquery.new(f, { s: options[:s], e: options[:e],
-                          m: options[:m], i: true }).processa
+      Dir.glob("#{DR}/*.xlsx").sort.each do |f|
+        Big::Folha.new(load_opc.merge(f: f)).processa_xls
       end
     end
 
-    desc 'mostra', 'mostra dados da folha calculo'
-    option :d, banner: 'DIR', default: "/home/#{ID}/Downloads",
-               desc: 'Onde procurar folhas calculo'
-    option :x, banner: 'EXT', default: '.xlsx',
-               desc: 'Extensao das folhas calculo'
+    desc 'show', 'mostra dados da folha calculo'
     # mostra folha calculo
-    def mostra
-      Dir.glob("#{options[:d]}/*#{options[:x]}").sort.each do |f|
-        Bigquery.new(f).processa
+    def show
+      Dir.glob("#{DR}/*.xlsx").sort.each do |f|
+        Big::Folha.new(f: f).processa_xls
       end
     end
 
-    desc 'classifica', 'classifica arquivo no bigquery'
-    # classifica arquivo no bigquery
-    def classifica
-      Bigquery.new.classifica
+    no_commands do
+      # @return [Hash] opcoes trabalho com movimentos para load
+      def load_opc
+        { s: options[:s], e: options[:e], i: true, v: options[:v], g: options[:g] }
+      end
     end
 
-    default_task :mostra
+    default_task :show
   end
 end

data/lib/abank/big.rb

@@ -0,0 +1,134 @@
+# frozen_string_literal: true
+
+require 'google/cloud/bigquery'
+
+# @see Abank::Big
+class Abank::Big
+  DF = '%Y-%m-%d'
+
+  # @return [Hash] opcoes trabalho
+  attr_reader :opcao
+
+  # @return [Google::Cloud::Bigquery] API bigquery
+  attr_reader :bqapi
+
+  # @return [Google::Cloud::Bigquery::QueryJob] job bigquery
+  attr_reader :bqjob
+
+  # @return [Google::Cloud::Bigquery::Data] resultado do select
+  attr_reader :bqres
+
+  # @return [Integer] numero linhas afetadas pela Data Manipulation Language (DML)
+  attr_reader :bqnrs
+
+  # @return [String] movimentos a inserir (values.mv)
+  attr_reader :mvvls
+
+  # @return [String] movimentos a apagar (keysin.mv)
+  attr_reader :mvkys
+
+  # acesso a base dados abank no bigquery
+  #
+  # @param [Hash] opc opcoes trabalho
+  # @option opc [String]  :k ('') movimentos a apagar (keysin.mv)
+  # @option opc [String]  :c ('') id contrato arrendamento (re)
+  # @option opc [String]  :d ('') data inicio contrato arrendamento (re)
+  # @option opc [Boolean] :t (false) trabalha todas as rendas? (re)
+  # @return [Hash] opcoes trabalho
+  def initialize(opc = {})
+    @opcao = opc
+    @bqapi = Google::Cloud::Bigquery.new
+    @mvvls = ''
+    @mvkys = opc.fetch(:k, '')
+    @ctide = opc.fetch(:c, '')
+    # p ['B', opcao]
+    opcao
+  end
+
+  # (see CLI#tag)
+  def mv_classifica
+    dml('update hernanilr.ab.mv set mv.ct=tt.nct ' \
+          'from (select * from hernanilr.ab.cl) as tt ' \
+         "where #{ky_mv}=tt.ky")
+    puts 'MOVIMENTOS CLASSIFICADOS ' + bqnrs.to_s
+  end
+
+  # apaga movimentos & suas rendas associadas no bigquery
+  #
+  # @return [Big] acesso a base dados abank no bigquery
+  def mv_delete
+    vars_mv_work
+    if mvkys.size.positive?
+      # obtem lista contratos arrendamento associados aos movimentos a apagar
+      @ctlct = sel("select ct from hernanilr.ab.mv where #{ky_mv} in(#{mvkys}) and substr(ct,1,1)='r' group by 1")
+
+      # apaga rendas associadas e depois movimentos
+      @opcao[:t] = true
+      lr_apaga.mv_delete_dml
+
+      # para obrigar re_work a trabalhar com lista contratos (ctlct)
+      @bqnrs = 0
+    end
+    self
+  end
+
+  # insere & classifica movimentos no bigquery
+  #
+  # @return [Big] acesso a base dados abank no bigquery
+  def mv_insert
+    if mvvls.size.positive?
+      dml('insert hernanilr.ab.mv VALUES' + mvvls)
+      puts 'MOVIMENTOS INSERIDOS ' + bqnrs.to_s
+      mv_classifica if bqnrs.positive?
+    end
+    self
+  end
+
+  # inicializa variaveis para delete/insert movimentos
+  def vars_mv_work
+    @bqnrs = 0
+    @ctlct = []
+    @mvkys = mvkys[1..] if mvkys[0] == ','
+    @mvvls = mvvls[1..] if mvvls[0] == ','
+  end
+
+  # apaga movimentos no bigquery
+  def mv_delete_dml
+    dml("delete from hernanilr.ab.mv where #{ky_mv} in(#{mvkys})")
+    puts 'MOVIMENTOS APAGADOS ' + bqnrs.to_s
+  end
+
+  # @return [String] expressao sql da chave de movimentos
+  def ky_mv
+    'FARM_FINGERPRINT(CONCAT(CAST(mv.nc as STRING),mv.ds,CAST(mv.dl as STRING),CAST(mv.vl as STRING)))'
+  end
+
+  # cria job bigquery & verifica execucao
+  #
+  # @param [String] sql comando a executar
+  # @return [Boolean] job ok?
+  def job?(sql)
+    # p sql
+    @bqjob = bqapi.query_job(sql)
+    @bqjob.wait_until_done!
+    puts @bqjob.error['message'] if @bqjob.failed?
+    @bqjob.failed?
+  end
+
+  # executa sql & devolve resultado do bigquery
+  #
+  # @param (see job?)
+  # @param [Array] erro quando da erro no bigquery
+  # @return [Google::Cloud::Bigquery::Data] resultado do sql
+  def sel(sql, erro = [])
+    @bqres = job?(sql) ? erro : bqjob.data
+  end
+
+  # executa Data Manipulation Language (DML) no bigquery
+  #
+  # @param (see job?)
+  # @return [Integer] numero rows afetadas pelo dml
+  def dml(sql)
+    @bqnrs = job?(sql) ? 0 : bqjob.num_dml_affected_rows
+  end
+end

data/lib/abank/contrato.rb

@@ -0,0 +1,107 @@
+# frozen_string_literal: true
+
+# acesso a base dados abank no bigquery
+class Abank::Big
+  # @return [String] id contrato arrendamento
+  attr_reader :ctide
+
+  # @return [Array<Hash>] lista ids contratos arrendamento
+  # @example
+  #   [{ ct: 'r03000' }, ...]
+  attr_reader :ctlct
+
+  # @return [Array<Hash>] lista dados contrato arrendamento (inclui lista movimentos novos)
+  # @example
+  #   [{ct: 'r03000', dc: '2020-03-01', ano: 2020, cnt: 0, dl: '2020-03-01', mv: [{dl: '2020-03-02', vl: 30}, ...]  }]
+  attr_reader :ctlcm
+
+  # (see CLI#criact)
+  def ct_cria
+    if existe_contrato?
+      @bqnrs = 1
+      puts 'CONTRATO JA EXISTE'
+    else
+      dml('insert into hernanilr.ab.re ' + sql_contrato_mv)
+      puts "CONTRATO #{ctide} " + (bqnrs.zero? ? 'NAO EXISTE' : 'INSERIDO')
+    end
+    return unless existem_rendas?
+
+    # processa rendas associadas ao contrato arrendamento
+    cm_cria.vr_cria.re_insert
+  end
+
+  # (see CLI#apagact)
+  def ct_apaga
+    @ctlct = [{ ct: ctide }]
+    lc_apaga
+  end
+
+  # apaga rendas da lista de contrato arrendamento
+  #
+  # @return [Big] acesso a base dados abank no bigquery
+  def lr_apaga
+    return self unless opcao[:t] && ctlct.count.positive?
+
+    # para nao apagar contrato arrendamento - somente as rendas
+    @opcao[:t] = false
+
+    lc_apaga
+    self
+  end
+
+  # apaga rendas da lista de contratos arrendamento
+  def lc_apaga
+    dml("delete from hernanilr.ab.re where ct in(#{str_lc})#{opcao[:t] ? '' : ' and cnt>0'}")
+    puts "RENDAS #{str_lc('')} APAGADAS " + bqnrs.to_s
+  end
+
+  # @return [String] texto formatado que representa lista de contratos arrendamento
+  def str_lc(sep = "'")
+    ctlct.map { |c| sep + c[:ct] + sep }.join(',')
+  end
+
+  # optem lista dados contrato arrendamento (inclui lista movimentos novos)
+  #
+  # @return [Big] acesso a base dados abank no bigquery
+  def cm_cria
+    @ctlcm = []
+    ctlct.each do |c|
+      @ctide = c[:ct]
+      sel(sql_last_re)
+      @ctlcm << bqres[0].merge({ mv: sel(sql_novo_mv(bqres[0][:dl])) })
+    end
+    self
+  end
+
+  # @return [Boolean] existem rendas para processar sim/nao?
+  def existem_rendas?
+    @ctlct = [{ ct: ctide }]
+    bqnrs.positive? && opcao[:t]
+  end
+
+  # @return [Boolean] contrato arrendamento ja existe sim/nao?
+  def existe_contrato?
+    sel("select ct from hernanilr.ab.re where ct='#{ctide}' and cnt=0").count.positive?
+  end
+
+  # @return [String] sql para obter ultima renda do contrato arrendamento
+  def sql_last_re
+    'select ct,DATE_SUB(DATE_SUB(dl,INTERVAL dias DAY),INTERVAL IF(cnt=0,0,cnt-1) MONTH) as dc,ano,cnt,dl ' \
+      "from hernanilr.ab.re where ct='#{ctide}' order by ano desc,cnt desc limit 1"
+  end
+
+  # @return [String] sql para obter movimentos novos (depois da ultima renda do contrato arrendamento)
+  def sql_novo_mv(mdl)
+    "select dl,vl from hernanilr.ab.mv where ct='#{ctide}' and dl>='#{(mdl + 1).strftime(DF)}' order by dl,dv"
+  end
+
+  # @return [String] sql para obter dados do inicio contrato arrendamento
+  def sql_contrato_mv
+    if opcao[:d].size.zero?
+      'select ct,EXTRACT(YEAR FROM DATE_TRUNC(dl,MONTH)) as ano,0 as cnt,DATE_TRUNC(dl,MONTH) as dl,0 dias ' \
+        "from hernanilr.ab.mv where ct='#{ctide}' order by dl limit 1"
+    else
+      "select '#{ctide}' as ct,EXTRACT(YEAR FROM DATE '#{opcao[:d]}') as ano,0 as cnt,DATE '#{opcao[:d]}' as dl,0 dias"
+    end
+  end
+end

data/lib/abank/folha.rb

@@ -0,0 +1,154 @@
+# frozen_string_literal: true
+
+require 'roo'
+
+# acesso a folha calculo & base dados abank no bigquery
+class Abank::Big::Folha < Abank::Big
+  # @return [Roo::Excelx] folha calculo a processar
+  attr_reader :folha
+
+  # @return [Integer] numero conta associado a folha calculo
+  # @example
+  #   mov*.xlsx     --> 1 --> conta-corrente
+  #   movCard*.xlsx --> 2 --> conta-cartao
+  attr_reader :conta
+
+  # @return [Array] row folha calculo em processamento
+  attr_reader :rowfc
+
+  # acesso a folha calculo & base dados abank no bigquery
+  #
+  # @param [Hash] opc opcoes trabalho
+  # @option opc [String]  :f ('') folha calculo a processar
+  # @option opc [Boolean] :s (false) apaga movimento similar? (mv)
+  # @option opc [Boolean] :e (false) apaga movimento igual? (mv)
+  # @option opc [Boolean] :i (false) insere movimento novo? (mv)
+  # @option opc [String]  :v ('') data valor movimentos (mv)
+  # @option opc [String]  :g ('') classificacao movimentos (mv)
+  def initialize(opc = {})
+    @opcao = super
+    @folha = Roo::Spreadsheet.open(opc.fetch(:f))
+    @conta = opc.fetch(:f).match?(/card/i) ? 2 : 1
+    @opcao[:s] = opc.fetch(:s, false)
+    @opcao[:e] = opc.fetch(:e, false)
+    @opcao[:i] = opc.fetch(:i, false)
+    @opcao[:v] = opc.fetch(:v, '')
+    @opcao[:g] = opc.fetch(:g, '')
+  end
+
+  # carrega/mostra folha calculo
+  def processa_xls
+    n = 0
+    folha.sheet(0).parse(header_search: ['Data Lanc.', 'Data Valor', 'Descrição', 'Valor']) do |r|
+      n += 1
+      puts n == 1 ? "\n" + folha.info : processa_linha(r)
+    end
+    return unless opcao[:i]
+
+    # processa movimentos & atualiza rendas
+    mv_delete.mv_insert.re_work
+  end
+
+  # processa linha folha calculo
+  #
+  # @param [Hash] linha da folha calculo em processamento
+  # @return [String] texto informativo formatado da linha em processamento
+  def processa_linha(linha)
+    vars_xls(linha)
+    # pesquisa existencia linha folha calculo no bigquery
+    #  array.count = 0 ==> pode carregar esta linha
+    #  array.count = 1 ==> mais testes necessarios
+    #  array.count > 1 ==> nao pode carregar esta linha
+    sel(sql_existe_mv, [{}, {}])
+    if linha_naoexiste? then linha_base + values_mv
+    elsif linha_existe? then linha_existe
+    elsif linha_simila? then linha_similar
+    else                     linha_multiplas
+    end
+  end
+
+  # inicializa variavel para processar linha folha calculo
+  #
+  # @param (see processa_linha)
+  def vars_xls(linha)
+    @rowfc = linha.values
+    @rowfc[2] = rowfc[2].strip
+    @rowfc[3] = -1 * rowfc[3] if conta > 1
+  end
+
+  # @return [String] texto base formatado para display
+  def linha_base
+    "#{rowfc[0].strftime(DF)} #{format('%<v3>-34.34s %<v4>8.2f', v3: rowfc[2], v4: rowfc[3])}"
+  end
+
+  # @return [String] texto linha existente formatada para display
+  def linha_existe
+    add_kys if opcao[:e]
+    linha_base + ' EXIS ' + format('%<v1>20d', v1: bqres.first[:ky])
+  end
+
+  # @return [String] texto linha similar formatada para display
+  def linha_similar
+    add_kys if opcao[:s]
+    linha_base + ' SIMI ' + format('%<v1>-20.20s', v1: bqres.first[:ds].strip)
+  end
+
+  # @return [String] texto linha existencia multipla formatada para display
+  def linha_multiplas
+    linha_base + ' MULT(' + bqres.count.to_s + ')'
+  end
+
+  # obtem chaves movimento (keysin.mv) para apagar
+  def add_kys
+    bqres.each { |r| @mvkys += ",#{r[:ky]}" }
+  end
+
+  # @return [Boolean] linha folha calculo nao existe no bigquery?
+  def linha_naoexiste?
+    bqres.count.zero?
+  end
+
+  # @return [Boolean] linha folha calculo existe no bigquery?
+  def linha_existe?
+    bqres.count == 1 && bqres.first[:ds].strip == rowfc[2]
+  end
+
+  # @return [Boolean] linha folha calculo existe parecida no bigquery?
+  def linha_simila?
+    bqres.count == 1 && bqres.first[:ds].strip != rowfc[2]
+  end
+
+  # @return [String] sql para movimentos no bigquery
+  def sql_existe_mv
+    "select *,#{ky_mv} as ky from hernanilr.ab.mv " \
+     "where nc=#{conta} and dl='#{rowfc[0].strftime(DF)}' and vl=#{rowfc[3]}"
+  end
+
+  # obtem movimento (values.mv) para inserir
+  #
+  # @return [String] ' NOVO'
+  def values_mv
+    @mvvls += ",('#{rowfc[0].strftime(DF)}','#{dvc.strftime(DF)}','#{rowfc[2]}',#{rowfc[3]}" + values_mv_extra
+    ' NOVO'
+  end
+
+  # @return [String] campos extra do movimento (values.mv) para inserir
+  def values_mv_extra
+    ",#{conta},#{dvc.year},#{dvc.month},'#{tpc}',#{ctc})"
+  end
+
+  # @return [Date] data valor corrigida
+  def dvc
+    opcao[:v].size.zero? ? rowfc[1] : Date.parse(opcao[:v])
+  end
+
+  # @return [String] classificacao do movimento (null --> classificacao automatica)
+  def ctc
+    opcao[:g].size.zero? ? 'null' : ("'" + opcao[:g] + "'")
+  end
+
+  # @return [String] tipo movimento c[redito] ou d[ebito]
+  def tpc
+    rowfc[3].positive? ? 'c' : 'd'
+  end
+end

data/lib/abank/rendas.rb

@@ -0,0 +1,121 @@
+# frozen_string_literal: true
+
+# @see Abank::Big
+class Abank::Big
+  # @return [Integer] ano renda em tratamento
+  attr_reader :reano
+
+  # @return [Integer] mes renda em tratamento
+  attr_reader :repos
+
+  # @return [Float] valor renda mensal
+  attr_reader :revre
+
+  # @return [String] rendas a inserir (values.re)
+  attr_reader :revls
+
+  # @return [Integer] movimento em tratamento
+  attr_reader :mvpos
+
+  # @return [Date] data lancamento movimento em tratamento
+  attr_reader :mvdlm
+
+  # @return [Float] valor movimento em tratamento
+  attr_reader :mvvlm
+
+  # (see CLI#recriare)
+  def re_atualiza
+    # obtem contratos ativos
+    @ctlct = sel('SELECT ct from hernanilr.ab.re group by 1')
+
+    # [re]cria rendas [novas|todas]
+    lr_apaga.cm_cria.vr_cria.re_insert
+  end
+
+  # cria rendas associadas a lista ids contratos arrendamento
+  def re_work
+    bqnrs.zero? || ctlct.count.positive? ? cm_cria.vr_cria.re_insert : re_atualiza
+  end
+
+  # obtem rendas a inserir (values.re)
+  #
+  # @return [Big] acesso a base dados abank no bigquery
+  def vr_cria
+    @revls = ctlcm.map { |c| rendas_novas(c) }.flatten(1).join(',')
+    self
+  end
+
+  # insere rendas no bigquery
+  def re_insert
+    if revls.size.zero?
+      puts 'NAO EXISTEM RENDAS NOVAS'
+    else
+      dml('insert hernanilr.ab.re VALUES' + revls)
+      puts "RENDAS #{str_lc('')} CRIADAS " + bqnrs.to_s
+    end
+  end
+
+  # @param [Hash] cmv dados contrato arrendamento (inclui lista movimentos novos)
+  # @return [Array<String>] lista rendas novas dum contrato arrendamento (values.re)
+  def rendas_novas(cmv)
+    return [] unless cmv[:mv].count.positive?
+
+    vars_re(cmv)
+    r = []
+    while mvvlm >= revre && mvpos < cmv[:mv].count
+      r << nova_re(cmv)
+      proximo_mv(cmv)
+    end
+    r
+  end
+
+  # inicializa variaveis para processar rendas do contrato arrendamento
+  # @param (see rendas_novas)
+  def vars_re(cmv)
+    @reano = cmv[:ano]
+    @repos = cmv[:cnt]
+    @revre = Float(cmv[:ct][/\d+/]) / 100
+    @mvpos = 0
+    vars_re_mv(cmv)
+  end
+
+  # inicializa variaveis para processar movimentos associados ao contrato arrendamento
+  # @param (see rendas_novas)
+  def vars_re_mv(cmv)
+    @mvdlm = cmv[:mv][mvpos][:dl]
+    @mvvlm = cmv[:mv][mvpos][:vl]
+  end
+
+  # @param (see rendas_novas)
+  # @return [String] renda formatada (values.re)
+  def nova_re(cmv)
+    # inicializa proxima renda
+    if repos == 12
+      @repos = 1
+      @reano += 1
+    else
+      @repos += 1
+    end
+    "('#{cmv[:ct]}',#{reano},#{repos},'#{mvdlm.strftime(DF)}',#{dias(cmv)})"
+  end
+
+  # @param (see rendas_novas)
+  # @return [Integer] dias atraso no pagamento da renda
+  def dias(cmv)
+    mvdlm.mjd - (Date.new(reano, repos, 1) >> (cmv[:dc].month - 1)).mjd
+  end
+
+  # inicializa variaveis para processar proximo movimento
+  # @param (see rendas_novas)
+  def proximo_mv(cmv)
+    # valor renda paga retirado do valor do movimento
+    @mvvlm -= revre
+    return unless mvvlm < revre
+
+    # avanca na lista de movimentos
+    @mvpos += 1
+    return unless mvpos < cmv[:mv].count
+
+    vars_re_mv(cmv)
+  end
+end

data/lib/abank/version.rb

@@ -1,5 +1,5 @@
 # frozen_string_literal: true
 
 module Abank
-  VERSION = '0.2.0'
+  VERSION = '0.2.5'
 end

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: abank
 version: !ruby/object:Gem::Version
-  version: 0.2.0
+  version: 0.2.5
 platform: ruby
 authors:
 - Hernâni Rodrigues Vaz
 autorequire: 
 bindir: exe
 cert_chain: []
-date: 2020-05-03 00:00:00.000000000 Z
+date: 2020-06-10 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: bundler
@@ -94,9 +94,9 @@ dependencies:
     - - ">="
       - !ruby/object:Gem::Version
         version: '0'
-description: Arquiva <conta-corrente>.xlsx, <conta-cartao>.xlsx no bigquery. Pode
-  apagar movimentos similares/existentes ja no bigquery. Pode ainda classificar movimentos
-  ja no bigquery.
+description: Arquiva movimentos conta-corrente, conta-cartao do activobank no bigquery.
+  Permite apagar/recriar movimentos/rendas ja no bigquery.  Permite ainda classificar
+  movimentos no bigquery.
 email:
 - hernanirvaz@gmail.com
 executables:
@@ -105,6 +105,7 @@ extensions: []
 extra_rdoc_files: []
 files:
 - ".gitignore"
+- ".rubocop.yml"
 - ".travis.yml"
 - Gemfile
 - Gemfile.lock
@@ -116,8 +117,10 @@ files:
 - bin/setup
 - exe/abank
 - lib/abank.rb
-- lib/abank/bigquery.rb
-- lib/abank/folhacalculo.rb
+- lib/abank/big.rb
+- lib/abank/contrato.rb
+- lib/abank/folha.rb
+- lib/abank/rendas.rb
 - lib/abank/version.rb
 homepage: https://github.com/hernanirvaz/abank
 licenses:
@@ -140,8 +143,8 @@ required_rubygems_version: !ruby/object:Gem::Requirement
     - !ruby/object:Gem::Version
       version: '0'
 requirements: []
-rubygems_version: 3.0.3
+rubygems_version: 3.0.8
 signing_key: 
 specification_version: 4
-summary: Arquiva <conta-corrente>.xlsx, <conta-cartao>.xlsx no bigquery.
+summary: Arquiva movimentos conta-corrente, conta-cartao do activobank no bigquery.
 test_files: []

data/lib/abank/bigquery.rb

@@ -1,115 +0,0 @@
-# frozen_string_literal: true
-
-require 'roo'
-require 'google/cloud/bigquery'
-
-module Abank
-  DF = '%Y-%m-%d'
-
-  # (see Bigquery)
-  class Bigquery
-    # @return [Google::Cloud::Bigquery] API bigquery
-    attr_reader :apibq
-    # @return [Roo::Excelx] folha calculo a processar
-    attr_reader :folha
-    # @return [Hash<Symbol, Boolean>] opcoes trabalho com linhas
-    attr_reader :linha
-    # @return [Integer] numero conta
-    attr_reader :conta
-
-    # @return [Array] row folha calculo em processamento
-    attr_reader :row
-    # @return [Google::Cloud::Bigquery::QueryJob] job bigquery
-    attr_reader :job
-    # @return (see sql_select)
-    attr_reader :sql
-
-    # @param [String] xls folha calculo para processar
-    # @param [Hash<Symbol, Boolean>] ops opcoes trabalho com linhas
-    # @option ops [Boolean] :s (false) apaga linha similar?
-    # @option ops [Boolean] :e (false) apaga linha igual?
-    # @option ops [Boolean] :m (false) apaga linhas existencia multipla?
-    # @option ops [Boolean] :i (false) insere linha nova?
-    # @return [Bigquery] acesso folhas calculo activobank
-    #  & correspondente bigquery dataset
-    def initialize(xls = '', ops = { s: false, e: false, m: false, i: false })
-      # usa env GOOGLE_APPLICATION_CREDENTIALS para obter credentials
-      # @see https://cloud.google.com/bigquery/docs/authentication/getting-started
-      @apibq = Google::Cloud::Bigquery.new
-      @folha = Roo::Spreadsheet.open(xls) if xls.size.positive?
-      @linha = ops
-      @conta = xls.match?(/card/i) ? 2 : 1
-    end
-
-    # cria job bigquery & verifica execucao
-    #
-    # @param [String] sql a executar
-    # @return [Boolean] job ok?
-    def job_bigquery?(sql)
-      @job = apibq.query_job(sql)
-      @job.wait_until_done!
-      puts @job.error['message'] if @job.failed?
-      @job.failed?
-    end
-
-    # cria Data Manipulation Language (DML) job bigquery
-    #
-    # @param (see job_bigquery?)
-    # @return [Integer] numero linhas afetadas
-    def dml(sql)
-      job_bigquery?(sql) ? 0 : job.num_dml_affected_rows
-    end
-
-    # pesquisa existencia linha folha calculo no bigquery
-    #
-    # @return [Google::Cloud::Bigquery::Data] resultado do sql num array<hash>
-    def sql_select
-      # array.count = 0 ==> pode carregar esta linha
-      # array.count = 1 ==> mais testes necessarios
-      # array.count > 1 ==> nao carregar esta linha
-      @sql = job_bigquery?('select * ' + sql_where) ? [{}, {}] : job.data
-    end
-
-    # @return [String] parte sql para processamento linhas similares
-    def sql_where
-      "from hernanilr.ab.mv where nc=#{conta}" \
-      " and dl='#{row[0].strftime(DF)}'" \
-      " and vl=#{row[3]}"
-    end
-
-    # (see CLI#classifica)
-    def classifica
-      return unless linha[:i]
-
-      puts 'LINHAS CLASSIFICADAS ' +
-           dml('update hernanilr.ab.mv set mv.ct=tt.nct' \
-               '  from (select * from hernanilr.ab.cl) as tt' \
-               ' where mv.dl=tt.dl and mv.dv=tt.dv' \
-               '   and mv.ds=tt.ds and mv.vl=tt.vl').to_s
-    end
-
-    # @return [Integer] numero linhas inseridas
-    def sql_insert
-      return 1 unless linha[:i]
-
-      dml('insert hernanilr.ab.mv(dl,dv,ds,vl,nc,ano,mes,ct,tp) VALUES(' \
-        "'#{row[0].strftime(DF)}','#{row[1].strftime(DF)}','#{row[2]}'" +
-        str_insert1)
-    end
-
-    # @return [String] campos extra da linha bigquery
-    def str_insert1
-      ",#{row[3]},#{conta}" + str_insert2
-    end
-
-    # @return [String] campos calculados da linha bigquery
-    def str_insert2
-      ",#{row[1].year},#{row[1].month},null,'#{row[3].positive? ? 'c' : 'd'}')"
-    end
-
-    # @return [Integer] numero linhas apagadas
-    def sql_delete
-      dml('delete ' + sql_where + " and ds='#{sql.first[:ds].strip}'")
-    end
-  end
-end

data/lib/abank/folhacalculo.rb

@@ -1,87 +0,0 @@
-# frozen_string_literal: true
-
-module Abank
-  HT = ['Data Lanc.', 'Data Valor', 'Descrição', 'Valor'].freeze
-  RF = '%<v3>-35.35s %<v4>8.2f'
-
-  # classifica & arquiva dados das folhas calculo activobank no bigquery
-  class Bigquery
-    # corrige linha folha calculo para processamento
-    #
-    # @param [Hash] has da linha em processamento
-    def corrige_hash(has)
-      @row = has.values
-      @row[2] = row[2].strip
-      @row[3] = -1 * row[3] if conta > 1
-    end
-
-    # processa linhas folha calculo & classifica bigquery
-    def processa
-      n = 0
-      folha.sheet(0).parse(header_search: HT) do |r|
-        n += 1
-        puts n == 1 ? "\n" + folha.info : processa_row(r)
-      end
-      classifica
-    end
-
-    # processa linha folha calculo para arquivo
-    #
-    # @param (see corrige_hash)
-    # @return [String] texto informativo do processamento
-    def processa_row(has)
-      corrige_hash(has)
-      sql_select
-      if row_naoexiste? then row_str + (sql_insert == 1 ? ' NOVA' : ' ERRO')
-      elsif row_simila? then row_similar
-      elsif row_existe? then row_existente
-      else                   row_multiplas
-      end
-    end
-
-    # @return [String] linha folha calculo formatada
-    def row_str
-      "#{row[0].strftime(DF)} #{row[1].strftime(DF)} " \
-        "#{format(RF, v3: row[2], v4: row[3])}"
-    end
-
-    # @return [String] linha folha calculo similar
-    def row_similar
-      d = linha[:s] ? sql_delete : 0
-      row_str + ' SIMILAR' + str_apagadas(d) + sql.first[:ds].strip
-    end
-
-    # @return [String] linha folha calculo existente
-    def row_existente
-      d = linha[:e] ? sql_delete : 0
-      row_str + ' EXISTENTE' + str_apagadas(d)
-    end
-
-    # @return [String] linha folha calculo existencia multipla
-    def row_multiplas
-      d = linha[:m] ? sql_delete : 0
-      row_str + ' MULTIPLAS ' + sql.count.to_s + str_apagadas(d)
-    end
-
-    # @param [Integer] numero linhas apagadas
-    # @return [String] texto formatado linhas apagadas
-    def str_apagadas(num)
-      num.positive? ? ' & ' + num.to_s + ' APAGADA(S) ' : ' '
-    end
-
-    # @return [Boolean] linha folha calculo nao existe no bigquery?
-    def row_naoexiste?
-      sql.count.zero?
-    end
-
-    # @return [Boolean] linha folha calculo existe no bigquery?
-    def row_existe?
-      sql.count == 1 && sql.first[:ds].strip == row[2]
-    end
-
-    # @return [Boolean] linha folha calculo existe parecida no bigquery?
-    def row_simila?
-      sql.count == 1 && sql.first[:ds].strip != row[2]
-    end
-  end
-end