eost 0.1.5 → 0.1.6

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: fa9cf7eabe4ac0b063ac96b816560d9f4c07c87dd1c0e110a9993d3eb5bc4534
-  data.tar.gz: 6cb7ee1faa67d3426fa96da1eeb231eb797328550a7ef66d4654bb64573d16b6
+  metadata.gz: b04e7a8105407a676d58e6175f5823ed7338b56cf0ea5898b9d15fbd599413e3
+  data.tar.gz: 99a8578ca355c1f14c2c022c704f1e0006775475f334d34364487d638399c96d
 SHA512:
-  metadata.gz: c08c2e2ed421b3fef1610e0fd93c35d180d2939afd050b4f20f863d6bbf740ff6142bace94f05b637371cfff7410fe1048cff59818d0600f8ca1a61dfa94f0b5
-  data.tar.gz: bbfb0df62f2c9af92fd883bf9d3e2485ae80d2b209ec25627949bd6c41dd5725d7b812aa3e1b87481a2c76c265775b0a78d256d434ce0cda7681395fde44aff7
+  metadata.gz: 6f0320676e378a2f14ad917e820cad76bc8ff8d79d9ca2db2e47ce371704a090c03090b8295bbe98759f524ad073c77068399564919f372cbb87b5e96f896b77
+  data.tar.gz: a7f451fbaff9f14db7f1a1dcd3f7d3cba9beb4e55a3f201679a2433ff5906ccd67633ad652bff2fcab57e67835ec33579413a5e8f5ac52eaf5ebaa0bf2e4c37f

data/Gemfile.lock

@@ -1,7 +1,7 @@
 PATH
   remote: .
   specs:
-    eost (0.1.5)
+    eost (0.1.6)
       google-cloud-bigquery
       roo
       thor

data/lib/eost.rb

@@ -1,10 +1,11 @@
 # frozen_string_literal: true
 
 require 'thor'
-require 'eost/version'
 require 'eost/bigquery'
 require 'eost/folhacalculo'
+require 'eost/version'
 
+# @author Hernani Rodrigues Vaz
 module Eost
   ID = `whoami`.chomp
 
@@ -18,12 +19,13 @@ module Eost
     option :x, banner: 'EXT', default: '.csv',
                desc: 'Extensao das folhas calculo'
     option :e, type: :boolean, default: false,
-               desc: 'apaga linhas existentes no bigquery'
+               desc: 'apaga linha igual no bigquery'
+    option :m, type: :boolean, default: false,
+               desc: 'apaga linhas existencia multipla no bigquery'
     # processa csv
     def load
-      # opcoes apagar linhas
       Dir.glob("#{options[:d]}/*#{options[:x]}").sort.each do |f|
-        Bigquery.new(f, options[:e]).processa
+        Bigquery.new(f, { e: options[:e], m: options[:m], i: true }).processa
       end
     end
 
@@ -35,7 +37,7 @@ module Eost
     # mostra csv
     def mostra
       Dir.glob("#{options[:d]}/*#{options[:x]}").sort.each do |f|
-        Bigquery.new(f).show
+        Bigquery.new(f).processa
       end
     end
 

data/lib/eost/bigquery.rb

@@ -7,40 +7,43 @@ module Eost
   DF = '%Y-%m-%d'
   DI = '%Y-%m-%d %H:%M:%S'
 
-  # folhas calculo comuns no bigquery
+  # (see Bigquery)
   class Bigquery
-    # @return [Roo::Excelx] folha calculo a processar
-    attr_reader :book
+    # @return [Google::Cloud::Bigquery] API bigquery
+    attr_reader :apibq
+    # @return [Roo::CSV] folha calculo a processar
+    attr_reader :folha
+    # @return [Hash<Symbol, Boolean>] opcoes trabalho com linhas
+    attr_reader :linha
+
     # @return [Array] row folha calculo em processamento
     attr_reader :row
-    # @return [Google::Cloud::Bigquery] API bigquery
-    attr_reader :api
     # @return [Google::Cloud::Bigquery::QueryJob] job bigquery
     attr_reader :job
     # @return (see sql_select)
     attr_reader :sql
-    # @return [Boolean] apaga linhas existentes sim/nao?
-    attr_reader :apaga
 
-    # permite processa folhas calculo comuns no bigquery
-    #
     # @param [String] csv folha calculo para processar
-    # @param [Boolean] apaga linhas existentes sim/nao?
-    # @return [Bigquery] acesso folha calculo & bigquery
-    def initialize(csv = '', apaga = false)
-      @book = Roo::CSV.new(csv) if csv.size.positive?
-      @apaga = apaga
+    # @param [Hash<Symbol, Boolean>] ops opcoes trabalho com linhas
+    # @option ops [Boolean] :e (false) apaga linha igual?
+    # @option ops [Boolean] :m (false) apaga linhas existencia multipla?
+    # @option ops [Boolean] :i (false) insere linha nova?
+    # @return [Bigquery] acesso folhas calculo bloks.io
+    #  & correspondente bigquery dataset
+    def initialize(csv = '', ops = { e: false, m: false, i: false })
       # usa env GOOGLE_APPLICATION_CREDENTIALS para obter credentials
       # @see https://cloud.google.com/bigquery/docs/authentication/getting-started
-      @api = Google::Cloud::Bigquery.new
+      @apibq = Google::Cloud::Bigquery.new
+      @folha = Roo::CSV.new(csv) if csv.size.positive?
+      @linha = ops
     end
 
     # cria job bigquery & verifica execucao
     #
-    # @param [String] sql para executar
+    # @param [String] sql a executar
     # @return [Boolean] job ok?
     def job_bigquery?(sql)
-      @job = api.query_job(sql)
+      @job = apibq.query_job(sql)
       @job.wait_until_done!
       puts @job.error['message'] if @job.failed?
       @job.failed?
@@ -54,34 +57,38 @@ module Eost
       job_bigquery?(sql) ? 0 : job.num_dml_affected_rows
     end
 
-    # cria sql job bigquery com resultados
+    # pesquisa existencia linha folha calculo no bigquery
     #
-    # @return [Array<Hash>] resultado sql
+    # @return [Google::Cloud::Bigquery::Data] resultado do sql num array<hash>
     def sql_select
-      # se array.count > 1 => nao fazer nada
+      # array.count  = 0 ==> pode carregar esta linha
+      # array.count >= 1 ==> nao carregar esta linha
       @sql = job_bigquery?('select * ' + sql_where) ? [{}, {}] : job.data
     end
 
-    # @return [String] parte sql para processamento linhas similares
+    # @return [String] parte sql para processamento linhas existentes
     def sql_where
-      "from coins.eos where blocknumber=#{row[0]}"
+      "from hernanirvaz.coins.eos where blocknumber=#{row[0]}"
     end
 
     # @return [Integer] numero linhas inseridas
     def sql_insert
-      dml('insert coins.eos(blocknumber,time,contract,' \
+      return 1 unless linha[:i]
+
+      dml('insert hernanirvaz.coins.eos(blocknumber,time,contract,' \
           'action,acfrom,acto,amount,symbol,memo,data,dias) VALUES(' +
-      sql_insert1 + sql_insert2)
+      str_insert1)
     end
 
     # @return [String] campos insert da linha bigquery
-    def sql_insert1
-      "#{row[0]},'#{DateTime.parse(row[1]).strftime(DI)}','#{row[2]}',"
+    def str_insert1
+      "#{row[0]},'#{DateTime.parse(row[1]).strftime(DI)}','#{row[2]}'," +
+        str_insert2
     end
 
     # @return [String] campos insert da linha bigquery
-    def sql_insert2
-      "'#{row[3]}','#{row[4]}','#{row[5]}',#{row[6]}," \
+    def str_insert2
+      "'#{row[3]}','#{row[4]}','#{row[5]}',#{row[6].to_f}," \
       "'#{row[7]}','#{row[8]}','#{row[9]}',0)"
     end
 

data/lib/eost/folhacalculo.rb

@@ -3,80 +3,73 @@
 module Eost
   HT = %w[block_num block_time contract action
           from to amount symbol memo data].freeze
-  R1 = '%<v3>-12.12s %<v4>s %<v5>-12.12s %<v6>-12.12s'
-  R2 = '%<v7>10.5f %<v8>-10.10s'
+  R1 = '%<v3>-12.12s %<v4>-8.8s %<v5>-12.12s %<v6>-12.12s'
+  R2 = '%<v7>10.5f %<v8>-8.8s'
 
-  # folhas calculo comuns no bigquery
+  # trabalhar com folhas calculo bloks.io & dados no bigquery
   class Bigquery
-    # @return [String] linha folha calculo formatada
-    def row_str
-      "#{row[0]} #{DateTime.parse(row[1]).strftime(DF)} " + row_r1 + row_r2
-    end
-
-    # @return [String] linha folha calculo formatada
-    def row_r1
-      format(R1, v3: row[2], v4: row[3], v5: row[4], v6: row[5])
-    end
-
-    # @return [String] linha folha calculo formatada
-    def row_r2
-      format(R2, v7: row[6], v8: row[7])
-    end
-
     # processa linhas folha calculo
     def processa
       n = 0
-      # usada somente a primeira sheet
-      book.sheet(0).parse(header_search: HT) do |r|
-        n += 1
-        puts n == 1 ? "\n" + book.info : processa_row(r)
-      end
-    end
-
-    # mostra linhas folha calculo
-    def show
-      n = 0
-      # usada somente a primeira sheet
-      book.sheet(0).parse(header_search: HT) do |r|
+      folha.sheet(0).parse(header_search: HT) do |r|
         n += 1
-        puts n == 1 ? "\n" + book.info : show_row(r)
+        puts n == 1 ? "\n" + folha.info : processa_row(r)
       end
     end
 
     # processa linha folha calculo para arquivo
     #
-    # @param (see show_row)
-    # @return [String] linha folha calculo processada
+    # @param [Hash] has da linha em processamento
+    # @return [String] texto informativo do processamento
     def processa_row(has)
       @row = has.values
       sql_select
-      if rnaoexiste? then row_str + (sql_insert == 1 ? ' NOVA' : ' ERRO')
-      elsif rexiste? then row_existente
+      if row_naoexiste? then row_str + (sql_insert == 1 ? ' NOVA' : ' ERRO')
+      elsif row_existe? then row_existente
+      else                   row_multiplas
       end
     end
 
-    # obtem linha folha calculo para apresentacao
-    #
-    # @param [Hash] has da linha em processamento
-    # @return (see row_str)
-    def show_row(has)
-      @row = has.values
-      row_str
+    # @return [String] linha folha calculo formatada
+    def row_str
+      "#{row[0]} #{DateTime.parse(row[1]).strftime(DF)} " + row_r1 + row_r2
+    end
+
+    # @return [String] linha folha calculo formatada
+    def row_r1
+      format(R1, v3: row[2], v4: row[3], v5: row[4], v6: row[5])
+    end
+
+    # @return [String] linha folha calculo formatada
+    def row_r2
+      format(R2, v7: row[6].to_f, v8: row[7])
     end
 
     # @return [String] linha folha calculo existente
     def row_existente
-      d = apaga ? sql_delete : 0
-      row_str + " EXISTENTE#{d.zero? ? '' : ' APAGADA'}"
+      d = linha[:e] ? sql_delete : 0
+      row_str + ' EXISTENTE' + str_apagadas(d)
+    end
+
+    # @return [String] linha folha calculo existencia multipla
+    def row_multiplas
+      d = linha[:m] ? sql_delete : 0
+      row_str + ' MULTIPLAS ' + sql.count.to_s + str_apagadas(d)
+    end
+
+    # @param [Integer] numero linhas apagadas
+    # @return [String] texto formatado linhas apagadas
+    def str_apagadas(num)
+      num.positive? ? ' & ' + num.to_s + ' APAGADA(S) ' : ' '
     end
 
     # @return [Boolean] linha folha calculo nao existe no bigquery?
-    def rnaoexiste?
+    def row_naoexiste?
       sql.count.zero?
     end
 
     # @return [Boolean] linha folha calculo existe no bigquery?
-    def rexiste?
+    def row_existe?
       sql.count == 1
     end
   end

data/lib/eost/version.rb

@@ -1,5 +1,5 @@
 # frozen_string_literal: true
 
 module Eost
-  VERSION = '0.1.5'
+  VERSION = '0.1.6'
 end

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: eost
 version: !ruby/object:Gem::Version
-  version: 0.1.5
+  version: 0.1.6
 platform: ruby
 authors:
 - Hernâni Rodrigues Vaz
 autorequire: 
 bindir: exe
 cert_chain: []
-date: 2020-04-16 00:00:00.000000000 Z
+date: 2020-04-22 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: bundler