lbxtoolkit 2.2.9__tar.gz → 2.2.10__tar.gz

{lbxtoolkit-2.2.9 → lbxtoolkit-2.2.10}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: lbxtoolkit
-Version: 2.2.9
+Version: 2.2.10
 Summary: 
 Author: Cristiano P. Ferrari
 Author-email: cristiano.ferrari@lbx.com.br

{lbxtoolkit-2.2.9 → lbxtoolkit-2.2.10}/lbxtoolkit/lbx_logger.py

@@ -3,6 +3,7 @@ import sys
 import re 
 import datetime
 import logging
+import traceback
 from pathlib import Path
 
 class lbx_logger: # Classe para gerenciar a saída para log
@@ -75,6 +76,9 @@ Considerando que os parametros são posicionais, caso queira omitir apenas um do
 
 A saída dessa função retorna um objeto, que pode ser salvo em disco ou impresso na tela.
 
+5. O método `.traceback_log`, quando acionado, grava, de maneira incremental, o tracback do último erro no arquivo `traceback.log` no mesmo diretório de log onde o arquivo principal de log está salvo. Se o log não está sendo salvo, a mensagem será exibida na tela.
+
+Os métodos `.erro()` e `.critico()` fazem isso automaticamente por padrão.
 
 5. Exemplos de uso:
 
@@ -168,7 +172,7 @@ for line in filtered_lines:
         
         if log_file_path:
             # Criando um handler para escrever em um arquivo de log
-            file_handler = logging.FileHandler(self.log_file_path)
+            file_handler = logging.FileHandler(self.log_file_path, encoding="utf-8")
             file_handler.setLevel(log_level)  # Sempre registrar tudo no arquivo
             
             # Criando um handler para exibir no console
@@ -187,6 +191,9 @@ for line in filtered_lines:
             # Adicionando os handlers ao logger
             self.logger.addHandler(file_handler)
             self.logger.addHandler(console_handler)
+
+            # Saida para o traceback
+            self.traceback_file = Path(self.log_file_path.parent, 'traceback.log')
         else:
             # Tudo direcionado para o console
             console_handler = logging.StreamHandler()
@@ -245,6 +252,7 @@ for line in filtered_lines:
         #
         #     
     def write(self, message):
+        message=message
         if message.strip():  # Ignorar mensagens vazias
             self.logger.info(message.strip())
         #
@@ -285,6 +293,7 @@ for line in filtered_lines:
         msg = self.msg[:corte] if corte else self.msg
         self.logger.error(msg)
         self.msg = ''
+        self.log_traceback()
         if exit:
             os._exit(exit)
         #
@@ -294,6 +303,7 @@ for line in filtered_lines:
         msg = self.msg[:corte] if corte else self.msg
         self.logger.critical(msg)
         self.msg = ''
+        self.log_traceback()
         if exit:
             os._exit(exit)
         #
@@ -387,7 +397,16 @@ for line in filtered_lines:
         # Retornar o objeto contendo as linhas filtradas
         return filtered_lines
         #
-        #         
+        #  
+    def log_traceback(self):
+        if self.traceback_file:
+            with open(self.traceback_file, "a", encoding="utf-8") as f:
+                f.write("\n" + "-"*50 + "\n")  # Separador entre erros
+                f.write(f"\n{datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S,%f")[:-3]}")
+                f.write(traceback.format_exc())
+        else:
+            traceback.format_exc()
+        
 class SafeLogger: ## intercepta as entradas de log para parar o daemon/watcher quando parametro EXIT existir
     """
     Essa classe tem o propoósito de interceptar as ordens de saída (exit) disparadas pelos métodos do lbx_logger e interromper um daemon/serviço que esteja em execução antes.

{lbxtoolkit-2.2.9 → lbxtoolkit-2.2.10}/lbxtoolkit/misc.py

@@ -44,14 +44,23 @@ Sintaxe e exemplos de uso. Parametros omissos assume-se os valores padrão indic
         return Diretorio
         #
         #
-    def normaliza(Original): # Limpa e padroniza nomes
-        Lixo = r'/\\?%§ªº°`´^~*:|"<>!@#$%¨&*()_+=-[]{}"\' ' 
-        Normalizar = normalize('NFKD', Original).encode('ASCII', 'ignore').decode('ASCII')
+    def normaliza(Original, Case=None, KeepSpaces=False, KeepDelim=False, KeepDirTree=False): # Limpa e padroniza nomes
+        
+        Lixo = r'?%§ªº°`´^~*|"<>!@#$%¨&*_+=-"\''
+        Lixo = Lixo + r' ' if not KeepSpaces else Lixo
+        Lixo = Lixo + r'(){}[]' if not KeepDelim else Lixo
+        Lixo = Lixo + r':/\\' if not KeepDirTree else Lixo
+
+        if Case and not Case.lower() in ['upper', 'lower', 'keep']:
+            raise ValueError('Parametro opcioanl "Case" deve ser ["upper", "lower", "keep"]. Se omisso (None), string será convertida para caixa baixa.')
+        
+        Normalizar = (''.join(c for c in normalize('NFKD', Original) if c.encode('ascii', 'ignore').decode('ascii'))) if Case.upper() == 'keep' else normalize('NFKD', Original).encode('ASCII', 'ignore').decode('ASCII') 
         RemoverLixo = [c if c not in Lixo else '_' for c in Normalizar]    
         Limpo = "".join(RemoverLixo)
         Limpo = re.sub(r'\.(?=.*\.)', '_', Limpo) # troca todos os pontos por underline
         Limpo = re.sub(r'_+', '_', Limpo)  # limpa as reptições do underline
-        return Limpo.lower()
+        Limpo = Limpo.lower() if not Case or Case.lower() == 'lower' else Limpo.upper() if Case.lower() == 'upper' else Limpo
+        return Limpo
         #
         #
     def get_cmd_window(): # Captura a referencia da janela atual para retornar o foco à ela depois de chamar os pickers

{lbxtoolkit-2.2.9 → lbxtoolkit-2.2.10}/lbxtoolkit/postgresql.py

@@ -4,6 +4,9 @@ import psycopg2
 from psycopg2.extras import execute_values
 import pandas as pd
 import numpy as np
+from io import StringIO
+import json
+from pathlib import Path
 
 class postgreSQL: # Classe de acesso e interação com banco PostgreSQL
     """
@@ -153,11 +156,13 @@ conexao.close()
             raise
         #
         #
-    def csv_df(self, CsvPath, CsvDelim=';', **kwargs): # Le arquivo CSV e gera Dataframe do Pandas
+    def csv_df(self, Csv, CsvDelim=';', **kwargs): # Le arquivo CSV e gera Dataframe do Pandas
         """
+        Parametro 'Csv' pode ser um caminho do pathlib [Path()] ou uma string com o conteúdo do CSV.
         Os parametros de read_csv() do Pandas podem ser passados opcionalmente para a função para ajustar a importação
         """
         try:
+            CsvPath = Csv if isinstance(Csv,Path) else StringIO(Csv)
             DataFrame = pd.read_csv(CsvPath, delimiter=CsvDelim, **kwargs)  # Verifique se o delimitador é ';'
             DataFrame.replace({np.nan: None}, inplace=True)  ## troca 'NaN' por None (null no postgresql)
             return DataFrame
@@ -165,22 +170,59 @@ conexao.close()
             raise
         #
         #
-    def db_insert_df(self, DataFrame, Tabela, Schema=None, Colunas=None, OnConflict=None): # Insere os dados de um dataframe em uma tabela equivalente no banco (exige mesma estrutura de colunas)
+    def db_insert_df(self, DataFrame, Tabela, Schema=None, Colunas=None, OnConflict=None, TypeCast=None): # Insere os dados de um dataframe em uma tabela equivalente no banco (exige mesma estrutura de colunas)
+        """
+        Insere um DataFrame no PostgreSQL usando psycopg2 e execute_values().
+        
+        Parâmetros:
+        - DataFrame: O DataFrame do pandas contendo os dados.
+        - Tabela: Nome da tabela no PostgreSQL.
+        - Schema: (Opcional) Schema da tabela (padrão: 'public').
+        - Colunas: (Opcional) Lista de colunas para inserir (padrão: todas as colunas do DataFrame).
+        - OnConflict: (Opcional) Cláusula ON CONFLICT para tratamento de duplicatas.
+        - TypeCast: (Opcional) Dicionário mapeando colunas para seus respectivos tipos de dado no PostgreSQL.
+        """        
         # Essa função exige que os nomes dos cabeçalhos das colunas do CSV sejam os mesmos das colunas da tabela de destino
         Colunas = Colunas or DataFrame.columns.tolist()     # Caso não seja fornecida a lista de colunas, assume as colunas do DataFrame
-        Valores = [tuple(Linha) for Linha in DataFrame[Colunas].values]    
-        Schema = Schema or 'public'
+        Schema = Schema or 'public'        
+        #Valores = [tuple(Linha) for Linha in DataFrame[Colunas].values]    ## código anterior para definir os valores. alterado em 05/02/25 para tratar o typecast das colunas
+        #Definição dos valores com typecast das colunas
+        TypeCast = TypeCast or {}
+
+        # Converter JSON de string para objeto Python, se necessário
+#        for coluna, tipo in TypeCast.items():
+#            if tipo == "jsonb" and coluna in DataFrame.columns:
+#                DataFrame[coluna] = DataFrame[coluna].apply(json.loads)  # Transforma string JSON em objeto Python
+
+        # Gerar valores tratados, aplicando casts se necessário
+        Valores = []
+        for _, Linha in DataFrame.iterrows():
+            Linha_convertida = []
+            for coluna in Colunas:
+                valor = Linha[coluna]
+
+                # Tratamento especial para JSONB
+                if coluna in TypeCast and TypeCast[coluna] == "jsonb":
+                    valor = json.dumps(valor)  # Converte de volta para string JSON válida
+                    #valor += "::jsonb"  # Adiciona typecast explícito
+
+                # Aplicar typecast para outros tipos de dados
+                elif coluna in TypeCast:
+                    valor = f"{valor}::{TypeCast[coluna]}"
+
+                Linha_convertida.append(valor)
+            Valores.append(tuple(Linha_convertida))               
+
         Query = f'insert into {Schema}.{Tabela} ({', '.join(Colunas)}) values %s '
-        if not OnConflict is None:
-            Query = Query + OnConflict
+        Query = Query + OnConflict if OnConflict else Query
 
         try:
             self.Cursor = self.Conexao.cursor() 
             execute_values(self.Cursor, Query, Valores)  
             self.Conexao.commit()
         except Exception as Err:
+            self.logger.erro(f'{__name__}: Erro [{Err}] ao inserir dados na tabela {Schema}.{Tabela}!')    
             self.Conexao.rollback()
-            raise
         finally:        
             self.Cursor.close()
             #Conexao.close() ## conexão precisa ser fechada explicitamente fora da classe

{lbxtoolkit-2.2.9 → lbxtoolkit-2.2.10}/pyproject.toml

@@ -1,6 +1,6 @@
 [tool.poetry]
 name = "lbxtoolkit"
-version = "2.2.9"
+version = "2.2.10"
 description = ""
 authors = ["Cristiano P. Ferrari <cristiano.ferrari@lbx.com.br>"]
 readme = "README.md"