lbxtoolkit 2.2.8__tar.gz → 2.2.10__tar.gz

{lbxtoolkit-2.2.8 → lbxtoolkit-2.2.10}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: lbxtoolkit
-Version: 2.2.8
+Version: 2.2.10
 Summary: 
 Author: Cristiano P. Ferrari
 Author-email: cristiano.ferrari@lbx.com.br
@@ -60,7 +60,7 @@ Interage com o banco de dados PostgreSQL
 Interage com APIs RESTfull, especialmente providas para a plataforma Sienge
 - `auth_base` Autentica (HTTPBasicAuth) sessão na API
 - `auth_bearer` Autentica sessão na API pelos métodos: OAuth, JWT, Bearer 
-- `endpoint_json` Realizad chama ao endpoint. Payload em formato `json` opcional.
+- `endpoint_json` Realizad chama ao endpoint. Aceita opcionalmente Payload em formato `json` ou arquivo binário.
 - `trata_erro_sienge` Retorna a mensagem de erro do Sienge caso código de retorno seja diferente de 200.
 - `close` Encerra a sessão autenticada
 
@@ -145,7 +145,7 @@ São nessários 2 parâmetros posicionais obrigatórios, e 5 parametros nominais
 - `cadencia` Número máximo de chamadas *por segudo* à API 
 - `timeout` Tempo máximo (segundos) para aguardar retorno à chamada. Padrão 6s, se omisso.
 - `logger` O objeto _log handler_ para lidar com as informações de saída. Se não informado, todas as saídas serão direcionadas para a stdout.
-- `headers` Cabeçalhos _http_ para a requisição à API.
+- `headers` Cabeçalhos _http_ para a requisição à API. Se não fornecido, será incluida implicitamente a chave `Content-Type` com valor `application/json`.
 - `verify` Verifica a validade do certificado SSL do servidor de destino da requisição.
 
 Quanto às credenciais de autenticação, assim como a classe de interação com o PostgreSQL, elas precisam ser fornecidas na forma de um *dicionário*. 
@@ -162,12 +162,14 @@ Caso a autenticação seja pelo método `api_rest.aut_bearer()`, o dicionário d
 A classe possui 3 métodos: 
 - `api_rest.auth_basic()`: instanciamento da sessão autenticando pelo método HTTPBasicAuth
 - `api_rest.auth_bearer()`: instanciamento da sessão autenticando pelos métodos OAuth, JWT, Bearer    
-- `api_rest.endpoint_json([endereço], [método], payload=None)`: para a chamada ao endpoint
+- `api_rest.endpoint_json([endereço], [método], payload=None, files=None)`: para a chamada ao endpoint
 - `close()` para encerra a instância/sessão
 
-O consumo é feito pelo método `api_rest.endpoint_json` que suporta apenas APIs cujo payload (opcional) seja aceito no formato JSON. 
+O consumo é feito pelo método `api_rest.endpoint_json` que suporta APIs cujo payload (opcional) seja aceito no formato JSON ou binario (files). 
 
-Esse método espera 2 parametros posicionais obrigatórios: o endereço do endpoint e o verbo (get, post, patch ou put), tendo parametro opcional o objeto de 'payload' (json). 
+Esse método espera 2 parametros posicionais obrigatórios: o endereço do endpoint e o verbo (get, post, patch ou put), tendo parametro opcional o objeto de 'payload' (json) ou 'files' (binário). 
+O método define no `headers` a chavee `Content-Type` implicita e automaticamente com o valor `application/json`, independente de ser ou não fornecido payload.
+Se a carga for do tipo binário, é necessário informar o Content-Type correto (`multipart/form-data`) ou repassar um dicionario vazio (`{}`) para o parametro `headers` no instanciamento da classe `api_rest`
 Note que o endereço do endpoint deve ser informado completo. A URL informada no instanciamento da classe corresponde apenas ao endereço de autenticação. 
 
 O tempo, em segundos, transcorrido entre a chamada a atual e a chamada anterior ao endpoint pode ser consultado pelo argumento `.Intervalo` no objeto recebido do retorno à chamada ao método `.endpoint_json`. 

{lbxtoolkit-2.2.8 → lbxtoolkit-2.2.10}/README.md

@@ -38,7 +38,7 @@ Interage com o banco de dados PostgreSQL
 Interage com APIs RESTfull, especialmente providas para a plataforma Sienge
 - `auth_base` Autentica (HTTPBasicAuth) sessão na API
 - `auth_bearer` Autentica sessão na API pelos métodos: OAuth, JWT, Bearer 
-- `endpoint_json` Realizad chama ao endpoint. Payload em formato `json` opcional.
+- `endpoint_json` Realizad chama ao endpoint. Aceita opcionalmente Payload em formato `json` ou arquivo binário.
 - `trata_erro_sienge` Retorna a mensagem de erro do Sienge caso código de retorno seja diferente de 200.
 - `close` Encerra a sessão autenticada
 
@@ -123,7 +123,7 @@ São nessários 2 parâmetros posicionais obrigatórios, e 5 parametros nominais
 - `cadencia` Número máximo de chamadas *por segudo* à API 
 - `timeout` Tempo máximo (segundos) para aguardar retorno à chamada. Padrão 6s, se omisso.
 - `logger` O objeto _log handler_ para lidar com as informações de saída. Se não informado, todas as saídas serão direcionadas para a stdout.
-- `headers` Cabeçalhos _http_ para a requisição à API.
+- `headers` Cabeçalhos _http_ para a requisição à API. Se não fornecido, será incluida implicitamente a chave `Content-Type` com valor `application/json`.
 - `verify` Verifica a validade do certificado SSL do servidor de destino da requisição.
 
 Quanto às credenciais de autenticação, assim como a classe de interação com o PostgreSQL, elas precisam ser fornecidas na forma de um *dicionário*. 
@@ -140,12 +140,14 @@ Caso a autenticação seja pelo método `api_rest.aut_bearer()`, o dicionário d
 A classe possui 3 métodos: 
 - `api_rest.auth_basic()`: instanciamento da sessão autenticando pelo método HTTPBasicAuth
 - `api_rest.auth_bearer()`: instanciamento da sessão autenticando pelos métodos OAuth, JWT, Bearer    
-- `api_rest.endpoint_json([endereço], [método], payload=None)`: para a chamada ao endpoint
+- `api_rest.endpoint_json([endereço], [método], payload=None, files=None)`: para a chamada ao endpoint
 - `close()` para encerra a instância/sessão
 
-O consumo é feito pelo método `api_rest.endpoint_json` que suporta apenas APIs cujo payload (opcional) seja aceito no formato JSON. 
+O consumo é feito pelo método `api_rest.endpoint_json` que suporta APIs cujo payload (opcional) seja aceito no formato JSON ou binario (files). 
 
-Esse método espera 2 parametros posicionais obrigatórios: o endereço do endpoint e o verbo (get, post, patch ou put), tendo parametro opcional o objeto de 'payload' (json). 
+Esse método espera 2 parametros posicionais obrigatórios: o endereço do endpoint e o verbo (get, post, patch ou put), tendo parametro opcional o objeto de 'payload' (json) ou 'files' (binário). 
+O método define no `headers` a chavee `Content-Type` implicita e automaticamente com o valor `application/json`, independente de ser ou não fornecido payload.
+Se a carga for do tipo binário, é necessário informar o Content-Type correto (`multipart/form-data`) ou repassar um dicionario vazio (`{}`) para o parametro `headers` no instanciamento da classe `api_rest`
 Note que o endereço do endpoint deve ser informado completo. A URL informada no instanciamento da classe corresponde apenas ao endereço de autenticação. 
 
 O tempo, em segundos, transcorrido entre a chamada a atual e a chamada anterior ao endpoint pode ser consultado pelo argumento `.Intervalo` no objeto recebido do retorno à chamada ao método `.endpoint_json`. 

{lbxtoolkit-2.2.8 → lbxtoolkit-2.2.10}/lbxtoolkit/api_rest.py

@@ -216,17 +216,23 @@ Para uso em APIs com autenticação JWT (JSON Web Token), OAuth, Bearer Token Au
                 return self.RetEndPoint
         #
         #
-    def endpoint_json(self, endpoint, metodo, payload=None): # Interage com End Point
+    def endpoint_json(self, endpoint, metodo, payload=None, file=None): # Interage com End Point
         self.ult_tempo_req = time() 
         self.Metodo = metodo.lower()
         #self.EndPoint = self.Url + endpoint
         self.EndPoint = endpoint
         self.Payload = payload
+        self.File = file
+
         MetodosAceitos = ['post', 'get', 'patch', 'put']
         if not any(element in self.Metodo for element in MetodosAceitos):
             self.logger.critico(f'Método {self.Metodo} não previsto. Abortando chamada!', exit=1)
         else:
-            ChamadaApi = f'self.Sessao.{self.Metodo}(self.EndPoint, timeout=self.Timeout, headers=self.Headers, verify=self.Verify)' if self.Payload is None else f'self.Sessao.{self.Metodo}(self.EndPoint, timeout=self.Timeout, headers=self.Headers, verify=self.Verify, json=self.Payload)'
+            ChamadaApi = f'self.Sessao.{self.Metodo}(self.EndPoint, timeout=self.Timeout, headers=self.Headers, verify=self.Verify)' if self.Payload is None and self.File is None else \
+                         f'self.Sessao.{self.Metodo}(self.EndPoint, timeout=self.Timeout, headers=self.Headers, verify=self.Verify, json=self.Payload)' if self.Payload and self.File is None else \
+                         f'self.Sessao.{self.Metodo}(self.EndPoint, timeout=self.Timeout, headers=self.Headers, verify=self.Verify, files=self.File)' if self.Payload is None and self.File else \
+                         f'self.Sessao.{self.Metodo}(self.EndPoint, timeout=self.Timeout, headers=self.Headers, verify=self.Verify, json=self.Payload, files=self.File)' 
+                         
             self.controla_cadencia()
             self.TempoUltReq = time()   
             try: 

{lbxtoolkit-2.2.8 → lbxtoolkit-2.2.10}/lbxtoolkit/lbx_logger.py

@@ -3,6 +3,7 @@ import sys
 import re 
 import datetime
 import logging
+import traceback
 from pathlib import Path
 
 class lbx_logger: # Classe para gerenciar a saída para log
@@ -75,6 +76,9 @@ Considerando que os parametros são posicionais, caso queira omitir apenas um do
 
 A saída dessa função retorna um objeto, que pode ser salvo em disco ou impresso na tela.
 
+5. O método `.traceback_log`, quando acionado, grava, de maneira incremental, o tracback do último erro no arquivo `traceback.log` no mesmo diretório de log onde o arquivo principal de log está salvo. Se o log não está sendo salvo, a mensagem será exibida na tela.
+
+Os métodos `.erro()` e `.critico()` fazem isso automaticamente por padrão.
 
 5. Exemplos de uso:
 
@@ -168,7 +172,7 @@ for line in filtered_lines:
         
         if log_file_path:
             # Criando um handler para escrever em um arquivo de log
-            file_handler = logging.FileHandler(self.log_file_path)
+            file_handler = logging.FileHandler(self.log_file_path, encoding="utf-8")
             file_handler.setLevel(log_level)  # Sempre registrar tudo no arquivo
             
             # Criando um handler para exibir no console
@@ -187,6 +191,9 @@ for line in filtered_lines:
             # Adicionando os handlers ao logger
             self.logger.addHandler(file_handler)
             self.logger.addHandler(console_handler)
+
+            # Saida para o traceback
+            self.traceback_file = Path(self.log_file_path.parent, 'traceback.log')
         else:
             # Tudo direcionado para o console
             console_handler = logging.StreamHandler()
@@ -245,6 +252,7 @@ for line in filtered_lines:
         #
         #     
     def write(self, message):
+        message=message
         if message.strip():  # Ignorar mensagens vazias
             self.logger.info(message.strip())
         #
@@ -285,6 +293,7 @@ for line in filtered_lines:
         msg = self.msg[:corte] if corte else self.msg
         self.logger.error(msg)
         self.msg = ''
+        self.log_traceback()
         if exit:
             os._exit(exit)
         #
@@ -294,6 +303,7 @@ for line in filtered_lines:
         msg = self.msg[:corte] if corte else self.msg
         self.logger.critical(msg)
         self.msg = ''
+        self.log_traceback()
         if exit:
             os._exit(exit)
         #
@@ -387,7 +397,16 @@ for line in filtered_lines:
         # Retornar o objeto contendo as linhas filtradas
         return filtered_lines
         #
-        #         
+        #  
+    def log_traceback(self):
+        if self.traceback_file:
+            with open(self.traceback_file, "a", encoding="utf-8") as f:
+                f.write("\n" + "-"*50 + "\n")  # Separador entre erros
+                f.write(f"\n{datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S,%f")[:-3]}")
+                f.write(traceback.format_exc())
+        else:
+            traceback.format_exc()
+        
 class SafeLogger: ## intercepta as entradas de log para parar o daemon/watcher quando parametro EXIT existir
     """
     Essa classe tem o propoósito de interceptar as ordens de saída (exit) disparadas pelos métodos do lbx_logger e interromper um daemon/serviço que esteja em execução antes.

{lbxtoolkit-2.2.8 → lbxtoolkit-2.2.10}/lbxtoolkit/misc.py

@@ -44,14 +44,23 @@ Sintaxe e exemplos de uso. Parametros omissos assume-se os valores padrão indic
         return Diretorio
         #
         #
-    def normaliza(Original): # Limpa e padroniza nomes
-        Lixo = r'/\\?%§ªº°`´^~*:|"<>!@#$%¨&*()_+=-[]{}"\' ' 
-        Normalizar = normalize('NFKD', Original).encode('ASCII', 'ignore').decode('ASCII')
+    def normaliza(Original, Case=None, KeepSpaces=False, KeepDelim=False, KeepDirTree=False): # Limpa e padroniza nomes
+        
+        Lixo = r'?%§ªº°`´^~*|"<>!@#$%¨&*_+=-"\''
+        Lixo = Lixo + r' ' if not KeepSpaces else Lixo
+        Lixo = Lixo + r'(){}[]' if not KeepDelim else Lixo
+        Lixo = Lixo + r':/\\' if not KeepDirTree else Lixo
+
+        if Case and not Case.lower() in ['upper', 'lower', 'keep']:
+            raise ValueError('Parametro opcioanl "Case" deve ser ["upper", "lower", "keep"]. Se omisso (None), string será convertida para caixa baixa.')
+        
+        Normalizar = (''.join(c for c in normalize('NFKD', Original) if c.encode('ascii', 'ignore').decode('ascii'))) if Case.upper() == 'keep' else normalize('NFKD', Original).encode('ASCII', 'ignore').decode('ASCII') 
         RemoverLixo = [c if c not in Lixo else '_' for c in Normalizar]    
         Limpo = "".join(RemoverLixo)
         Limpo = re.sub(r'\.(?=.*\.)', '_', Limpo) # troca todos os pontos por underline
         Limpo = re.sub(r'_+', '_', Limpo)  # limpa as reptições do underline
-        return Limpo.lower()
+        Limpo = Limpo.lower() if not Case or Case.lower() == 'lower' else Limpo.upper() if Case.lower() == 'upper' else Limpo
+        return Limpo
         #
         #
     def get_cmd_window(): # Captura a referencia da janela atual para retornar o foco à ela depois de chamar os pickers

{lbxtoolkit-2.2.8 → lbxtoolkit-2.2.10}/lbxtoolkit/postgresql.py

@@ -4,6 +4,9 @@ import psycopg2
 from psycopg2.extras import execute_values
 import pandas as pd
 import numpy as np
+from io import StringIO
+import json
+from pathlib import Path
 
 class postgreSQL: # Classe de acesso e interação com banco PostgreSQL
     """
@@ -153,11 +156,13 @@ conexao.close()
             raise
         #
         #
-    def csv_df(self, CsvPath, CsvDelim=';', **kwargs): # Le arquivo CSV e gera Dataframe do Pandas
+    def csv_df(self, Csv, CsvDelim=';', **kwargs): # Le arquivo CSV e gera Dataframe do Pandas
         """
+        Parametro 'Csv' pode ser um caminho do pathlib [Path()] ou uma string com o conteúdo do CSV.
         Os parametros de read_csv() do Pandas podem ser passados opcionalmente para a função para ajustar a importação
         """
         try:
+            CsvPath = Csv if isinstance(Csv,Path) else StringIO(Csv)
             DataFrame = pd.read_csv(CsvPath, delimiter=CsvDelim, **kwargs)  # Verifique se o delimitador é ';'
             DataFrame.replace({np.nan: None}, inplace=True)  ## troca 'NaN' por None (null no postgresql)
             return DataFrame
@@ -165,22 +170,59 @@ conexao.close()
             raise
         #
         #
-    def db_insert_df(self, DataFrame, Tabela, Schema=None, Colunas=None, OnConflict=None): # Insere os dados de um dataframe em uma tabela equivalente no banco (exige mesma estrutura de colunas)
+    def db_insert_df(self, DataFrame, Tabela, Schema=None, Colunas=None, OnConflict=None, TypeCast=None): # Insere os dados de um dataframe em uma tabela equivalente no banco (exige mesma estrutura de colunas)
+        """
+        Insere um DataFrame no PostgreSQL usando psycopg2 e execute_values().
+        
+        Parâmetros:
+        - DataFrame: O DataFrame do pandas contendo os dados.
+        - Tabela: Nome da tabela no PostgreSQL.
+        - Schema: (Opcional) Schema da tabela (padrão: 'public').
+        - Colunas: (Opcional) Lista de colunas para inserir (padrão: todas as colunas do DataFrame).
+        - OnConflict: (Opcional) Cláusula ON CONFLICT para tratamento de duplicatas.
+        - TypeCast: (Opcional) Dicionário mapeando colunas para seus respectivos tipos de dado no PostgreSQL.
+        """        
         # Essa função exige que os nomes dos cabeçalhos das colunas do CSV sejam os mesmos das colunas da tabela de destino
         Colunas = Colunas or DataFrame.columns.tolist()     # Caso não seja fornecida a lista de colunas, assume as colunas do DataFrame
-        Valores = [tuple(Linha) for Linha in DataFrame[Colunas].values]    
-        Schema = Schema or 'public'
+        Schema = Schema or 'public'        
+        #Valores = [tuple(Linha) for Linha in DataFrame[Colunas].values]    ## código anterior para definir os valores. alterado em 05/02/25 para tratar o typecast das colunas
+        #Definição dos valores com typecast das colunas
+        TypeCast = TypeCast or {}
+
+        # Converter JSON de string para objeto Python, se necessário
+#        for coluna, tipo in TypeCast.items():
+#            if tipo == "jsonb" and coluna in DataFrame.columns:
+#                DataFrame[coluna] = DataFrame[coluna].apply(json.loads)  # Transforma string JSON em objeto Python
+
+        # Gerar valores tratados, aplicando casts se necessário
+        Valores = []
+        for _, Linha in DataFrame.iterrows():
+            Linha_convertida = []
+            for coluna in Colunas:
+                valor = Linha[coluna]
+
+                # Tratamento especial para JSONB
+                if coluna in TypeCast and TypeCast[coluna] == "jsonb":
+                    valor = json.dumps(valor)  # Converte de volta para string JSON válida
+                    #valor += "::jsonb"  # Adiciona typecast explícito
+
+                # Aplicar typecast para outros tipos de dados
+                elif coluna in TypeCast:
+                    valor = f"{valor}::{TypeCast[coluna]}"
+
+                Linha_convertida.append(valor)
+            Valores.append(tuple(Linha_convertida))               
+
         Query = f'insert into {Schema}.{Tabela} ({', '.join(Colunas)}) values %s '
-        if not OnConflict is None:
-            Query = Query + OnConflict
+        Query = Query + OnConflict if OnConflict else Query
 
         try:
             self.Cursor = self.Conexao.cursor() 
             execute_values(self.Cursor, Query, Valores)  
             self.Conexao.commit()
         except Exception as Err:
+            self.logger.erro(f'{__name__}: Erro [{Err}] ao inserir dados na tabela {Schema}.{Tabela}!')    
             self.Conexao.rollback()
-            raise
         finally:        
             self.Cursor.close()
             #Conexao.close() ## conexão precisa ser fechada explicitamente fora da classe

{lbxtoolkit-2.2.8 → lbxtoolkit-2.2.10}/pyproject.toml

@@ -1,6 +1,6 @@
 [tool.poetry]
 name = "lbxtoolkit"
-version = "2.2.8"
+version = "2.2.10"
 description = ""
 authors = ["Cristiano P. Ferrari <cristiano.ferrari@lbx.com.br>"]
 readme = "README.md"