lbxtoolkit 2.1.3__py3-none-any.whl → 2.2.0__py3-none-any.whl

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
lbxtoolkit/__init__.py CHANGED
@@ -1,1743 +1,81 @@
1
- """
2
- # **Biblioteca de ferramentas LBX S/A**
3
-
4
- Esta biblioteca possui um ferramentas utilitárias de uso recorrente para aplicações de RPA em python.
5
-
6
- ## **Classe e funções**
7
-
8
- Usa o Microsoft Entra ID (antiga Azure AD) para evitar execução não autorizada
9
- auth_EntraID:
10
- disclaimer : Mensagem sobre a necessidade de autenticação
11
- valida_grupo : Autentica o usuário e aborta se checa não pertencer ao grupo de segurança
12
-
13
-
14
- **postgreSQL**
15
- Interage com o banco de dados PostgreSQL
16
- - _.db_: Inicia sessão com o banco
17
- - _.csv_df_: Lê arquivo CSV e gera Dataframe (pandas) a partir dele
18
- - _.db_insert_df_: Insere informações de Dataframe em tabela do banco com estrutura equivalente
19
- - _.db_select_: Retorna um cursor a partir de uma query
20
- - _.db_update_: Executa update em tabelas
21
-
22
-
23
- **api_rest**
24
- Interage com APIs RESTfull, especialmente providas para a plataforma Sienge
25
- - _.auth_base_: Autentica (HTTPBasicAuth) sessão na API
26
- - _.auth_bearer_: Autentica sessão na API pelos métodos: OAuth, JWT, Bearer
27
- - _.endpoint_json_: Realizad chama ao endpoint. Payload em formato `json` opcional.
28
- - _.trata_erro_sienge_: Retorna a mensagem de erro do Sienge caso código de retorno seja diferente de 200.
29
- - _.close_: Encerra a sessão autenticada
30
-
31
- **lbx_logger**
32
- Manipula e formata as mensagens de saída do script para direcioná-las para tela (stdout) e/ou arquivo de log
33
- - _.add_: Adiciona a mensagem a um _buffer_ sem exibir, acumulando até a próxima chamada em algum dos níveis abaixo.
34
- - _.print_: Contorna o manipulador de log e imprime diretamente na tela (stdout), sem formatar a mensagem nem registrar no arquivo
35
- - _.debug, .info, .aviso, .erro, .critico_: Classifica as mensagens por nível de severidade/relevância e rediciona a saída (arquivo, tela, tela+arquivo) conforme a configuração do nível
36
- - _.stop_logging_: Interrompe a manipulação das saídas pelo logger e restaura as saídas padrão (stdout/stderr) para a tela
37
- - _.filtra_: Filtra os eventos do arquivo de log registrados em um intervalo de tempo específico
38
-
39
- **misc**
40
- Classe de miscelâneas/diversos
41
- - _.seleciona_arquivo_: Abre um picker do sistema operacionar para selecionar um *arquivo* e retorna seu path
42
- - _.seleciona_dir_: Abre um picker do sistema operacionar para selecionar um *diretório* e retorna seu path
43
- - _.normaliza_: Limpa caracteres especiais e espaços de strings e retorna tudo em minúsculo
44
- - _.get_cmd_window_: Captura a referencia da janela atual (cmd.exe) para retornar o foco à ela depois de chamar os pickers
45
- - _.maximize_console_: Maxima a janela do console (cmd.exe)
46
-
47
- ## Instalação e uso:
48
-
49
- ### Instalação
50
-
51
- ```
52
- pip install lbx_toolkit
53
- ```
54
-
55
- ### Uso
56
- ```
57
- from lbx_toolkit import auth_EntraID, PostgreSQL, api_rest, lbx_logger
58
- ```
59
- """
60
- import os
61
- import sys
62
- import re
63
- import locale
64
- import datetime
65
- import time
66
- from time import sleep
67
- import threading
68
- import logging
69
- from pathlib import Path
70
- from unicodedata import normalize
71
- from http.server import BaseHTTPRequestHandler, HTTPServer
72
- import urllib.parse as urlparse
73
- import validators
74
- import msal
75
- import requests
76
- from requests.auth import HTTPBasicAuth
77
- from selenium import webdriver
78
- from selenium.webdriver.chrome.service import Service
79
- from selenium.webdriver.chrome.options import Options
80
- from webdriver_manager.chrome import ChromeDriverManager
81
- import psycopg2
82
- from psycopg2.extras import execute_values
83
- import pandas as pd
84
- import numpy as np
85
- import tkinter as tk
86
- from tkinter import filedialog
87
- import pygetwindow as gw
88
- import ctypes
89
- import subprocess
90
- import platform
91
- import socket
92
- import argparse
93
- import servicemanager
94
- import win32serviceutil
95
- import win32service
96
- import win32event
97
-
98
- locale.setlocale(locale.LC_ALL, 'pt_BR.UTF-8')
99
-
100
- class auth_EntraID: # Classe de autenticação de usuários no Microsoft Entra ID (antiga Azure AD)
101
- """
102
- #### Classe **auth_EntraID**
103
-
104
- Este recurso tem o propósito de controlar as permissões de execução do script usando as credencias do ambiente AD em nuvem da Microsoft (Azure AD >> Microsoft Entra ID), abortando se a autentição falhar ou o usuário não pertencer ao grupo.
105
-
106
- Essa classe possui apenas dois métodos:
107
-
108
- - `auth_EntraID.disclaimer()`: apenas exibe uma tela de informações/instruções ao usuário.
109
-
110
- - `auth_EntraID.valida_grupo([client_id], [client_secret], [tenant_id], timeout=60, log_file='auth_EntraID.log')`: efetua a autenticação do usuário e verifica se ele pertence ao grupo informado, abortando a execução caso não pertença ao grupo ou a autenticação não seja validada no tempo estabelecido. Os argumentos `timeout` e `log_file` são opcionais e, se omitidos, os valores aqui atribuídos serão adotados como padrão.
111
-
112
- É necessário obter parametros da plataforma de identidade da Microsoft (AD Azure, agora Microsoft Entra ID), no [*Centro de administração do Microsoft Entra*](https://entra.microsoft.com).
113
- Sugerimos não armazenar estas ou outras informações sensíveis no script. Considere usar o pacote `dotenv` para isso.
114
-
115
- Os argumentos obrigatórios (posicionais) são:
116
-
117
- 1) `tenant_id` corresponde ao campo *ID do Locatário*, que pode ser obtido na página [visão geral de identidade do domínio](https://entra.microsoft.com/#blade/Microsoft_AAD_IAM/TenantOverview.ReactView)
118
-
119
- 2) `client_id` corresponde ao *ID do aplicativo (cliente)*, obtido na secção [_Identidade > Aplicativos > Registros de Aplicativo_](https://entra.microsoft.com/#view/Microsoft_AAD_RegisteredApps/ApplicationsListBlade/quickStartType~/null/sourceType/Microsoft_AAD_IAM). Considere não reaproveitar aplicativos e criar um específico para essa finalidade.
120
-
121
- 3) `secret_id` corresponde ao *Valor* do _ID secreto_ (não ao próprio ID Secreto) do aplicativo. Este token não é passivel de consulta após gerado e para obtê-lo, é necessário criar um novo segredo para o aplicativo na subsecção _"Certificados e Segredos"_, após clicar no nome do aplicativo exibo na indicada no item (2). O token (_Valor do segredo_) deve ser copiado e anotado no ato da criação, pois *não é possível consultá-lo posteriormente*.
122
-
123
-
124
- ```
125
- from lbx_toolkit import auth_EntraID
126
-
127
- client_id = 'SEU_CLIENT_ID'
128
- client_secret = 'SEU_CLIENT_SECRET'
129
- tenant_id = 'SEU_TENANT_ID'
130
-
131
- # inicializa instância
132
- auth = auth_EntraID(client_id, client_secret, tenant_id, timeout=60, log_file='auth_EntraID.log')
133
-
134
- # exibe a mensagem padrão de aviso
135
- auth.disclaimer()
136
-
137
- auth.valida_grupo('Nome do Grupo de Distribuição')
138
- # se usuário não pertencer a grupo informado, a execução do script é abortada.
139
- ```
140
- """
141
- def __init__(self, client_id, client_secret, tenant_id, grupo, timeout=60, log_file='auth_EntraID.log'):
142
- self.client_id = client_id
143
- self.client_secret = client_secret
144
- self.tenant_id = tenant_id
145
- self.timeout = timeout
146
- self.grupo = grupo
147
- self.authority = f"https://login.microsoftonline.com/{self.tenant_id}"
148
- self.scope = ["https://graph.microsoft.com/.default"]
149
- self.redirect_uri = "http://localhost:8000"
150
- self.response = ""
151
- self.status_code = 0
152
- self.server = None
153
- self.log_file = log_file
154
-
155
- # Configura o logger
156
- logging.basicConfig(filename=log_file, level=logging.INFO,
157
- format='%(asctime)s - %(name)s - %(levelname)s - %(message)s')
158
- self.logger = logging.getLogger(__name__)
159
- #
160
- #
161
- def valida_grupo(self): # Valida se o usuário autenticado pertence a grupo de segurança informado
162
- # Redireciona stdout e stderr para arquivos de log
163
- original_stdout = sys.stdout
164
- original_stderr = sys.stderr
165
- sys.stdout = open('stdout.log', 'a')
166
- sys.stderr = open('stderr.log', 'a')
167
-
168
- # Configurações do Selenium
169
- chrome_options = Options()
170
- chrome_options.add_argument("--incognito")
171
-
172
- # Inicializa a aplicação MSAL
173
- try:
174
- app = msal.ConfidentialClientApplication(
175
- self.client_id,
176
- authority=self.authority,
177
- client_credential=self.client_secret,
178
- )
179
- except BaseException as err:
180
- print(f'Falha ao iniciar aplicação MSAL: {err}')
181
- # Restaura saída padrão
182
- sys.stdout.close()
183
- sys.stderr.close()
184
- sys.stdout = original_stdout
185
- sys.stderr = original_stderr
186
- print(f'Script abortado por falha aplicação MSAL. Verifque logs: {self.log_file}, stdout.log e sterr.log')
187
- os._exit(0)
188
-
189
- # Inicia o fluxo de código de autorização
190
- try:
191
- flow = app.initiate_auth_code_flow(scopes=self.scope, redirect_uri=self.redirect_uri)
192
- auth_url = flow["auth_uri"]
193
- self.response = f"Acessando a URL de autenticação Microsoft Entra ID (antiga Azure AD): {auth_url}"
194
- self.logger.info(self.response)
195
- except BaseException as err:
196
- print(f'Falha no fluxo de autorização Microsoft Entra ID (antiga Azure AD): {err}')
197
- # Restaura saída padrão
198
- sys.stdout.close()
199
- sys.stderr.close()
200
- sys.stdout = original_stdout
201
- sys.stderr = original_stderr
202
- print(f'Script abortado por falha no fluxo de autorização Microsoft Entra ID (antiga Azure AD). Verifque logs: {self.log_file}, stdout.log e sterr.log')
203
- os._exit(0)
204
-
205
- # Inicializa o ChromeDriver com redirecionamento de saída
206
- try:
207
- service = Service(ChromeDriverManager().install())
208
- service.start()
209
- driver = webdriver.Chrome(service=service, options=chrome_options)
210
- driver.get(auth_url)
211
- except BaseException as err:
212
- print(f'Falha na inicialização do Chrome: {err}')
213
- # Restaura saída padrão
214
- sys.stdout.close()
215
- sys.stderr.close()
216
- sys.stdout = original_stdout
217
- sys.stderr = original_stderr
218
- print(f'Script abortado na inicialização do Chrome. Verifque logs: {self.log_file}, stdout.log e sterr.log')
219
- os._exit(0)
220
- #
221
- #
222
- class AuthHandler(BaseHTTPRequestHandler):
223
- def log_message(self, format, *args):
224
- self.server.logger.info("%s - - [%s] %s\n" %
225
- (self.client_address[0],
226
- self.log_date_time_string(),
227
- format % args))
228
- #
229
- #
230
- def do_GET(self):
231
- parsed_path = urlparse.urlparse(self.path)
232
- query_params = urlparse.parse_qs(parsed_path.query)
233
- self.send_response(200)
234
- self.send_header('Content-type', 'text/html')
235
- self.end_headers()
236
-
237
- # Captura o código de autorização e o estado
238
- if 'code' in query_params and 'state' in query_params:
239
- self.server.auth_code = query_params['code'][0]
240
- self.server.state = query_params['state'][0]
241
- self.wfile.write(b"""
242
- <!DOCTYPE html>
243
- <html lang="pt_BR">
244
- <head>
245
- <meta charset="UTF-8">
246
- <meta name="viewport" content="width=device-width, initial-scale=1.0">
247
- <style>
248
- body {
249
- font-family: 'Arial', sans-serif;
250
- background-color: #f8f9fa;
251
- margin: 0;
252
- font-size: 16px;
253
- padding: 30px;
254
- display: flex; *
255
- }
256
-
257
- .container {
258
- width: 100%;
259
- margin: auto;
260
- background-color: #ffffff;
261
- box-shadow: 0 0 10px rgba(0, 0, 0, 0.1);
262
- padding: 16px;
263
- text-align: center;
264
- font-size: 16px;
265
- border-radius: 8px;
266
- }
267
-
268
- h1 {
269
- font-size: 18px;
270
- text-align: center;
271
- color: #007bff;
272
- }
273
- </style>
274
- </head>
275
- <div class="container">
276
- <h1>Autentica&#231;&#227;o realizada com sucesso!</h1>
277
- Aguarde que esta p&#225;gina ser&#225; fechada automaticamente.<br>
278
- Se isto n&#227;o acontecer, pode fech&#225;-la manualmente.
279
- </div>
280
- </body></html>
281
- """)
282
- else:
283
- self.wfile.write(b"""
284
- <!DOCTYPE html>
285
- <html lang="pt_BR">
286
- <head>
287
- <meta charset="UTF-8">
288
- <meta name="viewport" content="width=device-width, initial-scale=1.0">
289
- <style>
290
- body {
291
- font-family: 'Arial', sans-serif;
292
- background-color: #f8f9fa;
293
- margin: 0;
294
- font-size: 16px;
295
- padding: 30px;
296
- display: flex; *
297
- }
298
-
299
- .container {
300
- width: 100%;
301
- margin: auto;
302
- background-color: #ffffff;
303
- box-shadow: 0 0 10px rgba(0, 0, 0, 0.1);
304
- padding: 16px;
305
- text-align: center;
306
- font-size: 16px;
307
- border-radius: 8px;
308
- }
309
-
310
- h1 {
311
- font-size: 18px;
312
- text-align: center;
313
- color: red;
314
- }
315
- </style>
316
- </head>
317
- <div class="container">
318
- <h1>Falha na autentica&#231;&#227;o!</h1>
319
- Esta p&#225;gina ser&#225; fechada automaticamente.<br>
320
- Se isto n&#227;o acontecer, pode fech&#225;-la manualmente.
321
- </div>
322
- </body></html>
323
- """)
324
- #
325
- #
326
- # Inicializa o servidor HTTP
327
- self.server = HTTPServer(('localhost', 8000), AuthHandler)
328
- self.server.logger = self.logger # Passa o logger para o servidor
329
-
330
- # Função para monitorar o tempo limite
331
- def monitor_timeout():
332
- time.sleep(self.timeout)
333
- if not hasattr(self.server, 'auth_code'):
334
- self.response = "tempo limite para autenticação foi excedido"
335
- self.status_code = 490
336
- self.logger.error(self.response)
337
- sys.stdout.close()
338
- sys.stderr.close()
339
- sys.stdout = original_stdout
340
- sys.stderr = original_stderr
341
- print(f'Código retorno: {self.status_code} ', end='') ## self.status_code = 200, usuário pertence ao grupo informado. self.status_code = 299, grupo existe mas usuário NÃO pertence à ele. Erros retornam 4xx.
342
- print(f'Resposta: {self.response}', end='\n\n')
343
- print('Falha na autenticação! Execução abortada!')
344
- driver.quit()
345
- self.server.server_close()
346
- os._exit(0)
347
- #
348
- #
349
- # Inicia a thread para monitorar o tempo limite
350
- timeout_thread = threading.Thread(target=monitor_timeout)
351
- timeout_thread.start()
352
-
353
- # Espera pelo código de autorização
354
- self.response = "Esperando pela autenticação..."
355
- self.logger.info(self.response)
356
- self.server.handle_request()
357
-
358
- # Restaura stdout e stderr
359
- sys.stdout.close()
360
- sys.stderr.close()
361
- sys.stdout = original_stdout
362
- sys.stderr = original_stderr
363
-
364
- # Verifica se o código de autorização foi obtido dentro do tempo limite
365
- if not hasattr(self.server, 'auth_code'):
366
- return
367
-
368
- # Obtém o código de autorização e o estado capturados pelo servidor HTTP
369
- auth_code = self.server.auth_code
370
- state = self.server.state
371
-
372
- # Adquire o token usando o código de autorização, verificando o estado
373
- try:
374
- result = app.acquire_token_by_auth_code_flow(flow, {"code": auth_code, "state": state})
375
- except ValueError as e:
376
- self.response = f"Erro ao obter o token de acesso: {e}"
377
- self.status_code = 401
378
- self.logger.error(self.response)
379
- driver.quit()
380
- return
381
-
382
- if "access_token" in result:
383
- access_token = result['access_token']
384
- headers = {
385
- 'Authorization': 'Bearer ' + access_token
386
- }
387
-
388
- # Obtém o email do usuário autenticado
389
- me_response = requests.get(
390
- 'https://graph.microsoft.com/v1.0/me',
391
- headers=headers
392
- )
393
- self.status_code = me_response.status_code
394
- if me_response.status_code == 200:
395
- me_data = me_response.json()
396
- user_email = me_data['userPrincipalName']
397
- self.response = f"Email do usuário autenticado: {user_email}"
398
- self.logger.info(self.response)
399
-
400
- # Verifica se o usuário pertence ao grupo
401
- group_name = self.grupo
402
-
403
- # Obtém o ID do usuário
404
- user_response = requests.get(
405
- f'https://graph.microsoft.com/v1.0/users/{user_email}',
406
- headers=headers
407
- )
408
- self.status_code = user_response.status_code
409
- if user_response.status_code == 200:
410
- user_data = user_response.json()
411
- user_id = user_data['id']
412
-
413
- # Pesquisa o grupo pelo nome
414
- group_response = requests.get(
415
- f"https://graph.microsoft.com/v1.0/groups?$filter=displayName eq '{group_name}'",
416
- headers=headers
417
- )
418
- self.status_code = group_response.status_code
419
- if group_response.status_code == 200:
420
- group_data = group_response.json()
421
- if 'value' in group_data and len(group_data['value']) > 0:
422
- group_id = group_data['value'][0]['id']
423
-
424
- # Verifica se o usuário está no grupo
425
- members_response = requests.get(
426
- f'https://graph.microsoft.com/v1.0/groups/{group_id}/members',
427
- headers=headers
428
- )
429
- self.status_code = members_response.status_code
430
- if members_response.status_code == 200:
431
- members_data = members_response.json()
432
- if 'value' in members_data:
433
- user_in_group = any(member['id'] == user_id for member in members_data['value'])
434
- if user_in_group:
435
- self.response = f"O usuário {user_email} liberado para uso desta aplicação."
436
- else:
437
- self.response = f"O usuário {user_email} NÃO liberado para uso desta aplicação. Solicite acesso à TI."
438
- self.status_code = 299
439
- else:
440
- self.response = "Resposta da API de membros não contém a chave 'value'."
441
- self.status_code = 460
442
- else:
443
- self.response = f"Erro na resposta da API de membros: {members_response.status_code}"
444
- self.response += f"\n{members_response.json()}"
445
- else:
446
- self.response = f"Grupo '{group_name}' não encontrado."
447
- self.status_code = 470
448
- else:
449
- self.response = f"Erro na resposta da API de grupos: {group_response.status_code}"
450
- self.response += f"\n{group_response.json()}"
451
- else:
452
- self.response = f"Erro na resposta da API de usuário: {user_response.status_code}"
453
- self.response += f"\n{user_response.json()}"
454
- else:
455
- self.response = f"Erro ao obter informações do usuário: {me_response.status_code}"
456
- self.response += f"\n{me_response.json()}"
457
- else:
458
- self.response = f"Erro ao obter o token de acesso: {result.get('error')}"
459
- self.response += f"\n{result.get('error_description')}"
460
- self.status_code = 480
461
-
462
- # Fecha o navegador
463
- driver.quit()
464
- service.stop()
465
-
466
- # Define o retorno
467
- print(f'\nCódigo retorno: {self.status_code} ', end='') ## self.status_code = 200, usuário pertence ao grupo informado. self.status_code = 299, grupo existe mas usuário NÃO pertence à ele. Erros retornam 4xx.
468
- print(f'Resposta: {self.response}', end='\n\n')
469
- if self.status_code == 200:
470
- print('Acesso autorizado!')
471
- else:
472
- print('Permissões inválidas! Execução abortada!')
473
- os._exit(0)
474
- #
475
- #
476
- def disclaimer(self): # Mostra o aviso do funcionamento e necessidade de autenticação
477
- input(f"""
478
-
479
- Para ser utilizado de forma adequada e segura, este script requer autenticação no Microsoft Entra ID (antiga Azure AD).
480
- Também requer que seu usuário pertença a um grupo de segurança específico. Se você não tem a segurança que tem permissão de uso, solicite previamente à TI.
481
-
482
- Para continuar, é necessário fornecer suas credenciais, aquelas que costumeiramente utiliza para acessar os serviços de e-mail corporativo.
483
- Uma janela de navegador será aberta e você será direcionado à tela de Logon do Microsoft Entra ID.
484
- Faça o Logon fornecendo usuário, senha e validação de duplo fator (no autenticador da Microsoft, instalado em seu celular).
485
- Após a autenticação, a janela do navegador será fechada e o script iniciará o processo de execução.
486
-
487
- Você tem {self.timeout} segundos para realizar a autenticação ou a execução será abortada.
488
-
489
- Tecle [ENTER] para continuar ...
490
-
491
- """)
492
- #
493
- #
494
- class postgreSQL: # Classe de acesso e interação com banco PostgreSQL
495
- """
496
- #### Classe **postgreSQL**
497
-
498
- Recursos de interação com o banco de dados relacional PostgreSQL
499
-
500
- 1) O método `postgreSQl.db()` exige que as credenciais e parametros de acesso sejam fornecidas em um *dicionário* com, ao mínimo, o seguinte formato:
501
-
502
- ```
503
- credenciais = {
504
- 'dbname': 'NOME_BANCO',
505
- 'user': 'USUARIO'',
506
- 'password': 'SENHA',
507
- 'host': 'IP_OU_DNS_SERVIDOR',
508
- 'port': 'PORTA_POSTGRESQL', ## padrão = 5432
509
- }
510
-
511
- conexao = postgreSQL.db(credenciais)
512
- ```
513
-
514
- O nome do schema é ser declarado no contexto da query, mas se desejar alterar o schema padrão, adicione *`'options' : '-c search_path=[NOME_SCHEMA]',`* ao dicionário.
515
-
516
- Qualquer argumento de conexão previsto no pacote *psycopg2* são aceitos como entrada no dicionário acima.
517
-
518
- 2) O método `postgreSQl.csv_df()` lê arquivo texto do tipo CSV e o converte para o objeto Dataframe do `pandas`. A assinatura da função exige que se forneça o caminho do arquivo CSV e, opcionalmente o caracter delimitador. Se o caracter demilitador não for informado, será assumido `;`. Considere usar a função `Path` para tratar o caminho do arquivo de origem.
519
-
520
- ```
521
- from pathlib import Path
522
- arquivo_csv = Path('./diretorio/arquivo_exemplo.csv')
523
- dados = postgreSQL.csv_df(arquivo_csv, CsvDelim=',') # usando vírgula como separador. se omisso, assume ";'
524
- ```
525
-
526
- 3) O método `postgreSQl.db_insert_df()` insere dados a partir de um Dataframe (pandas) em uma tabela do banco com estrutura de colunas equivalente.
527
-
528
- A assinatura da função é `postgreSQL.db_insert_df([conexao], [dataframe_origem], [tabela_destino], Schema=None, Colunas=None, OnConflict=None)`
529
-
530
- É necessário que os nomes das colunas do dataframe coincidam com o nome das colunas da tabela.
531
- Não há como traduzir/compatibilizar (de-para) nomes de colunas entre o dataframe e a tabela.
532
-
533
- Os três primeiros parametros são posicionais e correspondem, respectivamente, (1) ao objeto da conexão com o banco, (2) ao objeto que contém o dataframe e (3) ao nome da tabela de destino.
534
- Assume-se que a tabela pertença ao schema padrão (definido na variável _search_path_ do servidor). Caso a tabela de destino esteja em um _schema_ diferente do padrão, deve-se informar seu nome no parâmetro opcional `Schema`.
535
-
536
- O parametro opcional `Colunas` espera um objeto do tipo _lista_ que contenha a relação das colunas a serem importadas.
537
- As colunas listadas neste objeto precisam existir nas duas pontas (dataframe e tabela).
538
- Caso seja omisso, todas as colunas do dataframe serão inseridas na tabela. Neste caso, admite-se que haja colunas na tabela que não exitam no dataframe (serão gravadas como NULL), mas o contrário provocará erro.
539
-
540
- O último parametro opcional `OnConflict` espera uma declaração para tratar o que fazer caso o dado a ser inserido já exista na tabela, baseado na cláusula [*ON CONFLICT*](https://www.postgresql.org/docs/current/sql-insert.html#SQL-ON-CONFLICT) do comando INSERT. A claúsula deve ser declarada explicita e integralmente nessa variável (clausula, _target_ e _action_) e não há crítica/validação desse argumento, podendo gerar erros se declarado inconforme com o padrão SQL.
541
-
542
- Exemplo de uso:
543
-
544
- ```
545
- from lbx_toolkit import postgreSQL
546
- from pathlib import Path
547
-
548
- credenciais = {
549
- 'dbname': 'NOME_BANCO',
550
- 'user': 'USUARIO'',
551
- 'password': 'SENHA',
552
- 'host': 'IP_OU_DNS_SERVIDOR',
553
- 'port': 'PORTA_POSTGRESQL', ## padrão = 5432
554
- }
555
-
556
- conexao = postgreSQL.db(credenciais)
557
-
558
- arquivo_csv = Path('./diretorio/arquivo_exemplo.csv')
559
- dados = postgreSQL.csv_df(arquivo_csv, CsvDelim=',') # usando vírgula como separador. se omisso, assume ";'
560
-
561
- postgreSQL.db_insert_df(conexao, dados, 'teste_table', Schema='meu_esquema', OnConflict='on conflict (coluna_chave_primaria) do nothing')
562
-
563
- # conexão com o banco precisa ser fechada explicitamente após a chamada do método, caso não seja mais utilizada:
564
- conexao.close()
565
- ```
566
-
567
- 4) O método `postgreSQl.db_select()` executa consultas no banco de dados e retorna um `cursor` com o resultado.
568
-
569
- A assinatura da função é `postgreSQL.db_select([conexao], [query])`
570
-
571
- São permitidas apenas instruções de consulta (podendo serem complexas, por exemplo, com uso de [CTE](https://www.postgresql.org/docs/current/queries-with.html)). A presença de outras instruções SQL de manipulação de dados e metadados não são permitidas e abortarão a execução da query, se presentes.
572
-
573
- O `cursor` é fechado no contexto do método, antes do retorno, *não podendo* ser manipulado após recebido como retorno da função.
574
-
575
- A função retorna *dois objetos*, o primeiro contendo os dados do cursor, o segundo, contendo os nomes das respectivas colunas.
576
-
577
- Exemplo de uso:
578
-
579
- ```
580
- from lbx_toolkit import postgreSQL
581
- from pathlib import Path
582
-
583
- credenciais = {
584
- 'dbname': 'NOME_BANCO',
585
- 'user': 'USUARIO'',
586
- 'password': 'SENHA',
587
- 'host': 'IP_OU_DNS_SERVIDOR',
588
- 'port': 'PORTA_POSTGRESQL', ## padrão = 5432
589
- }
590
-
591
- conexao = postgreSQL.db(credenciais)
592
-
593
- query = 'select * from meu_esquema.teste_table'
594
-
595
- dados, colunas = postgreSQL.db_select(conexao, query)
596
- conexao.close()
597
- ```
598
-
599
- 5) O método `postgreSQl.db_update()` executa updates no banco
600
-
601
- A assinatura da função é `postgreSQL.db_update([conexao], [query])`
602
-
603
- São permitidas apenas instruções de update. A presença de outras instruções SQL de manipulação de dados e metadados não são permitidas e abortarão a execução da query.
604
-
605
- A função retorna *a quantidade de linhas alteradas*.
606
-
607
- Exemplo de uso:
608
-
609
- ```
610
- from lbx_toolkit import postgreSQL
611
- from pathlib import Path
612
-
613
- credenciais = {
614
- 'dbname': 'NOME_BANCO',
615
- 'user': 'USUARIO'',
616
- 'password': 'SENHA',
617
- 'host': 'IP_OU_DNS_SERVIDOR',
618
- 'port': 'PORTA_POSTGRESQL', ## padrão = 5432
619
- }
620
-
621
- conexao = postgreSQL.db(credenciais)
622
-
623
- query = "update meu_esquema.teste_table set coluna='novo_valor' where pk='chave'"
624
-
625
- result = postgreSQL.db_update(conexao, query)
626
- conexao.close()
627
- ```
628
-
629
- """
630
- def __init__(self, config, logger=None):
631
- self.logger = logger if not logger is None else lbx_logger(None, logging.DEBUG, '%(levelname)s: %(message)s') # se não fornecer o logger, vai tudo para o console
632
-
633
- try:
634
- self.Conexao = psycopg2.connect(**config) ## na chamada de uma função/método, o * explode os valores de um dicionário em argumentos posicionais (só valores) e ** explode discionário em argumentos nominais (nome=valor)
635
- except Exception as Err:
636
- raise
637
- #
638
- #
639
- def csv_df(self, CsvPath, CsvDelim=';'): # Le arquivo CSV e gera Dataframe do Pandas
640
- try:
641
- DataFrame = pd.read_csv(CsvPath, delimiter=CsvDelim) # Verifique se o delimitador é ';'
642
- DataFrame.replace({np.nan: None}, inplace=True) ## troca 'NaN' por None (null no postgresql)
643
- return DataFrame
644
- except Exception as Err:
645
- raise
646
- #
647
- #
648
- def db_insert_df(self, DataFrame, Tabela, Schema=None, Colunas=None, OnConflict=None): # Insere os dados de um dataframe em uma tabela equivalente no banco (exige mesma estrutura de colunas)
649
- # Essa função exige que os nomes dos cabeçalhos das colunas do CSV sejam os mesmos das colunas da tabela de destino
650
- Colunas = Colunas or DataFrame.columns.tolist() # Caso não seja fornecida a lista de colunas, assume as colunas do DataFrame
651
- Valores = [tuple(Linha) for Linha in DataFrame[Colunas].values]
652
- Schema = Schema or 'public'
653
- Query = f'insert into {Schema}.{Tabela} ({', '.join(Colunas)}) values %s '
654
- if not OnConflict is None:
655
- Query = Query + OnConflict
656
-
657
- try:
658
- self.Cursor = self.Conexao.cursor()
659
- execute_values(self.Cursor, Query, Valores)
660
- self.Conexao.commit()
661
- except Exception as Err:
662
- self.Conexao.rollback()
663
- raise
664
- finally:
665
- self.Cursor.close()
666
- #Conexao.close() ## conexão precisa ser fechada explicitamente fora da classe
667
- #
668
- #
669
- def db_select(self, Query): # Retorna um cursor à partir de um select
670
- BlackList = ['INSERT ', 'DELETE ', 'UPDATE ', 'CREATE ', 'DROP ', 'MERGE ', 'REPLACE ', 'CALL ', 'EXECUTE ']
671
- if any(element in Query.upper() for element in BlackList):
672
- BlackListed = [element for element in BlackList if element in Query.upper()]
673
- self.logger.erro(f'{__name__}: Este método permite apenas consultas. A query informada possui as seguintes palavras reservadas não aceitas: {BlackListed} e não foi executada!')
674
- return None
675
- else:
676
- try:
677
- self.Cursor = self.Conexao.cursor()
678
- self.Cursor.execute(Query)
679
- Dados = self.Cursor.fetchall()
680
- Colunas = [Col[0] for Col in self.Cursor.description]
681
- self.Conexao.commit()
682
- self.Cursor.close()
683
- return Dados, Colunas
684
- except Exception as Err:
685
- self.Conexao.rollback()
686
- raise
687
- #
688
- #
689
- def db_update(self, Query): # Retorna um cursor à partir de um select
690
- UpdRows = 0
691
- BlackList = ['INSERT ', 'DELETE ', 'SELECT ', 'CREATE ', 'DROP ', 'MERGE ', 'REPLACE ', 'CALL ', 'EXECUTE ']
692
- if any(element in Query.upper() for element in BlackList):
693
- BlackListed = [element for element in BlackList if element in Query.upper()]
694
- self.logger.erro(f'{__name__}: Este método permite apenas updates. A query informada possui as seguintes palavras reservadas não aceitas: {BlackListed} e não foi executada!')
695
- return None
696
- else:
697
- try:
698
- self.Cursor = self.Conexao.cursor()
699
- self.Cursor.execute(Query)
700
- UpdRows = self.Cursor.rowcount
701
- self.Conexao.commit()
702
- self.Cursor.close()
703
- return UpdRows
704
- except Exception as Err:
705
- self.Conexao.rollback()
706
- raise
707
- #
708
- #
709
- class api_rest: # Classe para interação com APIs Rest (especialmente Sienge)
710
- """
711
- #### Classe **api_rest**
712
-
713
- Destina-se a interatir com APIs RESTfull, em especial as publicadas pela SoftPlan para a [Plataforma Sienge](https://api.sienge.com.br/docs/).
714
-
715
- A classe deve ser instanciada conforme sintaxe abaixo:
716
-
717
- `api_rest(url, credenciais, cadencia, timeout=6, logger=None, headers={"Content-Type": "application/json"}, verify=True)`
718
-
719
- São nessários 2 parâmetros posicionais obrigatórios, e 5 parametros nominais facultativos (valor padrão, se omisso, indicado na sintaxe acima):
720
- - `url`: o endereço da URL de autenticação da API
721
- - `crednciais`: Dicionário com credenciais de autenticação.
722
- - `cadencia` Número máximo de chamadas *por segudo* à API
723
- - `timeout` Tempo máximo (segundos) para aguardar retorno à chamada. Padrão 6s, se omisso.
724
- - `logger` O objeto _log handler_ para lidar com as informações de saída. Se não informado, todas as saídas serão direcionadas para a stdout.
725
- - `headers` Cabeçalhos _http_ para a requisição à API.
726
- - `verify` Verifica a validade do certificado SSL do servidor de destino da requisição.
727
-
728
- Quanto às credenciais de autenticação, assim como a classe de interação com o PostgreSQL, elas precisam ser fornecidas na forma de um *dicionário*.
729
- Para o método `api_rest.aut_basic()`, o formato deve ser:
730
- ```
731
- credenciais = {
732
- 'user': 'USUARIO_API',
733
- 'password': 'TOKEN_USUARIO'
734
- }
735
- ```
736
- Caso a autenticação seja pelo método `api_rest.aut_bearer()`, o dicionário deve corresponder ao formato previsto pelo endpoint e seu conteúdo será enviado como um JSON ao endereço indicado no parametro `url`
737
-
738
-
739
- A classe possui 3 métodos:
740
- - `api_rest.auth_basic()`: instanciamento da sessão autenticando pelo método HTTPBasicAuth
741
- - `api_rest.auth_bearer()`: instanciamento da sessão autenticando pelos métodos OAuth, JWT, Bearer
742
- - `api_rest.endpoint_json([endereço], [método], payload=None)`: para a chamada ao endpoint
743
- - `close()` para encerra a instância/sessão
744
-
745
- O consumo é feito pelo método `api_rest.endpoint_json` que suporta apenas APIs cujo payload (opcional) seja aceito no formato JSON.
746
-
747
- Esse método espera 2 parametros posicionais obrigatórios: o endereço do endpoint e o verbo (get, post, patch ou put), tendo parametro opcional o objeto de 'payload' (json).
748
- Note que o endereço do endpoint deve ser informado completo. A URL informada no instanciamento da classe corresponde apenas ao endereço de autenticação.
749
-
750
- O tempo, em segundos, transcorrido entre a chamada a atual e a chamada anterior ao endpoint pode ser consultado pelo argumento `.Intervalo` no objeto recebido do retorno à chamada ao método `.endpoint_json`.
751
-
752
- Da mesma forma, o tempo de espera imposto para respeitar a cadência do webservcie também pode ser consultado pelo argumento `.Espera`.
753
-
754
- Exemplo de uso:
755
-
756
- ```
757
- from lbx_toolkit import api_rest
758
-
759
- UrlBase=r'https://api.sienge.com.br/lbx/public/api/v1'
760
- Credenciais = {
761
- 'user': 'USUARIO_API',
762
- 'password': 'TOKEN_USUARIO'
763
- }
764
- ApiSienge = api_rest(UrlBase,Credenciais,2.5) # limite de 2 requisições/segundo para cadência de chamada ao endpoint
765
- Auth = ApiSienge.auth_basic()
766
-
767
- Nutitulo=input('Numero do título:')
768
- Nuparcela=input('Numero da parcela:')
769
- Vencimento=input('Vencimento [AAAA-MM-DD]:')
770
- Payload = {
771
- "dueDate": f"{Vencimento}"
772
- }
773
- EndPoint = f'{UrlBase}/bills/{Nutitulo}/installments/{Nuparcela}'
774
-
775
- #chama o endpoint e recebe o retorno no objeto AlteraVcto
776
- AlteraVcto = ApiSienge.endpoint_json(EndPoint, 'patch', Payload)
777
- ```
778
-
779
- No exemplo acima não é esperado que o endpoint retorne nenhum dado (`patch`).
780
-
781
- Quando se usa o verbo `get` e se espera o retorno de algum dado, use o método `.json` do pacote `request` para acessar o objeto recebido.
782
-
783
- Para uso em APIs com autenticação JWT (JSON Web Token), OAuth, Bearer Token Authentication, a construção é a mesma indicada acima, bastando-se usar `.auth_bearer()` ao invés de _.auth_basic()_, e ajustar o dicionário `credenciais` informado no instanciamento da classe, que deve ser estruturado conforme o padrão fornecido peo mantendor da API e será enviado como payload ao endpoint (`json=credenciais`).
784
-
785
- """
786
- def __init__(self, url, credenciais, cadencia=3, timeout=6, logger=None, headers={"Content-Type": "application/json"}, verify=True):
787
- self.logger = logger if not logger is None else lbx_logger(None, logging.DEBUG, '%(levelname)s: %(message)s') # se não fornecer o logger, vai tudo para o console
788
-
789
- if not validators.url(url):
790
- self.logger.critico('URL inválida: {url}. Primeiro parametro precisar uma URL válida. Script abortado', exit=1)
791
- if not isinstance(credenciais, dict):
792
- self.logger.critico('O segundo parametro posicional precisa ser um dicionário. Script abortado', exit=1)
793
-
794
- self.RetEndPoint = None # Inicializa self.RetEndPoint como None
795
- self.Headers = headers
796
- self.Verify = verify
797
- self.Url = url
798
- self.Timeout = timeout
799
- self.Credenciais = credenciais
800
- self.Cadencia = 1/cadencia ## candencia corresponde a chamadas por segundo, não minuto
801
- self.TempoUltReq = None
802
- self.Intervalo = self.Cadencia + 1
803
- #
804
- #
805
- def controla_cadencia(self): ## para controle apenas, não deve ser chamada fora da classe
806
- # Verificar o tempo atual
807
- Agora = time.time()
808
-
809
- # Calcular intervalo entre requisições
810
- if self.TempoUltReq:
811
- self.Intervalo = Agora - self.TempoUltReq
812
- else:
813
- self.Intervalo = float('inf') # Primeira requisição não espera
814
-
815
- # Calcular o tempo de espera necessário para respeitar o limite
816
- if self.Intervalo < self.Cadencia:
817
- self.Espera = self.Cadencia - self.Intervalo
818
- time.sleep(self.Espera)
819
- return self.Espera
820
- else:
821
- self.Espera = 0
822
- return self.Espera, self.Intervalo
823
- #
824
- #
825
- def auth_basic(self): # Autentica e abre sessão na API
826
- if not self.Credenciais['user'] or not self.Credenciais['password']:
827
- self.logger.critico('Dicionário de credenciais não possui chaves "user" e/ou "password". Script abortado', exit=1)
828
- try:
829
- self.Sessao = requests.Session()
830
- #Sessao.auth = (ApiUser, ApiPass)
831
- self.Sessao.auth = HTTPBasicAuth(self.Credenciais['user'], self.Credenciais['password'])
832
- Auth = self.Sessao.post(self.Url)
833
- #print(f'Status: {Auth.status_code}')
834
- #print(f'Retorno: {Auth.text}')
835
- return self.Sessao
836
- except Exception as Err:
837
- self.logger.critico(f"Falha ao autenticar API: {Err}. URL: {self.Url}", exit=1)
838
- #
839
- #
840
- def auth_bearer(self): # Autentica e abre sessão na API
841
- #self.UrlLogin = UrlLogin if UrlLogin is not None else self.Url
842
- try:
843
- self.Sessao = requests.Session()
844
- Token = self.Sessao.post(self.Url, headers=self.Headers, json=self.Credenciais, verify=self.Verify)
845
- self.Headers.update({"Authorization": f"Bearer {Token.text}"})
846
- if 200 <= Token.status_code <= 299:
847
- self.Sessao.status_code = Token.status_code
848
- self.Sessao.token = Token.text
849
- return self.Sessao
850
- else:
851
- self.logger.critico(f"Erro ao autenticar API: {Token.status_code} - {Token.text}", exit=1)
852
- except Exception as Err:
853
- self.logger.critico(f"Falha ao autenticar API: {Err}. URL: {self.Url}", exit=1)
854
- #
855
- #
856
- def endpoint_json(self, endpoint, metodo, payload=None): # Interage com End Point
857
- self.ult_tempo_req = time.time()
858
- self.Metodo = metodo.lower()
859
- #self.EndPoint = self.Url + endpoint
860
- self.EndPoint = endpoint
861
- self.Payload = payload
862
- MetodosAceitos = ['post', 'get', 'patch', 'put']
863
- if not any(element in self.Metodo for element in MetodosAceitos):
864
- self.logger.critico(f'Método {self.Metodo} não previsto. Abortando chamada!', exit=1)
865
- else:
866
- ChamadaApi = f'self.Sessao.{self.Metodo}(self.EndPoint, timeout=self.Timeout, headers=self.Headers, verify=self.Verify)' if self.Payload is None else f'self.Sessao.{self.Metodo}(self.EndPoint, timeout=self.Timeout, headers=self.Headers, verify=self.Verify, json=self.Payload)'
867
- self.controla_cadencia()
868
- self.TempoUltReq = time.time()
869
- try:
870
- self.RetEndPoint = eval(ChamadaApi)
871
- if self.RetEndPoint.status_code >= 500:
872
- self.logger.critico(f'Erro {self.RetEndPoint.status_code} na chamada do endpoint: {Err}\nEndpoint: {self.EndPoint}\nResposta: {self.RetEndPoint.text}', exit=1)
873
- self.RetEndPoint.Espera = self.Espera ## adiona o tempo de espera ao retorno da API
874
- self.RetEndPoint.Intervalo = self.Intervalo ## adiciona o intervalo entre chamada ao retorno da API
875
- return self.RetEndPoint
876
- except requests.exceptions.ReadTimeout as Err:
877
- self.logger.critico(f'Excedido tempo limite {self.Timeout} para retorno do endpoint: {Err}\nEndpoint: {self.EndPoint}', exit=1)
878
- except Exception as Err:
879
- self.logger.critico(f'Falha na chamada do endpoint: {Err}\nEndpoint: {self.EndPoint}\nCodigo retorno: {self.RetEndPoint.status_code}\nResposta:{self.RetEndPoint.text}', exit=1)
880
- #
881
- #
882
- def trata_erro_sienge(CodRet, Retorno):
883
- if not 200 <= CodRet <= 299:
884
- try:
885
- DicRetorno = eval(Retorno.replace('null','None').replace(r'\n\t',' '))
886
- if 'clientMessage' in DicRetorno and DicRetorno['clientMessage'] not in ['None', None, '', ' ', 'null']:
887
- MsgErro = DicRetorno['clientMessage']
888
- elif 'developerMessage' in DicRetorno and DicRetorno['developerMessage'] not in ['None', None, '', ' ', 'null']:
889
- MsgErro = DicRetorno['developerMessage']
890
- elif 'message' in DicRetorno and DicRetorno['message'] not in ['None', None, '', ' ', 'null']:
891
- MsgErro = DicRetorno['message']
892
- else:
893
- MsgErro = Retorno
894
- except:
895
- MsgErro = Retorno.replace(r'\n\t',' ')
896
- finally:
897
- return MsgErro
898
- else:
899
- return Retorno
900
- #
901
- #
902
- def close(self): # Encerra a cessão
903
- self.Sessao.close()
904
- #
905
- #
906
- class lbx_logger: # Classe para gerenciar a saída para log
907
- r"""
908
- #### Classe **lbx_logger**
909
-
910
- Essa classe requer a importação do módulo `logging` no script em que for instanciada e tem o propósito de manipular/formatar as mensagens de saída do script, alterando o formato e redirecionando destino padrão (stdout e stderr) para uma combinação de tela e/ou arquivo.
911
-
912
- O comportamento padrão é registrar todas as saídas *simultaneamente* em tela e no arquivo com endereço informado no parâmetro `log_file_path`. Se este parametro for omisso no instanciamento da classe, as mensagens serão exibidas apenas na tela.
913
-
914
- A mensagens devem ser classificadas por grau de severidade/relevância, da menor para a maior, na seguinte ordem: *debug, info, warning (aviso), error (erro), critical (critico)*
915
-
916
- A classificação do nível de serveridade da mensagem se dá pelo método escolhido para invocar a mensagem, correspondente aos níveis de severidade equivalentes.
917
-
918
- A classe deve ser instanciada conforme sintaxe abaixo:
919
-
920
- `lbx_logger(log_file_path=None, log_level=logging.DEBUG, formato_log='%(asctime)s - %(levelname)s - %(message)s', modulo=None, ignore_console=None, ignore_file=None):`
921
-
922
- Todos os parametros são nominativos e facultativos. Em caso de omissão, os valores padrão são assumidos conforme o exemplo acima.
923
-
924
- Os parametros para o instanciamento da classe são:
925
-
926
- - `log_file_path` Define o caminho e o nome do arquivo de log. Se omisso, as mensagens serão todas direcionadas apenas para a tela.
927
- - `log_level` Define o nível mínimo de severidade das mensagens a serem manipuladas pelo logger. Se omisso, será assumido o nível mais baixo (_debug_). As mensagens com nível abaixo do especificado são descartadas. Os níveis devem ser informados de acordo com a sintaxe acima (prefixados com _logging._ e com o nome do nível em inglês e maiúsculas). Exemplo:
928
- - `logging.DEBUG` para manipular chamadas do método *.debug()* e acima.
929
- - `logging.INFO` para manipular chamadas do método *.info()* e acima.
930
- - `logging.WARNING` para manipular chamadas do método *.aviso()* e acima.
931
- - `logging.ERROR` para manipular chamadas do método *.erro()* e acima.
932
- - `logging.CRITICAL` para manipular chamadas do método *.critico()* e acima.
933
- - `formato_log` Define o formato em que a mensagem será apresentada. Se omisso, o padrá é *DATA_HORA - NIVEL - MENSAGEM*. Para maiores opções veja: [Atributos de log](https://docs.python.org/3/library/logging.html#logrecord-attributes)
934
- - `modulo` Nome do módulo para o qual os logs serão monitorados. Permite instanciar várias vezes a classe para criar manipuladores diferentes para módulos diferente. Informe o nome do módulo para criar um log específico para ele ou simplesmente omita o parametro para criar um log para o script em geral.
935
- - `ignore_console` Lista com os níveis de severidade a serem ignorados para *apresentação na tela*, registrando *apenas no arquivo* (quando informado no parametro `log_file_path`) e obedecendo ao nível mínimo estabelecido no parametro `log_level`. Note que omitir o parametro `log_file_path` e incluir um nível na lsita `ignore_console` implica em ignorar/suprimir esse nível de mensagem de qualquer apresentação.
936
- - `ignore_file` Mesma lógica do parametro `ignore_console`, mas com lógica invertida: suprime o registro do nível do arquivo e demonstra *apenas na tela*.
937
-
938
- 1) As mensagem são manipuladas substituindo-se o comando `print()` pela chamada a um dos 5 métodos acima (_.add(), .debug(), .info(), .aviso(), .erro(), .critico()_). Exceto o método `.add()`, qualquer um dos demais métodos pode interromper a execução do script, através da passagem do parâmetro `exit`. Ao informar esse parametro na chamadada do método, atribua a ele o código de saída desejado (0 para normal, qualquer outro número para saída com erro). Exemplo:
939
-
940
- ```
941
- log.erro('Essa mensagem apenas resulta em uma mensagem de nível ERROR')
942
- log.erro('Essa mensagem resulta em uma mensagem de nível ERRO e encerra o script com código de retorno -1', exit=-1)
943
- ```
944
-
945
- Qualquer chamada ao comando `print()`, uma vez instanciado manipulador de log, será registada como uma chamada ao método _.info()_ e registrada com este nível de severidade.
946
- Para retornar ao comportamente padrão do comando print, ou interromper o manipulador, faça chamada ao método `.stop_logging()`
947
-
948
- 2) O método _.add()_ não exibe/grava imediatamente a mensagem, mas apenas a diciona a _buffer_. Todas as chamas a _.add()_ irão concatenar a mensagem recebida até a próxima chamada em algum dos níveis _.debug(), .info(), .aviso(), .erro(), .critico()_. Na primeira chama de um destes níveis após uma (ou mais) chamada(s) ao método _.add()_ o *buffer* será concatenado à mensagem recebida por um destes métodos e o resultado será manipulado pelo log conforme os parametros definidos no intanciamento da classe e o método chamado. Essa função é útil para tratar mensagens com retorno condicional. Exemplo:
949
-
950
- ```
951
- log.add('Mensagem 1# ') ## não será exibida/registrada
952
- log.add('Mensagem 2# ') ## não será exibida/registrada
953
- log.info('Mensagem 3) ## será exibida/registrada como nível "info" e com texto: "Mensagem 1# Mensagem 2# Mensagem 3"
954
- ```
955
-
956
- 3) Os métodos que exibem as mensagens (`.debug()`,`.info()`,`.aviso()`, `.erro()`, `.critico()`) possuem 3 parametros: `message`, `corte=None`, `exit=None`.
957
-
958
- - `message`: posicional e obrigatório. corresponde à mensagem a ser exibida
959
- - `corte`: o tamanho máximo da mensagem a ser exibida. opcional e se omitido, exibe a mensagem inteira. se fornecido, corta a mensagem no comprimento informado
960
- - `exit`: opcional. se informado (requer um código de retorno), aborta o script com o código informado. se omisso (padrão) a mensagem apenas é minutada pelo log, sem interferir no funcionamento do script
961
-
962
- 4) O método `.filtra()` possui 3 parametros posicionais, todos opcionais: `log_file`, `dh_ini`, `dh_fim`.
963
-
964
- Se os 3 forem omitidos, serão exibidas as entradas de log do arquivo corrente, definido no instanciamento da classe `lbx_logger`, registradas na última hora. Deste modo, o valor padrão para `dh_fim` é `now()` e para `dh_ini` é `now()` menos 1 hora.
965
-
966
- Caso queira filtrar os registro de outro arquivo de log, que não seja o do script corrente, informe o endereço do arquivo no primeiro parametro.
967
-
968
- E caso queira alterar alterar o período de filtragem, informe nos parametros 2 e 3 a data/hora de início e fim do período. Estes dois parametros aceitam tanto um objeto do tipo `datetime` como uma string (que será convertida para datetime), desde que ela esteja no formato `dd/mm/aaaa hh:mm:[ss]` (segundos são opcionais).
969
-
970
- Considerando que os parametros são posicionais, caso queira omitir apenas um dos parametros, preencha a posição do parametro a ser omitido com `None`.
971
-
972
- A saída dessa função retorna um objeto, que pode ser salvo em disco ou impresso na tela.
973
-
974
-
975
- 5) Exemplos de uso:
976
-
977
- ```
978
- from lbx_toolkit import lbx_logger
979
- import logging
980
- import os
981
- from pathlib import Path
982
-
983
- DirBase = Path('./') # diretório corrente do script
984
- BaseName = os.path.splitext(os.path.basename(__file__))[0] # nome do script sem extensão
985
- LogFile = Path(DirBase, BaseName + '.log') # salva logs no diretório corrente, em um arquivo nomeado com nome do script + extensão ".log"
986
-
987
- ### instancia o manipulador para tratar todas as mensagens (nível DEBUG acima),
988
- # mas suprime a apresentação em tela das mensagens de nível "DEBUG" na tela,
989
- # apenas registrando-as somente no arquivo
990
- # e sumprime o registro no arquivo das mensagens de nível "ERROR",
991
- # mostrando-as apenas na tela
992
- log = lbx_logger(LogFile, logging.DEBUG, ignore_console=[logging.DEBUG], ignore_file=[logging.ERROR])
993
-
994
- # Exemplo de mensagens de log
995
- log.debug('Esta é uma mensagem de debug')
996
- log.info('Esta é uma mensagem informativa')
997
- log.add('Esta mensagem não será exibida agora, mas acumulada no buffer# ')
998
- log.aviso('Esta é uma mensagem de aviso')
999
- log.erro('Esta é uma mensagem de erro')
1000
- log.erro('Esta é uma mensagem erro muito comprida e será limitada a 40 caracteres, o restante será cortado e ingorado ao ser manipulado', 40)
1001
- log.critico('Esta é uma mensagem crítica')
1002
-
1003
- # Exemplo de função que gera uma exceção
1004
- def funcao_com_erro():
1005
- raise ValueError('Este é um erro de exemplo')
1006
-
1007
- # Testando redirecionamento de print e captura de exceção
1008
- print('Mensagem de teste via print')
1009
- try:
1010
- funcao_com_erro()
1011
- except Exception as e:
1012
- print(f'Capturado um erro: {e}')
1013
-
1014
- log.erro('Essa é uma mensagem de erro e abortará a execução do script', exit=1)
1015
-
1016
- log.info('Essa mensagem não será exibida pois o script foi abortado na mensagem anterior')
1017
-
1018
- # obtem os registros de log da última hora (comportamento padrão)
1019
- filtra_log = log.search()
1020
-
1021
- # obtem os registros das últimas 6 horas
1022
- ultimas_6h = datetime.datetime.now() - datetime.timedelta(hours=6) ## carimbo de tempo de 6 horas atrás !!! requer>> import datetime
1023
- filtra_log = log.search(None, ultimas_6h) # None no 1º parametro impõe o log do arquivo corrente como padrão (definido em 'LogFile' e apontado no instanciamento da classe)
1024
-
1025
- # obtem os registros do dia 14/01/2020 até 3h atrás
1026
- ultimas_3h = datetime.datetime.now() - datetime.timedelta(hours=3) ## carimbo de tempo de 6 horas atrás !!! requer>> import datetime
1027
- filtra_log = log.search(None, '14/01/2020 00:00', ultimas_3h) #
1028
-
1029
- # obtem os registros do horário comercial do dia 23/12/2023 do arquivo salvo em C:\temp\outro_arquivo.log
1030
- Outro_Log = Path(r'c:\temp\outro_arquivo.log')
1031
- filtra_log = log.search(Outro_Log, '23/12/2023 08:00', '23/12/2023 18:00') #
1032
-
1033
- # salva conteúdo filtrado em um arquivo:
1034
- filtrado = 'filtered_log.txt'
1035
- with open(filtado, 'w', encoding='ISO-8859-1') as output_file: # indique o enconding conforme salvo (UTF-8 ou ISO-8859-1)
1036
- output_file.writelines(filta_log)
1037
-
1038
- # mostra o conteúdo filtrado na tela
1039
- print(''.join(filtra_log))
1040
-
1041
- # mostra o conteúdo filtrado na tela, listando apenas as os registros do nível "DEBUG"
1042
- for line in filtered_lines:
1043
- if "DEBUG" in line:
1044
- print(line, end='')
1045
- ```
1046
- """
1047
- class LevelFilter(logging.Filter):
1048
- def __init__(self, levels_to_ignore):
1049
- self.levels_to_ignore = levels_to_ignore
1050
- #
1051
- #
1052
- def filter(self, record):
1053
- return record.levelno not in self.levels_to_ignore
1054
- #
1055
- #
1056
- def __init__(self, log_file_path=None, log_level=logging.DEBUG, formato_log='%(asctime)s - %(levelname)s - %(message)s', modulo=None, ignore_console=None, ignore_file=None):
1057
- self.ignore_file = [] if ignore_file is None else ignore_file
1058
- self.ignore_console = [] if ignore_console is None else ignore_console
1059
- self.modulo = __name__ if modulo is None else modulo
1060
- self.logger = logging.getLogger(self.modulo)
1061
- self.logger.setLevel(log_level)
1062
- self.msg = ''
1063
- self.log_file_path = log_file_path
1064
-
1065
- if log_file_path:
1066
- # Criando um handler para escrever em um arquivo de log
1067
- file_handler = logging.FileHandler(self.log_file_path)
1068
- file_handler.setLevel(log_level) # Sempre registrar tudo no arquivo
1069
-
1070
- # Criando um handler para exibir no console
1071
- console_handler = logging.StreamHandler()
1072
- console_handler.setLevel(log_level) # Registrar DEBUG e acima no console
1073
-
1074
- # Adicionando filtro para ignorar certos níveis no console e no arquivo
1075
- file_handler.addFilter(self.LevelFilter(self.ignore_file))
1076
- console_handler.addFilter(self.LevelFilter(self.ignore_console))
1077
-
1078
- # Definindo o formato das mensagens de log
1079
- formatter = logging.Formatter(formato_log)
1080
- file_handler.setFormatter(formatter)
1081
- console_handler.setFormatter(formatter)
1082
-
1083
- # Adicionando os handlers ao logger
1084
- self.logger.addHandler(file_handler)
1085
- self.logger.addHandler(console_handler)
1086
- else:
1087
- # Tudo direcionado para o console
1088
- console_handler = logging.StreamHandler()
1089
- console_handler.setLevel(log_level) # Registrar no console
1090
-
1091
- # Adicionando filtro para ignorar certos níveis no console e no arquivo
1092
- console_handler.addFilter(self.LevelFilter(self.ignore_console))
1093
-
1094
- # Definindo o formato das mensagens de log
1095
- formatter = logging.Formatter(formato_log)
1096
- console_handler.setFormatter(formatter)
1097
-
1098
- # Adicionando o handler ao logger
1099
- self.logger.addHandler(console_handler)
1100
-
1101
- # Redirecionando exceções para o logger
1102
- sys.excepthook = self.handle_exception
1103
-
1104
- # Redirecionando saída padrão
1105
- self.original_stdout = sys.stdout
1106
- sys.stdout = self
1107
- #
1108
- #
1109
- def handle_exception(self, exc_type, exc_value, exc_traceback):
1110
- if issubclass(exc_type, KeyboardInterrupt):
1111
- sys.__excepthook__(exc_type, exc_value, exc_traceback)
1112
- return
1113
- self.logger.error("Exceção não prevista", exc_info=(exc_type, exc_value, exc_traceback))
1114
- #
1115
- #
1116
- def print(self, *args, **kwargs):
1117
- # Imprime diretamente na saída padrão
1118
- print(*args, **kwargs, file=self.original_stdout)
1119
- #
1120
- #
1121
- def add(self, message, corte=None):
1122
- message = message[:corte] if corte else message
1123
- self.msg = self.msg + message if not message is None else self.msg
1124
- #
1125
- #
1126
- def write(self, message):
1127
- if message.strip(): # Ignorar mensagens vazias
1128
- self.logger.info(message.strip())
1129
- #
1130
- #
1131
- def flush(self):
1132
- pass # Método necessário para compatibilidade com sys.stdout
1133
- #
1134
- #
1135
- def debug(self, message, corte=None, exit=None):
1136
- self.msg = self.msg + message if not message is None else self.msg
1137
- msg = self.msg[:corte] if corte else self.msg
1138
- self.logger.debug(msg)
1139
- self.msg = ''
1140
- if exit:
1141
- os._exit(exit)
1142
- #
1143
- #
1144
- def info(self, message, corte=None, exit=None):
1145
- self.msg = self.msg + message if not message is None else self.msg
1146
- msg = self.msg[:corte] if corte else self.msg
1147
- self.logger.info(msg)
1148
- self.msg = ''
1149
- if exit:
1150
- os._exit(exit)
1151
- #
1152
- #
1153
- def aviso(self, message, corte=None, exit=None):
1154
- self.msg = self.msg + message if not message is None else self.msg
1155
- msg = self.msg[:corte] if corte else self.msg
1156
- self.logger.warning(msg)
1157
- self.msg = ''
1158
- if exit:
1159
- os._exit(exit)
1160
- #
1161
- #
1162
- def erro(self, message, corte=None, exit=None):
1163
- self.msg = self.msg + message if not message is None else self.msg
1164
- msg = self.msg[:corte] if corte else self.msg
1165
- self.logger.error(msg)
1166
- self.msg = ''
1167
- if exit:
1168
- os._exit(exit)
1169
- #
1170
- #
1171
- def critico(self, message, corte=None, exit=None):
1172
- self.msg = self.msg + message if not message is None else self.msg
1173
- msg = self.msg[:corte] if corte else self.msg
1174
- self.logger.critical(msg)
1175
- self.msg = ''
1176
- if exit:
1177
- os._exit(exit)
1178
- #
1179
- #
1180
- def stop_logging(self):
1181
- # Restaurar o stdout original
1182
- sys.stdout = self.original_stdout
1183
- # Remover handlers do logger
1184
- handlers = self.logger.handlers[:]
1185
- for handler in handlers:
1186
- handler.close()
1187
- self.logger.removeHandler(handler)
1188
- #
1189
- #
1190
- def filtra(self, log_file, dh_ini, dh_fim):
1191
- # Validar parametros de entrada
1192
- if dh_ini:
1193
- if not isinstance(dh_ini, datetime.datetime):
1194
- if not re.fullmatch(r'([0-3][0-9]/[0-1][0-2]/[1-2][0-9]{3} [0-2][0-9]\:[0-6][0-9])(\:[0-6][0-9]){0,1}', dh_ini):
1195
- self.logger.error(f'Data/Hora início {dh_ini} em formato inválido. Informe um objeto do tipo "datetime" ou uma string no formato "dd/mm/aaaa hh:mm:[ss]"')
1196
- return None
1197
- elif len(dh_ini) == 16: # Formato 'dd/mm/yyyy hh:mm'
1198
- dh_ini += ":00"
1199
- try:
1200
- self.inicio = datetime.datetime.strptime(dh_ini, '%d/%m/%Y %H:%M:%S')
1201
- except:
1202
- self.logger.error(f'Data/Hora início {dh_ini} em formato inválido. Informe um objeto do tipo "datetime" ou uma string no formato "dd/mm/aaaa hh:mm:[ss]"')
1203
- return None
1204
- else:
1205
- self.inicio = dh_ini
1206
- else:
1207
- self.inicio = datetime.datetime.now() - datetime.timedelta(hours=1) ## assume a última hora como intervalo, se omisso
1208
-
1209
- if dh_fim:
1210
- if not isinstance(dh_fim, datetime.datetime):
1211
- if not re.fullmatch(r'([0-3][0-9]/[0-1][0-2]/[1-2][0-9]{3} [0-2][0-9]\:[0-6][0-9])(\:[0-6][0-9]){0,1}', dh_ini):
1212
- self.logger.error(f'Data/Hora fim {dh_fim} em formato inválido. Informe um objeto do tipo "datetime" ou uma string no formato "dd/mm/aaaa hh:mm:[ss]"')
1213
- return None
1214
- elif len(dh_fim) == 16: # Formato 'dd/mm/yyyy hh:mm'
1215
- dh_fim += ":00"
1216
- try:
1217
- self.fim = datetime.datetime.strptime(dh_fim, '%d/%m/%Y %H:%M:%S')
1218
- except:
1219
- self.logger.error(f'Data/Hora fim {dh_fim} em formato inválido. Informe um objeto do tipo "datetime" ou uma string no formato "dd/mm/aaaa hh:mm:[ss]"')
1220
- return None
1221
- else:
1222
- self.fim = dh_fim
1223
- else:
1224
- self.fim = datetime.datetime.now() ## assume a última hora como intervalo, se omisso
1225
-
1226
- if not log_file and not self.log_file_path:
1227
- self.logger.critical('Nenhum arquivo de log disponível. Log desta instância configurado apenas para exibição em tela, sem registro em arquivo')
1228
- return None
1229
- elif not log_file and self.log_file_path:
1230
- log_file_path = self.log_file_path
1231
- elif log_file:
1232
- if Path(log_file).is_file():
1233
- log_file_path = log_file
1234
- else:
1235
- self.logger.critical(f'Arquivo de log {log_file} não existe!')
1236
- return None
1237
- else:
1238
- self.logger.critical('Erro validação arquivo de entrada. Abortando!')
1239
- return None
1240
-
1241
- # Função para verificar se a linha está dentro do intervalo de tempo
1242
- def is_within_time_range(timestamp, dh_inicio, dh_fim):
1243
- return dh_inicio <= timestamp <= dh_fim
1244
-
1245
- # Ler e filtrar o arquivo de log com a codificação ISO-8859-1
1246
- with open(log_file_path, 'r', encoding='ISO-8859-1') as log_file:
1247
- log_lines = log_file.readlines()
1248
-
1249
- # Variável para armazenar o último timestamp válido
1250
- last_valid_timestamp = None
1251
- filtered_lines = []
1252
-
1253
- for line in log_lines:
1254
- try:
1255
- # Extraia a data e a hora da linha
1256
- timestamp_str = line.split()[0] + " " + line.split()[1]
1257
- timestamp = datetime.datetime.strptime(timestamp_str, '%Y-%m-%d %H:%M:%S,%f')
1258
- last_valid_timestamp = timestamp
1259
- if is_within_time_range(timestamp, self.inicio, self.fim):
1260
- filtered_lines.append(line)
1261
- except Exception as e:
1262
- # Caso a linha não tenha um carimbo de tempo, use o último timestamp válido
1263
- if last_valid_timestamp and is_within_time_range(last_valid_timestamp, self.inicio, self.fim):
1264
- filtered_lines.append(line)
1265
-
1266
- # Retornar o objeto contendo as linhas filtradas
1267
- return filtered_lines
1268
- #
1269
- #
1270
- class misc: # Classe de miscelâneas
1271
- """
1272
- #### Classe **misc**
1273
-
1274
- Classe que reune pequenas funções uteis para agilizar tarefas comuns.
1275
-
1276
- Sintaxe e exemplos de uso. Parametros omissos assume os valores padrão indicados abaixo:
1277
-
1278
- - `Arquivo = seleciona_arquivo(DirBase, TiposArquivo=[('Todos os arquivos', '*.*')], Titulo='Selecionar arquivo')`
1279
- - `Diretório = seleciona_dir(DirBase=Path(r'./'), Titulo='Selecionar diretório'):`
1280
- - `NomeLimpo = normaliza('String # SEM Noção!') #>>> string_sem_nocao`
1281
- - `cmd_window = get_cmd_window()`
1282
- - `maximize_console()`
1283
- """
1284
- def __init__(self):
1285
- pass
1286
- #
1287
- #
1288
- def seleciona_arquivo(DirBase, TiposArquivo=[('Todos os arquivos', '*.*')], Titulo='Selecionar arquivo'): # Picker para selecionar arquivo
1289
- root = tk.Tk()
1290
- root.withdraw() # Esconde a janela principal do Tkinter
1291
- Arquivo = filedialog.askopenfilename(initialdir=DirBase, filetypes=TiposArquivo, title=Titulo)
1292
- Arquivo = Path(Arquivo)
1293
- root.destroy()
1294
- return Arquivo
1295
- #
1296
- #
1297
- def seleciona_dir(DirBase=Path(r'./'), Titulo='Selecionar diretório'): # Picker para selecionar diretório
1298
- root = tk.Tk() # objeto picker (Tkinter)para selecionar arquivos e diretórios
1299
- root.withdraw() # Esconde a janela principal do Tkinter
1300
- Diretorio = filedialog.askdirectory(initialdir=DirBase, title=Titulo)
1301
- Diretorio = Path(Diretorio)
1302
- root.destroy()
1303
- return Diretorio
1304
- #
1305
- #
1306
- def normaliza(Original): # Limpa e padroniza nomes
1307
- Lixo = r'/\\?%§ªº°`´^~*:|"<>!@#$%¨&*()_+=-[]{}"\' '
1308
- Normalizar = normalize('NFKD', Original).encode('ASCII', 'ignore').decode('ASCII')
1309
- RemoverLixo = [c if c not in Lixo else '_' for c in Normalizar]
1310
- Limpo = "".join(RemoverLixo)
1311
- Limpo = re.sub(r'\.(?=.*\.)', '_', Limpo) # troca todos os pontos por underline
1312
- Limpo = re.sub(r'_+', '_', Limpo) # limpa as reptições do underline
1313
- return Limpo.lower()
1314
- #
1315
- #
1316
- def get_cmd_window(): # Captura a referencia da janela atual para retornar o foco à ela depois de chamar os pickers
1317
- pid = os.getpid()
1318
- windows = gw.getWindowsWithTitle("")
1319
- for window in windows:
1320
- if window.title and window.visible and window.topleft:
1321
- return window
1322
- return None
1323
- #
1324
- #
1325
- def maximize_console(): # Ajustar o buffer de console
1326
- # os.system('mode con: cols=500 lines=100')
1327
- # Obter o handle da janela do console
1328
- kernel32 = ctypes.WinDLL('kernel32')
1329
- user32 = ctypes.WinDLL('user32')
1330
- hWnd = kernel32.GetConsoleWindow()
1331
- if hWnd:
1332
- # Definir as dimensões da tela
1333
- user32.ShowWindow(hWnd, 3) # 3 = SW_MAXIMIZE
1334
- #
1335
- #
1336
- class ConfigManager: # Inicializa e recupera variáveis em ambiente de intercâmbio entre classes
1337
- """
1338
- Como Funciona
1339
- Singleton Pattern: ConfigManager é um singleton que garante que todas as partes do código usem a mesma instância e, portanto, compartilhem a mesma configuração.
1340
- Inicialização com Argumentos Dinâmicos: O método initialize usa **kwargs para aceitar qualquer número de pares chave-valor, armazenando-os no dicionário _config da instância.
1341
- Método Genérico get: O método get aceita uma chave como argumento e retorna o valor correspondente do dicionário _config.
1342
- Método set: O método set permite adicionar ou atualizar dinamicamente valores no dicionário _config.
1343
- Método reset: O método reset limpa todas as configurações armazenadas, permitindo uma nova inicialização do ConfigManager com novos valores
1344
- """
1345
- _instance = None
1346
- def __new__(cls):
1347
- if cls._instance is None:
1348
- cls._instance = super(ConfigManager, cls).__new__(cls)
1349
- cls._instance._config = {}
1350
- return cls._instance
1351
- #
1352
- #
1353
- @classmethod
1354
- def initialize(cls, **kwargs):
1355
- instance = cls()
1356
- for key, value in kwargs.items():
1357
- instance._config[key] = value
1358
- #
1359
- #
1360
- @classmethod
1361
- def get(cls, key):
1362
- return cls._instance._config.get(key)
1363
- #
1364
- #
1365
- @classmethod
1366
- def set(cls, key, value):
1367
- cls._instance._config[key] = value
1368
- #
1369
- #
1370
- @classmethod
1371
- def reset(cls):
1372
- cls._instance._config = {}
1373
- #
1374
- #
1375
- #
1376
- #
1377
- class Servicer(): # Cria um daemon para rodar como serviço
1378
- """
1379
- Classe base que implementa as rotinas padrão para a criação dameons/serviços do windows.
1380
- Além de iniciar e interromper o daemon/serviço, a classe implementar os métodos daemon_logs() e cleanup(), dependencias de run() e stop() que criam um arquivo de log do serviço/daemon (não do script em si) e um arquivo PID para o monitor de serviços.
1381
- Os métodos padrão são init(), run() e stop() e não devem ser redefinidos/sobrecarregados.
1382
- Para ser funcional, é necessária a criação de uma classe local que herde essa classe e redefina (por sobrecarga) ao menos os métodos on_run, on_start e args_parser(). on_init é opcional.
1383
- Outros métodos complementares são oferidos para init, run e stop, permitindo injetar código no ínicio (pre) e fim (pós) os respectivos métodos (on_init_pre(), on_init_pos(), on_run_pre(), on_run_pos(), on_stop_pre(), on_stop_pos())
1384
- """
1385
- def __init__(self, Log=None, piddir=None):#TODO: ao criar uma classe padrão usar args/kwargs para lidar como parametros variáveis no instanciamento
1386
- # PRE-REQUISITOS/DEPENDÊNCIAS:
1387
- self.log = ConfigManager.get('log')
1388
- self.kwargs = ConfigManager.get('argparse_cfg')
1389
- self.kwopts = ConfigManager.get('argparse_opt')
1390
- self.ambiente = ConfigManager.get('ambiente')
1391
- if self.log is None or not isinstance(self.log, lbx_logger):
1392
- raise ValueError(f'Argumento "log" é mandatório e deve ser uma instância de "lbxtoolkit.lbx_logger"')
1393
- if self.kwargs is None:
1394
- raise ValueError(f'Argumento "argparse_cfg" é mandatório e deve ser um dicionário com ao mínimo as chaves: [description, usage, usage, add_help, formatter_class] para configuração do módulo argpase')
1395
- if self.kwopts is None:
1396
- raise ValueError(f'Argumento "argparse_opt" é mandatório e deve ser uma lista de dicionários ao mínimo as chaves: [short, long, action, help] para tratamento dos argumentos recebidos da linha de comando')
1397
- if self.ambiente is None or self.ambiente not in ['Linux', 'Windows', 'Serviço']:
1398
- raise ValueError(f'Argumento "ambiente" é mandatório e deve ser uma string com um dos seguintes valores: [Linux, Windows, Serviço]')
1399
-
1400
- self.on_init_pre() ## método opcional a ser definito por sobrecarga na função local
1401
-
1402
- # Argumentos padrão obrigatórios
1403
- self.LogFile = Path('.',os.path.splitext(os.path.basename(__file__))[0] + '.daemon') if not Log else Log
1404
- self.OS = platform.system()
1405
- self.PID = os.getppid()
1406
- self.IP = socket.gethostbyname(socket.gethostname())
1407
- self.Host = socket.gethostname()
1408
- self.Usuario = os.getlogin() if self.OS == 'Windows' else os.path.expanduser('~').split(r'/')[1]
1409
- self.Me = os.path.abspath(__file__)
1410
- self.PIDDir = Path('.') if not piddir else piddir
1411
- self.PIDFile = Path(self.PIDDir,str(self.PID))
1412
- self.exit = False
1413
- self.mode = '[DAEMON (console)]'
1414
-
1415
- self.on_init() ## método opcional a ser definito por sobrecarga na função local
1416
-
1417
- self.on_init_pos() ## método opcional a ser definito por sobrecarga na função local
1418
- #
1419
- #
1420
- def main(self):
1421
- #kwargs = ConfigManager.get('argparse_cfg')
1422
- #kwopts = ConfigManager.get('argparse_opt')
1423
- #ambiente = ConfigManager.get('ambiente')
1424
- if len(sys.argv) == 1 and self.ambiente == 'Serviço': ## VEM DAQUI https://gist.github.com/drmalex07/10554232?permalink_comment_id=2555358#gistcomment-2555358
1425
- servicemanager.Initialize()
1426
- servicemanager.PrepareToHostSingle(ServicoWindows)
1427
- servicemanager.StartServiceCtrlDispatcher()
1428
- elif len(sys.argv) > 1 and sys.argv[1] == 'install':
1429
- ServicoWindows.SvcInstall()
1430
- elif len(sys.argv) > 1 and sys.argv[1] == 'remove':
1431
- ServicoWindows.SvcRemove()
1432
- else:
1433
- if len(sys.argv) > 1 and sys.argv[1] in ['start', 'stop', 'restart', 'debug']:
1434
- win32serviceutil.HandleCommandLine(ServicoWindows)
1435
- else:
1436
- self.parser = argparse.ArgumentParser(**self.kwargs)
1437
- for opt in self.kwopts:
1438
- self.parser.add_argument(opt['short'], opt['long'], action=opt['action'], help=opt['help'])
1439
- self.args = self.parser.parse_args()
1440
-
1441
- self.args_paser() ## tratamento dos arguemntos deve ser redefindo por sobrecarga no na função local
1442
- #
1443
- #
1444
- def run(self):
1445
- """Inicia a execução do do serviço"""
1446
-
1447
- self.on_run_pre() ## método opcional a ser definito por sobrecarga na função local
1448
-
1449
- self.daemon_log('START')
1450
- ## Gera o PIDFile
1451
- self.log.add(f'Iniciando daemon [PID: {self.PID}] para monitorar os processos que rodam como serviço/daemon monitorados em: {self.PIDDir}... ')
1452
- try:
1453
- with open(self.PIDFile, 'w', encoding='utf-8') as f:
1454
- f.write(self.Me + ';' + str(self.LogFile))
1455
- except Exception as Err:
1456
- self.stop('CRASH')
1457
- self.log.erro(f'Erro [{Err}] ao salvar PIDFile: {self.PIDFile}')
1458
- self.log.info(f'Ok!') ## trocar para debug em prd ??
1459
-
1460
- self.on_run() # função principal para interreper o daemon/serviço, definir localmente por sobrecarga (criar classe que herde essa classe e defina essa função)
1461
-
1462
- self.on_run_pos() ## método opcional a ser definito por sobrecarga na função local
1463
- #
1464
- #
1465
- def stop(self, evento='STOP'):
1466
- """Interrompe o daemon/serviço"""
1467
-
1468
- self.on_stop_pre() ## método opcional a ser definito por sobrecarga na função local
1469
-
1470
- self.daemon_log(evento)
1471
- self.on_stop() # função principal para interreper o daemon/serviço, definir localmente por sobrecarga (criar classe que herde essa classe e defina essa função)
1472
- self.cleanup()
1473
- self.exit=True
1474
-
1475
- self.on_stop_pos() ## método opcional a ser definito por sobrecarga na função local
1476
- #
1477
- #
1478
- def cleanup(self): ## Elimina o arquivo PID do processo se estiver rodando como daemon
1479
- """Método auxiliar utilizado no stop() para limpar o o PID file na interrupção"""
1480
-
1481
- self.on_cleanup_pre() ## método opcional a ser definito por sobrecarga na função local
1482
-
1483
- if self.PIDFile: ## verifica se está rodando como daemon
1484
- if Path(self.PIDFile).exists():
1485
- Path(self.PIDFile).unlink() ##exclui o pidfile do daemon se o arquivo existir
1486
- self.PIDFile = None
1487
-
1488
- self.on_cleanup_pos() ## método opcional a ser definito por sobrecarga na função local
1489
- #
1490
- #
1491
- def daemon_log(self, evento=None): ## Gerar log de início/interrupção do serviço
1492
- """Método auxiliar utilizado alimentar log do histórico de inicialização/interrupção do serviço/daemon"""
1493
-
1494
- evento = 'CHECK' if not evento else evento
1495
- evento = evento.upper()
1496
- TimeStamp = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')
1497
- Message = f'{TimeStamp} - {evento} - {self.OS} - {self.Host}/{self.IP} - PID: {self.PID} - {self.Usuario} - {self.Me}'
1498
- try:
1499
- with open(self.LogFile, 'a') as file:
1500
- file.write(Message + '\n')
1501
- except Exception as Err:
1502
- self.log.erro(f'Erro [{Err}] ao gravar status do daemon em {self.LogFile}')
1503
- #
1504
- #
1505
- def on_init_pre(self):
1506
- pass
1507
- def on_init_pos(self):
1508
- pass
1509
- def on_init(self):
1510
- pass
1511
- def on_cleanup_pre(self):
1512
- pass
1513
- def on_cleanup_pos(self):
1514
- pass
1515
- def on_cleanup(self):
1516
- pass
1517
- def on_run_pre(self):
1518
- pass
1519
- def on_run_pos(self):
1520
- pass
1521
- def on_run(self):
1522
- pass
1523
- def on_stop_pre(self):
1524
- pass
1525
- def on_stop_pos(self):
1526
- pass
1527
- def on_stop(self):
1528
- pass
1529
- def args_paser(self):
1530
- pass
1531
- #
1532
- #
1533
- class ServicoWindows(win32serviceutil.ServiceFramework): # Gerencia a execução/instalação como serviço do windows
1534
- _svc_name_ = None
1535
- _svc_display_name_ = None
1536
- _svc_description_ = None
1537
- def __init__(self, args):
1538
- self.log = ConfigManager.get('log')
1539
- self.daemon = ConfigManager.get('daemon')
1540
- self.config = ConfigManager.get('config')
1541
-
1542
- if self.log is None or not isinstance(self.log, lbx_logger):
1543
- raise ValueError(f'Argumento "log" é mandatório e deve ser uma instância de "lbxtoolkit.lbx_logger"')
1544
- elif self.daemon is None or not hasattr(self.daemon, 'run') or not hasattr(self.daemon, 'stop'):
1545
- raise ValueError(f'Argumento "daemon" é mandatório e deve possuir os métodos run() e stop()')
1546
- elif self.config is None or not 'name' in self.config or not 'display_name' in self.config or not 'description' in self.config:
1547
- raise ValueError(f'Argumento "config" é mandatório e deve ser um dicionário contendo as chaves/valores para "name", "display_name" e "description"')
1548
- elif [chave for chave in self.config if self.config[chave] is None]:
1549
- raise ValueError(f'Argumento "config" ({self.config}) possui as seguintes chaves com valores inválidos [None]: {[chave for chave in self.config if self.config[chave] is None]:}')
1550
-
1551
- self._svc_name_ = self.config['name']
1552
- self._svc_display_name_ = self.config['display_name']
1553
- self._svc_description_ = self.config['description']
1554
- #super().__init__(args)
1555
-
1556
- win32serviceutil.ServiceFramework.__init__(self, args)
1557
- self.hWaitStop = win32event.CreateEvent(None, 0, 0, None)
1558
- socket.setdefaulttimeout(5)
1559
- self.stop_requested = False
1560
- self.isAlive = True
1561
- #
1562
- #
1563
- @staticmethod
1564
- def SvcInstall(): # Instala o script como um serviço do windows
1565
- ## use @staticmethod quando precisar referenciar o método sem instanciar a classe e não precisar de acesso a instâncias ou à própria classe
1566
- ## se precisar acessar métodos ou atributos da classe e não da instância, use @classmethod, mas isso implcia em passar (cls) e não (self) na definição método
1567
- try:
1568
-
1569
- log = ConfigManager.get('log')
1570
- daemon = ConfigManager.get('daemon')
1571
- config = ConfigManager.get('config')
1572
- service_path = ConfigManager.get('service_path') if ConfigManager.get('service_path') else os.path.abspath(sys.argv[0])
1573
-
1574
- if log is None or not isinstance(log, lbx_logger):
1575
- raise ValueError(f'Argumento "log" é mandatório e deve ser uma instância de "lbxtoolkit.lbx_logger"')
1576
- elif daemon is None or not hasattr(daemon, 'run') or not hasattr(daemon, 'stop'):
1577
- raise ValueError(f'Argumento "daemon" é mandatório e deve possuir os métodos run() e stop()')
1578
- elif config is None or not 'name' in config or not 'display_name' in config or not 'description' in config:
1579
- raise ValueError(f'Argumento "config" é mandatório e deve ser um dicionário contendo as chaves/valores para "name", "display_name" e "description"')
1580
- elif [chave for chave in config if config[chave] is None]:
1581
- raise ValueError(f'Argumento "config" ({config}) possui as seguintes chaves com valores inválidos [None]: {[chave for chave in config if config[chave] is None]:}')
1582
-
1583
- _svc_name_ = config['name']
1584
- _svc_display_name_ = config['display_name']
1585
- _svc_description_ = config['description']
1586
-
1587
- IP = socket.gethostbyname(socket.gethostname())
1588
- Host = socket.gethostname()
1589
- OS = platform.system()
1590
- Usuario = os.getlogin() if OS == 'Windows' else os.path.expanduser('~').split(r'/')[1]
1591
- # Delete the service
1592
- query = subprocess.run(["sc", "query", _svc_name_], capture_output=True, text=True)
1593
- if _svc_name_ in query.stdout:
1594
- if 'RUNNING' in query.stdout:
1595
- log.add(f'Parando serviço [{_svc_display_name_} ({_svc_name_})] em {IP}/{Host}({Usuario})...\n')
1596
- try:
1597
- stop = subprocess.run(["sc", "stop", _svc_name_], capture_output=True)
1598
- saida = stop.stdout.decode('cp850').strip()
1599
- sleep(5)
1600
- log.info(f': {saida}')
1601
- except Exception as Err:
1602
- log.erro(f'Erro ao parar serviço: {saida}')
1603
- delete = subprocess.run(["sc", "delete", _svc_name_], capture_output=True)
1604
- saida = delete.stdout.decode('cp850').strip()
1605
- if delete:
1606
- log.info(f'Excluindo serviço pre-existente [{_svc_display_name_} ({_svc_name_})] em {IP}/{Host}({Usuario}): {saida}')
1607
- # Create the service
1608
- python_path = Path(os.path.join(os.getenv('VIRTUAL_ENV'), 'Scripts', 'python.exe'))
1609
- install = subprocess.run(
1610
- [
1611
- 'sc',
1612
- 'create',
1613
- _svc_name_,
1614
- 'binPath=',
1615
- f'{python_path} {service_path}',
1616
- 'DisplayName=',
1617
- _svc_display_name_,
1618
- 'start=delayed-auto',
1619
- ]
1620
- , capture_output=True)
1621
- saida = install.stdout.decode('cp850').strip()
1622
- log.info(f'Criando novo serviço [{_svc_display_name_} ({_svc_name_})] em {IP}/{Host}({Usuario}): {saida}')
1623
- # Set the service description
1624
- descricao = subprocess.run(
1625
- [
1626
- 'sc',
1627
- 'description',
1628
- _svc_name_,
1629
- _svc_description_,
1630
- ]
1631
- , capture_output=True)
1632
- saida = descricao.stdout.decode('cp850').strip()
1633
- log.info(f'Ajustando descrição do novo serviço [{_svc_display_name_} ({_svc_name_})]: {saida}')
1634
- except Exception as Err:
1635
- log.erro(f'Falha ao tentar criar o serviço [{_svc_display_name_} ({_svc_name_})]')
1636
- raise
1637
- #
1638
- #
1639
- @staticmethod
1640
- def SvcRemove(): # Remove o serviço do windows
1641
- ## use @staticmethod quando precisar referenciar o método sem instanciar a classe e não precisar de acesso a instâncias ou à própria classe
1642
- ## se precisar acessar métodos ou atributos da classe e não da instância, use @classmethod, mas isso implcia em passar (cls) e não (self) na definição método
1643
- try:
1644
-
1645
- log = ConfigManager.get('log')
1646
- daemon = ConfigManager.get('daemon')
1647
- config = ConfigManager.get('config')
1648
-
1649
- if log is None or not isinstance(log, lbx_logger):
1650
- raise ValueError(f'Argumento "log" é mandatório e deve ser uma instância de "lbxtoolkit.lbx_logger"')
1651
- elif daemon is None or not hasattr(daemon, 'run') or not hasattr(daemon, 'stop'):
1652
- raise ValueError(f'Argumento "daemon" é mandatório e deve possuir os métodos run() e stop()')
1653
- elif config is None or not 'name' in config or not 'display_name' in config or not 'description' in config:
1654
- raise ValueError(f'Argumento "config" é mandatório e deve ser um dicionário contendo as chaves/valores para "name", "display_name" e "description"')
1655
- elif [chave for chave in config if config[chave] is None]:
1656
- raise ValueError(f'Argumento "config" ({config}) possui as seguintes chaves com valores inválidos [None]: {[chave for chave in config if config[chave] is None]:}')
1657
-
1658
- _svc_name_ = config['name']
1659
- _svc_display_name_ = config['display_name']
1660
-
1661
- IP = socket.gethostbyname(socket.gethostname())
1662
- Host = socket.gethostname()
1663
- OS = platform.system()
1664
- Usuario = os.getlogin() if OS == 'Windows' else os.path.expanduser('~').split(r'/')[1]
1665
- # Delete the service
1666
- query = subprocess.run(["sc", "query", _svc_name_], capture_output=True, text=True)
1667
- if _svc_name_ in query.stdout:
1668
- if 'RUNNING' in query.stdout:
1669
- log.add(f'Parando serviço [{_svc_display_name_} ({_svc_name_})] em {IP}/{Host}({Usuario})...\n')
1670
- try:
1671
- stop = subprocess.run(["sc", "stop", _svc_name_], capture_output=True)
1672
- saida = stop.stdout.decode('cp850').strip()
1673
- sleep(5)
1674
- log.info(f': {saida}')
1675
- except Exception as Err:
1676
- log.erro(f'Erro ao parar serviço: {saida}')
1677
- delete = subprocess.run(["sc", "delete", _svc_name_], capture_output=True)
1678
- saida = delete.stdout.decode('cp850').strip()
1679
- if delete:
1680
- log.info(f'Excluindo serviço pre-existente [{_svc_display_name_} ({_svc_name_})] em {IP}/{Host}({Usuario}): {saida}')
1681
- except Exception as Err:
1682
- log.erro(f'Falha ao tentar excluir o serviço [{_svc_display_name_} ({_svc_name_})]')
1683
- raise
1684
- #
1685
- #
1686
- def SvcStop(self): # Para a execução do serviço
1687
- self.ReportServiceStatus(win32service.SERVICE_STOP_PENDING)
1688
- win32event.SetEvent(self.hWaitStop)
1689
- self.stop_requested = True
1690
- self.isAlive = False
1691
- self.daemon.stop('STOP')
1692
- self.ReportServiceStatus(win32service.SERVICE_STOPPED)
1693
- #
1694
- #
1695
- def SvcDoRun(self): # Inicia o serviço
1696
- #self.ReportServiceStatus(win32service.SERVICE_START_PENDING)
1697
- self.ReportServiceStatus(win32service.SERVICE_RUNNING)
1698
- self.daemon.mode='[SERVIÇO (windows)]'
1699
- self.RunAsDaemon()
1700
- servicemanager.LogMsg(servicemanager.EVENTLOG_INFORMATION_TYPE,
1701
- servicemanager.PYS_SERVICE_STARTED, (self._svc_name_, ''))
1702
- #
1703
- #
1704
- @staticmethod
1705
- def RunAsDaemon(): # Executa o script como um daemon
1706
- ## use @staticmethod quando precisar referenciar o método sem instanciar a classe e não precisar de acesso a instâncias ou à própria classe
1707
- ## se precisar acessar métodos ou atributos da classe e não da instância, use @classmethod, mas isso implcia em passar (cls) e não (self) na definição método
1708
-
1709
- log = ConfigManager.get('log')
1710
- daemon = ConfigManager.get('daemon')
1711
- config = ConfigManager.get('config')
1712
-
1713
- if log is None or not isinstance(log, lbx_logger):
1714
- raise ValueError(f'Argumento "log" é mandatório e deve ser uma instância de "lbxtoolkit.lbx_logger"')
1715
- elif daemon is None or not hasattr(daemon, 'run') or not hasattr(daemon, 'stop'):
1716
- raise ValueError(f'Argumento "daemon" é mandatório e deve possuir os métodos run() e stop()')
1717
- elif config is None or not 'name' in config or not 'display_name' in config or not 'description' in config:
1718
- raise ValueError(f'Argumento "config" é mandatório e deve ser um dicionário contendo as chaves/valores para "name", "display_name" e "description"')
1719
- elif [chave for chave in config if config[chave] is None]:
1720
- raise ValueError(f'Argumento "config" ({config}) possui as seguintes chaves com valores inválidos [None]: {[chave for chave in config if config[chave] is None]:}')
1721
-
1722
- PID = daemon.PID if daemon.PID else os.getppid()
1723
- OS = daemon.OS if daemon.OS else platform.system()
1724
- mode = daemon.mode if daemon.mode else '[DAEMON (console)]'
1725
- IP = daemon.IP if daemon.IP else socket.gethostbyname(socket.gethostname())
1726
- Host = daemon.Host if daemon.Host else socket.gethostname()
1727
- Usuario = daemon.Usuario if daemon.Usuario else os.getlogin() if OS == 'Windows' else os.path.expanduser('~').split(r'/')[1]
1728
-
1729
- try:
1730
- Kill = f'taskkil /F /PID {PID}' if OS=='Windows' else f'kill -9 {PID}'
1731
- Stop = f'use Ctrl+C (ou excepcionalmente [{Kill}])' #if mode=='[DAEMON (console)]' else f'PARE o serviço [{config['display_name']} ({config['name']})]'
1732
- log.info(f'Executando como {mode} em {Host}/{IP}({Usuario}). Para encerrar {Stop}...')
1733
- daemon.run()
1734
- except KeyboardInterrupt:
1735
- daemon.stop('STOP')
1736
- log.info('Execução encerrada por Ctrl+C! [pego fora do daemon')
1737
- except Exception as Err:
1738
- daemon.stop('CRASH')
1739
- log.erro(f'Interrompido por erro não previsto [pego fora do daemon]: [{Err}]')
1740
- finally:
1741
- log.info('daemon encerrado!')
1742
- #
1743
- #
1
+ """
2
+ # **Biblioteca de ferramentas LBX S/A**
3
+
4
+ Esta biblioteca possui um ferramentas utilitárias de uso recorrente para aplicações de RPA em python.
5
+
6
+ ## **Classe e funções**
7
+
8
+ Usa o Microsoft Entra ID (antiga Azure AD) para evitar execução não autorizada
9
+ auth_EntraID:
10
+ disclaimer : Mensagem sobre a necessidade de autenticação
11
+ valida_grupo : Autentica o usuário e aborta se checa não pertencer ao grupo de segurança
12
+
13
+
14
+ **postgreSQL**
15
+ Interage com o banco de dados PostgreSQL
16
+ - _.db_: Inicia sessão com o banco
17
+ - _.csv_df_: Lê arquivo CSV e gera Dataframe (pandas) a partir dele
18
+ - _.db_insert_df_: Insere informações de Dataframe em tabela do banco com estrutura equivalente
19
+ - _.db_select_: Retorna um cursor a partir de uma query
20
+ - _.db_update_: Executa update em tabelas
21
+
22
+
23
+ **api_rest**
24
+ Interage com APIs RESTfull, especialmente providas para a plataforma Sienge
25
+ - _.auth_base_: Autentica (HTTPBasicAuth) sessão na API
26
+ - _.auth_bearer_: Autentica sessão na API pelos métodos: OAuth, JWT, Bearer
27
+ - _.endpoint_json_: Realizad chama ao endpoint. Payload em formato `json` opcional.
28
+ - _.trata_erro_sienge_: Retorna a mensagem de erro do Sienge caso código de retorno seja diferente de 200.
29
+ - _.close_: Encerra a sessão autenticada
30
+
31
+ **lbx_logger**
32
+ Manipula e formata as mensagens de saída do script para direcioná-las para tela (stdout) e/ou arquivo de log
33
+ - _.add_: Adiciona a mensagem a um _buffer_ sem exibir, acumulando até a próxima chamada em algum dos níveis abaixo.
34
+ - _.print_: Contorna o manipulador de log e imprime diretamente na tela (stdout), sem formatar a mensagem nem registrar no arquivo
35
+ - _.debug, .info, .aviso, .erro, .critico_: Classifica as mensagens por nível de severidade/relevância e rediciona a saída (arquivo, tela, tela+arquivo) conforme a configuração do nível
36
+ - _.stop_logging_: Interrompe a manipulação das saídas pelo logger e restaura as saídas padrão (stdout/stderr) para a tela
37
+ - _.filtra_: Filtra os eventos do arquivo de log registrados em um intervalo de tempo específico
38
+
39
+ **misc**
40
+ Classe de miscelâneas/diversos
41
+ - _.seleciona_arquivo_: Abre um picker do sistema operacionar para selecionar um *arquivo* e retorna seu path
42
+ - _.seleciona_dir_: Abre um picker do sistema operacionar para selecionar um *diretório* e retorna seu path
43
+ - _.normaliza_: Limpa caracteres especiais e espaços de strings e retorna tudo em minúsculo
44
+ - _.get_cmd_window_: Captura a referencia da janela atual (cmd.exe) para retornar o foco à ela depois de chamar os pickers
45
+ - _.maximize_console_: Maxima a janela do console (cmd.exe)
46
+
47
+ ## Instalação e uso:
48
+
49
+ ### Instalação
50
+
51
+ ```
52
+ pip install lbx_toolkit
53
+ ```
54
+
55
+ ### Uso
56
+ ```
57
+ from lbx_toolkit import auth_EntraID, PostgreSQL, api_rest, lbx_logger
58
+ ```
59
+ """
60
+ import locale
61
+ from .lbx_logger import lbx_logger
62
+ from .config_manager import ConfigManager
63
+ from .service_windows import ServicoWindows
64
+ from .service import Servicer
65
+ from .auth_entra_id import auth_EntraID
66
+ from .postgresql import postgreSQL
67
+ from .api_rest import api_rest
68
+ from .misc import misc
69
+
70
+ locale.setlocale(locale.LC_ALL, 'pt_BR.UTF-8')
71
+
72
+ __all__ = [
73
+ "lbx_logger",
74
+ "ConfigManager",
75
+ "ServicoWindows",
76
+ "Servicer",
77
+ "auth_EntraID",
78
+ "postgreSQL",
79
+ "api_rest",
80
+ "misc"
81
+ ]