bcpkgfox 0.16.77__tar.gz → 0.17.1__tar.gz

{bcpkgfox-0.16.77 → bcpkgfox-0.17.1}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: bcpkgfox
-Version: 0.16.77
+Version: 0.17.1
 Summary: Biblioteca BCFOX
 Home-page: https://github.com/robotsbcfox/PacotePythonBCFOX
 Author: Guilherme Neri

bcpkgfox-0.17.1/bcpkgfox/examples copy.py

@@ -0,0 +1,227 @@
+'''
+A grande maioria das classes e funções tem descrição explicando com detalhes o funcionamento e parametros
+Para ver clicar na classe/função e apertar ctrl+K ctrl+I (VSCODE)
+'''
+import neri_library as nr  # Só precisa de um import para
+from neri_library import DK_ORANGE, ORANGE, GR, RD, RESET  # Colors for terminal
+
+# Default
+import time
+import sys
+import os
+
+class Browser():
+    def __init__(self):
+        super().__init__()
+
+        self.arguments = None
+        self.instance = None
+        self.browser = None
+        self.el = None
+
+    @staticmethod
+    def __simple_example():
+        '''
+        Aqui é só um exemplo de como é fácil iniciar um navegador com a lib.
+        Ja vem com configurações para evitar detecção e passar por captchas.
+        '''
+        Browser = nr.Instancedriver().initialize_driver()
+        Browser.get('URL SITE')
+
+
+    def browser_iniciate(self):
+        '''
+        Aqui é um exemplo de driver em produção.
+        '''
+        print(f'{ORANGE} [ Inicializando Browser ] {RESET}')
+
+        # Inicia a instância do Navegador
+        self.instance = nr.Instancedriver(
+            Browser= 'Chrome',
+            # Browser="Firefox",
+            # Browser="edge",
+            # Browser="internet explorer",
+        )
+
+        # Inicia a instancia dos argumentos (opcional, não precisa por nenhum)
+        self.arguments = self.instance.arguments # Instância dos argumentos
+
+        # Fix: Abaixo alguns dos principais exemplos de argumento do selenium (tem todos)
+        # Exemplos de args para desligar indicadores de automação
+        self.arguments.add_experimental_option("excludeSwitches", ["enable-automation"])
+        self.arguments.add_experimental_option("useAutomationExtension", False)
+        self.arguments.add_argument("--disable-blink-features=AutomationControlled")
+        self.arguments.add_argument("--disable-blink-features")
+        self.arguments.add_argument("--disable-infobars")
+        self.arguments.add_argument("--disable-blink-features=AutomationControlled")
+        self.arguments.add_argument("--blink-settings=imagesEnabled=false")
+
+        # Exemplos de args para evitar detecção da automação nos sites e captchas
+        # Fix: Mas ja vem por padrão diversos argumentos tratando isso na função de 'initialize_driver' 
+        self.arguments.add_argument("--disable-background-networking")
+        self.arguments.add_argument("--disable-sync")
+        self.arguments.add_argument("--disable-client-side-phishing-detection")
+        self.arguments.add_argument("--disable-popup-blocking")
+        self.arguments.add_argument("--disable-default-apps")
+        self.arguments.add_argument("--disable-features=IsolateOrigins,site-per-process")
+        self.arguments.add_argument("--disable-features=BlockInsecurePrivateNetworkRequests")
+        self.arguments.add_argument("--ignore-certificate-errors")
+        self.arguments.add_argument("--disable-gpu")
+
+        # Abaixo alguns exemplos para remover os logs do terminal (deixar mais limpo)
+        self.arguments.add_argument("--log-level=3")
+        self.arguments.add_experimental_option("excludeSwitches", ["enable-logging"])
+        self.arguments.add_experimental_option("useAutomationExtension", False)
+
+        # Exemplo de adicionar extensão (pega automático tanto pasta como .crx)
+        # self.instance.add_extensions('your_extension')
+
+        # Inicia o browser (driver)
+        self.browser = self.instance.initialize_driver(maximize=True)
+
+        # Instancia o 'finder', contém todas as funções de busca envolvendo o navegador
+        self.finder = self.instance.elements
+
+class RPA_example(Browser):
+    def __init__(self):
+        super().__init__()
+
+    def open_site(self):
+        self.driver.get('https://github.com/NeriAzv')
+
+        self.cidade = cidade
+        self.pop_up_protection.start()
+
+        # Pesquisa
+        pesquisa = self.find_element_w(By.ID, 'searchGeneral')
+        time.sleep(1)
+        pesquisa.send_keys(cidade)
+
+        # Espera carregamento pesquisa
+        tempo = 0
+        while tempo < 30:
+            resultados = self.find_elements_w(By.XPATH, '//ul[@id="autocompleteSuggestions"]//li')
+
+            if resultados:
+                break
+            else:
+                time.sleep(1)
+                tempo += 1
+
+        # Resutaldos pesquisa
+        elemento_resultados_pesquisa = self.find_element_w(By.ID, 'autocompleteSuggestions')
+        soup = BeautifulSoup(elemento_resultados_pesquisa.get_attribute('outerHTML'), 'html.parser')
+        ul = soup.find('ul', id='autocompleteSuggestions')
+
+        cidades_extraidas = []
+        extrair = False
+        for tag in ul.find_all(recursive=False):
+            if tag.name == 'h6':
+                if 'Cidades' in tag.text:
+                    extrair = True
+                    continue
+                elif extrair:
+                    break
+
+            if extrair and tag.name == 'li':
+                cidades_extraidas.append(tag)
+
+        if not cidades_extraidas:
+            raise Exception(f"{RED} > Cidade {cidade} não presente no site, verifique o nome. {RESET}")
+
+        # Eu poderia ter clicado no ultimo for, mas estou fazendo separado pegar todas as cidades e fazer um LOG mais organizado
+        for cidade_site in cidades_extraidas:
+            cidade_site_formatado = self.remover_acentos(cidade_site.text).lower()
+            cidade_user_formatado = self.remover_acentos(cidade).lower()
+
+            # Retorna em porcentagem quanto similar está com o nome do site (evita erros de usuários)
+            if cidade_site_formatado in cidade_site_formatado:
+
+                self.find_element_w(
+                    By.XPATH,
+                    f'//ul[@id="autocompleteSuggestions"]//li[normalize-space()="{cidade_site.text.strip()}"]'
+                ).click()
+
+                return
+
+        raise Exception(f"{RED} > Cidade {cidade} não presente no site, verifique o nome. {RESET}")
+
+    def extrair_previsao(self) -> dict:
+
+        espera_site = 0
+        while espera_site <= 5:
+
+            try:
+                soup = BeautifulSoup(self.driver.page_source, "html.parser")
+                ul = soup.find("ul", class_="variables-list")
+                resultado_json = {
+                    "cidade": self.cidade,
+                    "temperatura_min": None,
+                    "temperatura_max": None,
+                    "condicao": None,
+                    "umidade_min": None,
+                    "umidade_max": None,
+                    "vento": None,
+                }
+
+                if not ul:
+                    return resultado_json
+
+                for li in ul.find_all("li", class_="item"):
+                    label = li.find("span", class_="variable").get_text(strip=True)
+
+                    if label == "Temperatura":
+                        spans = li.select("span.-gray-light")
+                        min_txt = spans[0].get_text(strip=True)
+                        max_txt = spans[1].get_text(strip=True)
+                        resultado_json["temperatura_min"] = min_txt if min_txt.endswith("°") else min_txt + "°"
+                        resultado_json["temperatura_max"] = max_txt if max_txt.endswith("°") else max_txt + "°"
+
+                    elif label == "Umidade":
+                        spans = li.select("span.-gray-light")
+                        resultado_json["umidade_min"] = spans[0].get_text(strip=True)
+                        resultado_json["umidade_max"] = spans[1].get_text(strip=True)
+
+                    elif label == "Vento":
+                        texto = li.find("div", class_="_flex").get_text(separator=" ", strip=True)
+                        texto_limpo = " ".join(texto.split())
+                        resultado_json["vento"] = texto_limpo.replace("Vento", "", 1).strip()
+
+                    elif label == "Sol":
+                        nasc, _, pst = li.find("span", recursive=False).get_text(strip=True).partition(" ")
+                        resultado_json["condicao"] = f"{nasc} {pst}"
+
+                return resultado_json
+
+            except:
+                time.sleep(1)
+                espera_site +=1
+
+
+
+class Logs:
+    ''' Server somente para impressão de resultados, não afeta o funcionamento do robo '''
+    def imprimir_logs(self, log_resultado: dict):
+        if not log_resultado:
+            return
+
+        print(f"\n{BOLD}{BLUE} {log_resultado.get('cidade', '').title()}:{RESET}")
+
+        # Itera sobre o dict
+        for chave, valor in log_resultado.items():
+            if chave == "cidade":
+                continue
+            print(f" - {BLUE}{chave.capitalize()}:{RESET} {valor}")
+
+def main():
+
+    # Instâncias
+    br = Browser()
+    rpa = RPA_example()
+
+    br.browser_iniciate()
+    rpa.open_site()
+
+if __name__ == "__main__":
+    print(f'{DK_ORANGE} [ Robo Iniciado ] {RESET}')
+    main()

bcpkgfox-0.17.1/bcpkgfox/examples.py

@@ -0,0 +1,153 @@
+
+# FIX: Driver
+# region Driver
+"""
+Example of how easy is start the driver.
+
+It automatically configure the driver with stealth settings to pass over the captchas.
+It also automatically prevents a various bugs like versions incompatibles and others.
+"""
+import neri_library as nr
+
+# To choose the browser just change the name
+driver = nr.Instancedriver(
+    Browser="chrome"
+    # Browser="Firefox"
+    # Browser="edge"
+    # Browser="internet explorer"
+).initialize_driver()
+
+driver.get("https://www.google.com")
+
+
+
+# FIX: Driver Options
+# region Driver Options
+"""
+You can also use arguments to configure the driver manually
+"""
+
+import neri_library as nr
+
+instance = nr.Instancedriver(Browser="chrome")
+instance.initialize_options() # Iniciate the options mode
+
+# Here you can add as many as you want
+instance.arguments.add_new_argument("--headless")  # Example
+instance.arguments.add_experimental_option("useAutomationExtension", False)  # Example
+instance.arguments.add_experimental_options("excludeSwitches", ["enable-automation"])  # Example
+
+# You can add a extension with one line too (already have 'resourse path')
+instance.add_extension("path/to/extension.crx")
+
+driver = instance.initialize_driver()
+driver.get("https://www.google.com")
+
+
+
+# FIX: Selenoid
+# region Selenoid
+"""
+Functions of selenoid (docker)
+
+The driver comes already configured to run in selenoid, but you can also configure it manually.
+"""
+
+import neri_library as nr
+
+instance = nr.Instancedriver(Browser="chrome", Selenoid=True)
+
+# Example if you wanna to customize
+instance.Selenoid.add_capabilities("enableVNC", True)  # Example
+instance.Selenoid.add_capabilities("versiion", "122.0")  # Example
+
+driver = instance.initialize_driver()
+driver.get("https://www.google.com")
+
+
+
+# FIX: Elements
+#region Elements
+"""
+Some features of selenium that i improve to prevents bugs and work correctly.
+
+(you only need import the neri_library)
+"""
+import neri_library as nr
+from neri_library import By  # Optional to imitating selenium, you can use 'xpath' in place of By.XPATH for example
+
+instance = nr.Instancedriver()
+driver = instance.initialize_driver()
+finder = instance.elements
+
+# Selenium searchers
+example =      finder.find_element_with_wait(By.XPATH, '/your/xpath/here')  # Have too XPATH, CSS, NAME, ID...
+example_list = finder.find_elements_with_wait(By.XPATH, '/this/brings/a/list') # work same as the fn above (this have a 's' in the name)
+
+# Selenium interactions works normally too
+finder.find_element_with_wait(By.XPATH, '/elmt/xpath').send_keys('')
+finder.find_element_with_wait(By.NAME, 'elmt_name').clear()
+finder.find_element_with_wait(By.ID, 'elmt_id').click()
+
+
+
+# FIX: Elemets created
+#region Creations
+"""
+Below some functions that i created for web scraping
+"""
+import neri_library as nr
+from neri_library import By
+
+instance = nr.Instancedriver()
+driver = instance.initialize_driver()
+finder = instance.elements
+
+# Just a example to uso on the functions below
+example_element = finder.find_element_with_wait(By.XPATH, '/example')
+
+'''
+This function moves the mouse to an element imitating human behavior, to avoid captchas.
+With some deviations and inaccuracies on the way to the destination (like a human).
+( It use a external UI methods, so the browser can't detect )
+'''
+finder.move_mouse_smoothly(
+    element = example_element,
+    pure = True,  # Pure is to you pass the cordinates instead the element
+    click = False,
+    x_adittional = 100,  # Here you can add a number on cordinates (if the elements is bugged)
+    y_adittional = 100
+)
+
+# Find a image in the screen (you can pass a screenshot of a element)
+finder.move_to_image(
+    'img_path.png',  # You can send a list to search for more than one
+    click_on_final = True,
+    trail = True,  # Move your mouse using 'move_mouse_smoothly' above (if False will teleport you mouse)
+    verify = True, # Just verify if the image is on the screen (Deactivates the 'trail' and 'click')
+    tolerancia = 0.8, # Deviation tolerance of the found image (0.8 = 80%)
+    timeout = 10,  # The time that function will search the image(s)
+    repeat = True  # It deactivates the 'timeout'
+    )
+
+# It will respect the timeout ignoring the "ClickInterrupted" errors
+finder.wait_for_element_be_clickable(By.CLASS_NAME, 'elmt_class', timeout=10)
+
+# It is a 'driver.execute_script' of the selenium, but with a timeout
+finder.script_console_with_wait('Returns element.value', timeout = 10)
+
+'''
+You can use this function below to wait for a image, window, element or text.
+'''
+finder.wait_for_appear(
+    object = '',  # title_window / img_path / text / element
+    type = '',  # window / image / text / element (here you really write the type)
+    timeout = 10
+)
+
+finder.wait_for_appear(       #  finder.wait_for_appear(         #  finder.wait_for_appear(    #  finder.wait_for_appear(
+    object = 'Window title',  #      object = 'C://image_path',  #      object = 'Site Text',  #      object = '/xpath/',
+    type = 'window',          #      type = 'image',             #      type = 'text',         #      type = 'element',
+    timeout = 10              #      timeout = 10                #      timeout = 10           #      timeout = 10
+)                             #  )                               #  )                          #  )
+finder.wait_for_disappear()  # Same thing

{bcpkgfox-0.16.77 → bcpkgfox-0.17.1}/bcpkgfox/invoke_api.py

@@ -164,13 +164,6 @@ def invoke_api_proc_log(link, id_robo, token):
     print(f"\n{responseinsert.json()}")
 
 def login_2fac(driver, certificate, system, token, code_timeout=60):
-    from . import mostrar_mensagem
-    import time
-    import requests
-    import pyautogui
-    from selenium.webdriver.common.by import By
-    from selenium.webdriver.support.ui import WebDriverWait
-    from selenium.webdriver.support import expected_conditions as EC
 
     class login_2fac:
         def __init__(self):
@@ -251,7 +244,7 @@ def login_2fac(driver, certificate, system, token, code_timeout=60):
                         time.sleep(5)
                         continue
                     else:
-                        raise('Todas as tentativas falharam!')
+                            raise('Todas as tentativas falharam!')
 
         def invoke_update_status(self, id):
 
@@ -420,7 +413,6 @@ def login_2fac(driver, certificate, system, token, code_timeout=60):
                         break
 
             if not(code_insertion):
-                mostrar_mensagem('Código WHOOM não chegou dentro do timeout estabelecido')
                 raise TimeoutError('Código WHOOM não chegou dentro do timeout estabelecido')
 
             # Selects the system to access
@@ -475,20 +467,29 @@ def login_2fac(driver, certificate, system, token, code_timeout=60):
                 time.sleep(1)
                 if len(self.driver.window_handles) == num_windows:
                     try:
-                        tools.find_element_with_wait(By.XPATH, "//button[text()='Acessar']").click()
+                        tools.find_element_with_wait(By.XPATH, "//button[text()='Acessar']", timeout=1).click()
                     except:
                         break
                 else:
                     break
 
-            time.sleep(5)
             handles = self.driver.window_handles
             self.driver.switch_to.window(handles[-1])
             protection.stop()
-            if len(handles) > 1:
-                self.driver.switch_to.window(handles[0])
+
+            attempt = 0
+            while 'whoom' in self.driver.title.strip().lower() and attempt <= 180:
+                time.sleep(1)
+                attempt += 1
+
+            if attempt >= 180:
+                mostrar_mensagem('Whoom congelou no conectar com site.')
+                raise SystemError('Whoom congelou no conectar com site.')
+
+            if len(self.driver.window_handles) > 1:
+                self.driver.switch_to.window(self.driver.window_handles[0])
                 self.driver.close()
-                self.driver.switch_to.window(handles[-1])
+                self.driver.switch_to.window(self.driver.window_handles[-1])
 
     # Instances
     tools = tool()

{bcpkgfox-0.16.77 → bcpkgfox-0.17.1}/bcpkgfox.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: bcpkgfox
-Version: 0.16.77
+Version: 0.17.1
 Summary: Biblioteca BCFOX
 Home-page: https://github.com/robotsbcfox/PacotePythonBCFOX
 Author: Guilherme Neri

{bcpkgfox-0.16.77 → bcpkgfox-0.17.1}/bcpkgfox.egg-info/SOURCES.txt

@@ -3,6 +3,8 @@ setup.py
 bcpkgfox/__init__.py
 bcpkgfox/clean.py
 bcpkgfox/cli.py
+bcpkgfox/examples copy.py
+bcpkgfox/examples.py
 bcpkgfox/find_elements.py
 bcpkgfox/get_driver.py
 bcpkgfox/invoke_api.py

{bcpkgfox-0.16.77 → bcpkgfox-0.17.1}/setup.py

@@ -2,7 +2,7 @@ from setuptools import setup, find_packages
 
 setup(
     name="bcpkgfox",
-    version="0.16.77",
+    version="0.17.1",
     author="Guilherme Neri",
     author_email="guilherme.neri@bcfox.com.br",
     description="Biblioteca BCFOX",