IO4IT 4.0.2__tar.gz → 4.0.3__tar.gz

{io4it-4.0.2 → io4it-4.0.3}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: io4it
-Version: 4.0.2
+Version: 4.0.3
 Home-page: 
 Author: 
 Author-email: 

{io4it-4.0.2 → io4it-4.0.3}/io4it.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: io4it
-Version: 4.0.2
+Version: 4.0.3
 Home-page: 
 Author: 
 Author-email: 

{io4it-4.0.2 → io4it-4.0.3}/orangecontrib/IO4IT/widgets/OWWebSearch.py

@@ -9,6 +9,11 @@ from bs4 import BeautifulSoup
 from urllib.parse import quote, urlparse, urljoin, parse_qs
 import unicodedata
 import re
+import time
+import webbrowser
+import requests
+from bs4 import BeautifulSoup
+from urllib.parse import quote, urlparse, parse_qs, urljoin
 
 if "site-packages/Orange/widgets" in os.path.dirname(os.path.abspath(__file__)).replace("\\", "/"):
     from Orange.widgets.orangecontrib.AAIT.utils import thread_management, base_widget
@@ -81,39 +86,100 @@ class WebSearch(base_widget.BaseListWidget):
         mots_cles = [m for m in mots if m not in stopwords and len(m) > 2]
         return mots_cles or mots
 
-    def recherche_duckduckgo(self, query, max_results=10):
+    def recherche_duckduckgo(self, query, max_results=10, timeout=10, wait_timeout=120, poll_interval=2):
+
+        def is_duckduckgo_challenge(html):
+            if not html:
+                return False
+            h = html.lower()
+            markers = [
+                "anomaly-modal",
+                "bots use duckduckgo too",
+                "please complete the following challenge",
+                "select all squares containing",
+                "challenge-form",
+                "anomaly.js",
+            ]
+            return any(m in h for m in markers)
+
+        def parse_results(html, max_results):
+            soup = BeautifulSoup(html, "html.parser")
+            resultats = []
+
+            for a in soup.select("a.result__a")[:max_results]:
+                titre = a.get_text(strip=True)
+                lien = a.get("href", "")
+
+                # Gestion des liens de redirection DuckDuckGo
+                parsed = urlparse(lien)
+                if parsed.netloc and "duckduckgo.com" in parsed.netloc and parsed.path.startswith("/l/"):
+                    qs = parse_qs(parsed.query)
+                    if "uddg" in qs and qs["uddg"]:
+                        lien = qs["uddg"][0]
+
+                # Lien relatif -> absolu
+                if lien.startswith("/"):
+                    lien = urljoin("https://duckduckgo.com", lien)
+
+                resultats.append((titre, lien))
+
+            return resultats
+
         q = quote(query)
         url = f"https://duckduckgo.com/html/?q={q}"
+        browser_url = f"https://duckduckgo.com/?q={q}"
         headers = {"User-Agent": "Mozilla/5.0"}
 
-        try:
-            r = requests.get(url, headers=headers, timeout=10)
+        def do_request():
+            r = requests.get(url, headers=headers, timeout=timeout)
             r.raise_for_status()
+            return r.text
+
+        # 1) Tentative normale
+        try:
+            html = do_request()
         except requests.RequestException as e:
-            print(f"[ERREUR] Problème lors de la requête DuckDuckGo : {e}")
+            print(f"[ERREUR] Problème lors de la requête DuckDuckGo (peut etre captcha?): {e}")
             return []
 
-        soup = BeautifulSoup(r.text, "html.parser")
-        resultats = []
+        # 2) Pas de challenge => comportement normal immédiat
+        if not is_duckduckgo_challenge(html):
+            return parse_results(html, max_results)
+
+        # 3) Challenge détecté => ouverture navigateur + attente automatique
+        print("[INFO] Challenge DuckDuckGo détecté.")
+        print("[INFO] Ouverture du navigateur pour résolution manuelle...")
+        try:
+            webbrowser.open(browser_url)
+        except Exception as e:
+            print(f"[ERREUR] Impossible d'ouvrir le navigateur : {e}")
+            return []
 
-        for a in soup.select("a.result__a")[:max_results]:
-            titre = a.get_text(strip=True)
-            lien = a.get("href", "")
+        print("[INFO] En attente automatique de disparition du challenge...")
 
-            # Gestion des liens de redirection DuckDuckGo
-            parsed = urlparse(lien)
-            if parsed.netloc and "duckduckgo.com" in parsed.netloc and parsed.path.startswith("/l/"):
-                qs = parse_qs(parsed.query)
-                if "uddg" in qs:
-                    lien = qs["uddg"][0]
+        start = time.time()
+        last_error = None
 
-            # Lien relatif -> absolu
-            if lien.startswith("/"):
-                lien = urljoin("https://duckduckgo.com", lien)
+        while time.time() - start < wait_timeout:
+            time.sleep(poll_interval)
 
-            resultats.append((titre, lien))
+            try:
+                html = do_request()
+                last_error = None
+            except requests.RequestException as e:
+                last_error = e
+                continue
+
+            if not is_duckduckgo_challenge(html):
+                print("[INFO] Challenge disparu, parsing des résultats.")
+                return parse_results(html, max_results)
+
+        if last_error is not None:
+            print(f"[ERREUR] Timeout après challenge. Dernière erreur : {last_error}")
+        else:
+            print("[ERREUR] Timeout : le challenge est toujours présent.")
 
-        return resultats
+        return []
 
     def extraire_domaines(self, resultats_search):
         domaines = set()

{io4it-4.0.2 → io4it-4.0.3}/setup.py

@@ -2,7 +2,7 @@ from setuptools import setup, find_packages
 
 # Configuration
 NAME = "io4it"
-VERSION = "4.0.2"
+VERSION = "4.0.3"
 
 INSTALL_REQUIRES = [
     "torchvision",