edb-noumea 0.1.0__tar.gz → 0.2.0__tar.gz

{edb_noumea-0.1.0 → edb_noumea-0.2.0}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: edb-noumea
-Version: 0.1.0
+Version: 0.2.0
 Summary: Un scraper pour la qualité des eaux de baignade à Nouméa.
 Requires-Dist: requests
 Requires-Dist: beautifulsoup4

{edb_noumea-0.1.0 → edb_noumea-0.2.0}/edb_noumea/details.py

@@ -1,34 +1,61 @@
+
 import pandas as pd
 import tabula
 import requests
 import io
+from bs4 import BeautifulSoup
+
+# URL de la page officielle contenant le lien vers le PDF
+PAGE_URL = "https://www.noumea.nc/noumea-pratique/salubrite-publique/qualite-eaux-baignade"
 
-# URL du fichier PDF contenant les résultats détaillés
-PDF_URL = "https://www.noumea.nc/sites/default/files/noumea-pratique-salubrite-publique-resultats/2025/250905-resultats-surveillance-ebm.pdf"
+
+def get_latest_pdf_url():
+    """
+    Récupère dynamiquement l'URL du dernier PDF d'analyses détaillées depuis la page officielle.
+    """
+    print(f"🔗 Recherche du lien PDF sur {PAGE_URL} ...")
+    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}
+    try:
+        resp = requests.get(PAGE_URL, headers=headers)
+        resp.raise_for_status()
+    except Exception as e:
+        print(f"❌ Impossible de récupérer la page officielle : {e}")
+        return None
+    soup = BeautifulSoup(resp.text, "lxml")
+    # Chercher le premier lien PDF dans la page
+    link = soup.find("a", href=lambda h: h and h.endswith(".pdf"))
+    if not link:
+        print("❌ Aucun lien PDF trouvé sur la page.")
+        return None
+    pdf_url = link["href"]
+    # Si le lien est relatif, le rendre absolu
+    if pdf_url.startswith("/"):
+        pdf_url = "https://www.noumea.nc" + pdf_url
+    print(f"✅ Lien PDF trouvé : {pdf_url}")
+    return pdf_url
 
 def get_detailed_results():
     """
-    Télécharge le PDF des résultats détaillés, en extrait le premier tableau
+    Télécharge dynamiquement le PDF des résultats détaillés, en extrait le premier tableau
     et le retourne sous forme de DataFrame pandas.
     """
-    print(f"📥 Téléchargement du PDF depuis {PDF_URL}...")
+    pdf_url = get_latest_pdf_url()
+    if not pdf_url:
+        return None
+    print(f"📥 Téléchargement du PDF depuis {pdf_url} ...")
     try:
-        # Effectuer la requête HTTP pour obtenir le contenu du PDF
         headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}
-        response = requests.get(PDF_URL, headers=headers)
+        response = requests.get(pdf_url, headers=headers)
         response.raise_for_status()
         print("✅ Téléchargement terminé.")
     except requests.exceptions.RequestException as e:
         print(f"❌ Erreur lors du téléchargement du fichier PDF : {e}")
         return None
 
-    # Utiliser un buffer en mémoire pour éviter de sauvegarder le fichier sur le disque
     pdf_file = io.BytesIO(response.content)
 
     try:
         print("🔍 Extraction des tableaux du PDF...")
-        # Extraire tous les tableaux de la première page du PDF
-        # L'option pages='1' est importante pour ne pas scanner tout le document
         tables = tabula.read_pdf(pdf_file, pages='1', stream=True)
     except Exception as e:
         print(f"❌ Une erreur est survenue lors de l'extraction des données du PDF.")
@@ -36,19 +63,14 @@ def get_detailed_results():
         print(f"   Erreur originale : {e}")
         return None
 
-
     if not tables:
         print("❌ Aucun tableau n'a été trouvé dans le PDF.")
         return None
 
     print(f"✅ {len(tables)} tableau(x) trouvé(s). Affichage du premier.")
-    
-    # Le premier tableau est notre cible
     df = tables[0]
 
     # --- Nettoyage du DataFrame ---
-    
-    # 1. Définir les noms de colonnes attendus en snake_case.
     columns_to_keep = {
         df.columns[0]: "site",
         df.columns[1]: "point_de_prelevement",
@@ -57,23 +79,12 @@ def get_detailed_results():
         df.columns[6]: "e_coli_npp_100ml",
         df.columns[9]: "enterocoques_npp_100ml"
     }
-
-    # 2. Sélectionner uniquement ces colonnes et en faire une copie
     cleaned_df = df[columns_to_keep.keys()].copy()
-
-    # 3. Renommer les colonnes
     cleaned_df.rename(columns=columns_to_keep, inplace=True)
-
-    # 4. Remplacer les valeurs non numériques et convertir en type numérique
     cleaned_df.replace({'<10': 0}, inplace=True)
-    
-    # Convertir les colonnes en numérique, les erreurs deviendront NaN (non-numérique)
     cleaned_df['e_coli_npp_100ml'] = pd.to_numeric(cleaned_df['e_coli_npp_100ml'], errors='coerce')
     cleaned_df['enterocoques_npp_100ml'] = pd.to_numeric(cleaned_df['enterocoques_npp_100ml'], errors='coerce')
-
-    # Remplir les éventuelles valeurs NaN qui auraient pu être créées
     cleaned_df.fillna(0, inplace=True)
-
     return cleaned_df
 
 if __name__ == "__main__":

{edb_noumea-0.1.0 → edb_noumea-0.2.0}/edb_noumea.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: edb-noumea
-Version: 0.1.0
+Version: 0.2.0
 Summary: Un scraper pour la qualité des eaux de baignade à Nouméa.
 Requires-Dist: requests
 Requires-Dist: beautifulsoup4

{edb_noumea-0.1.0 → edb_noumea-0.2.0}/pyproject.toml

@@ -1,6 +1,6 @@
 [project]
 name = "edb-noumea"
-version = "0.1.0"
+version = "0.2.0"
 description = "Un scraper pour la qualité des eaux de baignade à Nouméa."
 dependencies = [
     "requests",