edb-noumea 0.1.0__py3-none-any.whl

edb_noumea/__init__.py

@@ -0,0 +1 @@
+# This file makes the 'scraper' directory a Python package.

edb_noumea/details.py

@@ -0,0 +1,86 @@
+import pandas as pd
+import tabula
+import requests
+import io
+
+# URL du fichier PDF contenant les résultats détaillés
+PDF_URL = "https://www.noumea.nc/sites/default/files/noumea-pratique-salubrite-publique-resultats/2025/250905-resultats-surveillance-ebm.pdf"
+
+def get_detailed_results():
+    """
+    Télécharge le PDF des résultats détaillés, en extrait le premier tableau
+    et le retourne sous forme de DataFrame pandas.
+    """
+    print(f"📥 Téléchargement du PDF depuis {PDF_URL}...")
+    try:
+        # Effectuer la requête HTTP pour obtenir le contenu du PDF
+        headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}
+        response = requests.get(PDF_URL, headers=headers)
+        response.raise_for_status()
+        print("✅ Téléchargement terminé.")
+    except requests.exceptions.RequestException as e:
+        print(f"❌ Erreur lors du téléchargement du fichier PDF : {e}")
+        return None
+
+    # Utiliser un buffer en mémoire pour éviter de sauvegarder le fichier sur le disque
+    pdf_file = io.BytesIO(response.content)
+
+    try:
+        print("🔍 Extraction des tableaux du PDF...")
+        # Extraire tous les tableaux de la première page du PDF
+        # L'option pages='1' est importante pour ne pas scanner tout le document
+        tables = tabula.read_pdf(pdf_file, pages='1', stream=True)
+    except Exception as e:
+        print(f"❌ Une erreur est survenue lors de l'extraction des données du PDF.")
+        print("ℹ️  Cela peut être dû à l'absence de Java sur votre système, qui est requis par la bibliothèque 'tabula-py'.")
+        print(f"   Erreur originale : {e}")
+        return None
+
+
+    if not tables:
+        print("❌ Aucun tableau n'a été trouvé dans le PDF.")
+        return None
+
+    print(f"✅ {len(tables)} tableau(x) trouvé(s). Affichage du premier.")
+    
+    # Le premier tableau est notre cible
+    df = tables[0]
+
+    # --- Nettoyage du DataFrame ---
+    
+    # 1. Définir les noms de colonnes attendus en snake_case.
+    columns_to_keep = {
+        df.columns[0]: "site",
+        df.columns[1]: "point_de_prelevement",
+        df.columns[2]: "date",
+        df.columns[4]: "heure",
+        df.columns[6]: "e_coli_npp_100ml",
+        df.columns[9]: "enterocoques_npp_100ml"
+    }
+
+    # 2. Sélectionner uniquement ces colonnes et en faire une copie
+    cleaned_df = df[columns_to_keep.keys()].copy()
+
+    # 3. Renommer les colonnes
+    cleaned_df.rename(columns=columns_to_keep, inplace=True)
+
+    # 4. Remplacer les valeurs non numériques et convertir en type numérique
+    cleaned_df.replace({'<10': 0}, inplace=True)
+    
+    # Convertir les colonnes en numérique, les erreurs deviendront NaN (non-numérique)
+    cleaned_df['e_coli_npp_100ml'] = pd.to_numeric(cleaned_df['e_coli_npp_100ml'], errors='coerce')
+    cleaned_df['enterocoques_npp_100ml'] = pd.to_numeric(cleaned_df['enterocoques_npp_100ml'], errors='coerce')
+
+    # Remplir les éventuelles valeurs NaN qui auraient pu être créées
+    cleaned_df.fillna(0, inplace=True)
+
+    return cleaned_df
+
+if __name__ == "__main__":
+    # Obtenir le DataFrame des résultats détaillés
+    detailed_df = get_detailed_results()
+
+    # Afficher le DataFrame s'il a été créé avec succès
+    if detailed_df is not None:
+        print("\n📋 Voici les détails des derniers relevés :")
+        print(detailed_df.to_string())

edb_noumea/main.py

@@ -0,0 +1,54 @@
+import requests
+import pandas as pd
+
+# URL de la page à scraper
+URL = "https://www.noumea.nc/noumea-pratique/salubrite-publique/qualite-eaux-baignade"
+
+def get_water_quality():
+    """
+    Récupère les données sur la qualité de l'eau de baignade depuis le site de la ville de Nouméa
+    et les retourne dans un DataFrame pandas en lisant directement les tables HTML.
+    """
+    try:
+        # Effectuer la requête HTTP pour obtenir le contenu de la page
+        # Ajouter un header User-Agent pour simuler un navigateur
+        headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}
+        response = requests.get(URL, headers=headers)
+        # Lancer une exception si la requête a échoué
+        response.raise_for_status()
+    except requests.exceptions.RequestException as e:
+        print(f"Erreur lors de la requête HTTP : {e}")
+        return None
+
+    try:
+        # pandas.read_html retourne une liste de tous les DataFrames trouvés dans le HTML
+        tables = pd.read_html(response.content, flavor='lxml')
+    except ValueError:
+        print("Aucune table n'a été trouvée sur la page.")
+        return None
+
+    if not tables:
+        print("Aucune table n'a été trouvée sur la page.")
+        return None
+
+    # En supposant que le tableau que nous voulons est le premier trouvé
+    df = tables[0]
+
+    # Renommer les colonnes pour qu'elles soient plus claires
+    # Nous nous attendons à deux colonnes : Plage et État
+    if df.shape[1] == 2:
+        df.columns = ["plage", "etat_sanitaire"]
+    else:
+        print(f"La table trouvée n'a pas le format attendu (2 colonnes). Colonnes trouvées : {df.shape[1]}")
+        return None
+
+    return df
+
+if __name__ == "__main__":
+    # Appeler la fonction pour obtenir le DataFrame
+    water_quality_df = get_water_quality()
+
+    # Afficher le DataFrame s'il a été créé avec succès
+    if water_quality_df is not None:
+        print("📊 État sanitaire des eaux de baignade à Nouméa 📊")
+        print(water_quality_df.to_string())

edb_noumea-0.1.0.dist-info/METADATA

@@ -0,0 +1,10 @@
+Metadata-Version: 2.4
+Name: edb-noumea
+Version: 0.1.0
+Summary: Un scraper pour la qualité des eaux de baignade à Nouméa.
+Requires-Dist: requests
+Requires-Dist: beautifulsoup4
+Requires-Dist: pandas
+Requires-Dist: lxml
+Requires-Dist: tabula-py
+Requires-Dist: matplotlib

edb_noumea-0.1.0.dist-info/RECORD

@@ -0,0 +1,7 @@
+edb_noumea/__init__.py,sha256=G7WKTGLsr2wtW1E2jYpqq4miZLoSGhTifSE36CGNkLo,60
+edb_noumea/details.py,sha256=BWxteQQRV8v-YbfhR-xTJFT0ZicRi1k6wWnfycmuBlE,3477
+edb_noumea/main.py,sha256=KWT0ZGrHlbhEsQxi_Rw0Mm1syDIxoY-Px1yab94IbJc,2115
+edb_noumea-0.1.0.dist-info/METADATA,sha256=imfXySNTCRsMj6nPN0dF1U8GRCGCTA7aX3Qmm6jxakM,271
+edb_noumea-0.1.0.dist-info/WHEEL,sha256=_zCd3N1l69ArxyTb8rzEoP9TpbYXkqRFSNOD5OuxnTs,91
+edb_noumea-0.1.0.dist-info/top_level.txt,sha256=Dj3JusM0b5H9_f9yZeO-IwucCZzI1OHSjLMKtvRjq6k,11
+edb_noumea-0.1.0.dist-info/RECORD,,

edb_noumea-0.1.0.dist-info/WHEEL

@@ -0,0 +1,5 @@
+Wheel-Version: 1.0
+Generator: setuptools (80.9.0)
+Root-Is-Purelib: true
+Tag: py3-none-any
+

edb_noumea-0.1.0.dist-info/top_level.txt

@@ -0,0 +1 @@
+edb_noumea