edb-noumea 0.1.0__tar.gz

edb_noumea-0.1.0/PKG-INFO

@@ -0,0 +1,10 @@
+Metadata-Version: 2.4
+Name: edb-noumea
+Version: 0.1.0
+Summary: Un scraper pour la qualité des eaux de baignade à Nouméa.
+Requires-Dist: requests
+Requires-Dist: beautifulsoup4
+Requires-Dist: pandas
+Requires-Dist: lxml
+Requires-Dist: tabula-py
+Requires-Dist: matplotlib

edb_noumea-0.1.0/README.md

@@ -0,0 +1,184 @@
+<<<<<<< HEAD
+# edb-noumea
+SDK Python pour connaître la Qualité des Eaux de Baignade à Nouméa
+=======
+# Qualité des Eaux de Baignade à Nouméa
+
+Ce projet Python fournit un outil simple pour scraper les données sur la qualité des eaux de baignade à Nouméa depuis le site officiel de la ville (`noumea.nc`). Il extrait les informations et les présente sous forme de tableau dans le terminal.
+
+Il se base sur les données de https://www.noumea.nc/noumea-pratique/salubrite-publique/qualite-eaux-baignade
+
+## Prérequis
+
+Avant de commencer, assurez-vous d'avoir installé `uv`, le gestionnaire de paquets et d'environnements virtuels Python.
+
+- [Instructions d'installation de uv](https://github.com/astral-sh/uv)
+
+## Installation
+
+Suivez ces étapes pour configurer l'environnement et installer les dépendances.
+
+1.  **Accédez au répertoire du projet :**
+    ```bash
+    cd edb-noumea
+    ```
+
+2.  **Créez un environnement virtuel avec `uv` :**
+    ```bash
+    uv venv
+    ```
+
+3.  **Activez l'environnement virtuel :**
+    ```bash
+    source .venv/bin/activate
+    ```
+    *(Sur Windows, utilisez `.venv\Scripts\activate`)*
+
+4.  **Installez les dépendances du projet :**
+    ```bash
+    uv pip install -e .
+    ```
+    *(L'option `-e .` installe le projet en mode "éditable", ce qui vous permet de modifier le code sans avoir à le réinstaller.)*
+
+## Utilisation
+
+Ce package peut être utilisé de deux manières : soit pour obtenir un résumé de l'état des plages, soit pour obtenir les résultats détaillés des derniers prélèvements.
+
+### Obtenir le résumé de l'état sanitaire
+
+Pour obtenir le tableau de résumé simple depuis la page web principale, exécutez :
+```bash
+python -m edb_noumea.main
+```
+
+### Obtenir les résultats détaillés (depuis PDF)
+
+Pour obtenir le tableau détaillé des derniers relevés (extrait automatiquement du dernier fichier PDF disponible), exécutez :
+```bash
+python -m edb_noumea.details
+```
+
+
+## Générer des graphiques PNG des analyses détaillées
+
+Vous pouvez générer automatiquement deux graphiques au format PNG (niveaux d'E. coli et d'Entérocoques par point de prélèvement) à partir des derniers résultats d'analyses, grâce au script fourni.
+
+### Étapes
+
+1. Assurez-vous que l'environnement virtuel est activé et que les dépendances sont installées.
+2. Exécutez le script suivant depuis le répertoire du projet :
+
+```bash
+source .venv/bin/activate
+/home/adriens/Github/edb-noumea/noumea_water_quality/.venv/bin/python generer_graphique_analyses.py
+```
+
+Deux fichiers PNG seront générés dans le dossier courant :
+
+- `ecoli_levels.png` : graphique des niveaux d'E. coli par point de prélèvement
+- `entero_levels.png` : graphique des niveaux d'Entérocoques par point de prélèvement
+
+Vous pouvez ouvrir ces fichiers pour visualiser les résultats détaillés des analyses.
+
+---
+## Utilisation en tant que Bibliothèque
+
+Vous pouvez également importer les fonctions dans vos propres scripts Python pour une intégration plus poussée.
+
+### Obtenir le résumé
+
+```python
+# exemple_resume.py
+from edb_noumea.main import get_water_quality
+
+df_resume = get_water_quality()
+
+if df_resume is not None:
+    print("Résumé de l'état des plages :")
+    print(df_resume.to_string())
+```
+
+### Obtenir les résultats détaillés
+
+```python
+# exemple_details.py
+from edb_noumea.details import get_detailed_results
+
+df_details = get_detailed_results()
+
+if df_details is not None:
+    print("Détails des derniers relevés :")
+    print(df_details.to_string())
+```
+
+### Exemple de Visualisation
+
+Voici un exemple montrant comment récupérer les données détaillées et créer un graphique simple avec `matplotlib` pour visualiser les niveaux d'E. coli par point de prélèvement.
+
+```python
+# exemple_visualisation.py
+import pandas as pd
+import matplotlib.pyplot as plt
+from edb_noumea.details import get_detailed_results
+
+# Obtenir les données détaillées
+df = get_detailed_results()
+
+if df is not None and not df.empty:
+    print("Création du graphique...")
+
+    # S'assurer que les données sont triées pour une meilleure lisibilité
+    df_sorted = df.sort_values(by='e_coli_npp_100ml', ascending=False)
+
+    # Créer le graphique à barres horizontales
+    plt.figure(figsize=(12, 8))
+    plt.barh(df_sorted['point_de_prelevement'], df_sorted['e_coli_npp_100ml'], color='skyblue')
+    
+    # Ajouter les titres et les étiquettes
+    plt.xlabel('E. coli (NPP/100ml)')
+    plt.ylabel('Point de prélèvement')
+    plt.title("Niveaux d'E. coli par Point de Prélèvement")
+    plt.gca().invert_yaxis() # Afficher le plus élevé en haut
+    plt.tight_layout() # Ajuster le layout pour que tout soit visible
+
+    # Sauvegarder le graphique dans un fichier
+    plt.savefig('ecoli_levels.png')
+    print("Graphique sauvegardé sous 'ecoli_levels.png'")
+
+    # Afficher le graphique
+    plt.show()
+else:
+    print("Aucune donnée à afficher.")
+
+```
+
+*Assurez-vous que votre script est exécuté dans le même environnement virtuel où le package `edb-noumea` a été installé.*
+
+## Sortie Attendue
+
+### Résumé de l'état sanitaire (`main`)
+```
+📊 État sanitaire des eaux de baignade à Nouméa 📊
+                                  Plage      État sanitaire
+0          Plage de la baie des Citrons  Baignade autorisée
+1  Plage de la promenade Pierre-Vernier  Baignade autorisée
+...
+```
+
+### Détails des relevés (`details`)
+```
+📋 Voici les détails des derniers relevés :
+                                   Site                       Point de prélèvement        Date  Heure E. coli (NPP/100ml) Entérocoques (NPP/100ml)
+0          PLAGE DE LA BAIE DES CITRONS               P18049, Face The Beach House  04/09/2025  07:29                    10                         20
+1          PLAGE DE LA BAIE DES CITRONS   P18050, Face allée centrale Mirage plaza  04/09/2025  07:33                    62                         75
+...
+```
+
+## Dépendances
+
+- `requests`: Pour effectuer les requêtes HTTP.
+- `beautifulsoup4`: Pour l'analyse du code HTML.
+- `pandas`: Pour la création et la manipulation des DataFrames.
+- `lxml`: Utilisé comme parseur par BeautifulSoup pour de meilleures performances.
+- `tabula-py`: Pour l'extraction de tableaux depuis des fichiers PDF. **Note :** `tabula-py` requiert que [Java](https://www.java.com/) soit installé sur votre système.
+>>>>>>> cfd27fd (Initial commit du projet edb-noumea)

edb_noumea-0.1.0/edb_noumea/__init__.py

@@ -0,0 +1 @@
+# This file makes the 'scraper' directory a Python package.

edb_noumea-0.1.0/edb_noumea/details.py

@@ -0,0 +1,86 @@
+import pandas as pd
+import tabula
+import requests
+import io
+
+# URL du fichier PDF contenant les résultats détaillés
+PDF_URL = "https://www.noumea.nc/sites/default/files/noumea-pratique-salubrite-publique-resultats/2025/250905-resultats-surveillance-ebm.pdf"
+
+def get_detailed_results():
+    """
+    Télécharge le PDF des résultats détaillés, en extrait le premier tableau
+    et le retourne sous forme de DataFrame pandas.
+    """
+    print(f"📥 Téléchargement du PDF depuis {PDF_URL}...")
+    try:
+        # Effectuer la requête HTTP pour obtenir le contenu du PDF
+        headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}
+        response = requests.get(PDF_URL, headers=headers)
+        response.raise_for_status()
+        print("✅ Téléchargement terminé.")
+    except requests.exceptions.RequestException as e:
+        print(f"❌ Erreur lors du téléchargement du fichier PDF : {e}")
+        return None
+
+    # Utiliser un buffer en mémoire pour éviter de sauvegarder le fichier sur le disque
+    pdf_file = io.BytesIO(response.content)
+
+    try:
+        print("🔍 Extraction des tableaux du PDF...")
+        # Extraire tous les tableaux de la première page du PDF
+        # L'option pages='1' est importante pour ne pas scanner tout le document
+        tables = tabula.read_pdf(pdf_file, pages='1', stream=True)
+    except Exception as e:
+        print(f"❌ Une erreur est survenue lors de l'extraction des données du PDF.")
+        print("ℹ️  Cela peut être dû à l'absence de Java sur votre système, qui est requis par la bibliothèque 'tabula-py'.")
+        print(f"   Erreur originale : {e}")
+        return None
+
+
+    if not tables:
+        print("❌ Aucun tableau n'a été trouvé dans le PDF.")
+        return None
+
+    print(f"✅ {len(tables)} tableau(x) trouvé(s). Affichage du premier.")
+    
+    # Le premier tableau est notre cible
+    df = tables[0]
+
+    # --- Nettoyage du DataFrame ---
+    
+    # 1. Définir les noms de colonnes attendus en snake_case.
+    columns_to_keep = {
+        df.columns[0]: "site",
+        df.columns[1]: "point_de_prelevement",
+        df.columns[2]: "date",
+        df.columns[4]: "heure",
+        df.columns[6]: "e_coli_npp_100ml",
+        df.columns[9]: "enterocoques_npp_100ml"
+    }
+
+    # 2. Sélectionner uniquement ces colonnes et en faire une copie
+    cleaned_df = df[columns_to_keep.keys()].copy()
+
+    # 3. Renommer les colonnes
+    cleaned_df.rename(columns=columns_to_keep, inplace=True)
+
+    # 4. Remplacer les valeurs non numériques et convertir en type numérique
+    cleaned_df.replace({'<10': 0}, inplace=True)
+    
+    # Convertir les colonnes en numérique, les erreurs deviendront NaN (non-numérique)
+    cleaned_df['e_coli_npp_100ml'] = pd.to_numeric(cleaned_df['e_coli_npp_100ml'], errors='coerce')
+    cleaned_df['enterocoques_npp_100ml'] = pd.to_numeric(cleaned_df['enterocoques_npp_100ml'], errors='coerce')
+
+    # Remplir les éventuelles valeurs NaN qui auraient pu être créées
+    cleaned_df.fillna(0, inplace=True)
+
+    return cleaned_df
+
+if __name__ == "__main__":
+    # Obtenir le DataFrame des résultats détaillés
+    detailed_df = get_detailed_results()
+
+    # Afficher le DataFrame s'il a été créé avec succès
+    if detailed_df is not None:
+        print("\n📋 Voici les détails des derniers relevés :")
+        print(detailed_df.to_string())

edb_noumea-0.1.0/edb_noumea/main.py

@@ -0,0 +1,54 @@
+import requests
+import pandas as pd
+
+# URL de la page à scraper
+URL = "https://www.noumea.nc/noumea-pratique/salubrite-publique/qualite-eaux-baignade"
+
+def get_water_quality():
+    """
+    Récupère les données sur la qualité de l'eau de baignade depuis le site de la ville de Nouméa
+    et les retourne dans un DataFrame pandas en lisant directement les tables HTML.
+    """
+    try:
+        # Effectuer la requête HTTP pour obtenir le contenu de la page
+        # Ajouter un header User-Agent pour simuler un navigateur
+        headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}
+        response = requests.get(URL, headers=headers)
+        # Lancer une exception si la requête a échoué
+        response.raise_for_status()
+    except requests.exceptions.RequestException as e:
+        print(f"Erreur lors de la requête HTTP : {e}")
+        return None
+
+    try:
+        # pandas.read_html retourne une liste de tous les DataFrames trouvés dans le HTML
+        tables = pd.read_html(response.content, flavor='lxml')
+    except ValueError:
+        print("Aucune table n'a été trouvée sur la page.")
+        return None
+
+    if not tables:
+        print("Aucune table n'a été trouvée sur la page.")
+        return None
+
+    # En supposant que le tableau que nous voulons est le premier trouvé
+    df = tables[0]
+
+    # Renommer les colonnes pour qu'elles soient plus claires
+    # Nous nous attendons à deux colonnes : Plage et État
+    if df.shape[1] == 2:
+        df.columns = ["plage", "etat_sanitaire"]
+    else:
+        print(f"La table trouvée n'a pas le format attendu (2 colonnes). Colonnes trouvées : {df.shape[1]}")
+        return None
+
+    return df
+
+if __name__ == "__main__":
+    # Appeler la fonction pour obtenir le DataFrame
+    water_quality_df = get_water_quality()
+
+    # Afficher le DataFrame s'il a été créé avec succès
+    if water_quality_df is not None:
+        print("📊 État sanitaire des eaux de baignade à Nouméa 📊")
+        print(water_quality_df.to_string())

edb_noumea-0.1.0/edb_noumea.egg-info/PKG-INFO

@@ -0,0 +1,10 @@
+Metadata-Version: 2.4
+Name: edb-noumea
+Version: 0.1.0
+Summary: Un scraper pour la qualité des eaux de baignade à Nouméa.
+Requires-Dist: requests
+Requires-Dist: beautifulsoup4
+Requires-Dist: pandas
+Requires-Dist: lxml
+Requires-Dist: tabula-py
+Requires-Dist: matplotlib

edb_noumea-0.1.0/edb_noumea.egg-info/SOURCES.txt

@@ -0,0 +1,10 @@
+README.md
+pyproject.toml
+edb_noumea/__init__.py
+edb_noumea/details.py
+edb_noumea/main.py
+edb_noumea.egg-info/PKG-INFO
+edb_noumea.egg-info/SOURCES.txt
+edb_noumea.egg-info/dependency_links.txt
+edb_noumea.egg-info/requires.txt
+edb_noumea.egg-info/top_level.txt

edb_noumea-0.1.0/edb_noumea.egg-info/dependency_links.txt

@@ -0,0 +1 @@
+

edb_noumea-0.1.0/edb_noumea.egg-info/requires.txt

@@ -0,0 +1,6 @@
+requests
+beautifulsoup4
+pandas
+lxml
+tabula-py
+matplotlib

edb_noumea-0.1.0/edb_noumea.egg-info/top_level.txt

@@ -0,0 +1,2 @@
+dist
+edb_noumea

edb_noumea-0.1.0/pyproject.toml

@@ -0,0 +1,15 @@
+[project]
+name = "edb-noumea"
+version = "0.1.0"
+description = "Un scraper pour la qualité des eaux de baignade à Nouméa."
+dependencies = [
+    "requests",
+    "beautifulsoup4",
+    "pandas",
+    "lxml",
+    "tabula-py",
+    "matplotlib",
+]
+
+[tool.setuptools.packages.find]
+where = ["."]

edb_noumea-0.1.0/setup.cfg

@@ -0,0 +1,4 @@
+[egg_info]
+tag_build = 
+tag_date = 0
+