edb-noumea 0.3.3__py3-none-any.whl → 0.3.6__py3-none-any.whl

edb_noumea/details.py

@@ -1,4 +1,9 @@
 import pandas as pd
+import requests
+from bs4 import BeautifulSoup
+import camelot
+import tempfile
+import os
 
 @staticmethod
 def get_sites():
@@ -14,22 +19,16 @@ def get_sites():
         {"site": "PLAGE DU KUENDU BEACH", "plage": "Plage du Kuendu Beach", "gmaps_url": "https://maps.app.goo.gl/oGY6Hy4KCXJWxqfL9"},
     ]
     return pd.DataFrame(data)
+
 def get_pdf_url():
     """
     Alias public pour obtenir l'URL du dernier PDF d'analyses détaillées.
     """
     return get_latest_pdf_url()
 
-import pandas as pd
-import pdfplumber
-import requests
-import io
-from bs4 import BeautifulSoup
-
 # URL de la page officielle contenant le lien vers le PDF
 PAGE_URL = "https://www.noumea.nc/noumea-pratique/salubrite-publique/qualite-eaux-baignade"
 
-
 def get_latest_pdf_url():
     """
     Récupère dynamiquement l'URL du dernier PDF d'analyses détaillées depuis la page officielle.
@@ -58,7 +57,7 @@ def get_latest_pdf_url():
 def get_detailed_results():
     """
     Télécharge dynamiquement le PDF des résultats détaillés, en extrait le premier tableau
-    et le retourne sous forme de DataFrame pandas.
+    avec Camelot et le retourne sous forme de DataFrame pandas.
     """
     pdf_url = get_latest_pdf_url()
     if not pdf_url:
@@ -73,31 +72,49 @@ def get_detailed_results():
         print(f"❌ Erreur lors du téléchargement du fichier PDF : {e}")
         return None
 
-    pdf_file = io.BytesIO(response.content)
+    # Utiliser un fichier temporaire pour que Camelot puisse le lire
+    with tempfile.NamedTemporaryFile(delete=False, suffix=".pdf") as temp_pdf:
+        temp_pdf.write(response.content)
+        temp_pdf_path = temp_pdf.name
 
     try:
-        print("🔍 Extraction des tableaux du PDF avec pdfplumber...")
-        with pdfplumber.open(pdf_file) as pdf:
-            if not pdf.pages:
-                print("❌ Le PDF ne contient aucune page.")
-                return None
-            
-            first_page = pdf.pages[0]
-            tables = first_page.extract_tables()
-            
-            if not tables:
-                print("❌ Aucun tableau n'a été trouvé dans le PDF.")
-                return None
-            
-            print(f"✅ {len(tables)} tableau(x) trouvé(s) sur la première page.")
-            # Convertir le premier tableau en DataFrame
-            table_data = tables[0]
-            df = pd.DataFrame(table_data[1:], columns=table_data[0])
+        print("🔍 Extraction des tableaux du PDF avec Camelot (flavor='stream')...")
+        tables = camelot.read_pdf(temp_pdf_path, flavor='stream', pages='1')
+        
+        if not tables:
+            print("❌ Aucun tableau n'a été trouvé dans le PDF avec Camelot.")
+            return None
             
+        print(f"✅ {len(tables)} tableau(x) trouvé(s) sur la première page.")
+        # Le DataFrame est directement accessible avec .df
+        df = tables[0].df
+
+        # The header is messy. Let's explicitly define the columns we expect.
+        new_columns = [
+            "Nom du site de baignade",
+            "Point de prélèvement",
+            "Date du prélèvement",
+            "Heure du prélèvement",
+            "Escherichia coli (NPP/100ml)",
+            "Entérocoques intestinaux (NPP/100ml)"
+        ]
+        
+        # The data from camelot has 6 columns, which matches our expected columns.
+        # Let's assign these names.
+        df.columns = new_columns
+        
+        # Now, we need to find where the actual data starts.
+        # It seems to start at index 6 in the camelot df.
+        df = df.iloc[6:].reset_index(drop=True)
+
     except Exception as e:
-        print(f"❌ Une erreur est survenue lors de l'extraction des données du PDF.")
+        print(f"❌ Une erreur est survenue lors de l'extraction des données du PDF avec Camelot.")
         print(f"   Erreur originale : {e}")
         return None
+    finally:
+        # Nettoyer le fichier temporaire
+        if 'temp_pdf_path' in locals() and os.path.exists(temp_pdf_path):
+            os.remove(temp_pdf_path)
 
     print("\n--- Aperçu du tableau extrait (toutes colonnes) ---")
     with pd.option_context('display.max_columns', None):
@@ -182,4 +199,4 @@ if __name__ == "__main__":
         ]])
         # Export CSV
         detailed_df.to_csv("details_dernier_releve.csv", index=False)
-        print("\n✅ Export CSV : details_dernier_releve.csv")
+        print("\n✅ Export CSV : details_dernier_releve.csv")

edb_noumea-0.3.6.dist-info/METADATA

@@ -0,0 +1,200 @@
+Metadata-Version: 2.4
+Name: edb-noumea
+Version: 0.3.6
+Summary: Scraper pour la qualité des eaux de baignade à Nouméa.
+Project-URL: Homepage, https://github.com/adriens/edb-noumea
+Project-URL: Repository, https://github.com/adriens/edb-noumea
+Description-Content-Type: text/markdown
+License-File: LICENSE
+Requires-Dist: requests
+Requires-Dist: beautifulsoup4
+Requires-Dist: pandas
+Requires-Dist: lxml
+Requires-Dist: pdfplumber
+Requires-Dist: camelot-py[cv]
+Requires-Dist: matplotlib
+Dynamic: license-file
+
+[![Built with uv](https://img.shields.io/badge/Built%20with-uv-blueviolet?logo=python&logoColor=white)](https://docs.astral.sh/uv/)
+[![PyPI - Downloads](https://img.shields.io/pypi/dm/edb-noumea)](https://pypistats.org/packages/edb-noumea)
+[![Open in Kaggle](https://img.shields.io/badge/Kaggle-Open%20Notebook-blue?logo=kaggle)](https://www.kaggle.com/code/adriensales/qualit-eaux-de-baignade-noum-a)
+[![Dataset](https://img.shields.io/badge/Kaggle-Dataset-blue?logo=kaggle)](https://www.kaggle.com/datasets/adriensales/qualit-des-eaux-de-baignade-nouma)
+[![Live CSV Data](https://img.shields.io/badge/GitHub-Live%20CSV%20Data-black?logo=github)](https://github.com/adriens/edb-noumea-data)
+[![Go BubbleTea TUI](https://img.shields.io/badge/Go-BubbleTea%20TUI-00ADD8?logo=go)](https://github.com/adriens/edb-noumea-tui)
+[![Site officiel Ville de Nouméa](https://img.shields.io/badge/Nouméa-Site%20officiel%20Ville%20de%20Nouméa-0A74DA)](https://www.noumea.nc/noumea-pratique/salubrite-publique/qualite-eaux-baignade)
+
+
+
+# Qualité des Eaux de Baignade à Nouméa
+
+Ce projet Python fournit un outil simple pour scraper les données sur la qualité des eaux de baignade à Nouméa depuis le site officiel de la ville (`noumea.nc`). Il extrait les informations et les présente sous forme de tableau dans le terminal.
+
+Il se base sur les données de https://www.noumea.nc/noumea-pratique/salubrite-publique/qualite-eaux-baignade
+
+## Prérequis
+
+Avant de commencer, assurez-vous d'avoir installé `uv`, le gestionnaire de paquets et d'environnements virtuels Python.
+
+
+
+
+## Installation
+
+Suivez ces étapes pour configurer l'environnement et installer les dépendances.
+
+1.  **Accédez au répertoire du projet :**
+    ```bash
+    cd edb-noumea
+    ```
+
+2.  **Créez un environnement virtuel avec `uv` :**
+    ```bash
+    uv venv
+    ```
+
+3.  **Activez l'environnement virtuel :**
+    ```bash
+    source .venv/bin/activate
+    ```
+    *(Sur Windows, utilisez `.venv\Scripts\activate`)*
+
+4.  **Installez les dépendances du projet :**
+    ```bash
+    uv pip install -e .
+    ```
+    *(L'option `-e .` installe le projet en mode "éditable", ce qui vous permet de modifier le code sans avoir à le réinstaller.)*
+
+## Utilisation
+
+Ce package peut être utilisé de deux manières : soit pour obtenir un résumé de l'état des plages, soit pour obtenir les résultats détaillés des derniers prélèvements.
+
+### Obtenir le résumé de l'état sanitaire
+
+Pour obtenir le tableau de résumé simple depuis la page web principale, exécutez :
+```bash
+python -m edb_noumea.main
+```
+
+### Obtenir les résultats détaillés (depuis PDF)
+
+Pour obtenir le tableau détaillé des derniers relevés (extrait automatiquement du dernier fichier PDF disponible), exécutez :
+```bash
+python -m edb_noumea.details
+```
+
+
+## Générer des graphiques PNG des analyses détaillées
+
+Vous pouvez générer automatiquement deux graphiques au format PNG (niveaux d'E. coli et d'Entérocoques par point de prélèvement) à partir des derniers résultats d'analyses, grâce au script fourni.
+
+### Étapes
+
+1. Assurez-vous que l'environnement virtuel est activé et que les dépendances sont installées.
+2. Exécutez le script suivant depuis le répertoire du projet :
+
+```bash
+source .venv/bin/activate
+/home/adriens/Github/edb-noumea/noumea_water_quality/.venv/bin/python generer_graphique_analyses.py
+```
+
+Deux fichiers PNG seront générés dans le dossier courant :
+
+
+Vous pouvez ouvrir ces fichiers pour visualiser les résultats détaillés des analyses.
+
+## Utilisation en tant que Bibliothèque
+
+Vous pouvez également importer les fonctions dans vos propres scripts Python pour une intégration plus poussée.
+
+Installer 
+
+### Obtenir le résumé
+
+```python
+# exemple_resume.py
+from edb_noumea.main import get_water_quality
+
+df_resume = get_water_quality()
+
+if df_resume is not None:
+    print("Résumé de l'état des plages :")
+    print(df_resume.to_string())
+```
+
+### Obtenir les résultats détaillés
+
+```python
+# exemple_details.py
+from edb_noumea.details import get_detailed_results
+
+df_details = get_detailed_results()
+
+if df_details is not None:
+    print("Détails des derniers relevés :")
+    print(df_details.to_string())
+```
+
+### Exemple de Visualisation
+
+Voici un exemple montrant comment récupérer les données détaillées et créer un graphique simple avec `matplotlib` pour visualiser les niveaux d'E. coli par point de prélèvement.
+
+```python
+# exemple_visualisation.py
+import pandas as pd
+import matplotlib.pyplot as plt
+from edb_noumea.details import get_detailed_results
+
+# Obtenir les données détaillées
+df = get_detailed_results()
+
+if df is not None and not df.empty:
+    print("Création du graphique...")
+
+    # S'assurer que les données sont triées pour une meilleure lisibilité
+    df_sorted = df.sort_values(by='e_coli_npp_100ml', ascending=False)
+
+    # Créer le graphique à barres horizontales
+    plt.figure(figsize=(12, 8))
+    plt.barh(df_sorted['point_de_prelevement'], df_sorted['e_coli_npp_100ml'], color='skyblue')
+    
+    # Ajouter les titres et les étiquettes
+    plt.xlabel('E. coli (NPP/100ml)')
+    plt.ylabel('Point de prélèvement')
+    plt.title("Niveaux d'E. coli par Point de Prélèvement")
+    plt.gca().invert_yaxis() # Afficher le plus élevé en haut
+    plt.tight_layout() # Ajuster le layout pour que tout soit visible
+
+    # Sauvegarder le graphique dans un fichier
+    plt.savefig('ecoli_levels.png')
+    print("Graphique sauvegardé sous 'ecoli_levels.png'")
+
+    # Afficher le graphique
+    plt.show()
+else:
+    print("Aucune donnée à afficher.")
+
+```
+
+*Assurez-vous que votre script est exécuté dans le même environnement virtuel où le package `edb-noumea` a été installé.*
+
+## Sortie Attendue
+
+### Résumé de l'état sanitaire (`main`)
+```
+📊 État sanitaire des eaux de baignade à Nouméa 📊
+                                  Plage      État sanitaire
+0          Plage de la baie des Citrons  Baignade autorisée
+1  Plage de la promenade Pierre-Vernier  Baignade autorisée
+...
+```
+
+### Détails des relevés (`details`)
+```
+📋 Voici les détails des derniers relevés :
+                                   Site                       Point de prélèvement        Date  Heure E. coli (NPP/100ml) Entérocoques (NPP/100ml)
+0          PLAGE DE LA BAIE DES CITRONS               P18049, Face The Beach House  04/09/2025  07:29                    10                         20
+1          PLAGE DE LA BAIE DES CITRONS   P18050, Face allée centrale Mirage plaza  04/09/2025  07:33                    62                         75
+...
+```
+
+

edb_noumea-0.3.6.dist-info/RECORD

@@ -0,0 +1,8 @@
+edb_noumea/__init__.py,sha256=G7WKTGLsr2wtW1E2jYpqq4miZLoSGhTifSE36CGNkLo,60
+edb_noumea/details.py,sha256=n9FgkNPzEAZf9HQxTlU7OWjyofi57O00zIqQghyarE8,8821
+edb_noumea/main.py,sha256=ekx8XF7b3-w63AuVrZqVPg7IKHRL0cZGYmudsHa6DTk,2137
+edb_noumea-0.3.6.dist-info/licenses/LICENSE,sha256=mNQ0SS064BtPKYHabMRg2yM3m-GDX4MgDQ6ZnDFiueI,1100
+edb_noumea-0.3.6.dist-info/METADATA,sha256=xAqPGKMwfOvz_HF65QvBcWvyrK8iwGTY5QwwcJmMmYU,7126
+edb_noumea-0.3.6.dist-info/WHEEL,sha256=wUyA8OaulRlbfwMtmQsvNngGrxQHAvkKcvRmdizlJi0,92
+edb_noumea-0.3.6.dist-info/top_level.txt,sha256=Dj3JusM0b5H9_f9yZeO-IwucCZzI1OHSjLMKtvRjq6k,11
+edb_noumea-0.3.6.dist-info/RECORD,,

{edb_noumea-0.3.3.dist-info → edb_noumea-0.3.6.dist-info}/WHEEL

@@ -1,5 +1,5 @@
 Wheel-Version: 1.0
-Generator: setuptools (80.10.1)
+Generator: setuptools (80.10.2)
 Root-Is-Purelib: true
 Tag: py3-none-any
 

edb_noumea-0.3.3.dist-info/METADATA

@@ -1,14 +0,0 @@
-Metadata-Version: 2.4
-Name: edb-noumea
-Version: 0.3.3
-Summary: Scraper robuste pour la qualité des eaux de baignade à Nouméa. Ajout export CSV automatique et détection améliorée des colonnes PDF.
-Project-URL: Homepage, https://github.com/adriens/edb-noumea
-Project-URL: Repository, https://github.com/adriens/edb-noumea
-License-File: LICENSE
-Requires-Dist: requests
-Requires-Dist: beautifulsoup4
-Requires-Dist: pandas
-Requires-Dist: lxml
-Requires-Dist: pdfplumber
-Requires-Dist: matplotlib
-Dynamic: license-file

edb_noumea-0.3.3.dist-info/RECORD

@@ -1,8 +0,0 @@
-edb_noumea/__init__.py,sha256=G7WKTGLsr2wtW1E2jYpqq4miZLoSGhTifSE36CGNkLo,60
-edb_noumea/details.py,sha256=R0lnEeYL1C-BKPaJhySq3N1H1sFZ4yNOkEcKP3g59dg,8026
-edb_noumea/main.py,sha256=ekx8XF7b3-w63AuVrZqVPg7IKHRL0cZGYmudsHa6DTk,2137
-edb_noumea-0.3.3.dist-info/licenses/LICENSE,sha256=mNQ0SS064BtPKYHabMRg2yM3m-GDX4MgDQ6ZnDFiueI,1100
-edb_noumea-0.3.3.dist-info/METADATA,sha256=OThhFdAf7VGumGUzrAyT3jBeH7lihnHYJkIyLnVe1T8,518
-edb_noumea-0.3.3.dist-info/WHEEL,sha256=qELbo2s1Yzl39ZmrAibXA2jjPLUYfnVhUNTlyF1rq0Y,92
-edb_noumea-0.3.3.dist-info/top_level.txt,sha256=Dj3JusM0b5H9_f9yZeO-IwucCZzI1OHSjLMKtvRjq6k,11
-edb_noumea-0.3.3.dist-info/RECORD,,