edb-noumea 0.2.15__tar.gz → 0.3.1__tar.gz

{edb_noumea-0.2.15 → edb_noumea-0.3.1}/PKG-INFO

@@ -1,13 +1,12 @@
 Metadata-Version: 2.4
 Name: edb-noumea
-Version: 0.2.15
-Summary: Un scraper pour la qualité des eaux de baignade à Nouméa. (Bug fix release: improved PDF column detection and added jpype1 dependency)
+Version: 0.3.1
+Summary: Scraper robuste pour la qualité des eaux de baignade à Nouméa. Ajout export CSV automatique et détection améliorée des colonnes PDF.
 Project-URL: Homepage, https://github.com/adriens/edb-noumea
 Project-URL: Repository, https://github.com/adriens/edb-noumea
 Requires-Dist: requests
 Requires-Dist: beautifulsoup4
 Requires-Dist: pandas
 Requires-Dist: lxml
-Requires-Dist: tabula-py
-Requires-Dist: jpype1
+Requires-Dist: pdfplumber
 Requires-Dist: matplotlib

{edb_noumea-0.2.15 → edb_noumea-0.3.1}/README.md

@@ -1,6 +1,10 @@
-![Built with uv](https://img.shields.io/badge/Built%20with-uv-blueviolet?logo=python&logoColor=white)
+[![Built with uv](https://img.shields.io/badge/Built%20with-uv-blueviolet?logo=python&logoColor=white)](https://docs.astral.sh/uv/)
 [![PyPI - Downloads](https://img.shields.io/pypi/dm/edb-noumea)](https://pypistats.org/packages/edb-noumea)
-
+[![Open in Kaggle](https://img.shields.io/badge/Kaggle-Open%20Notebook-blue?logo=kaggle)](https://www.kaggle.com/code/adriensales/qualit-eaux-de-baignade-noum-a)
+[![Dataset](https://img.shields.io/badge/Kaggle-Dataset-blue?logo=kaggle)](https://www.kaggle.com/datasets/adriensales/qualit-des-eaux-de-baignade-nouma)
+[![Live CSV Data](https://img.shields.io/badge/GitHub-Live%20CSV%20Data-black?logo=github)](https://github.com/adriens/edb-noumea-data)
+[![Go BubbleTea TUI](https://img.shields.io/badge/Go-BubbleTea%20TUI-00ADD8?logo=go)](https://github.com/adriens/edb-noumea-tui)
+[![Site officiel Ville de Nouméa](https://img.shields.io/badge/Nouméa-Site%20officiel%20Ville%20de%20Nouméa-0A74DA)](https://www.noumea.nc/noumea-pratique/salubrite-publique/qualite-eaux-baignade)
 
 
 

{edb_noumea-0.2.15 → edb_noumea-0.3.1}/edb_noumea/details.py

@@ -21,10 +21,10 @@ def get_pdf_url():
     return get_latest_pdf_url()
 
 import pandas as pd
-import tabula
 import requests
 import io
 from bs4 import BeautifulSoup
+import pdfplumber
 
 # URL de la page officielle contenant le lien vers le PDF
 PAGE_URL = "https://www.noumea.nc/noumea-pratique/salubrite-publique/qualite-eaux-baignade"
@@ -76,11 +76,12 @@ def get_detailed_results():
     pdf_file = io.BytesIO(response.content)
 
     try:
-        print("🔍 Extraction des tableaux du PDF...")
-        tables = tabula.read_pdf(pdf_file, pages='1', stream=True)
+        print("🔍 Extraction des tableaux du PDF avec pdfplumber...")
+        with pdfplumber.open(pdf_file) as pdf:
+            first_page = pdf.pages[0]
+            tables = first_page.extract_tables()
     except Exception as e:
-        print(f"❌ Une erreur est survenue lors de l'extraction des données du PDF.")
-        print("ℹ️  Cela peut être dû à l'absence de Java sur votre système, qui est requis par la bibliothèque 'tabula-py'.")
+        print(f"❌ Une erreur est survenue lors de l'extraction des données du PDF avec pdfplumber.")
         print(f"   Erreur originale : {e}")
         return None
 
@@ -88,31 +89,43 @@ def get_detailed_results():
         print("❌ Aucun tableau n'a été trouvé dans le PDF.")
         return None
 
+    # Assuming the first table is the one we want
+    df = pd.DataFrame(tables[0][1:], columns=tables[0][0])
+    
     print(f"✅ {len(tables)} tableau(x) trouvé(s). Affichage du premier.")
-    df = tables[0]
     print("\n--- Aperçu du tableau extrait (toutes colonnes) ---")
     with pd.option_context('display.max_columns', None):
         print(df)
     print("\nColonnes:", list(df.columns))
     print("Shape:", df.shape)
 
-    # Sélection dynamique des colonnes bactéries par nom
-    # Recherche des colonnes contenant les mots-clés
-    e_coli_col = next((col for col in df.columns if "Escherichia" in str(col) or "coli" in str(col)), None)
-    entero_col = next((col for col in df.columns if "Entérocoques" in str(col)), None)
+    # Nettoyer les noms de colonnes pour faciliter la recherche
+    def clean_col(col):
+        return str(col).replace("Unnamed:", "").replace("_", " ").replace("\xa0", " ").replace("\n", " ").replace("duprélèvement", "du prélèvement").strip().lower()
 
-    # Dynamically find all required columns
-    site_col = next((col for col in df.columns if "Nom du site" in str(col)), None)
-    point_prelevement_col = next((col for col in df.columns if "Point de prélèvement" in str(col)), None)
-    date_col = next((col for col in df.columns if "Date du prélèvement" in str(col)), None)
-    heure_col = next((col for col in df.columns if "Heure du prélèvement" in str(col)), None)
+    cleaned_columns = {clean_col(col): col for col in df.columns if not str(col).startswith("Unnamed")}
 
-    # Check if all required columns are found
+    def find_col(possibles):
+        for key, col in cleaned_columns.items():
+            for possible in possibles:
+                if possible in key:
+                    return col
+        return None
+
+    site_col = find_col(["nom du site"])
+    point_prelevement_col = find_col(["point de prélèvement"])
+    date_col = find_col(["date du prélèvement"])
+    heure_col = find_col(["heure du prélèvement", "heure"])
+    e_coli_col = find_col(["escherichia", "coli"])
+    entero_col = find_col(["entérocoques"])
+
+    # Vérification des colonnes requises
     if not all([site_col, point_prelevement_col, date_col, heure_col, e_coli_col, entero_col]):
         print(f"❌ Certaines colonnes requises n'ont pas été trouvées. Colonnes disponibles : {list(df.columns)}")
+        print(f"Colonnes nettoyées : {list(cleaned_columns.keys())}")
         return None
 
-    # Select and rename columns to internal consistent names
+    # Sélection et renommage
     cleaned_df = df.loc[:, [site_col, point_prelevement_col, date_col, heure_col, e_coli_col, entero_col]].copy()
     cleaned_df.columns = [
         "site",
@@ -161,3 +174,6 @@ if __name__ == "__main__":
             "e_coli_npp_100ml",
             "enterocoques_npp_100ml"
         ]])
+        # Export CSV avec toutes les colonnes
+        detailed_df.to_csv("details_dernier_releve_full.csv", index=False)
+        print("\n✅ Export CSV : details_dernier_releve_full.csv")

{edb_noumea-0.2.15 → edb_noumea-0.3.1}/edb_noumea.egg-info/PKG-INFO

@@ -1,13 +1,12 @@
 Metadata-Version: 2.4
 Name: edb-noumea
-Version: 0.2.15
-Summary: Un scraper pour la qualité des eaux de baignade à Nouméa. (Bug fix release: improved PDF column detection and added jpype1 dependency)
+Version: 0.3.1
+Summary: Scraper robuste pour la qualité des eaux de baignade à Nouméa. Ajout export CSV automatique et détection améliorée des colonnes PDF.
 Project-URL: Homepage, https://github.com/adriens/edb-noumea
 Project-URL: Repository, https://github.com/adriens/edb-noumea
 Requires-Dist: requests
 Requires-Dist: beautifulsoup4
 Requires-Dist: pandas
 Requires-Dist: lxml
-Requires-Dist: tabula-py
-Requires-Dist: jpype1
+Requires-Dist: pdfplumber
 Requires-Dist: matplotlib

{edb_noumea-0.2.15 → edb_noumea-0.3.1}/edb_noumea.egg-info/requires.txt

@@ -2,6 +2,5 @@ requests
 beautifulsoup4
 pandas
 lxml
-tabula-py
-jpype1
+pdfplumber
 matplotlib

{edb_noumea-0.2.15 → edb_noumea-0.3.1}/edb_noumea.egg-info/top_level.txt

@@ -1,3 +1,4 @@
+build
 dist
 edb_noumea
 examples

{edb_noumea-0.2.15 → edb_noumea-0.3.1}/pyproject.toml

@@ -1,14 +1,15 @@
 [project]
 name = "edb-noumea"
-    version = "0.2.15"
-description = "Un scraper pour la qualité des eaux de baignade à Nouméa. (Bug fix release: improved PDF column detection and added jpype1 dependency)"
+description = "Scraper robuste pour la qualité des eaux de baignade à Nouméa. Ajout export CSV automatique et détection améliorée des colonnes PDF."
+version = "0.3.1"
 dependencies = [
     "requests",
     "beautifulsoup4",
     "pandas",
     "lxml",
-    "tabula-py",
-    "jpype1",
+    "pdfplumber",
+
+
     "matplotlib",
 ]