edb-noumea 0.3.5__tar.gz → 0.3.7__tar.gz

{edb_noumea-0.3.5 → edb_noumea-0.3.7}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: edb-noumea
-Version: 0.3.5
+Version: 0.3.7
 Summary: Scraper pour la qualité des eaux de baignade à Nouméa.
 Project-URL: Homepage, https://github.com/adriens/edb-noumea
 Project-URL: Repository, https://github.com/adriens/edb-noumea
@@ -11,6 +11,7 @@ Requires-Dist: beautifulsoup4
 Requires-Dist: pandas
 Requires-Dist: lxml
 Requires-Dist: pdfplumber
+Requires-Dist: camelot-py[cv]
 Requires-Dist: matplotlib
 Dynamic: license-file
 

{edb_noumea-0.3.5 → edb_noumea-0.3.7}/edb_noumea/details.py

@@ -1,4 +1,9 @@
 import pandas as pd
+import requests
+from bs4 import BeautifulSoup
+import camelot
+import tempfile
+import os
 
 @staticmethod
 def get_sites():
@@ -14,22 +19,16 @@ def get_sites():
         {"site": "PLAGE DU KUENDU BEACH", "plage": "Plage du Kuendu Beach", "gmaps_url": "https://maps.app.goo.gl/oGY6Hy4KCXJWxqfL9"},
     ]
     return pd.DataFrame(data)
+
 def get_pdf_url():
     """
     Alias public pour obtenir l'URL du dernier PDF d'analyses détaillées.
     """
     return get_latest_pdf_url()
 
-import pandas as pd
-import pdfplumber
-import requests
-import io
-from bs4 import BeautifulSoup
-
 # URL de la page officielle contenant le lien vers le PDF
 PAGE_URL = "https://www.noumea.nc/noumea-pratique/salubrite-publique/qualite-eaux-baignade"
 
-
 def get_latest_pdf_url():
     """
     Récupère dynamiquement l'URL du dernier PDF d'analyses détaillées depuis la page officielle.
@@ -58,7 +57,7 @@ def get_latest_pdf_url():
 def get_detailed_results():
     """
     Télécharge dynamiquement le PDF des résultats détaillés, en extrait le premier tableau
-    et le retourne sous forme de DataFrame pandas.
+    avec Camelot et le retourne sous forme de DataFrame pandas.
     """
     pdf_url = get_latest_pdf_url()
     if not pdf_url:
@@ -73,31 +72,75 @@ def get_detailed_results():
         print(f"❌ Erreur lors du téléchargement du fichier PDF : {e}")
         return None
 
-    pdf_file = io.BytesIO(response.content)
+    # Utiliser un fichier temporaire pour que Camelot puisse le lire
+    with tempfile.NamedTemporaryFile(delete=False, suffix=".pdf") as temp_pdf:
+        temp_pdf.write(response.content)
+        temp_pdf_path = temp_pdf.name
 
     try:
-        print("🔍 Extraction des tableaux du PDF avec pdfplumber...")
-        with pdfplumber.open(pdf_file) as pdf:
-            if not pdf.pages:
-                print("❌ Le PDF ne contient aucune page.")
-                return None
-            
-            first_page = pdf.pages[0]
-            tables = first_page.extract_tables()
-            
-            if not tables:
-                print("❌ Aucun tableau n'a été trouvé dans le PDF.")
-                return None
-            
-            print(f"✅ {len(tables)} tableau(x) trouvé(s) sur la première page.")
-            # Convertir le premier tableau en DataFrame
-            table_data = tables[0]
-            df = pd.DataFrame(table_data[1:], columns=table_data[0])
+        print("🔍 Extraction des tableaux du PDF avec Camelot (flavor='stream')...")
+        tables = camelot.read_pdf(temp_pdf_path, flavor='stream', pages='1')
+        
+        if not tables:
+            print("❌ Aucun tableau n'a été trouvé dans le PDF avec Camelot.")
+            return None
             
+        print(f"✅ {len(tables)} tableau(x) trouvé(s) sur la première page.")
+        # Le DataFrame est directement accessible avec .df
+        df = tables[0].df
+
+        # The header is messy. Let's explicitly define the columns we expect.
+        new_columns = [
+            "Nom du site de baignade",
+            "Point de prélèvement",
+            "Date du prélèvement",
+            "Heure du prélèvement",
+            "Escherichia coli (NPP/100ml)",
+            "Entérocoques intestinaux (NPP/100ml)"
+        ]
+        
+        # The data from camelot has 6 columns, which matches our expected columns.
+        # Let's assign these names.
+        df.columns = new_columns
+        
+        # Now, we need to find where the actual data starts.
+        # It seems to start at index 6 in the camelot df.
+        df = df.iloc[6:].reset_index(drop=True)
+
+        # Apply ffill to all relevant columns after initial column assignment and before specific cleaning
+        # Replace empty strings with pd.NA first to ensure ffill works
+        for col in df.columns:
+            df[col] = df[col].replace('', pd.NA)
+        
+        # Now, forward-fill all columns. This assumes that empty cells in a data block should inherit from the previous non-empty cell.
+        df = df.ffill()
+
+        # Remove trailing informational rows
+        # Identify the patterns of the rows to be removed
+        unwanted_patterns = [
+            "La qualité des eaux de baignade est évaluée au",
+            "de présence de germes pathogènes",
+            "Suivant l'arrêté N°", # Added to catch more informational rows
+            "Indicateurs microbiologiques" # Added to catch more informational rows
+        ]
+        
+        # Filter out rows that contain these patterns in the 'Nom du site de baignade' or 'Point de prélèvement' column
+        # We check both columns as the content might shift
+        initial_row_count = df.shape[0]
+        df = df[~df['Nom du site de baignade'].fillna('').astype(str).str.contains('|'.join(unwanted_patterns), case=False, na=False)]
+        df = df[~df['Point de prélèvement'].fillna('').astype(str).str.contains('|'.join(unwanted_patterns), case=False, na=False)]
+        
+        if df.shape[0] < initial_row_count:
+            print(f"Removed {initial_row_count - df.shape[0]} informational rows.")
+
     except Exception as e:
-        print(f"❌ Une erreur est survenue lors de l'extraction des données du PDF.")
+        print(f"❌ Une erreur est survenue lors de l'extraction des données du PDF avec Camelot.")
         print(f"   Erreur originale : {e}")
         return None
+    finally:
+        # Nettoyer le fichier temporaire
+        if 'temp_pdf_path' in locals() and os.path.exists(temp_pdf_path):
+            os.remove(temp_pdf_path)
 
     print("\n--- Aperçu du tableau extrait (toutes colonnes) ---")
     with pd.option_context('display.max_columns', None):
@@ -154,11 +197,11 @@ def get_detailed_results():
 
     # Nettoyer et convertir les colonnes e_coli_npp_100ml et enterocoques_npp_100ml
     if "e_coli_npp_100ml" in cleaned_df.columns:
-        cleaned_df["e_coli_npp_100ml"] = cleaned_df["e_coli_npp_100ml"].astype(str).str.replace(r"<\s*10", "10", regex=True)
+        cleaned_df["e_coli_npp_100ml"] = cleaned_df["e_coli_npp_100ml"].astype(str).str.replace(" ", "", regex=False).str.replace(r"<\s*10", "10", regex=True)
         cleaned_df["e_coli_npp_100ml"] = pd.to_numeric(cleaned_df["e_coli_npp_100ml"], errors="coerce").astype('Int64')
 
     if "enterocoques_npp_100ml" in cleaned_df.columns:
-        cleaned_df["enterocoques_npp_100ml"] = cleaned_df["enterocoques_npp_100ml"].astype(str).str.replace(r"<\s*10", "10", regex=True)
+        cleaned_df["enterocoques_npp_100ml"] = cleaned_df["enterocoques_npp_100ml"].astype(str).str.replace(" ", "", regex=False).str.replace(r"<\s*10", "10", regex=True)
         cleaned_df["enterocoques_npp_100ml"] = pd.to_numeric(cleaned_df["enterocoques_npp_100ml"], errors="coerce").astype('Int64')
 
     # Convertir la colonne 'date' en datetime (format jour/mois/année)
@@ -182,4 +225,4 @@ if __name__ == "__main__":
         ]])
         # Export CSV
         detailed_df.to_csv("details_dernier_releve.csv", index=False)
-        print("\n✅ Export CSV : details_dernier_releve.csv")
+        print("\n✅ Export CSV : details_dernier_releve.csv")

{edb_noumea-0.3.5 → edb_noumea-0.3.7}/edb_noumea.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: edb-noumea
-Version: 0.3.5
+Version: 0.3.7
 Summary: Scraper pour la qualité des eaux de baignade à Nouméa.
 Project-URL: Homepage, https://github.com/adriens/edb-noumea
 Project-URL: Repository, https://github.com/adriens/edb-noumea
@@ -11,6 +11,7 @@ Requires-Dist: beautifulsoup4
 Requires-Dist: pandas
 Requires-Dist: lxml
 Requires-Dist: pdfplumber
+Requires-Dist: camelot-py[cv]
 Requires-Dist: matplotlib
 Dynamic: license-file
 

{edb_noumea-0.3.5 → edb_noumea-0.3.7}/edb_noumea.egg-info/requires.txt

@@ -3,4 +3,5 @@ beautifulsoup4
 pandas
 lxml
 pdfplumber
+camelot-py[cv]
 matplotlib

{edb_noumea-0.3.5 → edb_noumea-0.3.7}/pyproject.toml

@@ -2,15 +2,14 @@
 name = "edb-noumea"
 description = "Scraper pour la qualité des eaux de baignade à Nouméa."
 readme = "README.md"
-version = "0.3.5"
+version = "0.3.7"
 dependencies = [
     "requests",
     "beautifulsoup4",
     "pandas",
     "lxml",
     "pdfplumber",
-
-
+    "camelot-py[cv]",
     "matplotlib",
 ]