edb-noumea 0.3.5__py3-none-any.whl → 0.3.6__py3-none-any.whl

edb_noumea/details.py

@@ -1,4 +1,9 @@
 import pandas as pd
+import requests
+from bs4 import BeautifulSoup
+import camelot
+import tempfile
+import os
 
 @staticmethod
 def get_sites():
@@ -14,22 +19,16 @@ def get_sites():
         {"site": "PLAGE DU KUENDU BEACH", "plage": "Plage du Kuendu Beach", "gmaps_url": "https://maps.app.goo.gl/oGY6Hy4KCXJWxqfL9"},
     ]
     return pd.DataFrame(data)
+
 def get_pdf_url():
     """
     Alias public pour obtenir l'URL du dernier PDF d'analyses détaillées.
     """
     return get_latest_pdf_url()
 
-import pandas as pd
-import pdfplumber
-import requests
-import io
-from bs4 import BeautifulSoup
-
 # URL de la page officielle contenant le lien vers le PDF
 PAGE_URL = "https://www.noumea.nc/noumea-pratique/salubrite-publique/qualite-eaux-baignade"
 
-
 def get_latest_pdf_url():
     """
     Récupère dynamiquement l'URL du dernier PDF d'analyses détaillées depuis la page officielle.
@@ -58,7 +57,7 @@ def get_latest_pdf_url():
 def get_detailed_results():
     """
     Télécharge dynamiquement le PDF des résultats détaillés, en extrait le premier tableau
-    et le retourne sous forme de DataFrame pandas.
+    avec Camelot et le retourne sous forme de DataFrame pandas.
     """
     pdf_url = get_latest_pdf_url()
     if not pdf_url:
@@ -73,31 +72,49 @@ def get_detailed_results():
         print(f"❌ Erreur lors du téléchargement du fichier PDF : {e}")
         return None
 
-    pdf_file = io.BytesIO(response.content)
+    # Utiliser un fichier temporaire pour que Camelot puisse le lire
+    with tempfile.NamedTemporaryFile(delete=False, suffix=".pdf") as temp_pdf:
+        temp_pdf.write(response.content)
+        temp_pdf_path = temp_pdf.name
 
     try:
-        print("🔍 Extraction des tableaux du PDF avec pdfplumber...")
-        with pdfplumber.open(pdf_file) as pdf:
-            if not pdf.pages:
-                print("❌ Le PDF ne contient aucune page.")
-                return None
-            
-            first_page = pdf.pages[0]
-            tables = first_page.extract_tables()
-            
-            if not tables:
-                print("❌ Aucun tableau n'a été trouvé dans le PDF.")
-                return None
-            
-            print(f"✅ {len(tables)} tableau(x) trouvé(s) sur la première page.")
-            # Convertir le premier tableau en DataFrame
-            table_data = tables[0]
-            df = pd.DataFrame(table_data[1:], columns=table_data[0])
+        print("🔍 Extraction des tableaux du PDF avec Camelot (flavor='stream')...")
+        tables = camelot.read_pdf(temp_pdf_path, flavor='stream', pages='1')
+        
+        if not tables:
+            print("❌ Aucun tableau n'a été trouvé dans le PDF avec Camelot.")
+            return None
             
+        print(f"✅ {len(tables)} tableau(x) trouvé(s) sur la première page.")
+        # Le DataFrame est directement accessible avec .df
+        df = tables[0].df
+
+        # The header is messy. Let's explicitly define the columns we expect.
+        new_columns = [
+            "Nom du site de baignade",
+            "Point de prélèvement",
+            "Date du prélèvement",
+            "Heure du prélèvement",
+            "Escherichia coli (NPP/100ml)",
+            "Entérocoques intestinaux (NPP/100ml)"
+        ]
+        
+        # The data from camelot has 6 columns, which matches our expected columns.
+        # Let's assign these names.
+        df.columns = new_columns
+        
+        # Now, we need to find where the actual data starts.
+        # It seems to start at index 6 in the camelot df.
+        df = df.iloc[6:].reset_index(drop=True)
+
     except Exception as e:
-        print(f"❌ Une erreur est survenue lors de l'extraction des données du PDF.")
+        print(f"❌ Une erreur est survenue lors de l'extraction des données du PDF avec Camelot.")
         print(f"   Erreur originale : {e}")
         return None
+    finally:
+        # Nettoyer le fichier temporaire
+        if 'temp_pdf_path' in locals() and os.path.exists(temp_pdf_path):
+            os.remove(temp_pdf_path)
 
     print("\n--- Aperçu du tableau extrait (toutes colonnes) ---")
     with pd.option_context('display.max_columns', None):
@@ -182,4 +199,4 @@ if __name__ == "__main__":
         ]])
         # Export CSV
         detailed_df.to_csv("details_dernier_releve.csv", index=False)
-        print("\n✅ Export CSV : details_dernier_releve.csv")
+        print("\n✅ Export CSV : details_dernier_releve.csv")

{edb_noumea-0.3.5.dist-info → edb_noumea-0.3.6.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: edb-noumea
-Version: 0.3.5
+Version: 0.3.6
 Summary: Scraper pour la qualité des eaux de baignade à Nouméa.
 Project-URL: Homepage, https://github.com/adriens/edb-noumea
 Project-URL: Repository, https://github.com/adriens/edb-noumea
@@ -11,6 +11,7 @@ Requires-Dist: beautifulsoup4
 Requires-Dist: pandas
 Requires-Dist: lxml
 Requires-Dist: pdfplumber
+Requires-Dist: camelot-py[cv]
 Requires-Dist: matplotlib
 Dynamic: license-file
 

edb_noumea-0.3.6.dist-info/RECORD

@@ -0,0 +1,8 @@
+edb_noumea/__init__.py,sha256=G7WKTGLsr2wtW1E2jYpqq4miZLoSGhTifSE36CGNkLo,60
+edb_noumea/details.py,sha256=n9FgkNPzEAZf9HQxTlU7OWjyofi57O00zIqQghyarE8,8821
+edb_noumea/main.py,sha256=ekx8XF7b3-w63AuVrZqVPg7IKHRL0cZGYmudsHa6DTk,2137
+edb_noumea-0.3.6.dist-info/licenses/LICENSE,sha256=mNQ0SS064BtPKYHabMRg2yM3m-GDX4MgDQ6ZnDFiueI,1100
+edb_noumea-0.3.6.dist-info/METADATA,sha256=xAqPGKMwfOvz_HF65QvBcWvyrK8iwGTY5QwwcJmMmYU,7126
+edb_noumea-0.3.6.dist-info/WHEEL,sha256=wUyA8OaulRlbfwMtmQsvNngGrxQHAvkKcvRmdizlJi0,92
+edb_noumea-0.3.6.dist-info/top_level.txt,sha256=Dj3JusM0b5H9_f9yZeO-IwucCZzI1OHSjLMKtvRjq6k,11
+edb_noumea-0.3.6.dist-info/RECORD,,

{edb_noumea-0.3.5.dist-info → edb_noumea-0.3.6.dist-info}/WHEEL

@@ -1,5 +1,5 @@
 Wheel-Version: 1.0
-Generator: setuptools (80.10.1)
+Generator: setuptools (80.10.2)
 Root-Is-Purelib: true
 Tag: py3-none-any
 

edb_noumea-0.3.5.dist-info/RECORD

@@ -1,8 +0,0 @@
-edb_noumea/__init__.py,sha256=G7WKTGLsr2wtW1E2jYpqq4miZLoSGhTifSE36CGNkLo,60
-edb_noumea/details.py,sha256=R0lnEeYL1C-BKPaJhySq3N1H1sFZ4yNOkEcKP3g59dg,8026
-edb_noumea/main.py,sha256=ekx8XF7b3-w63AuVrZqVPg7IKHRL0cZGYmudsHa6DTk,2137
-edb_noumea-0.3.5.dist-info/licenses/LICENSE,sha256=mNQ0SS064BtPKYHabMRg2yM3m-GDX4MgDQ6ZnDFiueI,1100
-edb_noumea-0.3.5.dist-info/METADATA,sha256=SnI96WODEikpxdeanz-fqC4rJoJWthwAXVjloh6pVIw,7096
-edb_noumea-0.3.5.dist-info/WHEEL,sha256=qELbo2s1Yzl39ZmrAibXA2jjPLUYfnVhUNTlyF1rq0Y,92
-edb_noumea-0.3.5.dist-info/top_level.txt,sha256=Dj3JusM0b5H9_f9yZeO-IwucCZzI1OHSjLMKtvRjq6k,11
-edb_noumea-0.3.5.dist-info/RECORD,,