sqlServerConnector 0.1.8__tar.gz → 0.1.9__tar.gz

{sqlserverconnector-0.1.8 → sqlserverconnector-0.1.9}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: sqlServerConnector
-Version: 0.1.8
+Version: 0.1.9
 Summary: A custom SQL Server Connector for ETL processes with Pandas
 Author-email: Nguyen Minh Son <nguyen.minhson1511@gmail.com>
 Project-URL: Homepage, https://github.com/johnnyb1509/sqlServerConnector
@@ -20,8 +20,10 @@ Requires-Dist: jupyterlab
 # SQL Server Connector
 
 Thư viện kết nối SQL Server chuyên dụng cho các tác vụ ETL, được tối ưu hóa cho **Pandas**, hỗ trợ **Tiếng Việt (Unicode)** và **Upsert (Merge)** hiệu năng cao.
-## Update 0.1.7
+
+### **Update 0.1.9**
 > Sửa lỗi nhỏ liên quan đến việc upsert với các bảng có cột chứa Tiếng Việt
+> Thay vì dùng bảng tạm (##Staging), sẽ dùng bảng vật lý tạm thời (Physical Staging Table) có tên chứa UUID (để đảm bảo duy nhất, không trùng lặp giữa các luồng chạy). Sau khi Upsert xong, ta sẽ DROP bảng này ngay lập tức. Cách này tương thích 100% với Pandas và SQLAlchemy.
 
 
 ## 🚀 Tính năng nổi bật

{sqlserverconnector-0.1.8 → sqlserverconnector-0.1.9}/README.md

@@ -1,8 +1,10 @@
 # SQL Server Connector
 
 Thư viện kết nối SQL Server chuyên dụng cho các tác vụ ETL, được tối ưu hóa cho **Pandas**, hỗ trợ **Tiếng Việt (Unicode)** và **Upsert (Merge)** hiệu năng cao.
-## Update 0.1.7
+
+### **Update 0.1.9**
 > Sửa lỗi nhỏ liên quan đến việc upsert với các bảng có cột chứa Tiếng Việt
+> Thay vì dùng bảng tạm (##Staging), sẽ dùng bảng vật lý tạm thời (Physical Staging Table) có tên chứa UUID (để đảm bảo duy nhất, không trùng lặp giữa các luồng chạy). Sau khi Upsert xong, ta sẽ DROP bảng này ngay lập tức. Cách này tương thích 100% với Pandas và SQLAlchemy.
 
 
 ## 🚀 Tính năng nổi bật

{sqlserverconnector-0.1.8 → sqlserverconnector-0.1.9}/pyproject.toml

@@ -6,7 +6,7 @@ build-backend = "setuptools.build_meta"
 
 [project]
 name = "sqlServerConnector"
-version = "0.1.8"
+version = "0.1.9"
 description = "A custom SQL Server Connector for ETL processes with Pandas"
 readme = "README.md"
 requires-python = ">=3.8"

{sqlserverconnector-0.1.8 → sqlserverconnector-0.1.9}/src/connector.py

@@ -119,18 +119,7 @@ class SQLServerConnector:
                     conflict_strategy: Literal['last', 'skip'] = 'last',
                     auto_evolve_schema: bool = False):
         """
-        Hàm Upsert mạnh mẽ.
-        
-        Args:
-            df: DataFrame cần upload.
-            target_table: Tên bảng đích.
-            match_columns: Danh sách cột dùng làm Key so khớp (Primary Key).
-            conflict_strategy: 
-                - 'last': Update ghi đè dữ liệu mới vào dòng cũ (Default).
-                - 'skip': Nếu trùng key thì bỏ qua, không update.
-            auto_evolve_schema: 
-                - True: Tự động thêm cột vào DB nếu DF có cột mới.
-                - False: Bỏ qua các cột trong DF mà DB không có (Strict Schema).
+        Hàm Upsert sửa lỗi 'Table not found'.
         """
         if df.empty:
             logger.warning(f"DataFrame for {target_table} is empty. Skip.")
@@ -139,17 +128,19 @@ class SQLServerConnector:
         # 1. Map Unicode Types
         dtype_mapping = self._generate_dtype_mapping(df)
         
-        # 2. Staging Table Name
-        staging_table = f"##Staging_{uuid.uuid4().hex[:8]}"
+        # [FIX] Dùng tên bảng thường (Staging_UUID) thay vì ##Staging
+        # Lý do: Pandas to_sql gặp lỗi khi check sự tồn tại của bảng ## trong transaction.
+        # Bảng này sẽ được drop thủ công ở khối finally.
+        staging_table = f"Staging_{uuid.uuid4().hex[:8]}"
 
         try:
             with self.engine.begin() as conn:
-                # --- A. Kiểm tra Schema & Table ---
+                # --- A. Kiểm tra & Tạo bảng đích ---
                 inspector = inspect(conn)
                 if not inspector.has_table(target_table):
                     logger.info(f"Table {target_table} not found. Creating new...")
                     df.to_sql(target_table, conn, index=False, dtype=dtype_mapping)
-                    # Tạo Primary Key nếu cần
+                    
                     if match_columns:
                         pk_str = ", ".join([f"[{c}]" for c in match_columns])
                         try:
@@ -158,25 +149,22 @@ class SQLServerConnector:
                             logger.warning(f"Could not create PK: {e}")
                     return
 
-                # --- B. Xử lý Schema Evolution ---
+                # --- B. Schema Evolution ---
                 db_cols = self._get_table_columns(target_table, conn)
                 df_cols = list(df.columns)
-                
-                # Tìm cột có trong DF mà không có trong DB
                 new_cols = [c for c in df_cols if c not in db_cols]
                 
                 if new_cols:
                     if auto_evolve_schema:
                         self._add_missing_columns(target_table, new_cols, dtype_mapping, conn)
-                        db_cols.extend(new_cols) # Update danh sách cột DB
+                        db_cols.extend(new_cols)
                     else:
-                        # Nếu không auto evolve, chỉ giữ lại các cột khớp với DB
                         valid_cols = [c for c in df_cols if c in db_cols]
                         if len(valid_cols) < len(df_cols):
-                            logger.warning(f"Schema strict: Dropping columns {new_cols} because they are not in DB.")
                             df = df[valid_cols]
-                
-                # --- C. Đẩy vào Staging (Fast Executemany) ---
+
+                # --- C. Đẩy vào Staging ---
+                # to_sql hoạt động tốt với bảng thường
                 df.to_sql(
                     name=staging_table,
                     con=conn,
@@ -185,60 +173,52 @@ class SQLServerConnector:
                     dtype=dtype_mapping
                 )
 
-                # --- D. Thực hiện MERGE ---
-                # Chỉ lấy các cột chung giữa DF và DB để Merge (tránh lỗi cột không tồn tại)
+                # --- D. MERGE ---
                 common_cols = [c for c in df.columns if c in db_cols]
-                
                 on_clause = " AND ".join([f"Target.[{col}] = Source.[{col}]" for col in match_columns])
                 
-                # Logic Insert
                 insert_cols = ", ".join([f"[{col}]" for col in common_cols])
                 insert_vals = ", ".join([f"Source.[{col}]" for col in common_cols])
 
-                # Logic Update
                 merge_sql = ""
-                
-                # Trường hợp 1: Update ('last')
                 if conflict_strategy == 'last':
                     update_cols = [c for c in common_cols if c not in match_columns]
                     if update_cols:
                         update_set = ", ".join([f"Target.[{col}] = Source.[{col}]" for col in update_cols])
                         merge_sql = f"""
-                        MERGE [{target_table}] AS Target
-                        USING {staging_table} AS Source
+                        MERGE [{target_table}] AS Target USING [{staging_table}] AS Source
                         ON {on_clause}
-                        WHEN MATCHED THEN
-                            UPDATE SET {update_set}
-                        WHEN NOT MATCHED BY TARGET THEN
-                            INSERT ({insert_cols}) VALUES ({insert_vals});
+                        WHEN MATCHED THEN UPDATE SET {update_set}
+                        WHEN NOT MATCHED BY TARGET THEN INSERT ({insert_cols}) VALUES ({insert_vals});
                         """
                     else:
-                        # Nếu chỉ có cột PK, không có gì để update -> Chỉ Insert if not exists
                         merge_sql = f"""
-                        MERGE [{target_table}] AS Target
-                        USING {staging_table} AS Source
+                        MERGE [{target_table}] AS Target USING [{staging_table}] AS Source
                         ON {on_clause}
-                        WHEN NOT MATCHED BY TARGET THEN
-                            INSERT ({insert_cols}) VALUES ({insert_vals});
+                        WHEN NOT MATCHED BY TARGET THEN INSERT ({insert_cols}) VALUES ({insert_vals});
                         """
                 
-                # Trường hợp 2: Skip (Chỉ Insert, không Update)
                 elif conflict_strategy == 'skip':
                     merge_sql = f"""
-                    MERGE [{target_table}] AS Target
-                    USING {staging_table} AS Source
+                    MERGE [{target_table}] AS Target USING [{staging_table}] AS Source
                     ON {on_clause}
-                    WHEN NOT MATCHED BY TARGET THEN
-                        INSERT ({insert_cols}) VALUES ({insert_vals});
+                    WHEN NOT MATCHED BY TARGET THEN INSERT ({insert_cols}) VALUES ({insert_vals});
                     """
 
                 conn.execute(text(merge_sql))
-                conn.execute(text(f"DROP TABLE IF EXISTS {staging_table}"))
-                logger.info(f"Upserted {len(df)} rows to {target_table} (Strategy: {conflict_strategy})")
+                logger.info(f"Upserted {len(df)} rows to {target_table}")
 
         except Exception as e:
             logger.error(f"Upsert failed for {target_table}: {e}")
             raise e
+        finally:
+            # [QUAN TRỌNG] Luôn luôn xóa bảng Staging rác dù thành công hay thất bại
+            # Sử dụng kết nối mới để đảm bảo lệnh Drop được thực thi
+            try:
+                with self.engine.begin() as conn:
+                    conn.execute(text(f"IF OBJECT_ID('{staging_table}', 'U') IS NOT NULL DROP TABLE [{staging_table}]"))
+            except Exception as e:
+                logger.warning(f"Could not clean up staging table {staging_table}: {e}")
 
     def dispose(self):
         self.engine.dispose()

{sqlserverconnector-0.1.8 → sqlserverconnector-0.1.9}/src/sqlServerConnector.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: sqlServerConnector
-Version: 0.1.8
+Version: 0.1.9
 Summary: A custom SQL Server Connector for ETL processes with Pandas
 Author-email: Nguyen Minh Son <nguyen.minhson1511@gmail.com>
 Project-URL: Homepage, https://github.com/johnnyb1509/sqlServerConnector
@@ -20,8 +20,10 @@ Requires-Dist: jupyterlab
 # SQL Server Connector
 
 Thư viện kết nối SQL Server chuyên dụng cho các tác vụ ETL, được tối ưu hóa cho **Pandas**, hỗ trợ **Tiếng Việt (Unicode)** và **Upsert (Merge)** hiệu năng cao.
-## Update 0.1.7
+
+### **Update 0.1.9**
 > Sửa lỗi nhỏ liên quan đến việc upsert với các bảng có cột chứa Tiếng Việt
+> Thay vì dùng bảng tạm (##Staging), sẽ dùng bảng vật lý tạm thời (Physical Staging Table) có tên chứa UUID (để đảm bảo duy nhất, không trùng lặp giữa các luồng chạy). Sau khi Upsert xong, ta sẽ DROP bảng này ngay lập tức. Cách này tương thích 100% với Pandas và SQLAlchemy.
 
 
 ## 🚀 Tính năng nổi bật