mdbq 4.1.11__py3-none-any.whl → 4.1.12__py3-none-any.whl

mdbq/__version__.py

@@ -1 +1 @@
-VERSION = '4.1.11'
+VERSION = '4.1.12'

mdbq/mysql/uploader.py

@@ -1219,12 +1219,17 @@ class MySQLUploader:
             set_typ: Dict[str, str],
             allow_null: bool = False,
             db_name: str = None, 
-            table_name: str = None, 
+            table_name: str = None,
+            auto_timestamps: bool = False
     ) -> Tuple[List[Dict], Dict[str, str]]:
         """
         准备要上传的数据，验证并转换数据类型
         根据set_typ自动处理所有数据类型的列：补齐缺失的列并丢弃多余的列
         """
+        # 处理自动时间戳功能
+        if auto_timestamps:
+            data, set_typ = self._process_auto_timestamps(data, set_typ, db_name, table_name)
+        
         # set_typ的键清洗
         if not set_typ:
             set_typ = {}
@@ -1416,7 +1421,8 @@ class MySQLUploader:
             indexes: Optional[List[str]] = None,
             update_on_duplicate: bool = False,
             transaction_mode: str = "batch",
-            unique_keys: Optional[List[List[str]]] = None
+            unique_keys: Optional[List[List[str]]] = None,
+            auto_timestamps: bool = False
     ):
         """
         上传数据到数据库的主入口方法
@@ -1439,6 +1445,7 @@ class MySQLUploader:
             - 'batch'   : 整批提交事务（性能最优）
             - 'hybrid'  : 混合模式（每N行提交，平衡性能与安全性）
         :param unique_keys: 唯一约束列表，每个元素为列名列表，支持多列组合唯一约束。格式：[['col1', 'col2'], ['col3']] 或 None
+        :param auto_timestamps: 是否自动添加创建时间和更新时间列，默认为False。启用后会自动添加'创建时间'和'更新时间'两列
         :raises: 可能抛出各种验证和数据库相关异常
 
         ---
@@ -1483,6 +1490,17 @@ class MySQLUploader:
         - 只要 update_on_duplicate=True 且表存在唯一约束（如 unique_keys），无论 check_duplicate 是否为 True，都会更新旧数据（即 ON DUPLICATE KEY UPDATE 生效）。
         - 如需"覆盖"行为，务必设置 update_on_duplicate=True，不管 check_duplicate 是否为 True。
         - 如需"跳过"行为，设置 update_on_duplicate=False 即可。
+
+        ---
+        auto_timestamps 参数：
+
+        - 当 auto_timestamps=True 时，系统会自动添加'创建时间'和'更新时间'两列
+        - 如果原始数据中已存在这两列，系统会先移除原始数据中的这些列，然后添加新的时间戳
+        - '创建时间'：记录数据首次插入的时间，使用当前时间戳
+        - '更新时间'：记录数据最后更新的时间，插入时与创建时间相同，更新时会自动更新为当前时间
+        - 时间戳列的数据类型为 DATETIME，格式为 'YYYY-MM-DD HH:MM:SS'
+        - 这两列会自动添加到 set_typ 中，无需手动指定
+        - 建议在需要审计数据变更历史的表中启用此功能
         """
         # upload_start = time.time()
         # 检查data参数是否为None
@@ -1492,7 +1510,7 @@ class MySQLUploader:
                 '表': table_name,
             })
             raise ValueError("data参数不能为None，请传入有效的数据")
-            
+        
         if isinstance(data, list) or (hasattr(data, 'shape') and hasattr(data, '__len__')):
             initial_row_count = len(data)
         else:
@@ -1553,7 +1571,7 @@ class MySQLUploader:
                     raise ValueError("分表方式必须是 'year' 或 'month' 或 'None'")
 
             # 准备数据
-            prepared_data, filtered_set_typ = self._prepare_data(data, set_typ, allow_null, db_name, table_name)
+            prepared_data, filtered_set_typ = self._prepare_data(data, set_typ, allow_null, db_name, table_name, auto_timestamps)
 
             # 检查数据库是否存在
             if not self._check_database_exists(db_name):
@@ -2577,6 +2595,93 @@ class MySQLUploader:
         
         return result_df
 
+    def _process_auto_timestamps(
+            self, 
+            data: Union[Dict, List[Dict], pd.DataFrame], 
+            set_typ: Dict[str, str], 
+            db_name: str, 
+            table_name: str
+    ) -> Tuple[Union[Dict, List[Dict], pd.DataFrame], Dict[str, str]]:
+        """
+        处理自动时间戳功能
+        
+        :param data: 原始数据
+        :param set_typ: 列类型定义
+        :param db_name: 数据库名
+        :param table_name: 表名
+        :return: 处理后的数据和更新后的set_typ
+        """
+        
+        # 定义时间戳列名
+        created_col = '创建时间'
+        updated_col = '更新时间'
+        current_time = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')
+        
+        # 复制set_typ以避免修改原始对象
+        updated_set_typ = set_typ.copy()
+        
+        # 添加时间戳列到set_typ
+        updated_set_typ[created_col] = 'DATETIME'
+        updated_set_typ[updated_col] = 'DATETIME'
+        
+        # 处理DataFrame格式的数据
+        if hasattr(data, 'shape') and hasattr(data, 'columns'):
+            import pandas as pd
+            df = data.copy()
+            
+            # 移除原始数据中可能存在的时间戳列
+            columns_to_remove = []
+            for col in df.columns:
+                if col in [created_col, updated_col]:
+                    columns_to_remove.append(col)
+                    logger.warning('移除原始数据中的时间戳列', {
+                        '库': db_name,
+                        '表': table_name,
+                        '列': col,
+                        '原因': '与自动时间戳功能冲突'
+                    })
+            
+            if columns_to_remove:
+                df = df.drop(columns=columns_to_remove)
+            
+            # 添加时间戳列
+            df[created_col] = current_time
+            df[updated_col] = current_time
+            
+            return df, updated_set_typ
+        
+        # 处理字典或字典列表格式的数据
+        else:
+            # 确保data是列表格式
+            if isinstance(data, dict):
+                data_list = [data]
+                is_single_dict = True
+            else:
+                data_list = data
+                is_single_dict = False
+            
+            # 处理每一行数据
+            processed_data = []
+            for row in data_list:
+                new_row = {}
+                
+                # 复制原始数据，但跳过可能存在的时间戳列
+                for key, value in row.items():
+                    if key not in [created_col, updated_col]:
+                        new_row[key] = value
+                
+                # 添加时间戳
+                new_row[created_col] = current_time
+                new_row[updated_col] = current_time
+                
+                processed_data.append(new_row)
+            
+            # 如果原始数据是单个字典，返回单个字典
+            if is_single_dict:
+                return processed_data[0], updated_set_typ
+            else:
+                return processed_data, updated_set_typ
+
 
 def main():
     dir_path = os.path.expanduser("~")

{mdbq-4.1.11.dist-info → mdbq-4.1.12.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: mdbq
-Version: 4.1.11
+Version: 4.1.12
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-4.1.11.dist-info → mdbq-4.1.12.dist-info}/RECORD

@@ -1,5 +1,5 @@
 mdbq/__init__.py,sha256=Il5Q9ATdX8yXqVxtP_nYqUhExzxPC_qk_WXQ_4h0exg,16
-mdbq/__version__.py,sha256=u5gDacgvRqvefEX8ZuCoclKHVFPzAOlN3K-QB3BRCjk,18
+mdbq/__version__.py,sha256=IFiIUlZSAqjKo9qfpz69wxp6zBBmSIhmlxQDUZwjhNE,18
 mdbq/auth/__init__.py,sha256=pnPMAt63sh1B6kEvmutUuro46zVf2v2YDAG7q-jV_To,24
 mdbq/auth/auth_backend.py,sha256=iLN7AqiSq7fQgFtNtge_TIlVOR1hrCSZXH6oId6uGX4,116924
 mdbq/auth/crypto.py,sha256=fcZRFCnrKVVdWDUx_zds51ynFYwS9DBvJOrRQVldrfM,15931
@@ -15,7 +15,7 @@ mdbq/mysql/deduplicator.py,sha256=2fugLyKs_xkvYvoG0C0hRYbJ_w8-4oa1FJ_vavoD7Qo,73
 mdbq/mysql/mysql.py,sha256=pDg771xBugCMSTWeskIFTi3pFLgaqgyG3smzf-86Wn8,56772
 mdbq/mysql/s_query.py,sha256=N2xHJf2CiUXjXIVBemdst-wamIP3908EGAJOFG13fCU,50475
 mdbq/mysql/unique_.py,sha256=MaztT-WIyEQUs-OOYY4pFulgHVcXR1BfCy3QUz0XM_U,21127
-mdbq/mysql/uploader.py,sha256=ijeDZ_Z9krLjVltWzcM8JsHev9eBqB9CNcac_W2mWCg,125975
+mdbq/mysql/uploader.py,sha256=7LIWclzGFWYzrt46NTJn34LJZJaz9eWiV6fIj6-ZK7k,130288
 mdbq/other/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
 mdbq/other/download_sku_picture.py,sha256=X66sVdvVgzoNzmgVJyPtd7bjEvctEKtLPblEPF65EWc,46940
 mdbq/other/error_handler.py,sha256=4p5haAXSY-P78stp4Xwo_MwAngWYqyKj5ogWIuYXMeY,12631
@@ -35,7 +35,7 @@ mdbq/route/routes.py,sha256=QVGfTvDgu0CpcKCvk1ra74H8uojgqTLUav1fnVAqLEA,29433
 mdbq/selenium/__init__.py,sha256=AKzeEceqZyvqn2dEDoJSzDQnbuENkJSHAlbHAD0u0ZI,10
 mdbq/selenium/get_driver.py,sha256=1NTlVUE6QsyjTrVVVqTO2LOnYf578ccFWlWnvIXGtic,20903
 mdbq/spider/__init__.py,sha256=RBMFXGy_jd1HXZhngB2T2XTvJqki8P_Fr-pBcwijnew,18
-mdbq-4.1.11.dist-info/METADATA,sha256=uDJZ-MeTKGJLduZ9Pyf-tN5kFgE9ZqYjakSJtrjzt_I,364
-mdbq-4.1.11.dist-info/WHEEL,sha256=_zCd3N1l69ArxyTb8rzEoP9TpbYXkqRFSNOD5OuxnTs,91
-mdbq-4.1.11.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
-mdbq-4.1.11.dist-info/RECORD,,
+mdbq-4.1.12.dist-info/METADATA,sha256=EI6IFZT65_tpgdTRxL9AdN5JJBKdMX4vIiMztPSKOR8,364
+mdbq-4.1.12.dist-info/WHEEL,sha256=_zCd3N1l69ArxyTb8rzEoP9TpbYXkqRFSNOD5OuxnTs,91
+mdbq-4.1.12.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
+mdbq-4.1.12.dist-info/RECORD,,