mdbq 4.0.1__py3-none-any.whl → 4.0.2__py3-none-any.whl

mdbq/__version__.py

@@ -1 +1 @@
-VERSION = '4.0.1'
+VERSION = '4.0.2'

mdbq/mysql/unique_.py

@@ -7,16 +7,14 @@ from dbutils.pooled_db import PooledDB
 import os
 
 logger = mylogger.MyLogger(
-    name='unique_',
     logging_mode='file',
-    log_level='debug',
-    log_file='unique_.log',
+    log_level='info',
     log_format='json',
     max_log_size=50,
     backup_count=5,
     enable_async=False,  # 是否启用异步日志
-    sample_rate=1,  # 采样DEBUG/INFO日志, 0.5表示50%的日志会被采样
-    sensitive_fields=[],  #  敏感字段列表
+    sample_rate=1,  # 采样DEBUG/INFO日志
+    sensitive_fields=[],  #  敏感字段过滤
     enable_metrics=False,  # 是否启用性能指标
 )
 

mdbq/mysql/uploader.py

@@ -6,7 +6,9 @@ from functools import wraps
 import warnings
 import pymysql
 import pandas as pd
+import os
 from mdbq.log import mylogger
+from mdbq.config import config
 from typing import Union, List, Dict, Optional, Any, Tuple, Set
 from dbutils.pooled_db import PooledDB
 import json
@@ -950,7 +952,7 @@ class MySQLUploader:
             unique_keys: Optional[List[List[str]]] = None
     ):
         """
-        上传数据到数据库的主入口方法，分表逻辑异常处理统计丢弃数据
+        上传数据到数据库的主入口方法
 
         :param db_name: 数据库名
         :param table_name: 表名
@@ -971,6 +973,23 @@ class MySQLUploader:
             - 'hybrid'  : 混合模式（每N行提交，平衡性能与安全性）
         :param unique_keys: 唯一约束列表，每个元素为列名列表，支持多列组合唯一约束
         :raises: 可能抛出各种验证和数据库相关异常
+
+        ---
+        unique_keys、check_duplicate、update_on_duplicate 三者组合下的行为总结：
+
+        | unique_keys | check_duplicate | update_on_duplicate | 行为                         |
+        |-------------|----------------|---------------------|------------------------------|
+        | 有/无       | False          | False               | 冲突时报错/跳过，不覆盖      |
+        | 有/无       | False          | True                | 冲突时覆盖（ON DUPLICATE KEY）|
+        | 有/无       | True           | False               | 主动查重，冲突时跳过，不覆盖 |
+        | 有/无       | True           | True                | 主动查重，冲突时覆盖         |
+
+        - unique_keys 只决定唯一性，不决定是否覆盖。
+        - check_duplicate=True 时，插入前主动查重，重复数据跳过或覆盖，取决于 update_on_duplicate。
+        - update_on_duplicate=True 时，遇到唯一约束冲突会用新数据覆盖旧数据。
+        - 只要 update_on_duplicate=True 且表存在唯一约束（如 unique_keys），无论 check_duplicate 是否为 True，都会更新旧数据（即 ON DUPLICATE KEY UPDATE 生效）。
+        - 如需"覆盖"行为，务必设置 update_on_duplicate=True，不管 check_duplicate 是否为 True。
+        - 如需"跳过"行为，设置 update_on_duplicate=False 即可。
         """
         # upload_start = time.time()
         if isinstance(data, list) or (hasattr(data, 'shape') and hasattr(data, '__len__')):
@@ -1335,7 +1354,16 @@ class MySQLUploader:
             transaction_mode: str,
             update_on_duplicate: bool = False
     ) -> Tuple[int, int, int]:
-        """执行批量插入操作，优化batch和hybrid模式"""
+        """
+        执行批量插入操作，优化batch和hybrid模式。
+
+        - batch模式下，使用executemany批量插入（如SQL带ON DUPLICATE KEY UPDATE时），MySQL会对每一行单独判断唯一约束：
+            - 不冲突的行会被正常插入。
+            - 冲突的行会触发ON DUPLICATE KEY UPDATE，用新数据更新旧数据。
+            - 不会因为一行冲突导致整批失败或回滚。
+        - 只有遇到严重的数据库错误（如所有行都因唯一约束冲突且没有ON DUPLICATE KEY UPDATE），才会整体回滚。
+        - 返回值为(插入行数, 跳过行数, 失败行数)。
+        """
         import pymysql  # 确保异常类型可用
         def get_optimal_batch_size(total_rows: int) -> int:
             if total_rows <= 100:
@@ -1533,19 +1561,16 @@ class MySQLUploader:
 
 
 def main():
-    """
-    示例：
-    1. 创建上传器实例
-    2. 定义数据表结构
-    3. 准备测试数据
-    4. 上传数据到数据库
-    5. 关闭连接
-    """
+    dir_path = os.path.expanduser("~")
+    my_cont = config.read_config(file_path=os.path.join(dir_path, 'spd.txt'))
+    username, password, host, port = my_cont['username'], my_cont['password'], my_cont['host'], int(my_cont['port'])
+    host = 'localhost'
+
     uploader = MySQLUploader(
-        username='root',
-        password='pwd',
-        host='localhost',
-        port=3306,
+        username=username,
+        password=password,
+        host=host,
+        port=port,
     )
 
     # 定义列和数据类型
@@ -1561,7 +1586,7 @@ def main():
     data = [
         {'日期': '2023-01-8', 'name': 'JACk', 'AGE': '24', 'salary': 555.1545},
         {'日期': '2023-01-15', 'name': 'Alice', 'AGE': 35, 'salary': '100'},
-        {'日期': '2023-01-15', 'name': 'Alice', 'AGE': 30, 'salary': 0.0},
+        {'日期': '2023-01-15', 'name': 'Alice', 'AGE': 5, 'salary': 15478},
         {'日期': '2023-02-20', 'name': 'Bob', 'AGE': 25, 'salary': 45000.75},
     ]
 
@@ -1574,7 +1599,7 @@ def main():
         primary_keys=[],  # 创建唯一主键
         check_duplicate=False,  # 检查重复数据
         duplicate_columns=[],  # 指定排重的组合键
-        update_on_duplicate=False,  # 更新旧数据
+        update_on_duplicate=True,  # 更新旧数据
         allow_null=False,  # 允许插入空值
         partition_by='year',  # 分表方式
         partition_date_column='日期',  # 用于分表的日期列名，默认为'日期'
@@ -1587,5 +1612,5 @@ def main():
 
 
 if __name__ == '__main__':
-    # main()
+    main()
     pass

{mdbq-4.0.1.dist-info → mdbq-4.0.2.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.2
 Name: mdbq
-Version: 4.0.1
+Version: 4.0.2
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-4.0.1.dist-info → mdbq-4.0.2.dist-info}/RECORD

@@ -1,5 +1,5 @@
 mdbq/__init__.py,sha256=Il5Q9ATdX8yXqVxtP_nYqUhExzxPC_qk_WXQ_4h0exg,16
-mdbq/__version__.py,sha256=WBE7mTxRoSY0T8hh6Mw105SxEvMZncp5QBVgj2EYNrk,17
+mdbq/__version__.py,sha256=_fU0Mj16CzZHiwvkoGULFRC0vc6b0FxDy6MgQQON3Gw,17
 mdbq/aggregation/__init__.py,sha256=EeDqX2Aml6SPx8363J-v1lz0EcZtgwIBYyCJV6CcEDU,40
 mdbq/aggregation/query_data.py,sha256=U6dYK8_gEaNnsGKooEkzfAWnzNA8kt0uomec49e4olE,177536
 mdbq/config/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
@@ -11,8 +11,8 @@ mdbq/mysql/__init__.py,sha256=A_DPJyAoEvTSFojiI2e94zP0FKtCkkwKP1kYUCSyQzo,11
 mdbq/mysql/deduplicator.py,sha256=8v3MC6TJ0YEiExWrTP9OXAxTYnL9XbpYL2vWaER1h2M,73099
 mdbq/mysql/mysql.py,sha256=pDg771xBugCMSTWeskIFTi3pFLgaqgyG3smzf-86Wn8,56772
 mdbq/mysql/s_query.py,sha256=tSBEbyuVQBeE6tckHSbguAQh9T07tvPhf4J6DlpUBP8,10508
-mdbq/mysql/unique_.py,sha256=eygkSlRda786iwpR1Q-ofnrhDqhZUE4Z0yVZ9LR4EEU,21158
-mdbq/mysql/uploader.py,sha256=sqzJsOTDJuNJeh9oT_lVsReMwSifETSHd-ZwwGshj9I,70421
+mdbq/mysql/unique_.py,sha256=Wgqq_PjAAD757JTa10wjYaJgssZ_C_ypU6DW56jbuyw,21074
+mdbq/mysql/uploader.py,sha256=n6K2rn7cGHGLGevX2JO7pKrUiQiGNluRx3CwnxARZGI,72503
 mdbq/other/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
 mdbq/other/download_sku_picture.py,sha256=YU8DxKMXbdeE1OOKEA848WVp62jYHw5O4tXTjUdq9H0,44832
 mdbq/other/otk.py,sha256=iclBIFbQbhlqzUbcMMoePXBpcP1eZ06ZtjnhcA_EbmE,7241
@@ -25,7 +25,7 @@ mdbq/redis/__init__.py,sha256=YtgBlVSMDphtpwYX248wGge1x-Ex_mMufz4-8W0XRmA,12
 mdbq/redis/getredis.py,sha256=l3zBK7wrZl0oO42-_UGylyatnIp_SBw8wDDvof9fht4,23534
 mdbq/spider/__init__.py,sha256=RBMFXGy_jd1HXZhngB2T2XTvJqki8P_Fr-pBcwijnew,18
 mdbq/spider/aikucun.py,sha256=hPRzLQvFIF4ibN8aP3Dg_ru5meac90faPyzOB22cj-o,20965
-mdbq-4.0.1.dist-info/METADATA,sha256=8oQgsqmQ4Nf0vF2YyIJ7Z9mgGdt5Pv4mPLu2z9057xQ,363
-mdbq-4.0.1.dist-info/WHEEL,sha256=jB7zZ3N9hIM9adW7qlTAyycLYW9npaWKLRzaoVcLKcM,91
-mdbq-4.0.1.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
-mdbq-4.0.1.dist-info/RECORD,,
+mdbq-4.0.2.dist-info/METADATA,sha256=EdCDmGum97Hjm9aKPV-2qAf9IoMkh-F0DE6ATMLJTX8,363
+mdbq-4.0.2.dist-info/WHEEL,sha256=jB7zZ3N9hIM9adW7qlTAyycLYW9npaWKLRzaoVcLKcM,91
+mdbq-4.0.2.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
+mdbq-4.0.2.dist-info/RECORD,,