cppackage 0.3.1__tar.gz → 0.3.2__tar.gz

{cppackage-0.3.1 → cppackage-0.3.2}/CPpackage/db/sql_model.py

@@ -1,6 +1,5 @@
 import pymysql
 import time
-from pymysql import Error
 try:
     from .config import get_db_config
 except (ImportError, ValueError):
@@ -13,12 +12,8 @@ except (ImportError, ValueError):
 
 # ===================== 数据库连接 =====================
 
-def _get_connection(database=None, port=None):
-    cfg = get_db_config()
-
-    db = database if database else cfg.get('database')
-    prt = port if port else cfg.get('port', 3306)
-
+def _create_new_connection(cfg, db, prt):
+    """创建新的数据库连接"""
     return pymysql.connect(
         host=cfg.get('host'),
         user=cfg.get('user'),
@@ -30,6 +25,33 @@ def _get_connection(database=None, port=None):
     )
 
 
+def _get_connection(database=None, port=None):
+    """
+    获取数据库连接，包含健康检查机制
+    - 使用 ping(reconnect=True) 检测连接有效性
+    - 如果连接失效，自动重新创建连接
+    """
+    cfg = get_db_config()
+
+    db = database if database else cfg.get('database')
+    prt = port if port else cfg.get('port', 3306)
+
+    conn = _create_new_connection(cfg, db, prt)
+
+    # 连接健康检查：发送 ping 确保连接有效
+    try:
+        conn.ping(reconnect=False)
+    except Exception:
+        # 如果 ping 失败，重新创建连接
+        try:
+            conn.close()
+        except Exception:
+            pass
+        conn = _create_new_connection(cfg, db, prt)
+
+    return conn
+
+
 # ===================== 查询操作 =====================
 
 def sel_data(sql, params=None, port=None, database=None):
@@ -139,8 +161,7 @@ def find_duplicate_records(table_name, database, unique_index_fields, port=None)
     if not isinstance(unique_index_fields, list) or len(unique_index_fields) == 0:
         print("错误：unique_index_fields 必须是非空列表！")
         return None
-    
-    fields_str = ",".join([f"`{field}`" for field in unique_index_fields])
+
     group_by_str = ",".join([f"`{field}`" for field in unique_index_fields])
     
     # 核心SQL：查询所有重复记录
@@ -244,43 +265,110 @@ def delete_duplicate_records(table_name, database, unique_index_fields, port=Non
         return None
 # ===================== DataFrame 入库 =====================
 
-def update_datas(df, table_name, database):
+def _is_connection_error(error_msg):
+    """
+    判断是否是数据库连接相关错误
+    返回 True 表示是连接错误，可以通过重试解决
+    """
+    connection_error_codes = [
+        '(0, \'\')',     # pymysql InterfaceError: 连接已关闭
+        '2003',          # Can't connect to MySQL server
+        '2006',          # MySQL server has gone away
+        '2013',          # Lost connection to MySQL server during query
+        '2014',          # Commands out of sync
+        '1045',          # Access denied
+        '2055',          # Lost connection to MySQL server at 'xxx'
+    ]
+    return any(code in error_msg for code in connection_error_codes)
+
+
+def update_datas(df, table_name, database, batch_size=20):
+    """
+    将 DataFrame 数据批量插入/更新到数据库
+    包含完善的重试机制：
+    - 连接错误：最多重试3次，指数退避
+    - 字段缺失错误：自动同步字段后重试
+    - 其他错误：立即抛出
+    """
+    if df.empty:
+        print("数据为空，无需入库")
+        return
+
+    cols = list(df.columns)
+    col_str = ",".join([f"`{c}`" for c in cols])
+    value_tpl = "(" + ",".join(["%s"] * len(cols)) + ")"
+    update_clause = ",".join(
+        [f"`{c}`=VALUES(`{c}`)" for c in cols if c != "id"]
+    )
+
+    total = len(df)
+    success_count = 0
+    max_retries = 3  # 最大重试次数
+
+    for start in range(0, total, batch_size):
+        batch_df = df.iloc[start:start + batch_size]
+        values_str = ",".join([value_tpl] * len(batch_df))
+        sql = f"""
+        INSERT INTO `{table_name}` ({col_str})
+        VALUES {values_str}
+        ON DUPLICATE KEY UPDATE {update_clause}
+        """
+        data = [tuple(row) for row in batch_df.values]
+        flat_data = [v for row in data for v in row]
+
+        for attempt in range(max_retries):
+            conn = None
+            try:
+                conn = _get_connection(database)
+                # 连接健康检查
+                conn.ping(reconnect=False)
+
+                cursor = conn.cursor()
+                cursor.execute(sql, flat_data)
+                conn.commit()
+                success_count += cursor.rowcount
+                break  # 成功，跳出重试循环
+
+            except Exception as e:
+                error_str = str(e)
+                if conn:
+                    try:
+                        conn.rollback()
+                    except Exception:
+                        pass
+
+                print(f"批次入库失败(start={start}, attempt={attempt+1}/{max_retries}): {e}")
+
+                # 判断是否是连接相关错误
+                if _is_connection_error(error_str):
+                    if attempt < max_retries - 1:
+                        # 指数退避：2秒、4秒、8秒
+                        wait_time = 2 * (2 ** attempt)
+                        print(f"连接错误，等待{wait_time}秒后重试...")
+                        time.sleep(wait_time)
+                        continue
+                    else:
+                        # 最后一次重试仍然失败，抛出异常
+                        raise Exception(f"数据库连接错误，已重试{max_retries}次: {e}")
+
+                elif '1054, "Unknown column' in error_str:
+                    # 字段缺失错误，同步字段后重试
+                    check_and_sync_columns(df, table_name, database)
+                    # 字段同步成功后，继续当前批次的重试
+                    if attempt < max_retries - 1:
+                        continue
+                    else:
+                        raise Exception(f"字段同步后仍然失败: {e}")
+                else:
+                    # 其他非连接错误，直接抛出
+                    raise
+
+            finally:
+                if conn:
+                    try:
+                        conn.close()
+                    except Exception:
+                        pass
+
+    print(f"成功插入/更新 {success_count} 条记录")
 
-    conn = None
-    for i in range(2):
-        try:
-            if df.empty:
-                print("数据为空，无需入库")
-                return
-            conn = _get_connection(database)
-            cursor = conn.cursor()
-            cols = list(df.columns)
-            col_str = ",".join([f"`{c}`" for c in cols])
-            value_tpl = "(" + ",".join(["%s"] * len(cols)) + ")"
-            values_str = ",".join([value_tpl] * len(df))
-            update_clause = ",".join(
-                [f"`{c}`=VALUES(`{c}`)" for c in cols if c != "id"]
-            )
-            sql = f"""
-            INSERT INTO `{table_name}` ({col_str})
-            VALUES {values_str}
-            ON DUPLICATE KEY UPDATE {update_clause}
-            """
-            data = [tuple(row) for row in df.values]
-            flat_data = [v for row in data for v in row]
-            cursor.execute(sql, flat_data)
-            conn.commit()
-            print(f"成功插入/更新 {cursor.rowcount} 条记录")
-            break
-        except Exception as e:
-            if conn:
-                conn.rollback()
-            print("入库失败:", e)
-            if '1054, "Unknown column' in str(e):
-                # 表结构校验,df为抓取数据表
-                check_and_sync_columns(df,table_name,database)
-            else:
-                raise Exception(e)
-        finally:
-            if conn:
-                conn.close()

cppackage-0.3.2/CPpackage.egg-info/PKG-INFO

@@ -0,0 +1,70 @@
+Metadata-Version: 2.1
+Name: cppackage
+Version: 0.3.2
+Summary: 超品集团自用的Python包
+Home-page: https://github.com/example/CPpackage
+Author: team-数智组
+Author-email: m110135@163.com
+License: UNKNOWN
+Description: # CPpackage
+        
+        ## 简介
+        
+        CPpackage是超品集团内部使用的Python包，核心功能集中在MySQL数据库增删改查功能以及部分数据清洗的能力。
+        
+        ## 安装
+        
+        ```bash
+        pip install cppackage
+        ```
+        
+        ## 使用方法
+        
+        ```python
+        # 导入包
+        from CPpackage.db.config import set_db_config
+        from CPpackage.db.sql_model import sel_data, del_data , incremental_update, get_table_columns,add_columns,check_and_sync_columns,update_datas
+        
+        # 
+        
+        # 配置数据库连接（也可通过环境变量CPPACKAGE_DB_*配置）
+        set_db_config(host='your_host', user='your_user', password='your_password', database='your_database', port=3306)
+        
+        # 更新过程会先经过check_and_sync_columns函数完成表格校验
+        check_and_sync_columns(df, table_name, database, max_new=5)
+        # 更新数据函数，在完成数据库信息配置后，df为pd.dataframe格式的数据
+        update_datas(df, table_name, database)
+        
+        ```
+        
+        ## 项目结构
+        
+        ```
+        CPpackage/
+        ├── CPpackage/       # 主包
+        │   ├── core/        # 核心功能
+        │   ├── utils/       # 工具函数
+        │   └── db/          # 数据库功能与配置（sql_model拆解于此）
+        ├── manage.py        # 管理脚本
+        ├── LICENSE          # 许可证
+        ├── MANIFEST.in      # 打包配置
+        ├── readme.md        # 说明文档
+        └── setup.py         # 安装配置
+        ```
+        
+        ## 许可证
+        
+        本项目采用MIT许可证。详情请参阅LICENSE文件。
+        
+Platform: UNKNOWN
+Classifier: Development Status :: 3 - Alpha
+Classifier: Intended Audience :: Developers
+Classifier: License :: OSI Approved :: MIT License
+Classifier: Programming Language :: Python :: 3
+Classifier: Programming Language :: Python :: 3.8
+Classifier: Programming Language :: Python :: 3.9
+Classifier: Programming Language :: Python :: 3.10
+Classifier: Programming Language :: Python :: 3.11
+Classifier: Programming Language :: Python :: 3.12
+Requires-Python: >=3.8
+Description-Content-Type: text/markdown

{cppackage-0.3.1 → cppackage-0.3.2}/CPpackage.egg-info/entry_points.txt

@@ -1,2 +1,3 @@
 [console_scripts]
 cppackage = CPpackage.core:main
+

cppackage-0.3.2/PKG-INFO

@@ -0,0 +1,70 @@
+Metadata-Version: 2.1
+Name: cppackage
+Version: 0.3.2
+Summary: 超品集团自用的Python包
+Home-page: https://github.com/example/CPpackage
+Author: team-数智组
+Author-email: m110135@163.com
+License: UNKNOWN
+Description: # CPpackage
+        
+        ## 简介
+        
+        CPpackage是超品集团内部使用的Python包，核心功能集中在MySQL数据库增删改查功能以及部分数据清洗的能力。
+        
+        ## 安装
+        
+        ```bash
+        pip install cppackage
+        ```
+        
+        ## 使用方法
+        
+        ```python
+        # 导入包
+        from CPpackage.db.config import set_db_config
+        from CPpackage.db.sql_model import sel_data, del_data , incremental_update, get_table_columns,add_columns,check_and_sync_columns,update_datas
+        
+        # 
+        
+        # 配置数据库连接（也可通过环境变量CPPACKAGE_DB_*配置）
+        set_db_config(host='your_host', user='your_user', password='your_password', database='your_database', port=3306)
+        
+        # 更新过程会先经过check_and_sync_columns函数完成表格校验
+        check_and_sync_columns(df, table_name, database, max_new=5)
+        # 更新数据函数，在完成数据库信息配置后，df为pd.dataframe格式的数据
+        update_datas(df, table_name, database)
+        
+        ```
+        
+        ## 项目结构
+        
+        ```
+        CPpackage/
+        ├── CPpackage/       # 主包
+        │   ├── core/        # 核心功能
+        │   ├── utils/       # 工具函数
+        │   └── db/          # 数据库功能与配置（sql_model拆解于此）
+        ├── manage.py        # 管理脚本
+        ├── LICENSE          # 许可证
+        ├── MANIFEST.in      # 打包配置
+        ├── readme.md        # 说明文档
+        └── setup.py         # 安装配置
+        ```
+        
+        ## 许可证
+        
+        本项目采用MIT许可证。详情请参阅LICENSE文件。
+        
+Platform: UNKNOWN
+Classifier: Development Status :: 3 - Alpha
+Classifier: Intended Audience :: Developers
+Classifier: License :: OSI Approved :: MIT License
+Classifier: Programming Language :: Python :: 3
+Classifier: Programming Language :: Python :: 3.8
+Classifier: Programming Language :: Python :: 3.9
+Classifier: Programming Language :: Python :: 3.10
+Classifier: Programming Language :: Python :: 3.11
+Classifier: Programming Language :: Python :: 3.12
+Requires-Python: >=3.8
+Description-Content-Type: text/markdown

{cppackage-0.3.1 → cppackage-0.3.2}/setup.py

@@ -10,7 +10,7 @@ with open('readme.md', 'r', encoding='utf-8') as f:
 # 包的基本信息
 setup(
     name='cppackage',
-    version='0.3.1',
+    version='0.3.2',
     description='超品集团自用的Python包',
     long_description=long_description,
     long_description_content_type='text/markdown',

cppackage-0.3.1/CPpackage.egg-info/PKG-INFO

@@ -1,69 +0,0 @@
-Metadata-Version: 2.1
-Name: cppackage
-Version: 0.3.1
-Summary: 超品集团自用的Python包
-Home-page: https://github.com/example/CPpackage
-Author: team-数智组
-Author-email: m110135@163.com
-Classifier: Development Status :: 3 - Alpha
-Classifier: Intended Audience :: Developers
-Classifier: License :: OSI Approved :: MIT License
-Classifier: Programming Language :: Python :: 3
-Classifier: Programming Language :: Python :: 3.8
-Classifier: Programming Language :: Python :: 3.9
-Classifier: Programming Language :: Python :: 3.10
-Classifier: Programming Language :: Python :: 3.11
-Classifier: Programming Language :: Python :: 3.12
-Requires-Python: >=3.8
-Description-Content-Type: text/markdown
-License-File: LICENSE
-
-# CPpackage
-
-## 简介
-
-CPpackage是超品集团内部使用的Python包，核心功能集中在MySQL数据库增删改查功能以及部分数据清洗的能力。
-
-## 安装
-
-```bash
-pip install cppackage
-```
-
-## 使用方法
-
-```python
-# 导入包
-from CPpackage.db.config import set_db_config
-from CPpackage.db.sql_model import sel_data, del_data , incremental_update, get_table_columns,add_columns,check_and_sync_columns,update_datas
-
-# 
-
-# 配置数据库连接（也可通过环境变量CPPACKAGE_DB_*配置）
-set_db_config(host='your_host', user='your_user', password='your_password', database='your_database', port=3306)
-
-# 更新过程会先经过check_and_sync_columns函数完成表格校验
-check_and_sync_columns(df, table_name, database, max_new=5)
-# 更新数据函数，在完成数据库信息配置后，df为pd.dataframe格式的数据
-update_datas(df, table_name, database)
-
-```
-
-## 项目结构
-
-```
-CPpackage/
-├── CPpackage/       # 主包
-│   ├── core/        # 核心功能
-│   ├── utils/       # 工具函数
-│   └── db/          # 数据库功能与配置（sql_model拆解于此）
-├── manage.py        # 管理脚本
-├── LICENSE          # 许可证
-├── MANIFEST.in      # 打包配置
-├── readme.md        # 说明文档
-└── setup.py         # 安装配置
-```
-
-## 许可证
-
-本项目采用MIT许可证。详情请参阅LICENSE文件。

cppackage-0.3.1/PKG-INFO

@@ -1,69 +0,0 @@
-Metadata-Version: 2.1
-Name: cppackage
-Version: 0.3.1
-Summary: 超品集团自用的Python包
-Home-page: https://github.com/example/CPpackage
-Author: team-数智组
-Author-email: m110135@163.com
-Classifier: Development Status :: 3 - Alpha
-Classifier: Intended Audience :: Developers
-Classifier: License :: OSI Approved :: MIT License
-Classifier: Programming Language :: Python :: 3
-Classifier: Programming Language :: Python :: 3.8
-Classifier: Programming Language :: Python :: 3.9
-Classifier: Programming Language :: Python :: 3.10
-Classifier: Programming Language :: Python :: 3.11
-Classifier: Programming Language :: Python :: 3.12
-Requires-Python: >=3.8
-Description-Content-Type: text/markdown
-License-File: LICENSE
-
-# CPpackage
-
-## 简介
-
-CPpackage是超品集团内部使用的Python包，核心功能集中在MySQL数据库增删改查功能以及部分数据清洗的能力。
-
-## 安装
-
-```bash
-pip install cppackage
-```
-
-## 使用方法
-
-```python
-# 导入包
-from CPpackage.db.config import set_db_config
-from CPpackage.db.sql_model import sel_data, del_data , incremental_update, get_table_columns,add_columns,check_and_sync_columns,update_datas
-
-# 
-
-# 配置数据库连接（也可通过环境变量CPPACKAGE_DB_*配置）
-set_db_config(host='your_host', user='your_user', password='your_password', database='your_database', port=3306)
-
-# 更新过程会先经过check_and_sync_columns函数完成表格校验
-check_and_sync_columns(df, table_name, database, max_new=5)
-# 更新数据函数，在完成数据库信息配置后，df为pd.dataframe格式的数据
-update_datas(df, table_name, database)
-
-```
-
-## 项目结构
-
-```
-CPpackage/
-├── CPpackage/       # 主包
-│   ├── core/        # 核心功能
-│   ├── utils/       # 工具函数
-│   └── db/          # 数据库功能与配置（sql_model拆解于此）
-├── manage.py        # 管理脚本
-├── LICENSE          # 许可证
-├── MANIFEST.in      # 打包配置
-├── readme.md        # 说明文档
-└── setup.py         # 安装配置
-```
-
-## 许可证
-
-本项目采用MIT许可证。详情请参阅LICENSE文件。