mdbq 3.10.4__py3-none-any.whl → 3.10.6__py3-none-any.whl

mdbq/__version__.py

@@ -1 +1 @@
-VERSION = '3.10.4'
+VERSION = '3.10.6'

mdbq/mysql/uploader.py

@@ -925,7 +925,6 @@ class MySQLUploader:
                         raise ValueError(f"行:{row_idx}, 列:`{col_name}`-> 报错: {str(e)}")
             prepared_data.append(prepared_row)
 
-        logger.debug(f"已准备 {len(prepared_data)} 行数据")
         return prepared_data, filtered_set_typ
 
     def upload_data(
@@ -961,7 +960,7 @@ class MySQLUploader:
         :param auto_create: 表不存在时是否自动创建，默认为True
         :param indexes: 需要创建索引的列列表，可选
         :param update_on_duplicate: 遇到重复数据时是否更新旧数据(默认为False)
-        :param transaction_mode: 事务提交模式，可选值：
+        :param transaction_mode: 事务模式，可选值：
         - 'row'     : 逐行提交事务（错误隔离性好）
         - 'batch'   : 整批提交事务（性能最优）
         - 'hybrid'  : 混合模式（每N行提交，平衡性能与安全性）
@@ -981,14 +980,11 @@ class MySQLUploader:
             '分表方式': partition_by,
             '排重': check_duplicate,
             '传入': len(data) if hasattr(data, '__len__') else 1,
-            '自动建表': auto_create
+            # '自动建表': auto_create
         })
 
         try:
             # 验证参数
-            if not set_typ:
-                logger.debug(f'set_typ 参数缺失，建表不指定数据类型字典，后续存储数据容易引发异常')
-
             if partition_by:
                 partition_by = str(partition_by).lower()
                 if partition_by not in ['year', 'month']:
@@ -1084,7 +1080,7 @@ class MySQLUploader:
                 '库': db_name,
                 '表': table_name,
                 '批次': batch_id,
-                'success': success_flag,
+                'finish': success_flag,
                 # '耗时': round(time.time() - upload_start, 2),
                 '数据行': initial_row_count
             })
@@ -1114,7 +1110,7 @@ class MySQLUploader:
         :param batch_size: 批量插入大小，默认为1000
         :param update_on_duplicate: 遇到重复数据时是否更新旧数据(默认为False)
         :param batch_id: 批次ID用于日志追踪，可选
-        :param transaction_mode: 事务提交模式，可选值：
+        :param transaction_mode: 事务模式，可选值：
         - 'row'     : 逐行提交事务（错误隔离性好）
         - 'batch'   : 整批提交事务（性能最优）
         - 'hybrid'  : 混合模式（每N行提交，平衡性能与安全性）
@@ -1143,11 +1139,11 @@ class MySQLUploader:
         logger.info('插入完成', {
             '库': db_name,
             '表': table_name,
-            '完成总计': len(data),
+            '总计': len(data),
             '插入': total_inserted,
             '跳过': total_skipped,
             '失败': total_failed,
-            '事务提交模式': transaction_mode,
+            '事务模式': transaction_mode,
         })
 
     def _validate_transaction_mode(self, mode: str) -> str:
@@ -1223,6 +1219,25 @@ class MySQLUploader:
             """
         return sql
 
+    def _get_decimal_scale(self, decimal_type: str) -> int:
+        """
+        从DECIMAL类型定义中提取小数位数
+
+        :param decimal_type: DECIMAL类型字符串，如'DECIMAL(10,4)'
+        :return: 小数位数
+        :raises: 无显式抛出异常，但解析失败时返回默认值2
+        """
+        try:
+            # 匹配DECIMAL类型中的精度和小数位数
+            match = re.match(r'decimal\((\d+),\s*(\d+)\)', decimal_type.lower())
+            if match:
+                return int(match.group(2))
+        except (ValueError, AttributeError, IndexError):
+            pass
+
+        # 默认返回2位小数
+        return 2
+
     def _prepare_insert_sql(
             self,
             db_name: str,
@@ -1345,7 +1360,7 @@ class MySQLUploader:
                     '批次': f'{batch_id}  {batch_index + 1}/{total_data_length}',
                     'error_type': type(e).__name__,
                     '批量操作失败': str(e),
-                    '事务提交模式': transaction_mode,
+                    '事务模式': transaction_mode,
                     '处理方式': '整个批次回滚'
                 })
 
@@ -1382,26 +1397,13 @@ class MySQLUploader:
                         '数据类型': set_typ,
                         '是否排重': check_duplicate,
                         '排重列': duplicate_columns,
-                        '事务提交模式': transaction_mode,
+                        '事务模式': transaction_mode,
                     })
 
             # 混合模式最后统一提交
             if transaction_mode == 'hybrid':
                 conn.commit()
 
-        logger.debug(sys._getframe().f_code.co_name, {
-            '库': db_name,
-            '表': table_name,
-            '批次': batch_id,
-            '批次处理完成': batch_index // len(batch) + 1,
-            '总批次': (total_data_length + len(batch) - 1) // len(batch),
-            '数据量': len(batch),
-            '插入': batch_inserted,
-            '跳过': batch_skipped,
-            '失败': batch_failed,
-            '事务提交模式': transaction_mode,
-        })
-
         return batch_inserted, batch_skipped, batch_failed
 
     def _process_single_row(

{mdbq-3.10.4.dist-info → mdbq-3.10.6.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.2
 Name: mdbq
-Version: 3.10.4
+Version: 3.10.6
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-3.10.4.dist-info → mdbq-3.10.6.dist-info}/RECORD

@@ -1,5 +1,5 @@
 mdbq/__init__.py,sha256=Il5Q9ATdX8yXqVxtP_nYqUhExzxPC_qk_WXQ_4h0exg,16
-mdbq/__version__.py,sha256=L-43kDdR8o3iwkH5IR35xUFgTPugEww0j_gk9jPlkCU,18
+mdbq/__version__.py,sha256=2yGCmv-ga4rvoQTusuYVliB1aOSRt0PA120jDEeMuUg,18
 mdbq/aggregation/__init__.py,sha256=EeDqX2Aml6SPx8363J-v1lz0EcZtgwIBYyCJV6CcEDU,40
 mdbq/aggregation/optimize.py,sha256=2oalzD9weZhDclUC22OLxYa8Zj7KnmsGUoUau_Jlyc4,19796
 mdbq/aggregation/query_data.py,sha256=5_OzjGR5Sq00q-EgAYmSE5V9i4Solw9y4hkldl4mvt8,179808
@@ -12,7 +12,7 @@ mdbq/mysql/__init__.py,sha256=A_DPJyAoEvTSFojiI2e94zP0FKtCkkwKP1kYUCSyQzo,11
 mdbq/mysql/deduplicator.py,sha256=brhX3eyE8-kn3nAYweKfBbAkXiNcyw_pL4CTyPqmPBg,21983
 mdbq/mysql/mysql.py,sha256=Fzaqbjg5g3HdNl50jInIrdurdzcgR2CCzdKLVImD1-Q,55339
 mdbq/mysql/s_query.py,sha256=X055aLRAgxVvueXx4NbfNjp6MyBI02_XBb1pTKw09L0,8660
-mdbq/mysql/uploader.py,sha256=ElT1-Jq5nR6qg8re0rfs26YGNPHK6zsNGc3ni7TnWFA,61954
+mdbq/mysql/uploader.py,sha256=nqTSa6Pw0SUdioQE-wTHXVPirMsmOJE_Hy4A0N1g3E0,61857
 mdbq/other/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
 mdbq/other/download_sku_picture.py,sha256=YU8DxKMXbdeE1OOKEA848WVp62jYHw5O4tXTjUdq9H0,44832
 mdbq/other/otk.py,sha256=iclBIFbQbhlqzUbcMMoePXBpcP1eZ06ZtjnhcA_EbmE,7241
@@ -25,7 +25,7 @@ mdbq/redis/__init__.py,sha256=YtgBlVSMDphtpwYX248wGge1x-Ex_mMufz4-8W0XRmA,12
 mdbq/redis/getredis.py,sha256=Uk8-cOWT0JU1qRyIVqdbYokSLvkDIAfcokmYj1ebw8k,24104
 mdbq/spider/__init__.py,sha256=RBMFXGy_jd1HXZhngB2T2XTvJqki8P_Fr-pBcwijnew,18
 mdbq/spider/aikucun.py,sha256=YyPWa_nOH1zs8wgTDcgzn5w8szGKWPyWzmWMVIPkFnU,21638
-mdbq-3.10.4.dist-info/METADATA,sha256=z-9kwc0z6aVg7ugS9FPf2TZd1vfyNBYz0qpvsfW3b_w,364
-mdbq-3.10.4.dist-info/WHEEL,sha256=jB7zZ3N9hIM9adW7qlTAyycLYW9npaWKLRzaoVcLKcM,91
-mdbq-3.10.4.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
-mdbq-3.10.4.dist-info/RECORD,,
+mdbq-3.10.6.dist-info/METADATA,sha256=_mnvUCQWy7MDVQS-VdYcY0S-n5PqymcyoqCqraB9DMs,364
+mdbq-3.10.6.dist-info/WHEEL,sha256=jB7zZ3N9hIM9adW7qlTAyycLYW9npaWKLRzaoVcLKcM,91
+mdbq-3.10.6.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
+mdbq-3.10.6.dist-info/RECORD,,