mdbq 4.1.8__tar.gz → 4.1.10__tar.gz

{mdbq-4.1.8 → mdbq-4.1.10}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.2
 Name: mdbq
-Version: 4.1.8
+Version: 4.1.10
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

mdbq-4.1.10/mdbq/__version__.py

@@ -0,0 +1 @@
+VERSION = '4.1.10'

{mdbq-4.1.8 → mdbq-4.1.10}/mdbq/mysql/uploader.py

@@ -656,6 +656,57 @@ class MySQLUploader:
             logger.error('无效的日期格式', {'值': value})
         raise ValueError(f"无效的日期格式: `{value}`")
 
+    def _get_fallback_value(self, column_type_lower: str, allow_null: bool, db_name: str = None, table_name: str = None, col_name: str = None, original_value: Any = None) -> Any:
+        """
+        获取空值的兜底填充值
+        """
+        # 兜底填充值映射
+        fallback_map = {
+            'int': 0,
+            'bigint': 0,
+            'tinyint': 0,
+            'smallint': 0,
+            'mediumint': 0,
+            'decimal': 0.0,
+            'float': 0.0,
+            'double': 0.0,
+            'date': '1970-01-01',
+            'datetime': '1970-01-01 00:00:00',
+            'timestamp': '1970-01-01 00:00:00',
+            'json': '{}',
+            'varchar': 'none',
+            'text': 'none',
+            'char': 'none',
+            'mediumtext': 'none',
+            'longtext': 'none',
+            'enum': None,  # enum类型需要特殊处理，使用第一个可选值
+            'set': '',     # set类型默认为空字符串
+        }
+        
+        fallback = 'none'
+        for typ, val in fallback_map.items():
+            if typ in column_type_lower:
+                if typ == 'enum' and val is None:
+                    # 对于enum类型，使用第一个可选值作为默认值
+                    enum_values = re.findall(r"['\"]([^'\"]*)['\"]", column_type_lower)
+                    fallback = enum_values[0] if enum_values else 'none'
+                else:
+                    fallback = val
+                break
+        
+        if not allow_null:
+            logger.warning("该列不允许为空值", {
+                "库": db_name, 
+                "表": table_name, 
+                "allow_null": allow_null, 
+                "列": col_name, 
+                "值": original_value, 
+                "兜底值": fallback
+            })
+            return fallback  # 直接返回兜底值，而不是抛出异常
+        
+        return None  # 允许空值时返回None
+
     def _convert_to_int(self, value):
         """
         尝试将value转换为int
@@ -729,7 +780,28 @@ class MySQLUploader:
         """
         column_type_lower = column_type.lower() if column_type else ''
         
-        # JSON类型验证和转换（优先处理，避免pd.isna的问题）
+        # 统一的空值检查（None、空字符串、NaN）
+        is_empty_value = False
+        if value is None:
+            is_empty_value = True
+        elif value == '':
+            # 空字符串对于字符串类型是有效值
+            if any(t in column_type_lower for t in ['varchar', 'text', 'char', 'mediumtext', 'longtext']):
+                return ""
+            is_empty_value = True
+        else:
+            # 检查NaN值（避免对列表和字典使用pd.isna）
+            if not isinstance(value, (list, dict)):
+                try:
+                    is_empty_value = pd.isna(value) or (isinstance(value, (float, Decimal)) and math.isinf(value))
+                except (ValueError, TypeError):
+                    is_empty_value = False
+        
+        # 统一处理空值
+        if is_empty_value:
+            return self._get_fallback_value(column_type_lower, allow_null, db_name, table_name, col_name, value)
+        
+        # JSON类型验证和转换
         if 'json' in column_type_lower:
             if isinstance(value, (dict, list)):
                 try:
@@ -748,59 +820,6 @@ class MySQLUploader:
             else:
                 # 其他类型转换为字符串
                 return str(value)
-        
-        # 统一判断None/NaN（排除列表和字典类型）
-        if value == '':
-            if any(t in column_type_lower for t in ['varchar', 'text', 'char', 'mediumtext', 'longtext']):
-                return ""
-        
-        # 安全地检查NaN值，避免对列表和字典使用pd.isna
-        is_nan = False
-        if isinstance(value, (list, dict)):
-            is_nan = False  # 列表和字典不是NaN
-        else:
-            try:
-                is_nan = pd.isna(value) or (isinstance(value, (float, Decimal)) and math.isinf(value))
-            except (ValueError, TypeError):
-                is_nan = False
-        
-        if value == '' or is_nan:
-            # 兜底填充值映射
-            fallback_map = {
-                'int': 0,
-                'bigint': 0,
-                'tinyint': 0,
-                'smallint': 0,
-                'mediumint': 0,
-                'decimal': 0.0,
-                'float': 0.0,
-                'double': 0.0,
-                'date': '1970-01-01',
-                'datetime': '1970-01-01 00:00:00',
-                'timestamp': '1970-01-01 00:00:00',
-                'json': '{}',
-                'varchar': 'none',
-                'text': 'none',
-                'char': 'none',
-                'mediumtext': 'none',
-                'longtext': 'none',
-                'enum': None,  # enum类型需要特殊处理，使用第一个可选值
-                'set': '',     # set类型默认为空字符串
-            }
-            fallback = 'none'
-            for typ, val in fallback_map.items():
-                if typ in column_type_lower:
-                    if typ == 'enum' and val is None:
-                        # 对于enum类型，使用第一个可选值作为默认值
-                        enum_values = re.findall(r"['\"]([^'\"]*)['\"]", column_type)
-                        fallback = enum_values[0] if enum_values else 'none'
-                    else:
-                        fallback = val
-                    break
-            if not allow_null:
-                logger.warning("该列不允许为空值", {"库": db_name, "表": table_name, "allow_null": allow_null, "列": col_name, "值": value, "兜底值": fallback})
-                raise ValueError("该列不允许为空值")
-            return fallback
 
         original_value = value
 

{mdbq-4.1.8 → mdbq-4.1.10}/mdbq.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.2
 Name: mdbq
-Version: 4.1.8
+Version: 4.1.10
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

mdbq-4.1.8/mdbq/__version__.py

@@ -1 +0,0 @@
-VERSION = '4.1.8'