mdbq 4.2.4__tar.gz → 4.2.5__tar.gz

{mdbq-4.2.4 → mdbq-4.2.5}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: mdbq
-Version: 4.2.4
+Version: 4.2.5
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

mdbq-4.2.5/mdbq/__version__.py

@@ -0,0 +1 @@
+VERSION = '4.2.5'

{mdbq-4.2.4 → mdbq-4.2.5}/mdbq/mysql/uploader.py

@@ -694,14 +694,16 @@ class TableManager:
         # 主键定义（始终使用id作为主键）
         primary_key_def = "PRIMARY KEY (`id`)"
         
-        # 唯一约束定义
+        # 唯一约束定义 - 使用前缀索引处理超长字段
         unique_defs = []
         if unique_keys:
             for i, uk in enumerate(unique_keys):
                 # 过滤掉系统列
                 filtered_uk = [col for col in uk if col.lower() not in ['id', 'create_at', 'update_at']]
                 if filtered_uk:
-                    safe_uk = [f"`{self._sanitize_identifier(col)}`" for col in filtered_uk]
+                    # 使用前缀索引处理超长字段
+                    optimized_uk = self._apply_prefix_index_to_columns(filtered_uk, columns)
+                    safe_uk = [f"`{self._sanitize_identifier(col)}`" for col in optimized_uk]
                     unique_name = f"uniq_{i}"
                     unique_defs.append(f"UNIQUE KEY `{unique_name}` ({','.join(safe_uk)})")
         
@@ -764,6 +766,50 @@ class TableManager:
             return f"`{cleaned}`"
         
         return cleaned
+    
+    def _apply_prefix_index_to_columns(self, columns: List[str], column_definitions: Dict[str, str]) -> List[str]:
+        """
+        为超长的varchar字段应用前缀索引，防止索引键长度超限
+        
+        :param columns: 列名列表
+        :param column_definitions: 列定义字典
+        :return: 应用前缀索引后的列名列表
+        """
+        optimized_columns = []
+        
+        for col in columns:
+            col_type = column_definitions.get(col, 'varchar(255)').lower()
+            
+            # 只对varchar字段应用前缀索引
+            if 'varchar' in col_type:
+                # 提取varchar长度
+                match = re.search(r'varchar\((\d+)\)', col_type)
+                if match:
+                    length = int(match.group(1))
+                    # 如果varchar长度超过191字符，使用前缀索引
+                    # 191 * 4 = 764字节，在3072字节限制内比较安全
+                    if length > 191:
+                        prefix_length = 191  # 使用191字符作为前缀
+                        optimized_columns.append(f"{col}({prefix_length})")
+                        logger.info('应用前缀索引', {
+                            '列名': col,
+                            '原始长度': length,
+                            '前缀长度': prefix_length
+                        })
+                    else:
+                        optimized_columns.append(col)
+                else:
+                    # 如果没有指定长度，默认使用前缀索引
+                    optimized_columns.append(f"{col}(191)")
+                    logger.info('应用默认前缀索引', {
+                        '列名': col,
+                        '前缀长度': 191
+                    })
+            else:
+                # 非varchar字段保持原样
+                optimized_columns.append(col)
+        
+        return optimized_columns
 
 
 class DataProcessor:

{mdbq-4.2.4 → mdbq-4.2.5}/mdbq.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: mdbq
-Version: 4.2.4
+Version: 4.2.5
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

mdbq-4.2.4/mdbq/__version__.py

@@ -1 +0,0 @@
-VERSION = '4.2.4'