mdbq 4.2.3__tar.gz → 4.2.5__tar.gz

{mdbq-4.2.3 → mdbq-4.2.5}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: mdbq
-Version: 4.2.3
+Version: 4.2.5
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

mdbq-4.2.5/mdbq/__version__.py

@@ -0,0 +1 @@
+VERSION = '4.2.5'

{mdbq-4.2.3 → mdbq-4.2.5}/mdbq/mysql/deduplicator.py

@@ -39,7 +39,7 @@ class MySQLDeduplicator:
 
     主要参数说明：
     - columns: 指定去重分组字段，控制唯一性分组行为。若 columns 有值且不包含 date_column，则全表去重，否则按天分区。
-    - exclude_columns: 去重时排除的列名列表，自动合并 ['id', '更新时间']，在分组时排除。
+    - exclude_columns: 去重时排除的列名列表，自动合并 ['id', 'update_at']，在分组时排除。
     - date_column: 指定日期分区字段，默认为 '日期'。如表存在该字段且 columns 未排除，则按天分区去重。
     - duplicate_keep_mode: 'keep_one'（默认，重复组保留一条），'remove_all'（全部删除重复组）。
     - dry_run: 是否为模拟运行，不实际删除数据。
@@ -81,7 +81,7 @@ class MySQLDeduplicator:
         :param date_range: 指定去重的日期区间 [start_date, end_date]，格式'YYYY-MM-DD'
         :param recent_month: 最近N个月的数据去重（与date_range互斥，优先生效）
         :param date_column: 时间列名，默认为'日期'
-        :param exclude_columns: 去重时排除的列名列表，默认为['id', '更新时间']
+        :param exclude_columns: 去重时排除的列名列表，默认为['id', 'update_at']
         :param exclude_databases: 排除的数据库名列表
         :param exclude_tables: 排除的表名字典 {数据库名: [表名, ...]}
         :param duplicate_keep_mode: 'keep_one'（默认，重复组保留一条），'remove_all'（全部删除重复组）
@@ -171,7 +171,7 @@ class MySQLDeduplicator:
             logger.debug('去重日期范围', {'开始': self._dedup_start_date, '结束': self._dedup_end_date})
 
         # 排除列处理，直接合并去重
-        self.exclude_columns = list(set((exclude_columns or []) + ['id', '更新时间']))
+        self.exclude_columns = list(set((exclude_columns or []) + ['id', 'update_at']))
 
         # 线程安全控制
         self._lock = threading.Lock()
@@ -450,11 +450,11 @@ class MySQLDeduplicator:
 
                 # 用Python查找重复
                 if use_python_dedup:
-                    # 判断分组字段是否有“更新时间”
-                    has_update_time = any(col == '更新时间' for col in use_columns)
+                    # 判断分组字段是否有“update_at”
+                    has_update_time = any(col == 'update_at' for col in use_columns)
                     select_cols = f'`{pk_real}`,' + ','.join([f'`{col}`' for col in use_columns])
                     if has_update_time:
-                        select_cols += ',`更新时间`'
+                        select_cols += ',`update_at`'
                     select_where = f"WHERE `{time_col}` = '{date_val}'" if date_val else ''
                     grouped = defaultdict(list)
                     for row in self._row_generator(database, table, select_cols, select_where, self.batch_size):
@@ -466,8 +466,7 @@ class MySQLDeduplicator:
                         if len(ids) > 1:
                             dup_count += 1
                             if has_update_time:
-                                # 按更新时间最大保留
-                                keep_row = max(ids, key=lambda x: x.get('更新时间') or '')
+                                keep_row = max(ids, key=lambda x: x.get('update_at') or '')
                             else:
                                 # 按id保留
                                 if self.keep_order == 'max':
@@ -490,10 +489,10 @@ class MySQLDeduplicator:
                 temp_table = self._make_temp_table_name(table)
                 drop_temp_sql = f"DROP TABLE IF EXISTS `{database}`.`{temp_table}`"
                 create_temp_where = f"WHERE `{time_col}` = '{date_val}'"
-                # 判断分组字段是否有“更新时间”
-                has_update_time = any(col == '更新时间' for col in use_columns)
+ 
+                has_update_time = any(col == 'update_at' for col in use_columns)
                 if has_update_time:
-                    keep_field = '更新时间'
+                    keep_field = 'update_at'
                     keep_func = 'MAX'
                 else:
                     keep_field = pk_real
@@ -1369,7 +1368,7 @@ def main():
         maxcached=5,
         # recent_month=1,
         # date_range=['2025-06-09', '2025-06-10'],
-        exclude_columns=['创建时间', '更新时间'],
+        exclude_columns=['创建时间', '更新时间', "update_at", "create_at"],
         exclude_databases=['cookie文件', '日志', '视频数据', '云电影'],
         # exclude_tables={
         #     '推广数据2': [

{mdbq-4.2.3 → mdbq-4.2.5}/mdbq/mysql/mysql.py

@@ -146,6 +146,8 @@ class MysqlUpload:
                 __res_dict.update({k: 'DATE'})
             elif k == '更新时间':
                 __res_dict.update({k: 'TIMESTAMP'})
+            elif k == 'update_at' or k == 'create_at':
+                __res_dict.update({k: 'TIMESTAMP'})
             elif result2:
                 __res_dict.update({k: 'decimal(10,4)'})
             elif date_type == 1:
@@ -550,6 +552,8 @@ class MysqlUpload:
                 __res_dict.update({k: 'DATE'})
             elif k == '更新时间':
                 __res_dict.update({k: 'TIMESTAMP'})
+            elif k == 'update_at' or k == 'create_at':
+                __res_dict.update({k: 'TIMESTAMP'})
             elif result2:  # 小数
                 __res_dict.update({k: 'decimal(10,4)'})
             elif date_type == 1:  # 纯日期
@@ -605,6 +609,8 @@ class MysqlUpload:
                 __res_dict.update({k: 'date'})
             elif k == '更新时间':
                 __res_dict.update({k: 'timestamp'})
+            elif k == 'update_at' or k == 'create_at':
+                __res_dict.update({k: 'timestamp'})
             elif v == 'int64':
                 __res_dict.update({k: 'int'})
             elif v == 'float64':
@@ -936,10 +942,10 @@ class OptimizeDatas:
             self.db_name = db_name
             self.optimize()
 
-    def optimize(self, except_key: list[str] = ['更新时间']) -> None:
+    def optimize(self, except_key: list[str] = ['update_at']) -> None:
         """
         优化当前数据库，移除冗余数据。
-        :param except_key: 排除的字段名列表，默认['更新时间']
+        :param except_key: 排除的字段名列表，默认['update_at']
         """
         if not self.db_name:
             logger.info(f'尚未设置参数: self.db_name')
@@ -995,7 +1001,7 @@ class OptimizeDatas:
                 self.connection.close()
         logger.info(f'mysql({self.host}: {self.port}) {self.db_name} 数据库优化完成!')
 
-    def delete_duplicate(self, table_name: str, date: pd.Timestamp, except_key: list[str] = ['更新时间']) -> None:
+    def delete_duplicate(self, table_name: str, date: pd.Timestamp, except_key: list[str] = ['update_at']) -> None:
         """
         删除指定表指定日期的冗余数据。
         :param table_name: 表名
@@ -1029,7 +1035,7 @@ class OptimizeDatas:
             logger.error(f'{self.db_name}/{table_name}, {e}')
             self.connection.rollback()
 
-    def delete_duplicate2(self, table_name: str, except_key: list[str] = ['更新时间']) -> None:
+    def delete_duplicate2(self, table_name: str, except_key: list[str] = ['update_at']) -> None:
         """
         删除指定表（无日期列）的冗余数据。
         :param table_name: 表名

{mdbq-4.2.3 → mdbq-4.2.5}/mdbq/mysql/s_query.py

@@ -485,7 +485,7 @@ class QueryDatas:
             logger.error('获取列类型失败', {'库': db_name, '表': table_name, '列': columns_name, '错误': str(e)})
             return []
 
-    def check_condition(self, db_name: str, table_name: str, condition: str, columns: str = '更新时间') -> Optional[List[Dict[str, Any]]]:
+    def check_condition(self, db_name: str, table_name: str, condition: str, columns: str = 'update_at') -> Optional[List[Dict[str, Any]]]:
         """按指定条件查询数据库表"""
         if not self._get_table_info(db_name, table_name):
             return None

{mdbq-4.2.3 → mdbq-4.2.5}/mdbq/mysql/uploader.py

@@ -694,14 +694,16 @@ class TableManager:
         # 主键定义（始终使用id作为主键）
         primary_key_def = "PRIMARY KEY (`id`)"
         
-        # 唯一约束定义
+        # 唯一约束定义 - 使用前缀索引处理超长字段
         unique_defs = []
         if unique_keys:
             for i, uk in enumerate(unique_keys):
                 # 过滤掉系统列
                 filtered_uk = [col for col in uk if col.lower() not in ['id', 'create_at', 'update_at']]
                 if filtered_uk:
-                    safe_uk = [f"`{self._sanitize_identifier(col)}`" for col in filtered_uk]
+                    # 使用前缀索引处理超长字段
+                    optimized_uk = self._apply_prefix_index_to_columns(filtered_uk, columns)
+                    safe_uk = [f"`{self._sanitize_identifier(col)}`" for col in optimized_uk]
                     unique_name = f"uniq_{i}"
                     unique_defs.append(f"UNIQUE KEY `{unique_name}` ({','.join(safe_uk)})")
         
@@ -764,6 +766,50 @@ class TableManager:
             return f"`{cleaned}`"
         
         return cleaned
+    
+    def _apply_prefix_index_to_columns(self, columns: List[str], column_definitions: Dict[str, str]) -> List[str]:
+        """
+        为超长的varchar字段应用前缀索引，防止索引键长度超限
+        
+        :param columns: 列名列表
+        :param column_definitions: 列定义字典
+        :return: 应用前缀索引后的列名列表
+        """
+        optimized_columns = []
+        
+        for col in columns:
+            col_type = column_definitions.get(col, 'varchar(255)').lower()
+            
+            # 只对varchar字段应用前缀索引
+            if 'varchar' in col_type:
+                # 提取varchar长度
+                match = re.search(r'varchar\((\d+)\)', col_type)
+                if match:
+                    length = int(match.group(1))
+                    # 如果varchar长度超过191字符，使用前缀索引
+                    # 191 * 4 = 764字节，在3072字节限制内比较安全
+                    if length > 191:
+                        prefix_length = 191  # 使用191字符作为前缀
+                        optimized_columns.append(f"{col}({prefix_length})")
+                        logger.info('应用前缀索引', {
+                            '列名': col,
+                            '原始长度': length,
+                            '前缀长度': prefix_length
+                        })
+                    else:
+                        optimized_columns.append(col)
+                else:
+                    # 如果没有指定长度，默认使用前缀索引
+                    optimized_columns.append(f"{col}(191)")
+                    logger.info('应用默认前缀索引', {
+                        '列名': col,
+                        '前缀长度': 191
+                    })
+            else:
+                # 非varchar字段保持原样
+                optimized_columns.append(col)
+        
+        return optimized_columns
 
 
 class DataProcessor:

{mdbq-4.2.3 → mdbq-4.2.5}/mdbq/other/download_sku_picture.py

@@ -477,7 +477,6 @@ class SkuPicture:
                         '推荐卖点': desc,
                         '获取与下载': '已获取',
                         '类目': leimu,
-                        '更新时间': datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')
                     }
                 )
             except Exception as e:

{mdbq-4.2.3 → mdbq-4.2.5}/mdbq.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: mdbq
-Version: 4.2.3
+Version: 4.2.5
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

mdbq-4.2.3/mdbq/__version__.py

@@ -1 +0,0 @@
-VERSION = '4.2.3'