mdbq 3.12.2__py3-none-any.whl → 3.12.3__py3-none-any.whl

mdbq/__version__.py

@@ -1 +1 @@
-VERSION = '3.12.2'
+VERSION = '3.12.3'

mdbq/mysql/deduplicator.py

@@ -21,7 +21,7 @@ warnings.filterwarnings('ignore')
 logger = mylogger.MyLogger(
     name='deduplicator',
     logging_mode='file',
-    log_level='info',
+    log_level='debug',
     log_file='deduplicator.log',
     log_format='json',
     max_log_size=50,
@@ -34,7 +34,22 @@ logger = mylogger.MyLogger(
 
 class MySQLDeduplicator:
     """
-    MySQL数据去重
+    MySQL 数据去重。
+
+    支持按天分区（如有 date_column）或全表去重，支持自定义去重分组字段（columns），可排除指定列（exclude_columns），并支持多线程并发。
+
+    主要参数说明：
+    - columns: 指定去重分组字段，控制唯一性分组行为。若 columns 有值且不包含 date_column，则全表去重，否则按天分区。
+    - exclude_columns: 去重时排除的列名列表，自动合并 ['id', '更新时间']，在分组时排除。
+    - date_column: 指定日期分区字段，默认为 '日期'。如表存在该字段且 columns 未排除，则按天分区去重。
+    - duplicate_keep_mode: 'keep_one'（默认，重复组保留一条），'remove_all'（全部删除重复组）。
+    - dry_run: 是否为模拟运行，不实际删除数据。
+    - use_python_dedup: 是否用 Python 方式去重（否则用 SQL）。
+
+    分天/全表去重行为：
+    - 若 columns 有值且不包含 date_column，则直接全表去重，分组字段为 columns。
+    - 否则，若表存在 date_column，则按天分区去重，分组字段为 columns（如有）或全表字段。
+    - exclude_columns 始终生效，分组时自动排除。
     """
 
     def __init__(
@@ -370,15 +385,17 @@ class MySQLDeduplicator:
         lock_table: bool = True
     ) -> Tuple[int, int]:
         """
-        执行单表单天去重。只处理 date_val 这一天的数据（如果有 date_column），否则全表。
-        
+        执行单表单天或全表去重。根据 columns 和 date_column 决定分天或全表：
+        - 若 columns 不包含 date_column，则全表去重（不分天）。
+        - 若 columns 包含 date_column 或未指定 columns，则按天分区去重（date_val 为当前处理日期）。
+
         Args:
             database (str): 数据库名。
             table (str): 表名。
-            columns (Optional[List[str]]): 指定去重列。
+            columns (Optional[List[str]]): 指定去重列。若不含 date_column，则全表去重。
             dry_run (bool): 是否为模拟运行。
             use_python_dedup (bool): 是否用 Python 方式去重。
-            date_val (Optional[str]): 指定处理的日期（如有 date_column）。
+            date_val (Optional[str]): 指定处理的日期（如有 date_column 且分天时）。
             lock_table (bool): 是否加表级锁。
         Returns:
             Tuple[int, int]: (重复组数, 实际删除行数)
@@ -392,13 +409,12 @@ class MySQLDeduplicator:
             exclude_columns_lower = [col.lower() for col in getattr(self, 'exclude_columns', [])]
             time_col = self.date_column
             time_col_lower = time_col.lower() if time_col else None
-            if time_col_lower and time_col_lower in exclude_columns_lower:
-                logger.warning('date_column在exclude_columns中，跳过该表', {"库": database, "表": table, "date_column": time_col, "exclude_columns": self.exclude_columns})
-                return (0, 0)
-            has_time_col = time_col_lower in all_columns_lower if time_col_lower else False
-
-            # 只要有date_column，始终分天处理（本函数只处理一天）
-            if has_time_col and date_val is not None:
+            # 如果传了columns且columns不包含date_column，则不分天，直接全表去重
+            if columns and (not time_col_lower or time_col_lower not in [c.lower() for c in columns]):
+                has_time_col = False  # 全表去重
+            else:
+                has_time_col = time_col_lower in all_columns_lower if time_col_lower else False  # 分天去重
+            if has_time_col:
                 self._ensure_index(database, table, time_col)
                 # 获取去重列
                 use_columns = columns or all_columns
@@ -442,14 +458,11 @@ class MySQLDeduplicator:
                     if not dry_run and del_ids:
                         with self._conn_ctx() as conn:
                             with conn.cursor() as cursor:
-                                for i in range(0, len(del_ids), self.batch_size):
-                                    batch_ids = del_ids[i:i+self.batch_size]
-                                    del_ids_str = ','.join([str(i) for i in batch_ids])
-                                    delete_sql = f"DELETE FROM `{database}`.`{table}` WHERE `{pk_real}` IN ({del_ids_str})"
-                                    cursor.execute(delete_sql)
-                                    batch_deleted = cursor.rowcount
-                                    affected_rows += batch_deleted
-                                    conn.commit()
+                                format_ids = ','.join([str(i) for i in del_ids])
+                                del_sql = f"DELETE FROM `{database}`.`{table}` WHERE `{pk_real}` IN ({format_ids})"
+                                cursor.execute(del_sql)
+                                affected_rows = cursor.rowcount
+                                conn.commit()
                     logger.debug('去重完成', {"库": database, "表": table, "数据量": total_count, "重复组": dup_count, "实际删除": affected_rows, "去重方式": "Python", "数据处理": self.duplicate_keep_mode, "数据日期": date_val})
                     return (dup_count, affected_rows)
                 # SQL方式查找重复
@@ -652,12 +665,20 @@ class MySQLDeduplicator:
         use_python_dedup: bool = True
     ) -> Tuple[int, int]:
         """
-        对指定表进行去重。始终按天分区（如有 date_column），否则全表。
-        
+        对指定表进行去重。
+
+        去重行为说明：
+        - 若 columns 参数传入且不包含 date_column，则全表直接按 columns 去重。
+        - 若 columns 包含 date_column 或未指定 columns，则按天分区去重（每一天独立去重）。
+        - exclude_columns 中的字段始终不会参与去重分组。
+        - date_column 默认为 '日期'，可自定义。
+        - dry_run 模式下仅统计重复组和待删除行数，不实际删除。
+        - reorder_id=True 时，去重后自动重排主键 id。
+
         Args:
             database (str): 数据库名。
             table (str): 表名。
-            columns (Optional[List[str]]): 指定去重列。
+            columns (Optional[List[str]]): 指定去重列。若不含 date_column，则全表去重。
             dry_run (bool): 是否为模拟运行。
             reorder_id (bool): 去重后是否自动重排 id 列。
             use_python_dedup (bool): 是否用 Python 方式去重。
@@ -686,7 +707,11 @@ class MySQLDeduplicator:
             all_columns_lower = [col.lower() for col in all_columns]
             time_col = self.date_column
             time_col_lower = time_col.lower() if time_col else None
-            has_time_col = time_col_lower in all_columns_lower if time_col_lower else False
+            # 如果传了columns且columns不包含date_column，则不分天，直接全表去重
+            if columns and (not time_col_lower or time_col_lower not in [c.lower() for c in columns]):
+                has_time_col = False  # 全表去重
+            else:
+                has_time_col = time_col_lower in all_columns_lower if time_col_lower else False  # 分天去重
             if has_time_col:
                 self._ensure_index(database, table, time_col)
                 all_dates = self._get_all_dates(database, table, time_col)
@@ -1294,7 +1319,7 @@ def main():
         password='pwd',
         host='localhost',
         port=3306,
-        max_workers= 3,
+        max_workers= 2,
         batch_size=1000,
         skip_system_dbs=True,
         max_retries=3,
@@ -1302,7 +1327,7 @@ def main():
         pool_size=30,
         recent_month=1,
         # date_range=['2025-06-09', '2025-06-10'],
-        date_column='日期',
+        exclude_columns=['更新时间'],
         # exclude_databases=['测试库4'],
         # exclude_tables={
         #     '推广数据2': [
@@ -1316,13 +1341,13 @@ def main():
     )
 
     # 全库去重(单线程)
-    deduplicator.deduplicate_all(dry_run=False, parallel=True, reorder_id=True)
+    # deduplicator.deduplicate_all(dry_run=False, parallel=True, reorder_id=True)
 
     # # 指定数据库去重(多线程)
     # deduplicator.deduplicate_database('数据引擎2', dry_run=False, parallel=True, reorder_id=True)
 
     # # 指定表去重(使用特定列)
-    # deduplicator.deduplicate_table('my_db', 'my_table', columns=['name', 'data'], dry_run=False, reorder_id=True)
+    deduplicator.deduplicate_table('安全组', '腾讯云cvm规则', columns=['平台', '本地主机', '端口范围', '授权ip'], dry_run=False, reorder_id=True)
 
     # # 重排id列
     # deduplicator.reorder_id_column('my_db', 'my_table', 'id', dry_run=False, auto_drop_backup=True)
@@ -1331,5 +1356,5 @@ def main():
     deduplicator.close()
 
 if __name__ == '__main__':
-    main()
+    # main()
     pass

{mdbq-3.12.2.dist-info → mdbq-3.12.3.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.2
 Name: mdbq
-Version: 3.12.2
+Version: 3.12.3
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-3.12.2.dist-info → mdbq-3.12.3.dist-info}/RECORD

@@ -1,5 +1,5 @@
 mdbq/__init__.py,sha256=Il5Q9ATdX8yXqVxtP_nYqUhExzxPC_qk_WXQ_4h0exg,16
-mdbq/__version__.py,sha256=7f_XGixBIsGAP5w1W3y_kTPfLVlurDoRsv3FOOJLDIA,18
+mdbq/__version__.py,sha256=9x3pJeqVdjIfn83Ln01YuTBiHKPCTeK3xkXQT4NcYno,18
 mdbq/aggregation/__init__.py,sha256=EeDqX2Aml6SPx8363J-v1lz0EcZtgwIBYyCJV6CcEDU,40
 mdbq/aggregation/query_data.py,sha256=nxL8hSy8yI1QLlqnkTNHHQSxRfo-6WKL5OA-N4xLB7c,179832
 mdbq/config/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
@@ -8,7 +8,7 @@ mdbq/log/__init__.py,sha256=Mpbrav0s0ifLL7lVDAuePEi1hJKiSHhxcv1byBKDl5E,15
 mdbq/log/mylogger.py,sha256=Crw6LwVo3I3IUbzIETu8f46Quza3CTCh-qYf4edbBPo,24139
 mdbq/log/spider_logging.py,sha256=-ozWWEGm3HVv604ozs_OOvVwumjokmUPwbaodesUrPY,1664
 mdbq/mysql/__init__.py,sha256=A_DPJyAoEvTSFojiI2e94zP0FKtCkkwKP1kYUCSyQzo,11
-mdbq/mysql/deduplicator.py,sha256=eILGFxFtMCSR6dvCgEgsOjwlK_hEWBe2dFSgJTPHfj8,68623
+mdbq/mysql/deduplicator.py,sha256=uBRM2cBF-gzkFFrmBSKqBd_LLO-K67LYUJqpF9Fs928,70561
 mdbq/mysql/mysql.py,sha256=Kjpi-LL00WQUmTTOfhEBsNrmo4-4kFFJzrHbVKfqiBE,56770
 mdbq/mysql/s_query.py,sha256=dlnrVJ3-Vp1Suv9CNbPxyYSRqRJUHjOpF39tb2F-wBc,10190
 mdbq/mysql/uploader.py,sha256=szX6t4SObBF6fbHT2s5ixfh1-c288cigsJ66pFE02Qg,70266
@@ -24,7 +24,7 @@ mdbq/redis/__init__.py,sha256=YtgBlVSMDphtpwYX248wGge1x-Ex_mMufz4-8W0XRmA,12
 mdbq/redis/getredis.py,sha256=YHgCKO8mEsslwet33K5tGss-nrDDwPnOSlhA9iBu0jY,24078
 mdbq/spider/__init__.py,sha256=RBMFXGy_jd1HXZhngB2T2XTvJqki8P_Fr-pBcwijnew,18
 mdbq/spider/aikucun.py,sha256=cqK-JRd_DHbToC7hyo83m8o97NZkJFqmB2xBtr6aAVU,20961
-mdbq-3.12.2.dist-info/METADATA,sha256=1V071qDvuX5apscDGFLY_ICX6mMVBUhjzMGh_a_wd7w,364
-mdbq-3.12.2.dist-info/WHEEL,sha256=jB7zZ3N9hIM9adW7qlTAyycLYW9npaWKLRzaoVcLKcM,91
-mdbq-3.12.2.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
-mdbq-3.12.2.dist-info/RECORD,,
+mdbq-3.12.3.dist-info/METADATA,sha256=kkujbmKfbA4mOHCloHBALjK3jI2sNoft1yyHmpbnmoI,364
+mdbq-3.12.3.dist-info/WHEEL,sha256=jB7zZ3N9hIM9adW7qlTAyycLYW9npaWKLRzaoVcLKcM,91
+mdbq-3.12.3.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
+mdbq-3.12.3.dist-info/RECORD,,