mdbq 4.0.32__py3-none-any.whl → 4.0.34__py3-none-any.whl

mdbq/__version__.py

@@ -1 +1 @@
-VERSION = '4.0.32'
+VERSION = '4.0.34'

mdbq/aggregation/query_data.py

@@ -113,7 +113,22 @@ def upload_data_decorator(**upload_kwargs):
                 set_type = get_param_value('set_type', ['set_type', 'set_typ'])
                 db_name = get_param_value('db_name')
                 table_name = get_param_value('table_name')
-                logger.info('更新', {'库': db_name, '表': table_name, 'func': func.__name__, 'args': args, 'kwargs': kwargs})
+                # 参数摘要处理
+                def summarize_value(val):
+                    if isinstance(val, pd.DataFrame):
+                        return f"DataFrame(shape={val.shape}, columns={list(val.columns)})"
+                    elif isinstance(val, np.ndarray):
+                        return f"ndarray(shape={val.shape}, dtype={val.dtype})"
+                    elif isinstance(val, (list, tuple)):
+                        return [summarize_value(v) for v in val]
+                    elif isinstance(val, dict):
+                        return {k: summarize_value(v) for k, v in val.items()}
+                    elif hasattr(val, '__class__') and not isinstance(val, (str, int, float, bool, type(None))):
+                        return f"{val.__class__.__name__}"
+                    else:
+                        return val
+                args_summary = {k: summarize_value(v) for k, v in args_dict.items()}
+                logger.info('更新', {'库': db_name, '表': table_name, 'func': func.__name__, 'args': args_summary, 'kwargs': kwargs})
 
                 # 执行原始函数
                 result = func(*args, **kwargs)
@@ -3018,6 +3033,82 @@ class MysqlDatasQuery:
             'unique_keys': [['日期', '人群类型', '店铺名称', '人群规模']],  # 唯一约束列表
         }
 
+    @upload_data_decorator()
+    def global_insights(self, db_name='聚合数据', table_name='全域洞察'):
+        start_date, end_date = self.months_data(num=self.months)
+        exclude_projection = ['日期', '结束日期', '在投计划数', 'bizcode', 'channeltype', 'urlonebp', '渠道策略']
+        __res = []
+        for year in range(2025, datetime.datetime.today().year + 1):
+            df_global = self.download_manager.data_to_df(
+                db_name='达摩盘3',
+                table_name=f'全域洞察_{year}',
+                start_date=start_date,
+                end_date=end_date,
+                projection={},
+                exclude_projection=exclude_projection,
+                date_column='起始日期',
+            )
+            __res.append(df_global)
+        df = pd.concat(__res, ignore_index=True)
+        if len(df) == 0:
+            return None, None
+        df.rename(columns={'起始日期': '日期'}, inplace=True)
+
+        # df.drop_duplicates(subset=['日期', '店铺名称', '场景id', '父渠道id'], keep='last', inplace=True, ignore_index=True)
+        set_typ = {
+            '日期': 'date',
+            '起始日期': 'date',
+            '结束日期': 'date',
+            '店铺名称': 'varchar(100)',
+            '场景id': 'varchar(50)',
+            '场景名字': 'varchar(50)',
+            '是否子渠道': 'varchar(10)',
+            '父渠道id': 'varchar(50)',
+            '父渠道名称': 'varchar(50)',
+            '在投计划数': 'varchar(10)',
+            'bizCode': 'varchar(50)',
+            'channelType': 'varchar(50)',
+            'urlOneBP': 'varchar(255)',
+            '花费': 'decimal(12, 2)',
+            '展现量': 'int',
+            '点击量': 'int',
+            '加购成本': 'decimal(10, 4)',
+            '加购率': 'decimal(10, 4)',
+            '单次点击成本': 'decimal(10, 4)',
+            '当天引导roi': 'decimal(10, 4)',
+            '当天引导成交笔数': 'int',
+            '当天引导成交金额': 'decimal(12, 2)',
+            '总购物车数': 'int',
+            '成交笔数': 'int',
+            '成交转化率': 'decimal(10, 4)',
+            '成交金额': 'decimal(12, 2)',
+            '成交金额占比': 'decimal(10, 4)',
+            '消耗占比': 'decimal(10, 4)',
+            '渠道策略': 'varchar(255)',
+            '点击转化率': 'decimal(10, 6)',
+            '种草': 'varchar(10)',
+            '笔单价': 'decimal(10, 2)',
+            '蓄水转化成交笔数': 'int',
+            '蓄水转化成交金额': 'decimal(12, 2)',
+            '转化收割': 'varchar(10)',
+            '更新时间': 'timestamp',
+        }
+        return df, {
+            'db_name': db_name,
+            'table_name': table_name,
+            'set_typ': set_typ,
+            'primary_keys': [],  # 创建唯一主键
+            'check_duplicate': False,  # 检查重复数据
+            'duplicate_columns': [],  # 指定排重的组合键
+            'update_on_duplicate': True,  # 更新旧数据
+            'allow_null': False,  # 允许插入空值
+            'partition_by': None,  # 分表方式
+            'partition_date_column': '日期',  # 用于分表的日期列名，默认为'日期'
+            'indexes': [],  # 普通索引列
+            'transaction_mode': 'batch',  # 事务模式
+            'unique_keys': [['日期', '店铺名称', '场景id', '父渠道id']],  # 唯一约束列表
+        }
+
     # @try_except
     @upload_data_decorator()
     def dmp_crowd(self, db_name='聚合数据', table_name='达摩盘_人群报表'):
@@ -3649,6 +3740,7 @@ def query2(months=1, download_manager=None):
     sdq.aikucun_bd_spu(db_name='聚合数据', table_name='爱库存_商品spu榜单')
     sdq.dmp_crowd(db_name='聚合数据', table_name='达摩盘_人群报表')
     sdq.deeplink(db_name='聚合数据', table_name='达摩盘_deeplink人群洞察')
+    sdq.global_insights(db_name='聚合数据', table_name='全域洞察')
 
 
 def query3(months=1, download_manager=None):
@@ -3692,4 +3784,4 @@ if __name__ == '__main__':
         )
     sdq = MysqlDatasQuery(download_manager=download_manager) 
     sdq.months = 3
-    sdq.tg_wxt(db_name='聚合数据', table_name='天猫_主体报表')
+    sdq.global_insights(db_name='聚合数据', table_name='全域洞察')

mdbq/mysql/deduplicator.py

@@ -1352,7 +1352,7 @@ def main():
         section='mysql',
         keys=['host', 'port', 'username', 'password'],
     )
-    host = 'localhost'
+    # host = 'localhost'
     
     deduplicator = MySQLDeduplicator(
         username=username,
@@ -1367,7 +1367,7 @@ def main():
         pool_size=20,
         mincached=5,
         maxcached=10,
-        recent_month=1,
+        # recent_month=1,
         # date_range=['2025-06-09', '2025-06-10'],
         exclude_columns=['更新时间'],
         exclude_databases=['cookie文件', '日志', '视频数据', '云电影'],
@@ -1384,19 +1384,19 @@ def main():
     )
 
     # 全库去重(单线程)
-    deduplicator.deduplicate_all(dry_run=False, parallel=True, reorder_id=True)
+    # deduplicator.deduplicate_all(dry_run=False, parallel=True, reorder_id=True)
 
     # # 指定数据库去重(多线程)
     # deduplicator.deduplicate_database('数据引擎2', dry_run=False, parallel=True, reorder_id=True)
 
     # # 指定表去重(使用特定列)
-    # deduplicator.deduplicate_table(
-    #     '达摩盘3', 
-    #     '货品洞察_全店单品_2024_11', 
-    #     columns=['日期', '店铺名称', '数据周期', '商品id'], 
-    #     dry_run=False, 
-    #     reorder_id=True,
-    #     )
+    deduplicator.deduplicate_table(
+        '生意参谋3', 
+        '新品追踪_旧接口_2025', 
+        columns=['商品id', '累计商品浏览量', '累计商品访客数'], 
+        dry_run=False, 
+        reorder_id=True,
+        )
 
     # # 重排id列
     # deduplicator.reorder_id_column('my_db', 'my_table', 'id', dry_run=False, auto_drop_backup=True)

mdbq/mysql/s_query.py

@@ -598,26 +598,26 @@ class QueryDatas:
             })
             return None, None
 
-    def _detect_date_field(self, cols_exist: Set[str], date_field: Optional[str] = None) -> Optional[str]:
+    def _detect_date_field(self, cols_exist: Set[str], date_column: Optional[str] = None) -> Optional[str]:
         """
         检测或验证日期字段。
         
         Args:
             cols_exist: 存在的列名集合
-            date_field: 用户指定的日期字段名
+            date_column: 用户指定的日期字段名
             
         Returns:
             有效的日期字段名，如果未找到则返回None
         """
-        if date_field:
-            if date_field not in cols_exist:
+        if date_column:
+            if date_column not in cols_exist:
                 logger.debug('指定的日期字段不存在', {
-                    '指定的日期字段': date_field,
+                    '指定的日期字段': date_column,
                     '可用的列': list(cols_exist)
                 })
                 return None
-            logger.debug('使用指定的日期字段', {'日期字段': date_field})
-            return date_field
+            logger.debug('使用指定的日期字段', {'日期字段': date_column})
+            return date_column
         
         # 自动检测可能的日期字段
         possible_date_fields = {'日期', 'date', 'create_time', 'update_time', 'created_at', 'updated_at', '更新时间', '创建时间'}
@@ -635,39 +635,66 @@ class QueryDatas:
             })
         return detected_field
 
-    def _get_selected_columns(self, cols_exist: Set[str], projection: Optional[Dict[str, int]] = None) -> List[str]:
+    def _get_selected_columns(self, cols_exist: Set[str], projection: Optional[Any] = None, exclude_projection: Optional[list] = None) -> List[str]:
         """
         获取要查询的列名列表。
         
         Args:
             cols_exist: 存在的列名集合
-            projection: 列筛选字典，key为列名，value为1表示选中
-                      - 如果为None、空字典{}或空列表[]，则返回所有列
-                      - 如果为字典，则根据value值筛选列
-            
+            projection: 列筛选字典或列表，优先级高于exclude_projection
+            exclude_projection: 反选列名列表，排除这些列，选取所有其他列
         Returns:
             选中的列名列表
         """
         if not cols_exist:
             logger.warning('表没有可用列')
             return []
-        if projection is None or projection == {} or projection == []:
-            return list(cols_exist)
-        invalid_chars = set('`\'"\\')
-        selected_columns = []
-        for col in projection:
-            if any(char in col for char in invalid_chars):
-                logger.warning('列名包含特殊字符，已跳过', {'列名': col})
-                continue
-            if col in cols_exist and projection[col]:
-                selected_columns.append(col)
-        if not selected_columns:
-            logger.info('参数不匹配，返回所有列', {'参数': projection})
-            return list(cols_exist)
-        return selected_columns
+        # projection优先
+        if projection is not None and projection != {} and projection != []:
+            invalid_chars = set('`\'"\\')
+            selected_columns = []
+            if isinstance(projection, list):
+                for col in projection:
+                    if any(char in col for char in invalid_chars):
+                        logger.warning('列名包含特殊字符，已跳过', {'列名': col})
+                        continue
+                    if col in cols_exist:
+                        selected_columns.append(col)
+                if not selected_columns:
+                    logger.info('参数不匹配，返回所有列', {'参数': projection})
+                    return list(cols_exist)
+                return selected_columns
+            # 字典格式
+            for col in projection:
+                if any(char in col for char in invalid_chars):
+                    logger.warning('列名包含特殊字符，已跳过', {'列名': col})
+                    continue
+                if col in cols_exist and projection[col]:
+                    selected_columns.append(col)
+            if not selected_columns:
+                logger.info('参数不匹配，返回所有列', {'参数': projection})
+                return list(cols_exist)
+            return selected_columns
+        # 反选逻辑
+        if exclude_projection is not None and exclude_projection != []:
+            invalid_chars = set('`\'"\\')
+            exclude_set = set()
+            for col in exclude_projection:
+                if any(char in col for char in invalid_chars):
+                    logger.warning('反选列名包含特殊字符，已跳过', {'列名': col})
+                    continue
+                if col in cols_exist:
+                    exclude_set.add(col)
+            selected_columns = [col for col in cols_exist if col not in exclude_set]
+            if not selected_columns:
+                logger.info('反选后无可用字段，返回所有列', {'反选参数': exclude_projection})
+                return list(cols_exist)
+            return selected_columns
+        # 默认全选
+        return list(cols_exist)
 
     def _build_query_sql(self, db_name: str, table_name: str, selected_columns: List[str], 
-                        date_field: Optional[str] = None, start_date: Optional[str] = None, 
+                        date_column: Optional[str] = None, start_date: Optional[str] = None, 
                         end_date: Optional[str] = None, limit: Optional[int] = None) -> Tuple[str, List[Any]]:
         """
         构建SQL查询语句和参数。
@@ -676,7 +703,7 @@ class QueryDatas:
             db_name: 数据库名
             table_name: 表名
             selected_columns: 选中的列名列表
-            date_field: 日期字段名
+            date_column: 日期字段名
             start_date: 开始日期
             end_date: 结束日期
             limit: 限制返回行数，None表示不限制
@@ -707,14 +734,14 @@ class QueryDatas:
         param_names = []  # 用于记录参数名称
         
         # 如果有日期字段，添加日期过滤条件
-        if date_field:
+        if date_column:
             conditions = []
             if start_date is not None:
-                conditions.append(f"`{date_field}` >= %s")
+                conditions.append(f"`{date_column}` >= %s")
                 params.append(start_date)
                 param_names.append('开始日期')
             if end_date is not None:
-                conditions.append(f"`{date_field}` <= %s")
+                conditions.append(f"`{date_column}` <= %s")
                 params.append(end_date)
                 param_names.append('结束日期')
             
@@ -793,10 +820,11 @@ class QueryDatas:
             table_name: str,
             start_date: Optional[str] = None, 
             end_date: Optional[str] = None, 
-            projection: Optional[Dict[str, int]] = None, 
+            projection: Optional[Dict[str, int]] = None,
+            exclude_projection: Optional[list] = None,
             limit: Optional[int] = None,
             page_size: Optional[int] = None,
-            date_field: Optional[str] = None,
+            date_column: Optional[str] = None,
             return_format: Literal['df', 'list_dict'] = 'df'
             ) -> Union[pd.DataFrame, List[Dict[str, Any]]]:
         """
@@ -810,14 +838,14 @@ class QueryDatas:
             table_name: 表名
             start_date: 起始日期（包含），支持多种日期格式，如'YYYY-MM-DD'、'YYYY/MM/DD'等
             end_date: 结束日期（包含），支持多种日期格式，如'YYYY-MM-DD'、'YYYY/MM/DD'等
-            projection: 列筛选字典，用于指定要查询的列
-                      - 键为列名（字符串）
-                      - 值为1表示选中该列，0表示不选中该列
-                      - 例如：{'日期': 1, '场景名字': 1} 表示只查询这两列
-                      - 如果为None、空字典{}或空列表[]，则查询所有列
+            projection: 列筛选字典或列表，用于指定要查询的列，优先级高于exclude_projection
+                      - 字典格式：{'列名1': 1, '列名2': 0} 键为列名（字符串），值为1表示选中该列，0表示不选中该列
+                      - 列表格式：['列名1', '列名2'] 只查询指定列
+                      - 如果为None、空字典{}或空列表[]，则查询所有列（除非设置了exclude_projection）
+            exclude_projection: 反选列名列表，排除这些列，选取所有其他列。与projection互斥，projection优先。
             limit: 限制返回的最大行数，None表示不限制
             page_size: 分页查询时每页的数据量，None表示不使用分页
-            date_field: 日期字段名，如果为None则使用默认的"日期"字段
+            date_column: 日期字段名，如果为None则使用默认的"日期"字段
             return_format: 返回数据格式
                          - 'df': 返回pandas DataFrame（默认）
                          - 'list_dict': 返回列表字典格式 [{列1:值, 列2:值, ...}, ...]
@@ -859,22 +887,22 @@ class QueryDatas:
                     # 设置日期字段
                     if start_date is not None and end_date is not None:
                         # 如果未指定日期字段，使用默认的"日期"字段
-                        if date_field is None:
-                            date_field = "日期"
+                        if date_column is None:
+                            date_column = "日期"
                         
                         # 检查指定的日期字段是否存在
-                        if date_field not in cols_exist:
+                        if date_column not in cols_exist:
                             logger.warning('指定的日期字段不存在，将返回所有数据', {
                                 '库': db_name, 
                                 '表': table_name, 
-                                '指定日期字段': date_field
+                                '指定日期字段': date_column
                             })
                             start_date = None
                             end_date = None
-                            date_field = None
+                            date_column = None
                     
                     # 获取选中的列
-                    selected_columns = self._get_selected_columns(cols_exist, projection)
+                    selected_columns = self._get_selected_columns(cols_exist, projection, exclude_projection)
                     if not selected_columns:
                         logger.info('未找到可用字段', {'库': db_name, '表': table_name, '字段': selected_columns})
                         return [] if return_format == 'list_dict' else pd.DataFrame()
@@ -882,7 +910,7 @@ class QueryDatas:
                     # 构建基础SQL
                     base_sql, params, param_names = self._build_query_sql(
                         db_name, table_name, selected_columns, 
-                        date_field, start_date, end_date, None
+                        date_column, start_date, end_date, None
                     )
 
                     # 如果指定了limit且没有指定page_size，使用简单查询
@@ -963,7 +991,7 @@ class QueryDatas:
                         '查询参数': {
                             '开始日期': start_date,
                             '结束日期': end_date,
-                            '日期字段': date_field,
+                            '日期字段': date_column,
                             '限制行数': limit,
                             '分页大小': page_size,
                             '返回数据格式': return_format,
@@ -980,7 +1008,7 @@ class QueryDatas:
                 '查询参数': {
                     '开始日期': start_date,
                     '结束日期': end_date,
-                    '日期字段': date_field,
+                    '日期字段': date_column,
                     '限制行数': limit,
                     '分页大小': page_size,
                     '返回数据格式': return_format,

mdbq/mysql/uploader.py

@@ -433,9 +433,18 @@ class MySQLUploader:
         # 主键处理逻辑调整
         def _index_col_sql(col):
             col_type = set_typ.get(col, '').lower()
-            if 'varchar' in col_type or 'text' in col_type:
+            if 'varchar' in col_type:
+                m = re.search(r'varchar\((\d+)\)', col_type)
+                if m:
+                    maxlen = int(m.group(1))
+                    prefix_len = min(100, maxlen)
+                    return f"`{self._normalize_col(col)}`({prefix_len})"
+                else:
+                    return f"`{self._normalize_col(col)}`(100)"
+            elif 'text' in col_type:
                 return f"`{self._normalize_col(col)}`(100)"
-            return f"`{self._normalize_col(col)}`"
+            else:
+                return f"`{self._normalize_col(col)}`"
             
         # 处理主键
         if primary_keys and len(primary_keys) > 0:

{mdbq-4.0.32.dist-info → mdbq-4.0.34.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.2
 Name: mdbq
-Version: 4.0.32
+Version: 4.0.34
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-4.0.32.dist-info → mdbq-4.0.34.dist-info}/RECORD

@@ -1,17 +1,17 @@
 mdbq/__init__.py,sha256=Il5Q9ATdX8yXqVxtP_nYqUhExzxPC_qk_WXQ_4h0exg,16
-mdbq/__version__.py,sha256=JlP9c4CD0Z8Ewghucau-8dDN36XOz-Fzk6Lsmjua5AY,18
+mdbq/__version__.py,sha256=D_wa3H06nsA6Arfalq9RVMZHoFDp3ZG4xsE24b2Lu8E,18
 mdbq/aggregation/__init__.py,sha256=EeDqX2Aml6SPx8363J-v1lz0EcZtgwIBYyCJV6CcEDU,40
-mdbq/aggregation/query_data.py,sha256=JrIoYIQpwFETAZ_KG7RKSO4aoLcegHwKT8kiktChOdk,164705
+mdbq/aggregation/query_data.py,sha256=VICC4R0yNktmfWHItn7X0769DyRBa2hBXhJOTp3Zh2w,169282
 mdbq/log/__init__.py,sha256=Mpbrav0s0ifLL7lVDAuePEi1hJKiSHhxcv1byBKDl5E,15
 mdbq/log/mylogger.py,sha256=9w_o5mYB3FooIxobq_lSa6oCYTKIhPxDFox-jeLtUHI,21714
 mdbq/myconf/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
 mdbq/myconf/myconf.py,sha256=rHvQCnQRKhQ49AZBke-Z4v28hyOLmHt4MylIuB0H6yA,33516
 mdbq/mysql/__init__.py,sha256=A_DPJyAoEvTSFojiI2e94zP0FKtCkkwKP1kYUCSyQzo,11
-mdbq/mysql/deduplicator.py,sha256=YgOUkjLEm8DmH_p-du-MTnR3gTFztjUoaY3b-QklnR4,73077
+mdbq/mysql/deduplicator.py,sha256=AB3gL7ZwhcmzGHSu4UY4M6YZVPFZ2wlAN3BCcwAhegQ,73074
 mdbq/mysql/mysql.py,sha256=pDg771xBugCMSTWeskIFTi3pFLgaqgyG3smzf-86Wn8,56772
-mdbq/mysql/s_query.py,sha256=hQpoZ868hxDQpZ-im5Kmmixdh0Khkzj-MrVxkUTU3Kg,44984
+mdbq/mysql/s_query.py,sha256=1wJ3HVjHEF6FA-bVeeesRlsf73CZSvVTEQ51CF1OsE4,46786
 mdbq/mysql/unique_.py,sha256=MaztT-WIyEQUs-OOYY4pFulgHVcXR1BfCy3QUz0XM_U,21127
-mdbq/mysql/uploader.py,sha256=_c_8t5Cx2qbtyOLtii2Gv7vpTlpawWjrB_9zBz1MaC4,81507
+mdbq/mysql/uploader.py,sha256=SVlrLxoYBEpTu_I771wAehJQVFWOCqXp-lNk2JNYFOE,81881
 mdbq/other/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
 mdbq/other/download_sku_picture.py,sha256=X66sVdvVgzoNzmgVJyPtd7bjEvctEKtLPblEPF65EWc,46940
 mdbq/other/otk.py,sha256=iclBIFbQbhlqzUbcMMoePXBpcP1eZ06ZtjnhcA_EbmE,7241
@@ -24,7 +24,7 @@ mdbq/redis/__init__.py,sha256=YtgBlVSMDphtpwYX248wGge1x-Ex_mMufz4-8W0XRmA,12
 mdbq/redis/getredis.py,sha256=vpBuNc22uj9Vr-_Dh25_wpwWM1e-072EAAIBdB_IpL0,23494
 mdbq/spider/__init__.py,sha256=RBMFXGy_jd1HXZhngB2T2XTvJqki8P_Fr-pBcwijnew,18
 mdbq/spider/aikucun.py,sha256=XptHjGzbout9IYzWAOQUpMMV5qEgLTU8pL1ZGt8oNEA,21868
-mdbq-4.0.32.dist-info/METADATA,sha256=PILyHn6uBC6wAxIFcw6M_xwrLb8t4n3Htvbj33vGjsI,364
-mdbq-4.0.32.dist-info/WHEEL,sha256=jB7zZ3N9hIM9adW7qlTAyycLYW9npaWKLRzaoVcLKcM,91
-mdbq-4.0.32.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
-mdbq-4.0.32.dist-info/RECORD,,
+mdbq-4.0.34.dist-info/METADATA,sha256=m5KXyEfQlxynSXm8ht6Owk0UZ-zi8MOo2AKy9lmYODg,364
+mdbq-4.0.34.dist-info/WHEEL,sha256=jB7zZ3N9hIM9adW7qlTAyycLYW9npaWKLRzaoVcLKcM,91
+mdbq-4.0.34.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
+mdbq-4.0.34.dist-info/RECORD,,