mdbq 2.7.0__py3-none-any.whl → 2.7.2__py3-none-any.whl

mdbq/aggregation/query_data.py

@@ -1,12 +1,11 @@
 # -*- coding: UTF-8 –*-
 import re
-from unittest.mock import inplace
-
+import socket
 from mdbq.mongo import mongo
 from mdbq.mysql import mysql
 from mdbq.mysql import s_query
 from mdbq.aggregation import optimize_data
-from mdbq.config import get_myconf
+from mdbq.config import myconfig
 import datetime
 from dateutil.relativedelta import relativedelta
 import pandas as pd
@@ -27,6 +26,21 @@ import os
 
 """
 
+if socket.gethostname().lower() in ['xigua_lx', 'xigua1', 'macbook pro']:
+    conf = myconfig.main()
+    conf_data = conf['Windows']['xigua_lx']['mysql']['local']
+    username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
+    service_database = {'xigua_lx': 'mysql'}
+elif socket.gethostname().lower() in ['company', 'Mac2.local']:
+    conf = myconfig.main()
+    conf_data = conf['Windows']['company']['mysql']['local']
+    username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
+    service_database = {'company': 'mysql'}
+if not username:
+    print(f'找不到主机：')
+
+
+
 
 class MongoDatasQuery:
     """
@@ -38,7 +52,6 @@ class MongoDatasQuery:
         # target_service 从哪个服务器下载数据
         self.months = 0  # 下载几个月数据, 0 表示当月, 1 是上月 1 号至今
         # 实例化一个下载类
-        username, password, host, port = get_myconf.select_config_values(target_service=target_service, database='mongodb')
         self.download = mongo.DownMongo(username=username, password=password, host=host, port=port, save_path=None)
 
     def tg_wxt(self):
@@ -86,11 +99,10 @@ class MysqlDatasQuery:
     """
     从数据库中下载数据
     """
-    def __init__(self, target_service):
+    def __init__(self):
         # target_service 从哪个服务器下载数据
         self.months = 0  # 下载几个月数据, 0 表示当月, 1 是上月 1 号至今
         # 实例化一个下载类
-        username, password, host, port = get_myconf.select_config_values(target_service=target_service, database='mysql')
         self.download = s_query.QueryDatas(username=username, password=password, host=host, port=port)
 
     @staticmethod
@@ -355,8 +367,8 @@ class MysqlDatasQuery:
         projection = {
             '日期': 1,
             '产品线': 1,
-            '触发sku id': 1,
-            '跟单sku id': 1,
+            '触发sku_id': 1,
+            '跟单sku_id': 1,
             '花费': 1,
             '展现数': 1,
             '点击数': 1,
@@ -366,7 +378,7 @@ class MysqlDatasQuery:
             '总订单金额': 1,
             '直接加购数': 1,
             '总加购数': 1,
-            'spu id': 1,
+            'spu_id': 1,
             '店铺名称':1,
         }
         df = self.download.data_to_df(
@@ -385,7 +397,7 @@ class MysqlDatasQuery:
             '日期': 1,
             '产品线': 1,
             '花费': 1,
-            '全站roi': 1,
+            '全站投产比': 1,
             '全站交易额': 1,
             '全站订单行': 1,
             '全站订单成本': 1,
@@ -660,8 +672,8 @@ class MysqlDatasQuery:
         projection = {
             '日期': 1,
             '产品线': 1,
-            '触发sku id': 1,
-            '跟单sku id': 1,
+            '触发sku_id': 1,
+            '跟单sku_id': 1,
             '花费': 1,
             '展现数': 1,
             '点击数': 1,
@@ -671,7 +683,7 @@ class MysqlDatasQuery:
             '总订单金额': 1,
             '直接加购数': 1,
             '总加购数': 1,
-            'spu id': 1,
+            'spu_id': 1,
             '店铺名称': 1,
         }
         df_jd = self.download.data_to_df(
@@ -681,7 +693,7 @@ class MysqlDatasQuery:
             end_date=end_date,
             projection=projection,
         )
-        df_jd = df_jd.groupby(['日期', '店铺名称', '产品线', '触发sku id', '跟单sku id', 'spu id', '花费', '展现数', '点击数'],
+        df_jd = df_jd.groupby(['日期', '店铺名称', '产品线', '触发sku_id', '跟单sku_id', 'spu_id', '花费', '展现数', '点击数'],
                         as_index=False).agg(
             **{'直接订单行': ('直接订单行', np.max),
                '直接订单金额': ('直接订单金额', np.max),
@@ -699,7 +711,7 @@ class MysqlDatasQuery:
             '日期': 1,
             '产品线': 1,
             '花费': 1,
-            '全站roi': 1,
+            '全站投产比': 1,
             '全站交易额': 1,
             '全站订单行': 1,
             '全站订单成本': 1,
@@ -716,7 +728,7 @@ class MysqlDatasQuery:
             projection=projection,
         )
         df_jd_qzyx = df_jd_qzyx.groupby(['日期', '店铺名称', '产品线', '花费'], as_index=False).agg(
-            **{'全站roi': ('全站roi', np.max),
+            **{'全站投产比': ('全站投产比', np.max),
                '成交金额': ('全站交易额', np.max),
                '成交笔数': ('全站订单行', np.max),
                '全站订单成本': ('全站订单成本', np.max),
@@ -1395,7 +1407,7 @@ class GroupBy:
             )
             return df
         elif '京东_京准通' in table_name and '全站营销' not in table_name:
-            df = df.groupby(['日期', '店铺名称', '产品线', '触发sku id', '跟单sku id', 'spu id', '花费', '展现数', '点击数'], as_index=False).agg(
+            df = df.groupby(['日期', '店铺名称', '产品线', '触发sku_id', '跟单sku_id', 'spu_id', '花费', '展现数', '点击数'], as_index=False).agg(
                 **{'直接订单行': ('直接订单行', np.max),
                    '直接订单金额': ('直接订单金额', np.max),
                    '总订单行': ('总订单行', np.max),
@@ -1407,13 +1419,13 @@ class GroupBy:
             df = df[df['花费'] > 0]
             self.data_jdtg.update(
                 {
-                    table_name: df[['日期', '产品线', '触发sku id', '跟单sku id', '花费']],
+                    table_name: df[['日期', '产品线', '触发sku_id', '跟单sku_id', '花费']],
                 }
             )
             return df
         elif '京东_京准通_全站营销' in table_name:
             df = df.groupby(['日期', '产品线', '花费'], as_index=False).agg(
-                **{'全站roi': ('全站roi', np.max),
+                **{'全站投产比': ('全站投产比', np.max),
                    '全站交易额': ('全站交易额', np.max),
                    '全站订单行': ('全站订单行', np.max),
                    '全站订单成本': ('全站订单成本', np.max),
@@ -1908,7 +1920,7 @@ class GroupBy:
     @try_except
     def performance_jd(self, jd_tg=True):
         jdtg, sku_sales = self.data_jdtg['京东_京准通'], self.data_jdtg['京东_sku_商品明细']
-        jdtg = jdtg.groupby(['日期', '跟单sku id'],
+        jdtg = jdtg.groupby(['日期', '跟单sku_id'],
                         as_index=False).agg(
             **{
                 '花费': ('花费', np.sum)
@@ -1918,13 +1930,13 @@ class GroupBy:
         df = pd.merge(sku_sales, cost, how='left', left_on='货号', right_on='款号')
         df = df[['日期', '商品id', '货号', '成交单量', '成交金额', '成本价']]
         df['商品id'] = df['商品id'].astype(str)
-        jdtg['跟单sku id'] = jdtg['跟单sku id'].astype(str)
+        jdtg['跟单sku_id'] = jdtg['跟单sku_id'].astype(str)
         if jd_tg is True:
             # 完整的数据表，包含全店所有推广、销售数据
-            df = pd.merge(df, jdtg, how='left', left_on=['日期', '商品id'], right_on=['日期', '跟单sku id'])  # df 合并推广表
+            df = pd.merge(df, jdtg, how='left', left_on=['日期', '商品id'], right_on=['日期', '跟单sku_id'])  # df 合并推广表
         else:
-            df = pd.merge(jdtg, df, how='left', left_on=['日期', '跟单sku id'], right_on=['日期', '商品id'])  # 推广表合并 df
-        df = df[['日期', '跟单sku id', '花费', '货号', '成交单量', '成交金额', '成本价']]
+            df = pd.merge(jdtg, df, how='left', left_on=['日期', '跟单sku_id'], right_on=['日期', '商品id'])  # 推广表合并 df
+        df = df[['日期', '跟单sku_id', '花费', '货号', '成交单量', '成交金额', '成本价']]
         df.fillna(0, inplace=True)
         df['成本价'] = df['成本价'].astype('float64')
         df['成交金额'] = df['成交金额'].astype('float64')
@@ -2026,53 +2038,7 @@ def g_group():
     pass
 
 
-def data_aggregation_one(service_databases=[{}], months=1):
-    """
-    # 单独处理某一个聚合数据库，修改添加 data_dict 的值
-    """
-    for service_database in service_databases:
-        for service_name, database in service_database.items():
-            sdq = MysqlDatasQuery(target_service=service_name)  # 实例化数据处理类
-            sdq.months = months  # 设置数据周期， 1 表示近 2 个月
-            g = GroupBy()  # 实例化数据聚合类
-            # 实例化数据库连接
-            username, password, host, port = get_myconf.select_config_values(target_service=service_name, database=database)
-            m = mysql.MysqlUpload(username=username, password=password, host=host, port=port)
-
-            # 从数据库中获取数据, 返回包含 df 数据的字典
-            # 单独处理某一个聚合数据库，在这里修改添加 data_dict 的值
-            ######################################################
-            #################    修改这里    ##########################
-            ######################################################
-            data_dict = [
-                {
-                    '数据库名': '聚合数据',  # 清洗完回传的目的地数据库
-                    '集合名': '天猫_推广汇总',  # 清洗完回传的数据表名
-                    '唯一主键': ['日期', '商品id'],
-                    '数据主体': sdq.jd_gjc(),
-                },
-            ]
-            ######################################################
-            #################    修改这里    ##########################
-            ######################################################
-
-            for items in data_dict:  # 遍历返回结果
-                db_name, table_name, unique_key_list, df = items['数据库名'], items['集合名'], items['唯一主键'], items['数据主体']
-                df = g.groupby(df=df, table_name=table_name, is_maximize=True)  # 2. 聚合数据
-                # g.as_csv(df=df, filename=table_name + '.csv')  # 导出 csv
-                m.df_to_mysql(
-                    df=df,
-                    db_name=db_name,
-                    table_name=table_name,
-                    move_insert=False,  # 先删除，再插入
-                    df_sql=True,
-                    drop_duplicates=False,
-                    # icm_update=unique_key_list,
-                    service_database=service_database,
-                )  # 3. 回传数据库
-
-
-def data_aggregation(service_databases=[{}], months=1, is_juhe=True, less_dict=[]):
+def data_aggregation(months=1, is_juhe=True, less_dict=[]):
     """
     1. 从数据库中读取数据
     2. 数据聚合清洗
@@ -2085,228 +2051,224 @@ def data_aggregation(service_databases=[{}], months=1, is_juhe=True, less_dict=[
     if months == 0:
         print(f'months 不建议为 0 ')
         return
-    for service_database in service_databases:
-        for service_name, database in service_database.items():
-            sdq = MysqlDatasQuery(target_service=service_name)  # 实例化数据处理类
-            sdq.months = months  # 设置数据周期， 1 表示近 2 个月
-            g = GroupBy()  # 实例化数据聚合类
-            # 实例化数据库连接
-            username, password, host, port = get_myconf.select_config_values(target_service=service_name, database=database)
-            m = mysql.MysqlUpload(username=username, password=password, host=host, port=port)
-
-            # 从数据库中获取数据, 返回包含 df 数据的字典
-            data_dict = [
-                {
-                    '数据库名': '聚合数据',  # 清洗完回传的目的地数据库
-                    '集合名': '天猫_主体报表',  # 清洗完回传的数据表名
-                    '唯一主键': ['日期', '推广渠道', '营销场景', '商品id', '花费'],
-                    '数据主体': sdq.tg_wxt(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '天猫生意经_宝贝指标',
-                    '唯一主键': ['日期', '宝贝id'],  # 不能加其他字段做主键，比如销售额，是变动的，不是唯一的
-                    '数据主体': sdq.syj(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '店铺流量来源构成',
-                    '唯一主键': ['日期', '一级来源', '二级来源', '三级来源', '访客数'],
-                    '数据主体': sdq.dplyd(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '商品id编码表',
-                    '唯一主键': ['宝贝id'],
-                    '数据主体': sdq.idbm(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '商品id图片对照表',
-                    '唯一主键': ['商品id'],
-                    '数据主体': sdq.sp_picture(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '商品成本',  # 暂缺 10.31
-                    '唯一主键': ['款号'],
-                    '数据主体': sdq.sp_cost(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '京东_京准通',
-                    '唯一主键': ['日期', '产品线', '触发sku id', '跟单sku id', '花费', ],
-                    '数据主体': sdq.jdjzt(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '京东_京准通_全站营销',  # 暂缺
-                    '唯一主键': ['日期', '产品线', '花费'],
-                    '数据主体': sdq.jdqzyx(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '京东_sku_商品明细',
-                    '唯一主键': ['日期', '商品id', '成交单量'],
-                    '数据主体': sdq.sku_sales(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '京东_spu_商品明细',
-                    '唯一主键': ['日期', '商品id', '成交单量'],
-                    '数据主体': sdq.spu_sales(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '天猫_人群报表',
-                    '唯一主键': ['日期', '推广渠道', '营销场景', '商品id', '花费', '人群名字'],
-                    '数据主体': sdq.tg_rqbb(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '天猫_关键词报表',
-                    '唯一主键': ['日期', '推广渠道', '营销场景', '商品id', '花费', '词类型', '词名字/词包名字',],
-                    '数据主体': sdq.tg_gjc(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '天猫_超级直播',
-                    '唯一主键': ['日期', '推广渠道', '营销场景', '花费'],
-                    '数据主体': sdq.tg_cjzb(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '京东_关键词报表',
-                    '唯一主键': ['日期', '产品线', '搜索词',  '关键词', '展现数', '花费'],
-                    '数据主体': sdq.jd_gjc(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '天猫_品销宝账户报表',
-                    '唯一主键': ['日期', '报表类型', '推广渠道', '营销场景', '花费'],
-                    '数据主体': sdq.pxb_zh(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '天猫店铺来源_手淘搜索',  # 暂缺
-                    '唯一主键': ['日期', '关键词', '访客数'],
-                    '数据主体': sdq.se_search(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '生意参谋_直播场次分析',  # 暂缺
-                    '唯一主键': ['场次id'],
-                    '数据主体': sdq.zb_ccfx(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '多店推广场景_按日聚合',
-                    '唯一主键': [],
-                    '数据主体': sdq.tg_by_day(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '爱库存_商品spu榜单',
-                    '唯一主键': [],
-                    '数据主体': sdq.aikucun_bd_spu(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '达摩盘_人群报表',
-                    '唯一主键': [],
-                    '数据主体': sdq.dmp_crowd(),
-                },
-            ]
-
-            if less_dict:
-                data_dict = [item for item in data_dict if item['集合名'] in less_dict]
-            for items in data_dict:  # 遍历返回结果
-                db_name, table_name, unique_key_list, df = items['数据库名'], items['集合名'], items['唯一主键'], items['数据主体']
-                df = g.groupby(df=df, table_name=table_name, is_maximize=True)  # 2. 聚合数据
-                if len(g.sp_index_datas) != 0:
-                    # 由推广主体报表，写入一个商品索引表，索引规则：从上月 1 号至今花费从高到低排序
-                    m.df_to_mysql(
-                        df=g.sp_index_datas,
-                        db_name='属性设置3',
-                        table_name='商品索引表_主推排序调用',
-                        move_insert=False,  # 先删除，再插入
-                        # df_sql=True,
-                        drop_duplicates=False,
-                        icm_update=['商品id'],
-                        service_database=service_database,
-                    )
-                    g.sp_index_datas = pd.DataFrame()  # 重置，不然下个循环会继续刷入数据库
-                # g.as_csv(df=df, filename=table_name + '.csv')  # 导出 csv
-                if '日期' in df.columns.tolist():
-                    m.df_to_mysql(
-                        df=df,
-                        db_name=db_name,
-                        table_name=table_name,
-                        move_insert=True,  # 先删除，再插入
-                        # df_sql=True,
-                        # drop_duplicates=False,
-                        # icm_update=unique_key_list,
-                        service_database=service_database,
-                    )  # 3. 回传数据库
-                else:  # 没有日期列的就用主键排重
-                    m.df_to_mysql(
-                        df=df,
-                        db_name=db_name,
-                        table_name=table_name,
-                        move_insert=False,  # 先删除，再插入
-                        # df_sql=True,
-                        drop_duplicates=False,
-                        icm_update=unique_key_list,
-                        service_database=service_database,
-                    )  # 3. 回传数据库
-            if is_juhe:
-                res = g.performance(bb_tg=True)   # 盈亏表，依赖其他表，单独做
-                m.df_to_mysql(
-                    df=res,
-                    db_name='聚合数据',
-                    table_name='_全店商品销售',
-                    move_insert=True,  # 先删除，再插入
-                    # df_sql=True,
-                    # drop_duplicates=False,
-                    # icm_update=['日期', '商品id'],  # 设置唯一主键
-                    service_database=service_database,
-                )
-                res = g.performance(bb_tg=False)  # 盈亏表，依赖其他表，单独做
-                m.df_to_mysql(
-                    df=res,
-                    db_name='聚合数据',
-                    table_name='_推广商品销售',
-                    move_insert=True,  # 先删除，再插入
-                    # df_sql=True,
-                    # drop_duplicates=False,
-                    # icm_update=['日期', '商品id'],  # 设置唯一主键
-                    service_database=service_database,
-                )
-                res = g.performance_concat(bb_tg=False)  # 推广主体合并直播表，依赖其他表，单独做
-                m.df_to_mysql(
-                    df=res,
-                    db_name='聚合数据',
-                    table_name='天猫_推广汇总',
-                    move_insert=True,  # 先删除，再插入
-                    # df_sql=True,
-                    # drop_duplicates=False,
-                    # icm_update=['日期', '推广渠道', '营销场景', '商品id', '花费', '展现量', '点击量'],  # 设置唯一主键
-                    service_database=service_database,
-                )
-                res = g.performance_jd(jd_tg=False)  # 盈亏表，依赖其他表，单独做
-                m.df_to_mysql(
-                    df=res,
-                    db_name='聚合数据',
-                    table_name='_京东_推广商品销售',
-                    move_insert=True,  # 先删除，再插入
-                    # df_sql=True,
-                    # drop_duplicates=False,
-                    # icm_update=['日期', '跟单sku id', '货号', '花费'],  # 设置唯一主键
-                    service_database=service_database,
-                )
 
-    # 这里要注释掉，不然 copysh.py 可能有问题，这里主要修改配置文件，后续触发 home_lx 的 optimize_datas.py(有s)程序进行全局清理
-    # optimize_data.op_data(service_databases=service_databases, days=3650)  # 立即启动对聚合数据的清理工作
+    sdq = MysqlDatasQuery()  # 实例化数据处理类
+    sdq.months = months  # 设置数据周期， 1 表示近 2 个月
+    g = GroupBy()  # 实例化数据聚合类
+    # 实例化数据库连接
+
+    m = mysql.MysqlUpload(username=username, password=password, host=host, port=port)
+
+    # 从数据库中获取数据, 返回包含 df 数据的字典
+    data_dict = [
+        {
+            '数据库名': '聚合数据',  # 清洗完回传的目的地数据库
+            '集合名': '天猫_主体报表',  # 清洗完回传的数据表名
+            '唯一主键': ['日期', '推广渠道', '营销场景', '商品id', '花费'],
+            '数据主体': sdq.tg_wxt(),
+        },
+        {
+            '数据库名': '聚合数据',
+            '集合名': '天猫生意经_宝贝指标',
+            '唯一主键': ['日期', '宝贝id'],  # 不能加其他字段做主键，比如销售额，是变动的，不是唯一的
+            '数据主体': sdq.syj(),
+        },
+        {
+            '数据库名': '聚合数据',
+            '集合名': '店铺流量来源构成',
+            '唯一主键': ['日期', '一级来源', '二级来源', '三级来源', '访客数'],
+            '数据主体': sdq.dplyd(),
+        },
+        {
+            '数据库名': '聚合数据',
+            '集合名': '商品id编码表',
+            '唯一主键': ['宝贝id'],
+            '数据主体': sdq.idbm(),
+        },
+        {
+            '数据库名': '聚合数据',
+            '集合名': '商品id图片对照表',
+            '唯一主键': ['商品id'],
+            '数据主体': sdq.sp_picture(),
+        },
+        {
+            '数据库名': '聚合数据',
+            '集合名': '商品成本',  # 暂缺 10.31
+            '唯一主键': ['款号'],
+            '数据主体': sdq.sp_cost(),
+        },
+        {
+            '数据库名': '聚合数据',
+            '集合名': '京东_京准通',
+            '唯一主键': ['日期', '产品线', '触发sku_id', '跟单sku_id', '花费', ],
+            '数据主体': sdq.jdjzt(),
+        },
+        {
+            '数据库名': '聚合数据',
+            '集合名': '京东_京准通_全站营销',  # 暂缺
+            '唯一主键': ['日期', '产品线', '花费'],
+            '数据主体': sdq.jdqzyx(),
+        },
+        {
+            '数据库名': '聚合数据',
+            '集合名': '京东_sku_商品明细',
+            '唯一主键': ['日期', '商品id', '成交单量'],
+            '数据主体': sdq.sku_sales(),
+        },
+        {
+            '数据库名': '聚合数据',
+            '集合名': '京东_spu_商品明细',
+            '唯一主键': ['日期', '商品id', '成交单量'],
+            '数据主体': sdq.spu_sales(),
+        },
+        {
+            '数据库名': '聚合数据',
+            '集合名': '天猫_人群报表',
+            '唯一主键': ['日期', '推广渠道', '营销场景', '商品id', '花费', '人群名字'],
+            '数据主体': sdq.tg_rqbb(),
+        },
+        {
+            '数据库名': '聚合数据',
+            '集合名': '天猫_关键词报表',
+            '唯一主键': ['日期', '推广渠道', '营销场景', '商品id', '花费', '词类型', '词名字/词包名字',],
+            '数据主体': sdq.tg_gjc(),
+        },
+        {
+            '数据库名': '聚合数据',
+            '集合名': '天猫_超级直播',
+            '唯一主键': ['日期', '推广渠道', '营销场景', '花费'],
+            '数据主体': sdq.tg_cjzb(),
+        },
+        {
+            '数据库名': '聚合数据',
+            '集合名': '京东_关键词报表',
+            '唯一主键': ['日期', '产品线', '搜索词',  '关键词', '展现数', '花费'],
+            '数据主体': sdq.jd_gjc(),
+        },
+        {
+            '数据库名': '聚合数据',
+            '集合名': '天猫_品销宝账户报表',
+            '唯一主键': ['日期', '报表类型', '推广渠道', '营销场景', '花费'],
+            '数据主体': sdq.pxb_zh(),
+        },
+        {
+            '数据库名': '聚合数据',
+            '集合名': '天猫店铺来源_手淘搜索',  # 暂缺
+            '唯一主键': ['日期', '关键词', '访客数'],
+            '数据主体': sdq.se_search(),
+        },
+        {
+            '数据库名': '聚合数据',
+            '集合名': '生意参谋_直播场次分析',  # 暂缺
+            '唯一主键': ['场次id'],
+            '数据主体': sdq.zb_ccfx(),
+        },
+        {
+            '数据库名': '聚合数据',
+            '集合名': '多店推广场景_按日聚合',
+            '唯一主键': [],
+            '数据主体': sdq.tg_by_day(),
+        },
+        {
+            '数据库名': '聚合数据',
+            '集合名': '爱库存_商品spu榜单',
+            '唯一主键': [],
+            '数据主体': sdq.aikucun_bd_spu(),
+        },
+        {
+            '数据库名': '聚合数据',
+            '集合名': '达摩盘_人群报表',
+            '唯一主键': [],
+            '数据主体': sdq.dmp_crowd(),
+        },
+    ]
+
+    if less_dict:
+        data_dict = [item for item in data_dict if item['集合名'] in less_dict]
+    for items in data_dict:  # 遍历返回结果
+        db_name, table_name, unique_key_list, df = items['数据库名'], items['集合名'], items['唯一主键'], items['数据主体']
+        df = g.groupby(df=df, table_name=table_name, is_maximize=True)  # 2. 聚合数据
+        if len(g.sp_index_datas) != 0:
+            # 由推广主体报表，写入一个商品索引表，索引规则：从上月 1 号至今花费从高到低排序
+            m.df_to_mysql(
+                df=g.sp_index_datas,
+                db_name='属性设置3',
+                table_name='商品索引表_主推排序调用',
+                move_insert=False,  # 先删除，再插入
+                # df_sql=True,
+                drop_duplicates=False,
+                icm_update=['商品id'],
+                service_database=service_database,
+            )
+            g.sp_index_datas = pd.DataFrame()  # 重置，不然下个循环会继续刷入数据库
+        # g.as_csv(df=df, filename=table_name + '.csv')  # 导出 csv
+        if '日期' in df.columns.tolist():
+            m.df_to_mysql(
+                df=df,
+                db_name=db_name,
+                table_name=table_name,
+                move_insert=True,  # 先删除，再插入
+                # df_sql=True,
+                # drop_duplicates=False,
+                # icm_update=unique_key_list,
+                service_database=service_database,
+            )  # 3. 回传数据库
+        else:  # 没有日期列的就用主键排重
+            m.df_to_mysql(
+                df=df,
+                db_name=db_name,
+                table_name=table_name,
+                move_insert=False,  # 先删除，再插入
+                # df_sql=True,
+                drop_duplicates=False,
+                icm_update=unique_key_list,
+                service_database=service_database,
+            )  # 3. 回传数据库
+    if is_juhe:
+        res = g.performance(bb_tg=True)   # 盈亏表，依赖其他表，单独做
+        m.df_to_mysql(
+            df=res,
+            db_name='聚合数据',
+            table_name='_全店商品销售',
+            move_insert=True,  # 先删除，再插入
+            # df_sql=True,
+            # drop_duplicates=False,
+            # icm_update=['日期', '商品id'],  # 设置唯一主键
+            service_database=service_database,
+        )
+        res = g.performance(bb_tg=False)  # 盈亏表，依赖其他表，单独做
+        m.df_to_mysql(
+            df=res,
+            db_name='聚合数据',
+            table_name='_推广商品销售',
+            move_insert=True,  # 先删除，再插入
+            # df_sql=True,
+            # drop_duplicates=False,
+            # icm_update=['日期', '商品id'],  # 设置唯一主键
+            service_database=service_database,
+        )
+        res = g.performance_concat(bb_tg=False)  # 推广主体合并直播表，依赖其他表，单独做
+        m.df_to_mysql(
+            df=res,
+            db_name='聚合数据',
+            table_name='天猫_推广汇总',
+            move_insert=True,  # 先删除，再插入
+            # df_sql=True,
+            # drop_duplicates=False,
+            # icm_update=['日期', '推广渠道', '营销场景', '商品id', '花费', '展现量', '点击量'],  # 设置唯一主键
+            service_database=service_database,
+        )
+        res = g.performance_jd(jd_tg=False)  # 盈亏表，依赖其他表，单独做
+        m.df_to_mysql(
+            df=res,
+            db_name='聚合数据',
+            table_name='_京东_推广商品销售',
+            move_insert=True,  # 先删除，再插入
+            # df_sql=True,
+            # drop_duplicates=False,
+            # icm_update=['日期', '跟单sku_id', '货号', '花费'],  # 设置唯一主键
+            service_database=service_database,
+        )
 
 
 def main():
@@ -2315,8 +2277,7 @@ def main():
 
 if __name__ == '__main__':
     data_aggregation(
-        service_databases=[{'company': 'mysql'}],
-        months=12,
-        is_juhe=True,  # 立即启动对聚合数据的清理工作
-        # less_dict=['营销场景报表'],  # 单独聚合某一个数据库
+        months=1,
+        is_juhe=True,  # 生成聚合表
+        # less_dict=['天猫_品销宝账户报表'],  # 单独聚合某一个数据库
     )