mdbq 2.6.1__py3-none-any.whl → 2.6.3__py3-none-any.whl

mdbq/aggregation/query_data.py

@@ -93,6 +93,18 @@ class MysqlDatasQuery:
         username, password, host, port = get_myconf.select_config_values(target_service=target_service, database='mysql')
         self.download = s_query.QueryDatas(username=username, password=password, host=host, port=port)
 
+    @staticmethod
+    def try_except(func):  # 在类内部定义一个异常处理方法
+        @wraps(func)
+        def wrapper(*args, **kwargs):
+            try:
+                return func(*args, **kwargs)
+            except Exception as e:
+                print(f'{func.__name__}, {e}')  # 将异常信息返回
+
+        return wrapper
+
+    @try_except
     def tg_wxt(self):
         start_date, end_date = self.months_data(num=self.months)
         projection = {
@@ -108,6 +120,7 @@ class MysqlDatasQuery:
             '自然流量曝光量': 1,
             '直接成交笔数': 1,
             '直接成交金额': 1,
+            '店铺名称': 1,
         }
         df = self.download.data_to_df(
             db_name='推广数据2',
@@ -118,6 +131,7 @@ class MysqlDatasQuery:
         )
         return df
 
+    @try_except
     def syj(self):
         start_date, end_date = self.months_data(num=self.months)
         projection = {
@@ -142,6 +156,7 @@ class MysqlDatasQuery:
         )
         return df
 
+    @try_except
     def tg_rqbb(self):
         start_date, end_date = self.months_data(num=self.months)
         projection = {
@@ -157,6 +172,7 @@ class MysqlDatasQuery:
             '直接成交笔数': 1,
             '直接成交金额': 1,
             '人群名字': 1,
+            '店铺名称': 1,
         }
         df = self.download.data_to_df(
             db_name='推广数据2',
@@ -167,6 +183,7 @@ class MysqlDatasQuery:
         )
         return df
 
+    @try_except
     def tg_gjc(self):
         start_date, end_date = self.months_data(num=self.months)
         projection = {
@@ -183,6 +200,7 @@ class MysqlDatasQuery:
             '总成交金额': 1,
             '直接成交笔数': 1,
             '直接成交金额': 1,
+            '店铺名称': 1,
         }
         df = self.download.data_to_df(
             db_name='推广数据2',
@@ -193,6 +211,7 @@ class MysqlDatasQuery:
         )
         return df
 
+    @try_except
     def tg_cjzb(self):
         start_date, end_date = self.months_data(num=self.months)
         projection = {
@@ -210,6 +229,7 @@ class MysqlDatasQuery:
             '总成交金额': 1,
             '直接成交笔数': 1,
             '直接成交金额': 1,
+            '店铺名称': 1,
         }
         df = self.download.data_to_df(
             db_name='推广数据2',
@@ -220,6 +240,7 @@ class MysqlDatasQuery:
         )
         return df
 
+    @try_except
     def pxb_zh(self):
         start_date, end_date = self.months_data(num=self.months)
         projection = {
@@ -235,6 +256,7 @@ class MysqlDatasQuery:
             '成交笔数': 1,
             '成交金额': 1,
             # '成交访客数': 1
+            '店铺名称': 1,
         }
         df = self.download.data_to_df(
             db_name='推广数据2',
@@ -245,6 +267,7 @@ class MysqlDatasQuery:
         )
         return df
 
+    @try_except
     def idbm(self):
         """ 用生意经日数据制作商品 id 和编码对照表 """
         data_values = self.download.columns_to_list(
@@ -255,16 +278,18 @@ class MysqlDatasQuery:
         df = pd.DataFrame(data=data_values)
         return df
 
+    @try_except
     def sp_picture(self):
         """ 用生意经日数据制作商品 id 和编码对照表 """
         data_values = self.download.columns_to_list(
-            db_name='属性设置2',
-            table_name='商品素材导出',
+            db_name='属性设置3',
+            table_name='商品素材中心',
             columns_name=['日期', '商品id', '商品白底图', '方版场景图'],
         )
         df = pd.DataFrame(data=data_values)
         return df
 
+    @try_except
     def dplyd(self):
         """ 新旧版取的字段是一样的 """
         start_date, end_date = self.months_data(num=self.months)
@@ -278,16 +303,19 @@ class MysqlDatasQuery:
             '支付买家数': 1,
             '支付转化率': 1,
             '加购人数': 1,
+            '店铺名称': 1,
         }
         df = self.download.data_to_df(
-            db_name='生意参谋2',
-            table_name='店铺来源_日数据',
+            db_name='生意参谋3',
+            table_name='店铺流量来源构成',
             start_date=start_date,
             end_date=end_date,
             projection=projection,
         )
+        # df = df[df['店铺名称'] == '万里马官方旗舰店']
         return df
 
+    @try_except
     def dplyd_old(self):
         start_date, end_date = self.months_data(num=self.months)
         projection = {
@@ -310,16 +338,18 @@ class MysqlDatasQuery:
         )
         return df
 
+    @try_except
     def sp_cost(self):
         """ 电商定价 """
         data_values = self.download.columns_to_list(
-            db_name='属性设置2',
+            db_name='属性设置3',
             table_name='电商定价',
             columns_name=['日期', '款号', '年份季节', '吊牌价', '商家平台', '成本价', '天猫页面价', '天猫中促价'],
         )
         df = pd.DataFrame(data=data_values)
         return df
 
+    @try_except
     def jdjzt(self):
         start_date, end_date = self.months_data(num=self.months)
         projection = {
@@ -337,15 +367,18 @@ class MysqlDatasQuery:
             '直接加购数': 1,
             '总加购数': 1,
             'spu id': 1,
+            '店铺名称':1,
         }
         df = self.download.data_to_df(
-            db_name='京东数据2',
+            db_name='京东数据3',
             table_name='推广数据_京准通',
             start_date=start_date,
             end_date=end_date,
             projection=projection,
         )
         return df
+
+    @try_except
     def jdqzyx(self):
         start_date, end_date = self.months_data(num=self.months)
         projection = {
@@ -361,13 +394,15 @@ class MysqlDatasQuery:
             '核心位置点击量': 1,
         }
         df = self.download.data_to_df(
-            db_name='京东数据2',
-            table_name='推广数据_全站营销',
+            db_name='京东数据3',
+            table_name='推广数据_全站营销',  # 暂缺
             start_date=start_date,
             end_date=end_date,
             projection=projection,
         )
         return df
+
+    @try_except
     def jd_gjc(self):
         start_date, end_date = self.months_data(num=self.months)
         projection = {
@@ -388,19 +423,21 @@ class MysqlDatasQuery:
             '总订单行': 1,
             '总订单金额': 1,
             '总加购数': 1,
-            '下单新客数_去重': 1,
+            '下单新客数（去重）': 1,
             '领券数': 1,
             '商品关注数': 1,
-            '店铺关注数': 1
+            '店铺关注数': 1,
         }
         df = self.download.data_to_df(
-            db_name='京东数据2',
+            db_name='京东数据3',
             table_name='推广数据_关键词报表',
             start_date=start_date,
             end_date=end_date,
             projection=projection,
         )
         return df
+
+    @try_except
     def sku_sales(self):
         start_date, end_date = self.months_data(num=self.months)
         projection = {
@@ -415,13 +452,15 @@ class MysqlDatasQuery:
             '加购人数': 1,
         }
         df = self.download.data_to_df(
-            db_name='京东数据2',
-            table_name='sku_商品明细',
+            db_name='京东数据3',
+            table_name='京东商智_sku_商品明细',
             start_date=start_date,
             end_date=end_date,
             projection=projection,
         )
         return df
+
+    @try_except
     def spu_sales(self):
         start_date, end_date = self.months_data(num=self.months)
         projection = {
@@ -436,8 +475,8 @@ class MysqlDatasQuery:
             '加购人数': 1,
         }
         df = self.download.data_to_df(
-            db_name='京东数据2',
-            table_name='spu_商品明细',
+            db_name='京东数据3',
+            table_name='京东商智_spu_商品明细',
             start_date=start_date,
             end_date=end_date,
             projection=projection,
@@ -453,6 +492,7 @@ class MysqlDatasQuery:
         start_date = f'{start_date.year}-{start_date.month}-01'  # 替换为 n 月以前的第一天
         return pd.to_datetime(start_date), pd.to_datetime(end_date)
 
+    @try_except
     def tm_search(self):
         start_date, end_date = self.months_data(num=self.months)
         projection = {
@@ -466,9 +506,10 @@ class MysqlDatasQuery:
             '下单买家数': 1,
             '加购人数': 1,
             '新访客': 1,
+            '店铺名称': 1,
         }
         df = self.download.data_to_df(
-            db_name='生意参谋2',
+            db_name='生意参谋3',
             table_name='店铺来源_手淘搜索',
             start_date=start_date,
             end_date=end_date,
@@ -476,6 +517,7 @@ class MysqlDatasQuery:
         )
         return df
 
+    @try_except
     def zb_ccfx(self):
         start_date, end_date = self.months_data(num=self.months)
         projection = {
@@ -510,9 +552,10 @@ class MysqlDatasQuery:
             '退款金额（元）': 1,
             '预售定金支付金额（元）': 1,
             '预售预估总金额（元）': 1,
+            '店铺名称': 1,
         }
         df = self.download.data_to_df(
-            db_name='生意参谋2',
+            db_name='生意参谋3',
             table_name='直播场次分析',
             start_date=start_date,
             end_date=end_date,
@@ -520,6 +563,7 @@ class MysqlDatasQuery:
         )
         return df
 
+    # @try_except
     def tg_by_day(self):
         """
         汇总各个店铺的推广数据，按日汇总
@@ -534,6 +578,7 @@ class MysqlDatasQuery:
             '总购物车数': 1,
             '总成交笔数': 1,
             '总成交金额': 1,
+            '店铺名称': 1,
         }
         df_tm = self.download.data_to_df(
             db_name='推广数据2',
@@ -544,7 +589,7 @@ class MysqlDatasQuery:
         )
         df_tm.rename(columns={'场景名字': '营销场景'}, inplace=True)
         df_tm = df_tm.groupby(
-            ['日期', '营销场景', '花费'],
+            ['日期', '店铺名称', '营销场景', '花费'],
             as_index=False).agg(
             **{
                 '展现量': ('展现量', np.max),
@@ -554,7 +599,6 @@ class MysqlDatasQuery:
                 '成交金额': ('总成交金额', np.max)
             }
         )
-        df_tm.insert(loc=1, column='店铺', value='WLM天猫旗舰店')  # df中添加列
 
         df_tb = self.download.data_to_df(
             db_name='推广数据_淘宝店',
@@ -568,7 +612,7 @@ class MysqlDatasQuery:
         # df_tb.to_csv('/Users/xigua/Downloads/test.csv', index=False, header=True, encoding='utf-8_sig')
         df_tb.rename(columns={'场景名字': '营销场景'}, inplace=True)
         df_tb = df_tb.groupby(
-            ['日期', '营销场景', '花费'],
+            ['日期', '店铺名称', '营销场景', '花费'],
             as_index=False).agg(
             **{
                 '展现量': ('展现量', np.max),
@@ -578,7 +622,6 @@ class MysqlDatasQuery:
                 '成交金额': ('总成交金额', np.max)
             }
         )
-        df_tb.insert(loc=1, column='店铺', value='淘宝c店')  # df中添加列
 
         projection = {
             '日期': 1,
@@ -589,6 +632,7 @@ class MysqlDatasQuery:
             '宝贝加购数': 1,
             '成交笔数': 1,
             '成交金额': 1,
+            '店铺名称': 1,
         }
         df_tm_pxb = self.download.data_to_df(
             db_name='推广数据2',
@@ -599,7 +643,7 @@ class MysqlDatasQuery:
         )
         df_tm_pxb = df_tm_pxb[df_tm_pxb['报表类型'] == '账户']
         df_tm_pxb = df_tm_pxb.groupby(
-            ['日期', '报表类型', '消耗'],
+            ['日期', '店铺名称', '报表类型', '消耗'],
             as_index=False).agg(
             **{
                 '展现量': ('展现量', np.max),
@@ -611,7 +655,6 @@ class MysqlDatasQuery:
         )
         df_tm_pxb.rename(columns={'报表类型': '营销场景', '消耗': '花费'}, inplace=True)
         df_tm_pxb['营销场景'] = '品销宝'
-        df_tm_pxb.insert(loc=1, column='店铺', value='WLM天猫旗舰店')  # df中添加列
 
         projection = {
             '日期': 1,
@@ -628,15 +671,16 @@ class MysqlDatasQuery:
             '直接加购数': 1,
             '总加购数': 1,
             'spu id': 1,
+            '店铺名称': 1,
         }
         df_jd = self.download.data_to_df(
-            db_name='京东数据2',
+            db_name='京东数据3',
             table_name='推广数据_京准通',
             start_date=start_date,
             end_date=end_date,
             projection=projection,
         )
-        df_jd = df_jd.groupby(['日期', '产品线', '触发sku id', '跟单sku id', 'spu id', '花费', '展现数', '点击数'],
+        df_jd = df_jd.groupby(['日期', '店铺名称', '产品线', '触发sku id', '跟单sku id', 'spu id', '花费', '展现数', '点击数'],
                         as_index=False).agg(
             **{'直接订单行': ('直接订单行', np.max),
                '直接订单金额': ('直接订单金额', np.max),
@@ -646,10 +690,9 @@ class MysqlDatasQuery:
                '加购量': ('总加购数', np.max),
                }
         )
-        df_jd = df_jd[['日期', '产品线', '花费', '展现数', '点击数', '加购量', '成交笔数', '成交金额']]
+        df_jd = df_jd[['日期', '店铺名称', '产品线', '花费', '展现数', '点击数', '加购量', '成交笔数', '成交金额']]
         df_jd.rename(columns={'产品线': '营销场景', '展现数': '展现量', '点击数': '点击量'}, inplace=True)
         df_jd = df_jd[df_jd['花费'] > 0]
-        df_jd.insert(loc=1, column='店铺', value='京东箱包')  # df中添加列
 
         projection = {
             '日期': 1,
@@ -662,15 +705,16 @@ class MysqlDatasQuery:
             '全站费比': 1,
             '核心位置展现量': 1,
             '核心位置点击量': 1,
+            '店铺名称': 1,
         }
         df_jd_qzyx = self.download.data_to_df(
-            db_name='京东数据2',
+            db_name='京东数据3',
             table_name='推广数据_全站营销',
             start_date=start_date,
             end_date=end_date,
             projection=projection,
         )
-        df_jd_qzyx = df_jd_qzyx.groupby(['日期', '产品线', '花费'], as_index=False).agg(
+        df_jd_qzyx = df_jd_qzyx.groupby(['日期', '店铺名称', '产品线', '花费'], as_index=False).agg(
             **{'全站roi': ('全站roi', np.max),
                '成交金额': ('全站交易额', np.max),
                '成交笔数': ('全站订单行', np.max),
@@ -681,14 +725,14 @@ class MysqlDatasQuery:
                }
         )
         df_jd_qzyx.rename(columns={'产品线': '营销场景'}, inplace=True)
-        df_jd_qzyx = df_jd_qzyx[['日期', '营销场景', '花费', '展现量', '点击量', '成交笔数', '成交金额']]
+        df_jd_qzyx = df_jd_qzyx[['日期', '店铺名称', '营销场景', '花费', '展现量', '点击量', '成交笔数', '成交金额']]
         df_jd_qzyx = df_jd_qzyx[df_jd_qzyx['花费'] > 0]
-        df_jd_qzyx.insert(loc=1, column='店铺', value='京东箱包')  # df中添加列
 
         _datas = [item for item in  [df_tm, df_tb, df_tm_pxb, df_jd, df_jd_qzyx] if len(item) > 0]  # 阻止空的 dataframe
         df = pd.concat(_datas, axis=0, ignore_index=True)
         return df
 
+    @try_except
     def aikucun_bd_spu(self):
         start_date, end_date = self.months_data(num=self.months)
         projection = {
@@ -725,6 +769,7 @@ class MysqlDatasQuery:
             'sku数_成交': 1,
             '营销后供货额': 1,
             '营销后供货价': 1,
+            '店铺名称': 1,
         }
         projection = {}
         df = self.download.data_to_df(
@@ -736,6 +781,7 @@ class MysqlDatasQuery:
         )
         return df
 
+    @try_except
     def dmp_crowd(self):
         start_date, end_date = self.months_data(num=self.months)
         projection = {
@@ -806,7 +852,7 @@ class GroupBy:
 
         return wrapper
 
-    @try_except
+    # @try_except
     def groupby(self, df, table_name, is_maximize=True):
         """
         self.is_maximize: 是否最大转化数据
@@ -849,7 +895,7 @@ class GroupBy:
                 '直接成交金额': float,
             }, errors='raise')
             if is_maximize:
-                df = df.groupby(['日期', '营销场景', '商品id', '花费', '展现量', '点击量'], as_index=False).agg(
+                df = df.groupby(['日期', '店铺名称', '营销场景', '商品id', '花费', '展现量', '点击量'], as_index=False).agg(
                     **{'加购量': ('加购量', np.max),
                        '成交笔数': ('成交笔数', np.max),
                        '成交金额': ('成交金额', np.max),
@@ -859,7 +905,7 @@ class GroupBy:
                        }
                 )
             else:
-                df = df.groupby(['日期', '营销场景', '商品id', '花费', '展现量', '点击量'], as_index=False).agg(
+                df = df.groupby(['日期', '店铺名称', '营销场景', '商品id', '花费', '展现量', '点击量'], as_index=False).agg(
                     **{
                         '加购量': ('加购量', np.min),
                         '成交笔数': ('成交笔数', np.min),
@@ -870,7 +916,7 @@ class GroupBy:
                        }
                 )
             df.insert(loc=1, column='推广渠道', value='万相台无界版')  # df中插入新列
-            df_new = df.groupby(['日期', '商品id'], as_index=False).agg(
+            df_new = df.groupby(['日期', '店铺名称', '商品id'], as_index=False).agg(
                     **{
                         '花费': ('花费', np.sum),
                         '成交笔数': ('成交笔数', np.max),
@@ -898,7 +944,8 @@ class GroupBy:
             else:
                 year_my = today.year
             # 截取 从上月1日 至 今天的花费数据, 推广款式按此数据从高到低排序（商品图+排序）
-            df_pic = df.groupby(['日期', '商品id'], as_index=False).agg({'花费': 'sum'})
+            df_pic_lin = df[df['店铺名称'] == '万里马官方旗舰店']
+            df_pic = df_pic_lin.groupby(['日期', '商品id'], as_index=False).agg({'花费': 'sum'})
             df_pic = df_pic[~df_pic['商品id'].isin([''])]  # 指定列中删除包含空值的行
             df_pic = df_pic[(df_pic['日期'] >= f'{year_my}-{last_month.month}-01')]
             df_pic = df_pic.groupby(['商品id'], as_index=False).agg({'花费': 'sum'})
@@ -906,9 +953,9 @@ class GroupBy:
             df_pic.reset_index(inplace=True)
             df_pic['index'] = df_pic['index'] + 100
             df_pic.rename(columns={'index': '商品索引'}, inplace=True)
-            df_pic_new = pd.merge(df, df_pic, how='left', on=['商品id'])
+            df_pic_new = pd.merge(df_pic_lin, df_pic, how='left', on=['商品id'])
             df_pic_new['商品索引'].fillna(1000, inplace=True)
-            self.sp_index_datas = df_pic_new[['商品id', '商品索引']]
+            self.sp_index_datas = df_pic_new[['商品id', '商品索引']]  # 商品索引表_主推排序调用
             return df
         elif '商品索引表' in table_name:
             return df
@@ -916,6 +963,7 @@ class GroupBy:
             df.drop_duplicates(
                 subset=[
                     '日期',
+                    '店铺名称',
                     'spu_id',
                     '访客量',
                     '浏览量',
@@ -945,7 +993,7 @@ class GroupBy:
                 '直接成交金额': float,
             }, errors='raise')
             if is_maximize:
-                df = df.groupby(['日期', '营销场景', '商品id', '花费', '展现量', '点击量', '人群名字'], as_index=False).agg(
+                df = df.groupby(['日期', '店铺名称', '营销场景', '商品id', '花费', '展现量', '点击量', '人群名字'], as_index=False).agg(
                     **{'加购量': ('加购量', np.max),
                        '成交笔数': ('成交笔数', np.max),
                        '成交金额': ('成交金额', np.max),
@@ -954,7 +1002,7 @@ class GroupBy:
                        }
                 )
             else:
-                df = df.groupby(['日期', '营销场景', '商品id', '花费', '展现量', '点击量', '人群名字'], as_index=False).agg(
+                df = df.groupby(['日期', '店铺名称', '营销场景', '商品id', '花费', '展现量', '点击量', '人群名字'], as_index=False).agg(
                     **{
                         '加购量': ('加购量', np.min),
                         '成交笔数': ('成交笔数', np.min),
@@ -1043,7 +1091,6 @@ class GroupBy:
             # df.to_csv('/Users/xigua/Downloads/test_人群分类.csv', index=False, header=True, encoding='utf-8_sig')
             # breakpoint()
             return df
-
         elif '天猫_关键词报表' in table_name:
             df.rename(columns={
                 '场景名字': '营销场景',
@@ -1065,7 +1112,7 @@ class GroupBy:
                 '直接成交金额': float,
             }, errors='raise')
             if is_maximize:
-                df = df.groupby(['日期', '营销场景', '商品id', '词类型', '词名字/词包名字', '花费', '展现量', '点击量'], as_index=False).agg(
+                df = df.groupby(['日期', '店铺名称', '营销场景', '商品id', '词类型', '词名字/词包名字', '花费', '展现量', '点击量'], as_index=False).agg(
                     **{'加购量': ('加购量', np.max),
                        '成交笔数': ('成交笔数', np.max),
                        '成交金额': ('成交金额', np.max),
@@ -1074,7 +1121,7 @@ class GroupBy:
                        }
                 )
             else:
-                df = df.groupby(['日期', '营销场景', '商品id', '词类型', '词名字/词包名字', '花费', '展现量', '点击量'], as_index=False).agg(
+                df = df.groupby(['日期', '店铺名称', '营销场景', '商品id', '词类型', '词名字/词包名字', '花费', '展现量', '点击量'], as_index=False).agg(
                     **{
                         '加购量': ('加购量', np.min),
                         '成交笔数': ('成交笔数', np.min),
@@ -1130,7 +1177,7 @@ class GroupBy:
                 '观看次数': int,
             }, errors='raise')
             if is_maximize:
-                df = df.groupby(['日期', '营销场景', '人群名字', '计划名字', '花费', '观看次数', '展现量'],
+                df = df.groupby(['日期', '店铺名称', '营销场景', '人群名字', '计划名字', '花费', '观看次数', '展现量'],
                                 as_index=False).agg(
                     **{
                         '进店量': ('进店量', np.max),
@@ -1143,7 +1190,7 @@ class GroupBy:
                        }
                 )
             else:
-                df = df.groupby(['日期', '营销场景', '人群名字', '计划名字', '花费', '观看次数', '展现量'],
+                df = df.groupby(['日期', '店铺名称', '营销场景', '人群名字', '计划名字', '花费', '观看次数', '展现量'],
                                 as_index=False).agg(
                     **{
                         '进店量': ('进店量', np.min),
@@ -1196,7 +1243,7 @@ class GroupBy:
                 '品牌搜索人数': int,
             }, errors='raise')
             if is_maximize:
-                df = df.groupby(['日期', '报表类型', '花费', '展现量', '点击量'], as_index=False).agg(
+                df = df.groupby(['日期', '店铺名称', '报表类型', '花费', '展现量', '点击量'], as_index=False).agg(
                     **{
                         '加购量': ('加购量', np.max),
                         '成交笔数': ('成交笔数', np.max),
@@ -1206,7 +1253,7 @@ class GroupBy:
                        }
                 )
             else:
-                df = df.groupby(['日期', '报表类型', '花费', '展现量', '点击量'], as_index=False).agg(
+                df = df.groupby(['日期', '店铺名称', '报表类型', '花费', '展现量', '点击量'], as_index=False).agg(
                     **{
                         '加购量': ('加购量', np.min),
                         '成交笔数': ('成交笔数', np.min),
@@ -1263,35 +1310,7 @@ class GroupBy:
                 }
             )
             return df
-        elif '店铺来源_日数据' in table_name and '旧版' not in table_name:
-            # 包含三级来源名称和预设索引值列
-            # 截取 从上月1日 至 今天的花费数据, 推广款式按此数据从高到低排序（商品图+排序）
-            df_visitor3 = df.groupby(['日期', '三级来源'], as_index=False).agg({'访客数': 'sum'})
-            df_visitor3 = df_visitor3[~df_visitor3['三级来源'].isin([''])]  # 指定列中删除包含空值的行
-            # df_visitor = df_visitor[(df_visitor['日期'] >= f'{year_my}-{last_month.month}-01')]
-            df_visitor3 = df_visitor3.groupby(['三级来源'], as_index=False).agg({'访客数': 'sum'})
-            df_visitor3.sort_values('访客数', ascending=False, ignore_index=True, inplace=True)
-            df_visitor3.reset_index(inplace=True)
-            df_visitor3['index'] = df_visitor3['index'] + 100
-            df_visitor3.rename(columns={'index': '三级访客索引'}, inplace=True)
-            df_visitor3 = df_visitor3[['三级来源', '三级访客索引']]
-
-            # 包含二级来源名称和预设索引值列
-            df_visitor2 = df.groupby(['日期', '二级来源'], as_index=False).agg({'访客数': 'sum'})
-            df_visitor2 = df_visitor2[~df_visitor2['二级来源'].isin([''])]  # 指定列中删除包含空值的行
-            # df_visitor2 = df_visitor2[(df_visitor2['日期'] >= f'{year_my}-{last_month.month}-01')]
-            df_visitor2 = df_visitor2.groupby(['二级来源'], as_index=False).agg({'访客数': 'sum'})
-            df_visitor2.sort_values('访客数', ascending=False, ignore_index=True, inplace=True)
-            df_visitor2.reset_index(inplace=True)
-            df_visitor2['index'] = df_visitor2['index'] + 100
-            df_visitor2.rename(columns={'index': '二级访客索引'}, inplace=True)
-            df_visitor2 = df_visitor2[['二级来源', '二级访客索引']]
-
-            df = pd.merge(df, df_visitor2, how='left', left_on='二级来源', right_on='二级来源')
-            df = pd.merge(df, df_visitor3, how='left', left_on='三级来源', right_on='三级来源')
-            return df
-        elif '天猫_店铺来源_日数据_旧版' in table_name:
-
+        elif '店铺流量来源构成' in table_name:
             # 包含三级来源名称和预设索引值列
             # 截取 从上月1日 至 今天的花费数据, 推广款式按此数据从高到低排序（商品图+排序）
             df_visitor3 = df.groupby(['日期', '三级来源'], as_index=False).agg({'访客数': 'sum'})
@@ -1373,7 +1392,7 @@ class GroupBy:
             )
             return df
         elif '京东_京准通' in table_name and '全站营销' not in table_name:
-            df = df.groupby(['日期', '产品线', '触发sku id', '跟单sku id', 'spu id', '花费', '展现数', '点击数'], as_index=False).agg(
+            df = df.groupby(['日期', '店铺名称', '产品线', '触发sku id', '跟单sku id', 'spu id', '花费', '展现数', '点击数'], as_index=False).agg(
                 **{'直接订单行': ('直接订单行', np.max),
                    '直接订单金额': ('直接订单金额', np.max),
                    '总订单行': ('总订单行', np.max),
@@ -1443,7 +1462,7 @@ class GroupBy:
                     '总订单行': ('总订单行', np.max),
                     '总订单金额': ('总订单金额', np.max),
                     '总加购数': ('总加购数', np.max),
-                    '下单新客数': ('下单新客数_去重', np.max),
+                    '下单新客数': ('下单新客数（去重）', np.max),
                     '领券数': ('领券数', np.max),
                     '商品关注数': ('商品关注数', np.max),
                     '店铺关注数': ('店铺关注数', np.max)
@@ -1457,7 +1476,7 @@ class GroupBy:
             return df
         elif '天猫店铺来源_手淘搜索' in table_name:
             df = df.groupby(
-                ['日期', '关键词'],
+                ['日期', '关键词', '店铺名称'],
                 as_index=False).agg(
                 **{
                     '访客数': ('访客数', np.max),
@@ -1476,7 +1495,7 @@ class GroupBy:
             return df
         elif '多店推广场景_按日聚合' in table_name:
             df = df.groupby(
-                ['日期', '店铺', '营销场景'],
+                ['日期', '店铺名称', '营销场景'],
                 as_index=False).agg(
                 **{
                     '花费': ('花费', np.sum),
@@ -1487,7 +1506,7 @@ class GroupBy:
                     '成交金额': ('成交金额', np.sum)
                 }
             )
-            df.sort_values(['日期', '店铺', '花费'], ascending=[False, False, False], ignore_index=True, inplace=True)
+            df.sort_values(['日期', '店铺名称', '花费'], ascending=[False, False, False], ignore_index=True, inplace=True)
             # df.to_csv('/Users/xigua/Downloads/test.csv', encoding='utf-8_sig', index=False, header=True)
             return df
         elif '达摩盘_人群报表' in table_name:
@@ -1497,6 +1516,7 @@ class GroupBy:
             print(f'<{table_name}>: Groupby 类尚未配置，数据为空')
             return pd.DataFrame({})
 
+    @try_except
     def ret_keyword(self, keyword, as_file=False):
         """ 推广关键词报表，关键词分类， """
         datas = [
@@ -1664,6 +1684,7 @@ class GroupBy:
                 break
         return result
 
+    @try_except
     def set_crowd(self, keyword, as_file=False):
         """ 推广人群报表，人群分类， """
         result_a = re.findall('_a$|_a_|_ai|^a_', str(keyword), re.IGNORECASE)
@@ -1699,6 +1720,7 @@ class GroupBy:
         if not is_res:
             return ''
 
+    @try_except
     def set_crowd2(self, keyword, as_file=False):
         """ 推广人群报表，人群分类， """
         datas = [
@@ -1822,7 +1844,7 @@ class GroupBy:
             # 推广表合并生意经 , 以推广数据为基准，销售数据不齐全
             df = pd.merge(df, syj, how='left', left_on=['日期', '商品id'], right_on=['日期', '宝贝id'])
             df.drop(labels='宝贝id', axis=1, inplace=True)
-        df.drop_duplicates(subset=['日期', '商品id', '花费', '销售额'], keep='last', inplace=True, ignore_index=True)
+        df.drop_duplicates(subset=['日期', '店铺名称', '商品id', '花费', '销售额'], keep='last', inplace=True, ignore_index=True)
         df.fillna(0, inplace=True)
         df['成本价'] = df['成本价'].astype('float64')
         df['销售额'] = df['销售额'].astype('float64')
@@ -1832,6 +1854,8 @@ class GroupBy:
         df['毛利率'] = df.apply(lambda x: round((x['销售额'] - x['商品成本']) / x['销售额'], 4) if x['销售额'] > 0 else 0, axis=1)
         df['盈亏'] = df.apply(lambda x: x['商品毛利'] - x['花费'], axis=1)
         return df
+
+    @try_except
     def performance_concat(self, bb_tg=True):
         tg,  zb, pxb = self.data_tgyj['天猫汇总表调用'], self.data_tgyj['天猫_超级直播'], self.data_tgyj['天猫_品销宝账户报表']
         zb.rename(columns={
@@ -1880,6 +1904,7 @@ class GroupBy:
         )
         return df
 
+    @try_except
     def performance_jd(self, jd_tg=True):
         jdtg, sku_sales = self.data_jdtg['京东_京准通'], self.data_jdtg['京东_sku_商品明细']
         jdtg = jdtg.groupby(['日期', '跟单sku id'],
@@ -1994,7 +2019,7 @@ class GroupBy:
             except:
                 print(f'{filename}: sort_values排序参数错误！')
         df.to_excel(os.path.join(path, filename + '.xlsx'), index=index, header=header, engine=engine, freeze_panes=freeze_panes)
-        
+
 
 def g_group():
     pass
@@ -2078,16 +2103,16 @@ def data_aggregation(service_databases=[{}], months=1, is_juhe=True):
                 },
                 {
                     '数据库名': '聚合数据',
-                    '集合名': '天猫_店铺来源_日数据',
+                    '集合名': '店铺流量来源构成',
                     '唯一主键': ['日期', '一级来源', '二级来源', '三级来源', '访客数'],
                     '数据主体': sdq.dplyd(),
                 },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '天猫_店铺来源_日数据_旧版',
-                    '唯一主键': ['日期', '一级来源', '二级来源', '三级来源'],
-                    '数据主体': sdq.dplyd_old(),
-                },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '天猫_店铺来源_日数据_旧版',
+                #     '唯一主键': ['日期', '一级来源', '二级来源', '三级来源'],
+                #     '数据主体': sdq.dplyd_old(),
+                # },
                 {
                     '数据库名': '聚合数据',
                     '集合名': '商品id编码表',
@@ -2102,7 +2127,7 @@ def data_aggregation(service_databases=[{}], months=1, is_juhe=True):
                 },
                 {
                     '数据库名': '聚合数据',
-                    '集合名': '商品成本',
+                    '集合名': '商品成本',  # 暂缺 10.31
                     '唯一主键': ['款号'],
                     '数据主体': sdq.sp_cost(),
                 },
@@ -2114,7 +2139,7 @@ def data_aggregation(service_databases=[{}], months=1, is_juhe=True):
                 },
                 {
                     '数据库名': '聚合数据',
-                    '集合名': '京东_京准通_全站营销',
+                    '集合名': '京东_京准通_全站营销',  # 暂缺
                     '唯一主键': ['日期', '产品线', '花费'],
                     '数据主体': sdq.jdqzyx(),
                 },
@@ -2160,18 +2185,18 @@ def data_aggregation(service_databases=[{}], months=1, is_juhe=True):
                     '唯一主键': ['日期', '报表类型', '推广渠道', '营销场景', '花费'],
                     '数据主体': sdq.pxb_zh(),
                 },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '天猫店铺来源_手淘搜索',
-                    '唯一主键': ['日期', '关键词', '访客数'],
-                    '数据主体': sdq.tm_search(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '生意参谋_直播场次分析',
-                    '唯一主键': ['场次id'],
-                    '数据主体': sdq.zb_ccfx(),
-                },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '天猫店铺来源_手淘搜索',  # 暂缺
+                #     '唯一主键': ['日期', '关键词', '访客数'],
+                #     '数据主体': sdq.tm_search(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '生意参谋_直播场次分析',  # 暂缺
+                #     '唯一主键': ['场次id'],
+                #     '数据主体': sdq.zb_ccfx(),
+                # },
                 {
                     '数据库名': '聚合数据',
                     '集合名': '多店推广场景_按日聚合',
@@ -2198,8 +2223,8 @@ def data_aggregation(service_databases=[{}], months=1, is_juhe=True):
                     # 由推广主体报表，写入一个商品索引表，索引规则：从上月 1 号至今花费从高到低排序
                     m.df_to_mysql(
                         df=g.sp_index_datas,
-                        db_name='属性设置2',
-                        table_name='商品索引表',
+                        db_name='属性设置3',
+                        table_name='商品索引表_主推排序调用',
                         move_insert=False,  # 先删除，再插入
                         # df_sql=True,
                         drop_duplicates=False,
@@ -2285,6 +2310,6 @@ def main():
 
 
 if __name__ == '__main__':
-    data_aggregation(service_databases=[{'company': 'mysql'}], months=24, is_juhe=False)  # 正常的聚合所有数据
+    data_aggregation(service_databases=[{'company': 'mysql'}], months=0, is_juhe=True)  # 正常的聚合所有数据
     # data_aggregation_one(service_databases=[{'company': 'mysql'}], months=1)  # 单独聚合某一个数据库，具体库进函数编辑
     # optimize_data.op_data(service_databases=[{'company': 'mysql'}], days=3650)  # 立即启动对聚合数据的清理工作