mdbq 4.0.47__py3-none-any.whl → 4.0.49__py3-none-any.whl

mdbq/aggregation/query_data.py

@@ -5,6 +5,7 @@ from mdbq.mysql import s_query
 from mdbq.myconf import myconf
 from mdbq.log import mylogger
 from mdbq.other import error_handler
+from mdbq.aggregation.set_typ_dict import SET_TYP_DICT
 import datetime
 from dateutil.relativedelta import relativedelta
 import pandas as pd
@@ -219,6 +220,139 @@ class MysqlDatasQuery:
         self.download_manager = download_manager
         self.pf_datas = []
 
+    @upload_data_decorator()
+    def shops_concat(self, db_name='聚合数据', table_name='多店聚合_日报'):
+        shop_list = {
+            'DS-WLM天猫旗舰店': '天猫',  # e3
+            'DS-WLM淘宝商城C店': 'c店', 
+            'DS-SJ天猫旗舰店': '圣积', 
+            'wanlima万里马箱包outlet店': '奥莱', 
+            'DS-WLM京东旗舰店': '京东pop', 
+            '拼多多万里马箱包官方旗舰店': '拼多多_丹宁', 
+            'WLM-拼多多TOGO牛皮官方旗舰店': '拼多多_togo', 
+            '万里马官方旗舰店': '天猫',  # 平台
+            '万里马官方企业店': 'c店',
+            'saintjack旗舰店': '圣积',
+            'wanlima万里马箱包outlet店': '奥莱',
+            '万里马京东旗舰店': '京东pop',
+            '万里马箱包官方旗舰店': '拼多多_丹宁',
+            '万里马箱包皮具官方旗舰店': '拼多多_togo',
+            '万里马箱包outlet店': '奥莱',  # 推广
+            '京东箱包旗舰店': '京东pop',
+            '京东自营旗舰店女包': '京东自营',
+        }
+        df_real_sales = self._get_real_sales(shop_list=shop_list)
+        df_shop_gmv = self._get_shop_gmv(shop_list=shop_list)
+        df_tg_data = self._get_tg_data(shop_list=shop_list)
+        df = df_shop_gmv.merge(df_real_sales, on=['日期', '店铺名称'], how='left')
+        df = df.merge(df_tg_data, on=['日期', '店铺名称'], how='left')
+        df.fillna(0, inplace=True)
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        return df, {
+            'db_name': db_name,
+            'table_name': table_name,
+            'set_typ': set_typ,
+            'primary_keys': [],  # 创建唯一主键
+            'check_duplicate': False,  # 检查重复数据
+            'duplicate_columns': [],  # 指定排重的组合键
+            'update_on_duplicate': True,  # 更新旧数据
+            'allow_null': False,  # 允许插入空值
+            'partition_by': None,  # 分表方式
+            'partition_date_column': '日期',  # 用于分表的日期列名，默认为'日期'
+            'indexes': [],  # 普通索引列
+            'transaction_mode': 'batch',  # 事务模式
+            'unique_keys': [['日期', '店铺名称']],  # 唯一约束列表
+        }
+    
+    def _get_tg_data(self, db_name='聚合数据', table_name='多店推广场景_按日聚合', shop_list:dict=None):
+        start_date, end_date = self.months_data(num=self.months)
+        projection = ['日期', '店铺名称', '营销场景', '花费', '成交金额']
+        df = self.download_manager.data_to_df(
+            db_name=db_name,
+            table_name=table_name,
+            start_date=start_date,
+            end_date=end_date,
+            projection=projection,
+        )
+        if df.empty:
+            return pd.DataFrame(columns=['日期', '店铺名称', '实际消耗', '推广成交金额'])
+        df = df[(df['店铺名称'].isin(shop_list.keys()))]
+        df = df.astype({
+            '日期': 'datetime64[ns]',
+            '花费': 'float64',
+            '成交金额': 'float64'
+        })
+        df = df.groupby(['日期', '店铺名称'], as_index=False).agg({'花费': 'sum', '成交金额': 'sum'}).rename(columns={'花费': '实际消耗', '成交金额': '推广成交金额'})
+        df['店铺名称'] = df['店铺名称'].map(shop_list)
+        return df
+
+    def _get_shop_gmv(self, db_name='生意参谋3', table_name='取数_店铺_整体流量', shop_list:dict=None):
+        """获取平台数据"""
+        start_date, end_date = self.months_data(num=self.months)
+        projection = ['日期', '店铺名称', '粒度', '维度', '数据周期', '访客数', '浏览量', '支付金额', '支付买家数', '支付件数']
+        df = self.download_manager.data_to_df(
+            db_name=db_name,
+            table_name=table_name,
+            start_date=start_date,
+            end_date=end_date,
+            projection=projection,
+        )
+        if len(df) == 0:
+            return pd.DataFrame(columns=['日期', '店铺名称', '访客数', '浏览量', '支付金额', '支付买家数', '支付件数'])
+        df = df[(df['店铺名称'].isin(shop_list.keys())) & (df['粒度'] == '店铺') & (df['维度'] == '整体流量') & (df['数据周期'] == '分日')]
+        df = df.astype({
+            '日期': 'datetime64[ns]',
+            '访客数': 'int64',
+            '浏览量': 'int64',
+            '支付金额': 'float64',
+            '支付买家数': 'int64',
+            '支付件数': 'int64'
+        })
+        df = df.groupby(['日期', '店铺名称'], as_index=False).agg({
+            '访客数': 'sum',
+            '浏览量': 'sum',
+            '支付金额': 'sum',
+            '支付买家数': 'sum',
+            '支付件数': 'sum'
+        })
+        df['店铺名称'] = df['店铺名称'].map(shop_list)
+        return df
+
+    def _get_real_sales(self, db_name='生意经3', table_name='零售明细统计', shop_list:dict=None):
+        """获取e3销售"""
+        start_date, end_date = self.months_data(num=self.months)
+        projection = ['验收日期', '商店名称', '商品代码', '金额']
+        __res = []
+        for year in range(2025, datetime.datetime.today().year+1):
+            df = self.download_manager.data_to_df(
+                db_name=db_name,
+                table_name=f'{table_name}_{year}',
+                start_date=start_date,
+                end_date=end_date,
+                projection=projection,
+            )
+            __res.append(df)
+        df_default = pd.DataFrame(columns=['日期', '店铺名称', '实际营收'])
+        if len(__res) == 0:
+            return df_default
+        df = pd.concat(__res, ignore_index=True)
+        if df.empty:
+            return df_default
+        df = df[(df['商品代码'] != '20160222') & (df['商店名称'].isin(shop_list.keys()))]  # 剔除补单数据
+        if df.empty:
+            return df_default
+        df['商店名称'] = df['商店名称'].map(shop_list)
+        df = df.astype({
+            '验收日期': 'datetime64[ns]', '金额': 'float64'
+            }).groupby(
+                ['验收日期', '商店名称'], as_index=False
+                ).agg({
+                    '金额': 'sum'
+                    }).rename(
+                        columns={'商店名称': '店铺名称', '验收日期': '日期', '金额': '实际营收'}
+                        )
+        return df
+
     # @error_handler.log_on_exception(logger=logger)
     def tg_wxt(self, db_name='聚合数据', table_name='天猫_主体报表', is_maximize=True):
         start_date, end_date = self.months_data(num=self.months)
@@ -293,22 +427,7 @@ class MysqlDatasQuery:
                 }
             )
         df.insert(loc=1, column='推广渠道', value='万相台无界版')
-        set_typ = {
-            '日期': 'date',
-            '推广渠道': 'varchar(100)',
-            '店铺名称': 'varchar(100)',
-            '营销场景': 'varchar(100)',
-            '商品id': 'bigint',
-            '花费': 'decimal(12,2)',
-            '展现量': 'int',
-            '点击量': 'int',
-            '加购量': 'int',
-            '成交笔数': 'int',
-            '成交金额': 'decimal(12,2)',
-            '自然流量曝光量': 'int',
-            '直接成交笔数': 'int',
-            '直接成交金额': 'decimal(12,2)',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         # 制作其他聚合表
         self.pf_datas.append(
             {
@@ -362,13 +481,7 @@ class MysqlDatasQuery:
         p= df_pic.pop('商品索引')
         df_pic.insert(loc=2, column='商品索引', value=p)  # df中插入新列
         df_pic['更新时间'] = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
-        set_typ = {
-            '商品id': 'bigint',
-            '店铺名称': 'varchar(100)',
-            '商品索引': 'smallint',
-            '花费': 'decimal(12,2)',
-            '更新时间': 'timestamp',
-        }
+        set_typ = SET_TYP_DICT['属性设置3_商品索引表_主推排序调用']
         logger.info('更新', {'主机': f'{host}:{port}', '库': '属性设置3', '表': '商品索引表_主推排序调用'})
         uld.upload_data(
             db_name='属性设置3',
@@ -462,22 +575,7 @@ class MysqlDatasQuery:
                 }
             )
         df.insert(loc=1, column='推广渠道', value='万相台无界版')  # df中插入新列
-        set_typ = {
-            '日期': 'date',
-            '推广渠道': 'varchar(100)',
-            '店铺名称': 'varchar(100)',
-            '营销场景': 'varchar(100)',
-            '商品id': 'bigint',
-            '花费': 'decimal(12,2)',
-            '展现量': 'int',
-            '点击量': 'int',
-            '加购量': 'int',
-            '成交笔数': 'int',
-            '成交金额': 'decimal(12,2)',
-            '自然流量曝光量': 'int',
-            '直接成交笔数': 'int',
-            '直接成交金额': 'decimal(12,2)',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -568,22 +666,7 @@ class MysqlDatasQuery:
                 }
             )
         df.insert(loc=1, column='推广渠道', value='万相台无界版')  # df中插入新列
-        set_typ = {
-            '日期': 'date',
-            '推广渠道': 'varchar(100)',
-            '店铺名称': 'varchar(100)',
-            '营销场景': 'varchar(100)',
-            '商品id': 'bigint',
-            '花费': 'decimal(12,2)',
-            '展现量': 'int',
-            '点击量': 'int',
-            '加购量': 'int',
-            '成交笔数': 'int',
-            '成交金额': 'decimal(12,2)',
-            '自然流量曝光量': 'int',
-            '直接成交笔数': 'int',
-            '直接成交金额': 'decimal(12,2)',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -674,22 +757,7 @@ class MysqlDatasQuery:
                 }
             )
         df.insert(loc=1, column='推广渠道', value='万相台无界版')  # df中插入新列
-        set_typ = {
-            '日期': 'date',
-            '推广渠道': 'varchar(100)',
-            '店铺名称': 'varchar(100)',
-            '营销场景': 'varchar(100)',
-            '商品id': 'bigint',
-            '花费': 'decimal(12,2)',
-            '展现量': 'int',
-            '点击量': 'int',
-            '加购量': 'int',
-            '成交笔数': 'int',
-            '成交金额': 'decimal(12,2)',
-            '自然流量曝光量': 'int',
-            '直接成交笔数': 'int',
-            '直接成交金额': 'decimal(12,2)',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -749,22 +817,7 @@ class MysqlDatasQuery:
             else '300+' if x >= 300
             else '300以下'
         )
-        set_typ = {
-            '日期': 'date',
-            '推广渠道': 'varchar(100)',
-            '店铺名称': 'varchar(100)',
-            '宝贝id': 'bigint',
-            '行业类目': 'varchar(255)',
-            '销售额': 'decimal(12,2)',
-            '销售量': 'int',
-            '订单数': 'int',
-            '退货量': 'int',
-            '退款额': 'decimal(12,2)',
-            '退款额_发货后': 'decimal(12,2)',
-            '退货量_发货后': 'int',
-            '件均价': 'mediumint',
-            '价格带': 'varchar(100)',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -953,25 +1006,7 @@ class MysqlDatasQuery:
                 else x['人群分类'], axis=1
             )
         df['人群分类'] = df['人群分类'].apply(lambda x: str(x).upper() if x else x)
-        set_typ = {
-            '日期': 'date',
-            '推广渠道': 'varchar(100)',
-            '店铺名称': 'varchar(100)',
-            '营销场景': 'varchar(100)',
-            '商品id': 'bigint',
-            '花费': 'decimal(10,2)',
-            '展现量': 'int',
-            '点击量': 'int',
-            '人群名字': 'varchar(255)',
-            '加购量': 'int',
-            '成交笔数': 'int',
-            '成交金额': 'decimal(12,2)',
-            '直接成交笔数': 'int',
-            '直接成交金额': 'decimal(12,2)',
-            '消费力层级': 'varchar(100)',
-            '用户年龄': 'varchar(100)',
-            '人群分类': 'varchar(100)',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         df.fillna(0, inplace=True)
         return df, {
             'db_name': db_name,
@@ -1087,25 +1122,7 @@ class MysqlDatasQuery:
             )
         else:
             df['词分类'] = df['词名字_词包名字'].apply(lambda x: self.ret_keyword(keyword=str(x), as_file=False))
-        set_typ = {
-            '日期': 'date',
-            '推广渠道': 'varchar(100)',
-            '店铺名称': 'varchar(100)',
-            '营销场景': 'varchar(100)',
-            '商品id': 'bigint',
-            '词类型': 'varchar(100)',
-            '词名字_词包名字': 'varchar(255)',
-            '花费': 'decimal(10,2)',
-            '展现量': 'int',
-            '点击量': 'int',
-            '加购量': 'int',
-            '成交笔数': 'int',
-            '成交金额': 'decimal(12,2)',
-            '直接成交笔数': 'int',
-            '直接成交金额': 'decimal(12,2)',
-            '是否品牌词': 'varchar(100)',
-            '词分类': 'varchar(100)',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -1254,24 +1271,7 @@ class MysqlDatasQuery:
                 '数据主体': df[['日期', '店铺名称', '推广渠道', '营销场景', '花费', '展现量', '观看次数', '加购量', '成交笔数', '成交金额', '直接成交笔数', '直接成交金额']]
             },
         )  # 制作其他聚合表
-        set_typ = {
-            '日期': 'date',
-            '推广渠道': 'varchar(100)',
-            '店铺名称': 'varchar(100)',
-            '营销场景': 'varchar(100)',
-            '人群名字': 'varchar(255)',
-            '计划名字': 'varchar(255)',
-            '花费': 'decimal(10,2)',
-            '观看次数': 'int',
-            '展现量': 'int',
-            '进店量': 'int',
-            '粉丝关注量': 'int',
-            '加购量': 'int',
-            '成交笔数': 'int',
-            '成交金额': 'decimal(12,2)',
-            '直接成交笔数': 'int',
-            '直接成交金额': 'decimal(12,2)',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -1365,21 +1365,7 @@ class MysqlDatasQuery:
                 '数据主体': df[['日期', '店铺名称', '推广渠道', '营销场景', '花费', '展现量', '点击量', '加购量', '成交笔数', '成交金额']]
             },
         )  # 制作其他聚合表
-        set_typ = {
-            '日期': 'date',
-            '推广渠道': 'varchar(100)',
-            '店铺名称': 'varchar(100)',
-            '营销场景': 'varchar(100)',
-            '报表类型': 'varchar(100)',
-            '花费': 'decimal(10,2)',
-            '展现量': 'int',
-            '点击量': 'int',
-            '加购量': 'int',
-            '成交笔数': 'int',
-            '成交金额': 'decimal(12,2)',
-            '品牌搜索量': 'int',
-            '品牌搜索人数': 'int',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         logger.info('更新', {'主机': f'{host}:{port}', '库': db_name, '表': table_name})
         return df, {
             'db_name': db_name,
@@ -1420,15 +1406,7 @@ class MysqlDatasQuery:
         idx = df.groupby(['日期', '商品id'])['更新时间'].idxmax()
         df = df.loc[idx]
         df.rename(columns={'商品id': '宝贝id'}, inplace=True)
-        set_typ = {
-            '日期': 'date',
-            '宝贝id': 'bigint',
-            '商家编码': 'varchar(255)',
-            '一级类目': 'varchar(100)',
-            '二级类目': 'varchar(100)',
-            '三级类目': 'varchar(100)',
-            '更新时间': 'timestamp'
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         logger.info('更新', {'主机': f'{host}:{port}', '库': db_name, '表': table_name})
         return df, {
             'db_name': db_name,
@@ -1470,16 +1448,7 @@ class MysqlDatasQuery:
         idx = df.groupby(['日期', 'sku_id'])['更新时间'].idxmax()
         df = df.loc[idx]
         df.rename(columns={'白底图': '商品图片'}, inplace=True)
-        set_typ = {
-            '日期': 'date',
-            '商品id': 'bigint',
-            # '白底图': 'varchar(255)',
-            '商品图片': 'varchar(255)',
-            '商家编码': 'varchar(255)',
-            'sku_id': 'bigint',
-            'sku地址': 'varchar(255)',
-            '更新时间': 'timestamp'
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -1530,21 +1499,7 @@ class MysqlDatasQuery:
                     return item['上市年份']
 
         df['上市年份'] = df['商品id'].apply(lambda x: check_year(x))
-        set_typ = {
-            '日期': 'date',
-            '店铺id': 'bigint',
-            '店铺名称': 'varchar(255)',
-            '商家id': 'bigint',
-            '商品id': 'bigint',
-            '上市年份': 'varchar(50)',
-            '商品标题': 'varchar(255)',
-            '商品链接': 'varchar(255)',
-            '商品图片': 'varchar(255)',
-            '销量': 'varchar(50)',
-            '页面价': 'int',
-            'data_sku': 'varchar(1000)',
-            '更新时间': 'timestamp',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -1624,48 +1579,7 @@ class MysqlDatasQuery:
         df['上市季节'] = df['上市年月'].apply(lambda x: check_jijie(x))
         p = df.pop('上市季节')
         df.insert(loc=9, column='上市季节', value=p)
-        set_typ = {
-            '商品id': 'BIGINT',
-            '店铺名称': 'varchar(100)',
-            '商品名称': 'varchar(255)',
-            '主商品id': 'BIGINT',
-            '商品类型': 'varchar(50)',
-            '货号': 'varchar(50)',
-            '商品状态': 'varchar(50)',
-            '商品标签': 'varchar(50)',
-            '商品访客数': 'int',
-            '商品浏览量': 'int',
-            '平均停留时长': 'decimal(10,2)',
-            '商品详情页跳出率': 'decimal(6,4)',
-            '商品收藏人数': 'smallint',
-            '商品加购件数': 'smallint',
-            '商品加购人数': 'smallint',
-            '下单买家数': 'smallint',
-            '下单件数': 'smallint',
-            '下单金额': 'decimal(10,2)',
-            '下单转化率': 'decimal(10,4)',
-            '支付买家数': 'smallint',
-            '支付件数': 'int',
-            '支付金额': 'decimal(12,2)',
-            '商品支付转化率': 'decimal(10,4)',
-            '支付新买家数': 'smallint',
-            '支付老买家数': 'smallint',
-            '老买家支付金额': 'decimal(10,2)',
-            '聚划算支付金额': 'decimal(10,2)',
-            '访客平均价值': 'decimal(10,2)',
-            '成功退款金额': 'decimal(10,2)',
-            '竞争力评分': 'smallint',
-            '年累计支付金额': 'decimal(12,2)',
-            '月累计支付金额': 'decimal(12,2)',
-            '月累计支付件数': 'mediumint',
-            '搜索引导支付转化率': 'decimal(6,4)',
-            '搜索引导访客数': 'smallint',
-            '搜索引导支付买家数': 'smallint',
-            '结构化详情引导转化率': 'decimal(6,4)',
-            '结构化详情引导成交占比': 'decimal(6,4)',
-            '更新时间': 'timestamp',
-            '上市年份': 'varchar(100)',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -1754,23 +1668,7 @@ class MysqlDatasQuery:
         df = pd.merge(df, df_visitor3, how='left', left_on='三级来源', right_on='三级来源')
         for col in ['一级来源索引', '二级来源索引', '三级来源索引']:
             df[col] = df[col].apply(lambda x: 1000 if str(x) == 'nan' else x)
-        set_typ = {
-            '日期': 'date',
-            '店铺名称': 'varchar(100)',
-            '类别': 'varchar(100)',
-            '来源构成': 'varchar(100)',
-            '一级来源': 'varchar(100)',
-            '二级来源': 'varchar(100)',
-            '三级来源': 'varchar(100)',
-            '访客数': 'int',
-            '支付金额': 'decimal(12,2)',
-            '支付买家数': 'int',
-            '支付转化率': 'decimal(10,4)',
-            '加购人数': 'int',
-            '一级来源索引': 'smallint',
-            '二级来源索引': 'smallint',
-            '三级来源索引': 'smallint',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -1799,15 +1697,7 @@ class MysqlDatasQuery:
         df = pd.DataFrame(data=data_values)
         df.sort_values(by=['款号', '日期'], ascending=[False, True], ignore_index=True, inplace=True)
         df.drop_duplicates(subset=['款号'], keep='last', inplace=True, ignore_index=True)
-        set_typ = {
-            '日期': 'date',
-            '款号': 'varchar(100)',
-            '年份季节': 'varchar(100)',
-            '吊牌价': 'decimal(10,2)',
-            '成本价': 'decimal(10,2)',
-            '天猫页面价': 'decimal(10,2)',
-            '天猫中促价': 'decimal(10,2)',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -1899,23 +1789,7 @@ class MysqlDatasQuery:
         cols = list(df.columns)
         cols.insert(3, cols.pop(cols.index('spu_id')))
         df = df[cols]
-        set_typ = {
-            '日期': 'date',
-            '店铺名称': 'varchar(100)',
-            '产品线': 'varchar(100)',
-            '触发sku_id': 'bigint',
-            '跟单sku_id': 'bigint',
-            'spu_id': 'bigint',
-            '花费': 'decimal(10,2)',
-            '展现数': 'int',
-            '点击数': 'int',
-            '直接订单行': 'int',
-            '直接订单金额': 'decimal(10,2)',
-            '总订单行': 'int',
-            '总订单金额': 'decimal(10,2)',
-            '直接加购数': 'int',
-            '总加购数': 'int',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -1970,19 +1844,7 @@ class MysqlDatasQuery:
             }
         )
         df = df[df['花费'] > 0]
-        set_typ = {
-            '日期': 'date',
-            '店铺名称': 'varchar(100)',
-            '产品线': 'varchar(100)',
-            '花费': 'decimal(10,2)',
-            '全站投产比': 'decimal(10,2)',
-            '全站交易额': 'decimal(10,2)',
-            '全站订单行': 'decimal(10,2)',
-            '全站订单成本': 'decimal(10,2)',
-            '全站费比': 'decimal(8,4)',
-            '核心位置展现量': 'int',
-            '核心位置点击量': 'int',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -2058,30 +1920,7 @@ class MysqlDatasQuery:
         df['k_是否品牌词'] = df['k_是否品牌词'].apply(lambda x: '品牌词' if x else '-')
         df['s_是否品牌词'] = df['搜索词'].str.contains('万里马|wanlima', regex=True)
         df['s_是否品牌词'] = df['s_是否品牌词'].apply(lambda x: '品牌词' if x else '-')
-        set_typ = {
-            '日期': 'date',
-            '产品线': 'varchar(100)',
-            '计划类型': 'varchar(100)',
-            '计划id': 'varchar(100)',
-            '搜索词': 'varchar(100)',
-            '关键词': 'varchar(100)',
-            '关键词购买类型': 'varchar(100)',
-            '广告定向类型': 'varchar(100)',
-            '展现数': 'int',
-            '点击数': 'int',
-            '花费': 'decimal(10,2)',
-            '直接订单行': 'int',
-            '直接订单金额': 'decimal(12,2)',
-            '总订单行': 'int',
-            '总订单金额': 'decimal(12,2)',
-            '总加购数': 'int',
-            '领券数': 'int',
-            '商品关注数': 'int',
-            '店铺关注数': 'int',
-            '推广计划': 'varchar(100)',
-            'k_是否品牌词': 'varchar(100)',
-            's_是否品牌词': 'varchar(100)',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -2131,19 +1970,7 @@ class MysqlDatasQuery:
         idx = df.groupby(['日期', '店铺名称', '商品id', '货号', '访客数', '成交客户数', '加购商品件数', '加购人数'])['更新时间'].idxmax()
         df = df.loc[idx]
         df = df[['日期', '店铺名称', '商品id', '货号', '访客数', '成交客户数', '加购商品件数', '加购人数', '成交单量', '成交金额']]
-        set_typ = {
-            '日期': 'date',
-            '店铺名称': 'varchar(100)',
-            '商品id': 'varchar(100)',
-            '货号': 'varchar(100)',
-            '访客数': 'int',
-            '成交客户数': 'int',
-            '加购商品件数': 'int',
-            '加购人数': 'int',
-            '成交单量': 'int',
-            '成交金额': 'decimal(10,2)',
-            'sku_id': 'varchar(100)',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -2193,19 +2020,7 @@ class MysqlDatasQuery:
         idx = df.groupby(['日期', '店铺名称', '商品id', '货号', '访客数', '成交客户数', '加购商品件数', '加购人数'])['更新时间'].idxmax()
         df = df.loc[idx]
         df = df[['日期', '店铺名称', '商品id', '货号', '访客数', '成交客户数', '加购商品件数', '加购人数', '成交单量', '成交金额']]
-        set_typ = {
-            '日期': 'date',
-            '店铺名称': 'varchar(100)',
-            '商品id': 'varchar(100)',
-            '货号': 'varchar(100)',
-            '访客数': 'int',
-            '成交客户数': 'int',
-            '加购商品件数': 'int',
-            '加购人数': 'int',
-            '成交单量': 'int',
-            '成交金额': 'decimal(10,2)',
-            'spu_id': 'varchar(100)',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -2265,20 +2080,7 @@ class MysqlDatasQuery:
         idx = df.groupby(['日期', '店铺名称', '词类型', '搜索词'])['更新时间'].idxmax()
         df = df.loc[idx]
         df = df[['日期', '店铺名称', '词类型', '搜索词', '访客数', '加购人数', '支付金额', '支付转化率', '支付买家数', '客单价', 'uv价值']]
-
-        set_typ = {
-            '日期': 'date',
-            '店铺名称': 'varchar(100)',
-            '词类型': 'varchar(100)',
-            '搜索词': 'varchar(255)',
-            '访客数': 'int',
-            '加购人数': 'int',
-            '支付金额': 'decimal(10,2)',
-            '支付转化率': 'decimal(10,4)',
-            '支付买家数': 'int',
-            '客单价': 'decimal(10,2)',
-            'uv价值': 'decimal(10,2)',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -2307,80 +2109,7 @@ class MysqlDatasQuery:
             projection={},
         )
         df.drop_duplicates(subset=['场次id'], keep='first', inplace=True, ignore_index=True)
-        set_typ = {
-            '日期': 'DATE',
-            '店铺名称': 'varchar(100)',
-            'fvr_pv': 'int',
-            '封面图点击率': 'decimal(10,4)',
-            'itrt_pv    ': 'int',
-            '开播时长': 'smallint',
-            '成交笔数': 'smallint',
-            'aov': 'decimal(10,2)',
-            '退款金额': 'decimal(12,2)',
-            '曝光pv': 'int',
-            '场次信息': 'varchar(255)',
-            'cmt_uv': 'int',
-            '退款件数占比': 'decimal(10,4)',
-            'reward_gift_cnt': 'smallint',
-            '观看人数': 'int',
-            '开播时长_f': 'varchar(100)',
-            'reward_uv_rate': 'smallint',
-            'fvr_uv': 'int',
-            '直播开播时间': 'datetime',
-            '商品点击率': 'decimal(10,4)',
-            '加购次数': 'smallint',
-            '成交转化率': 'decimal(10,4)',
-            'atv': 'decimal(10,2)',
-            '成交金额': 'decimal(12,2)',
-            '退款人数': 'smallint',
-            'index': 'smallint',
-            '预售定金支付人数': 'smallint',
-            '加购访客': 'smallint',
-            '商品点击次数': 'int',
-            '退款笔数': 'smallint',
-            'itrt_uv': 'smallint',
-            '成交人数': 'smallint',
-            '观看总时长': 'varchar(100)',
-            '加购访客转化率': 'decimal(10,4)',
-            'subpay_order_cnt': 'smallint',
-            'cmt_pv': 'int',
-            '商品点击人数': 'int',
-            'status': 'int',
-            '商品曝光uv': 'int',
-            '预售定金支付件数': 'smallint',
-            '预售预估总金额': 'decimal(12,2)',
-            '退款笔数占比': 'decimal(10,4)',
-            'reward_pv': 'int',
-            '访客点击量': 'int',
-            'aiv': 'decimal(10,2)',
-            'shr_uv': 'int',
-            '浏览点击量': 'int',
-            '场次图片': 'text',
-            'user_role': 'varchar(100)',
-            '退款人数占比': 'decimal(10,4)',
-            '退款件数': 'smallint',
-            '新增粉丝数': 'smallint',
-            '场均观看时长': 'decimal(10,2)',
-            '人均观看时长': 'decimal(10,2)',
-            '加购人数': 'smallint',
-            'reward_uv': 'smallint',
-            '直播结束时间': 'datetime',
-            '商品曝光pv': 'int',
-            'shr_pv': 'int',
-            '场次id': 'bigint',
-            'look_pv_flowcontrol': 'smallint',
-            '退款率': 'decimal(10,4)',
-            'is_delete': 'varchar(50)',
-            'atn_uv_rate': 'decimal(10,4)',
-            '成交件数': 'smallint',
-            '最大在线人数': 'int',
-            '曝光uv': 'int',
-            '加购件数': 'smallint',
-            '预售定金支付金额': 'decimal(12,2)',
-            '观看次数': 'int',
-            '封面图': 'text',
-            '更新时间': 'timestamp',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         ordered_columns = [
             '日期',
             '店铺名称',
@@ -2865,17 +2594,7 @@ class MysqlDatasQuery:
             }
         )
         df.sort_values(['日期', '店铺名称', '花费'], ascending=[False, False, False], ignore_index=True, inplace=True)
-        set_typ = {
-            '日期': 'date',
-            '店铺名称': 'varchar(100)',
-            '营销场景': 'varchar(100)',
-            '花费': 'decimal(12,2)',
-            '展现量': 'int',
-            '点击量': 'int',
-            '加购量': 'int',
-            '成交笔数': 'int',
-            '成交金额': 'decimal(12,2)',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -2951,20 +2670,7 @@ class MysqlDatasQuery:
         df = df[new_columns]
         df['更新时间'] = df.pop('更新时间')
         df = df.astype({'日期': 'datetime64[ns]'}, errors='ignore')
-        set_typ = {
-            '日期': 'date',
-            '店铺名称': 'varchar(100)',
-            'spuid': 'varchar(100)',
-            '图片': 'varchar(255)',
-            '序号': 'smallint',
-            '商品名称': 'varchar(255)',
-            '商品款号': 'varchar(255)',
-            '一级类目名称': 'varchar(255)',
-            '二级类目名称': 'varchar(255)',
-            '三级类目名称': 'varchar(255)',
-            '数据更新时间': 'timestamp',
-            '更新时间': 'timestamp',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -2993,26 +2699,7 @@ class MysqlDatasQuery:
             projection=projection,
         )
         df.drop_duplicates(subset=['日期', '人群类型', '店铺名称', '人群规模', '广告投入金额'], keep='last', inplace=True, ignore_index=True)
-        set_typ = {
-            '日期': 'date',
-            '人群类型': 'varchar(100)',
-            '店铺名称': 'varchar(100)',
-            '人群规模': 'int',
-            '人均成交价值': 'decimal(10, 4)',
-            'datatype': 'varchar(100)',
-            '人群总计': 'int',
-            '广告触达占比': 'decimal(12, 4)',
-            '广告投入金额': 'decimal(12, 2)',
-            'touchcharge': 'decimal(12, 2)',
-            '人群占比': 'decimal(12, 4)',
-            '长周期roi': 'decimal(12, 4)',
-            '支付买家数': 'int',
-            '成交笔数': 'int',
-            '成交金额': 'decimal(13, 2)',
-            '触达人数': 'int',
-            '长周期成交价值': 'decimal(13, 2)',
-            '达摩盘id': 'int',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -3051,44 +2738,7 @@ class MysqlDatasQuery:
         df.rename(columns={'起始日期': '日期'}, inplace=True)
 
         # df.drop_duplicates(subset=['日期', '店铺名称', '场景id', '父渠道id'], keep='last', inplace=True, ignore_index=True)
-        set_typ = {
-            '日期': 'date',
-            '起始日期': 'date',
-            '结束日期': 'date',
-            '店铺名称': 'varchar(100)',
-            '场景id': 'varchar(50)',
-            '场景名字': 'varchar(50)',
-            '是否子渠道': 'varchar(10)',
-            '父渠道id': 'varchar(50)',
-            '父渠道名称': 'varchar(50)',
-            '在投计划数': 'varchar(10)',
-            'bizCode': 'varchar(50)',
-            'channelType': 'varchar(50)',
-            'urlOneBP': 'varchar(255)',
-            '花费': 'decimal(12, 2)',
-            '展现量': 'int',
-            '点击量': 'int',
-            '加购成本': 'decimal(10, 4)',
-            '加购率': 'decimal(10, 4)',
-            '单次点击成本': 'decimal(10, 4)',
-            '当天引导roi': 'decimal(10, 4)',
-            '当天引导成交笔数': 'int',
-            '当天引导成交金额': 'decimal(12, 2)',
-            '总购物车数': 'int',
-            '成交笔数': 'int',
-            '成交转化率': 'decimal(10, 4)',
-            '成交金额': 'decimal(12, 2)',
-            '成交金额占比': 'decimal(10, 4)',
-            '消耗占比': 'decimal(10, 4)',
-            '渠道策略': 'varchar(255)',
-            '点击转化率': 'decimal(10, 6)',
-            '种草': 'varchar(10)',
-            '笔单价': 'decimal(10, 2)',
-            '蓄水转化成交笔数': 'int',
-            '蓄水转化成交金额': 'decimal(12, 2)',
-            '转化收割': 'varchar(10)',
-            '更新时间': 'timestamp',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -3148,53 +2798,7 @@ class MysqlDatasQuery:
         df['用户年龄'] = df['用户年龄'].apply(lambda x: '~'.join(re.findall(r'^(\d+).*-(\d+)岁$', str(x))[0]) if '岁' in str(x) else x)
         df['消费能力等级'] = df['消费能力等级'].apply(lambda x: f'L{''.join(re.findall(r'(\d)', str(x)))}' if '购买力' in str(x) else x)
         df.rename(columns={'消耗_元': '消耗'}, inplace=True)
-        set_typ = {
-            '日期': 'date',
-            '店铺名称': 'varchar(100)',
-            '人群id': 'bigint',
-            '人群名称': 'varchar(255)',
-            '营销渠道': 'varchar(100)',
-            '计划基础信息': 'varchar(255)',
-            '推广单元信息': 'varchar(255)',
-            '消耗_元': 'decimal(10,2)',
-            '展现人数': 'int',
-            '展现量': 'int',
-            '点击人数': 'int',
-            '点击量': 'int',
-            '店铺收藏人数': 'smallint',
-            '店铺收藏量': 'smallint',
-            '加购人数': 'smallint',
-            '加购量': 'smallint',
-            '宝贝收藏人数': 'smallint',
-            '宝贝收藏量': 'smallint',
-            '收藏加购量': 'smallint',
-            '收藏加购人数': 'smallint',
-            '拍下人数': 'smallint',
-            '拍下订单量': 'smallint',
-            '拍下订单金额_元': 'decimal(10,2)',
-            '成交人数': 'smallint',
-            '成交订单量': 'smallint',
-            '成交订单金额_元': 'decimal(10,2)',
-            '店铺首购人数': 'smallint',
-            '店铺复购人数': 'smallint',
-            '点击率': 'decimal(10,4)',
-            'uv点击率': 'decimal(10, 4)',
-            '收藏加购率': 'decimal(10, 4)',
-            'uv收藏加购率': 'decimal(10, 4)',
-            '点击转化率': 'decimal(10, 4)',
-            'uv点击转化率': 'decimal(10, 4)',
-            '投资回报率': 'decimal(10, 4)',
-            '千次展现成本_元': 'decimal(10, 2)',
-            '点击成本_元': 'decimal(10, 2)',
-            'uv点击成本_元': 'decimal(10, 2)',
-            '收藏加购成本_元': 'decimal(10, 2)',
-            'uv收藏加购成本_元': 'decimal(10, 2)',
-            '更新时间': 'timestamp',
-            '人群规模': 'int',
-            '用户年龄': 'varchar(100)',
-            '消费能力等级': 'varchar(100)',
-            '用户性别': 'varchar(100)',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -3568,7 +3172,7 @@ class MysqlDatasQuery:
         df.replace(to_replace='', value=0, inplace=True)
         set_typ = {
             '日期': 'date',
-            '店铺名称': 'varchar(100)',
+            '店铺名称': 'varchar(255)',
             '推广渠道': 'varchar(100)',
             '营销场景': 'varchar(100)',
             '商品id': 'bigint',
@@ -3667,21 +3271,7 @@ def date_table():
     df = df.reset_index(drop=False)
     df.rename(columns={'index': 'id'}, inplace=True)
     df['id'] = df['id'].apply(lambda x: x + 1)
-    set_typ = {
-        '日期': 'date',
-        '年': 'varchar(50)',
-        '月': 'varchar(50)',
-        '日': 'int',
-        '年月': 'varchar(50)',
-        '月日': 'varchar(50)',
-        '第n周': 'varchar(50)',
-        '第n周_new': 'varchar(50)',
-        '星期': 'varchar(50)',
-        'weekname': 'varchar(50)',
-        '索引': 'int',
-        '月索引': 'int',
-    }
-
+    set_typ = SET_TYP_DICT['聚合数据_日期表']
     return df, {
         'db_name': '聚合数据',
         'table_name': '日期表',
@@ -3780,5 +3370,5 @@ if __name__ == '__main__':
         pool_size=10,
         )
     sdq = MysqlDatasQuery(download_manager=download_manager) 
-    sdq.months = 3
-    sdq.item_up(db_name='聚合数据', table_name='淘宝店铺货品')
+    sdq.months = 1
+    sdq.shops_concat(db_name='聚合数据', table_name='多店聚合_日报')