mdbq 4.0.46__py3-none-any.whl → 4.0.48__py3-none-any.whl

mdbq/aggregation/query_data.py

@@ -5,6 +5,7 @@ from mdbq.mysql import s_query
 from mdbq.myconf import myconf
 from mdbq.log import mylogger
 from mdbq.other import error_handler
+from mdbq.aggregation.set_typ_dict import SET_TYP_DICT
 import datetime
 from dateutil.relativedelta import relativedelta
 import pandas as pd
@@ -293,22 +294,7 @@ class MysqlDatasQuery:
                 }
             )
         df.insert(loc=1, column='推广渠道', value='万相台无界版')
-        set_typ = {
-            '日期': 'date',
-            '推广渠道': 'varchar(100)',
-            '店铺名称': 'varchar(100)',
-            '营销场景': 'varchar(100)',
-            '商品id': 'bigint',
-            '花费': 'decimal(12,2)',
-            '展现量': 'int',
-            '点击量': 'int',
-            '加购量': 'int',
-            '成交笔数': 'int',
-            '成交金额': 'decimal(12,2)',
-            '自然流量曝光量': 'int',
-            '直接成交笔数': 'int',
-            '直接成交金额': 'decimal(12,2)',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         # 制作其他聚合表
         self.pf_datas.append(
             {
@@ -362,13 +348,7 @@ class MysqlDatasQuery:
         p= df_pic.pop('商品索引')
         df_pic.insert(loc=2, column='商品索引', value=p)  # df中插入新列
         df_pic['更新时间'] = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
-        set_typ = {
-            '商品id': 'bigint',
-            '店铺名称': 'varchar(100)',
-            '商品索引': 'smallint',
-            '花费': 'decimal(12,2)',
-            '更新时间': 'timestamp',
-        }
+        set_typ = SET_TYP_DICT['属性设置3_商品索引表_主推排序调用']
         logger.info('更新', {'主机': f'{host}:{port}', '库': '属性设置3', '表': '商品索引表_主推排序调用'})
         uld.upload_data(
             db_name='属性设置3',
@@ -462,22 +442,7 @@ class MysqlDatasQuery:
                 }
             )
         df.insert(loc=1, column='推广渠道', value='万相台无界版')  # df中插入新列
-        set_typ = {
-            '日期': 'date',
-            '推广渠道': 'varchar(100)',
-            '店铺名称': 'varchar(100)',
-            '营销场景': 'varchar(100)',
-            '商品id': 'bigint',
-            '花费': 'decimal(12,2)',
-            '展现量': 'int',
-            '点击量': 'int',
-            '加购量': 'int',
-            '成交笔数': 'int',
-            '成交金额': 'decimal(12,2)',
-            '自然流量曝光量': 'int',
-            '直接成交笔数': 'int',
-            '直接成交金额': 'decimal(12,2)',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -568,22 +533,7 @@ class MysqlDatasQuery:
                 }
             )
         df.insert(loc=1, column='推广渠道', value='万相台无界版')  # df中插入新列
-        set_typ = {
-            '日期': 'date',
-            '推广渠道': 'varchar(100)',
-            '店铺名称': 'varchar(100)',
-            '营销场景': 'varchar(100)',
-            '商品id': 'bigint',
-            '花费': 'decimal(12,2)',
-            '展现量': 'int',
-            '点击量': 'int',
-            '加购量': 'int',
-            '成交笔数': 'int',
-            '成交金额': 'decimal(12,2)',
-            '自然流量曝光量': 'int',
-            '直接成交笔数': 'int',
-            '直接成交金额': 'decimal(12,2)',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -674,22 +624,7 @@ class MysqlDatasQuery:
                 }
             )
         df.insert(loc=1, column='推广渠道', value='万相台无界版')  # df中插入新列
-        set_typ = {
-            '日期': 'date',
-            '推广渠道': 'varchar(100)',
-            '店铺名称': 'varchar(100)',
-            '营销场景': 'varchar(100)',
-            '商品id': 'bigint',
-            '花费': 'decimal(12,2)',
-            '展现量': 'int',
-            '点击量': 'int',
-            '加购量': 'int',
-            '成交笔数': 'int',
-            '成交金额': 'decimal(12,2)',
-            '自然流量曝光量': 'int',
-            '直接成交笔数': 'int',
-            '直接成交金额': 'decimal(12,2)',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -749,22 +684,7 @@ class MysqlDatasQuery:
             else '300+' if x >= 300
             else '300以下'
         )
-        set_typ = {
-            '日期': 'date',
-            '推广渠道': 'varchar(100)',
-            '店铺名称': 'varchar(100)',
-            '宝贝id': 'bigint',
-            '行业类目': 'varchar(255)',
-            '销售额': 'decimal(12,2)',
-            '销售量': 'int',
-            '订单数': 'int',
-            '退货量': 'int',
-            '退款额': 'decimal(12,2)',
-            '退款额_发货后': 'decimal(12,2)',
-            '退货量_发货后': 'int',
-            '件均价': 'mediumint',
-            '价格带': 'varchar(100)',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -953,25 +873,7 @@ class MysqlDatasQuery:
                 else x['人群分类'], axis=1
             )
         df['人群分类'] = df['人群分类'].apply(lambda x: str(x).upper() if x else x)
-        set_typ = {
-            '日期': 'date',
-            '推广渠道': 'varchar(100)',
-            '店铺名称': 'varchar(100)',
-            '营销场景': 'varchar(100)',
-            '商品id': 'bigint',
-            '花费': 'decimal(10,2)',
-            '展现量': 'int',
-            '点击量': 'int',
-            '人群名字': 'varchar(255)',
-            '加购量': 'int',
-            '成交笔数': 'int',
-            '成交金额': 'decimal(12,2)',
-            '直接成交笔数': 'int',
-            '直接成交金额': 'decimal(12,2)',
-            '消费力层级': 'varchar(100)',
-            '用户年龄': 'varchar(100)',
-            '人群分类': 'varchar(100)',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         df.fillna(0, inplace=True)
         return df, {
             'db_name': db_name,
@@ -1087,25 +989,7 @@ class MysqlDatasQuery:
             )
         else:
             df['词分类'] = df['词名字_词包名字'].apply(lambda x: self.ret_keyword(keyword=str(x), as_file=False))
-        set_typ = {
-            '日期': 'date',
-            '推广渠道': 'varchar(100)',
-            '店铺名称': 'varchar(100)',
-            '营销场景': 'varchar(100)',
-            '商品id': 'bigint',
-            '词类型': 'varchar(100)',
-            '词名字_词包名字': 'varchar(255)',
-            '花费': 'decimal(10,2)',
-            '展现量': 'int',
-            '点击量': 'int',
-            '加购量': 'int',
-            '成交笔数': 'int',
-            '成交金额': 'decimal(12,2)',
-            '直接成交笔数': 'int',
-            '直接成交金额': 'decimal(12,2)',
-            '是否品牌词': 'varchar(100)',
-            '词分类': 'varchar(100)',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -1254,24 +1138,7 @@ class MysqlDatasQuery:
                 '数据主体': df[['日期', '店铺名称', '推广渠道', '营销场景', '花费', '展现量', '观看次数', '加购量', '成交笔数', '成交金额', '直接成交笔数', '直接成交金额']]
             },
         )  # 制作其他聚合表
-        set_typ = {
-            '日期': 'date',
-            '推广渠道': 'varchar(100)',
-            '店铺名称': 'varchar(100)',
-            '营销场景': 'varchar(100)',
-            '人群名字': 'varchar(255)',
-            '计划名字': 'varchar(255)',
-            '花费': 'decimal(10,2)',
-            '观看次数': 'int',
-            '展现量': 'int',
-            '进店量': 'int',
-            '粉丝关注量': 'int',
-            '加购量': 'int',
-            '成交笔数': 'int',
-            '成交金额': 'decimal(12,2)',
-            '直接成交笔数': 'int',
-            '直接成交金额': 'decimal(12,2)',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -1365,21 +1232,7 @@ class MysqlDatasQuery:
                 '数据主体': df[['日期', '店铺名称', '推广渠道', '营销场景', '花费', '展现量', '点击量', '加购量', '成交笔数', '成交金额']]
             },
         )  # 制作其他聚合表
-        set_typ = {
-            '日期': 'date',
-            '推广渠道': 'varchar(100)',
-            '店铺名称': 'varchar(100)',
-            '营销场景': 'varchar(100)',
-            '报表类型': 'varchar(100)',
-            '花费': 'decimal(10,2)',
-            '展现量': 'int',
-            '点击量': 'int',
-            '加购量': 'int',
-            '成交笔数': 'int',
-            '成交金额': 'decimal(12,2)',
-            '品牌搜索量': 'int',
-            '品牌搜索人数': 'int',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         logger.info('更新', {'主机': f'{host}:{port}', '库': db_name, '表': table_name})
         return df, {
             'db_name': db_name,
@@ -1420,15 +1273,7 @@ class MysqlDatasQuery:
         idx = df.groupby(['日期', '商品id'])['更新时间'].idxmax()
         df = df.loc[idx]
         df.rename(columns={'商品id': '宝贝id'}, inplace=True)
-        set_typ = {
-            '日期': 'date',
-            '宝贝id': 'bigint',
-            '商家编码': 'varchar(255)',
-            '一级类目': 'varchar(100)',
-            '二级类目': 'varchar(100)',
-            '三级类目': 'varchar(100)',
-            '更新时间': 'timestamp'
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         logger.info('更新', {'主机': f'{host}:{port}', '库': db_name, '表': table_name})
         return df, {
             'db_name': db_name,
@@ -1470,16 +1315,7 @@ class MysqlDatasQuery:
         idx = df.groupby(['日期', 'sku_id'])['更新时间'].idxmax()
         df = df.loc[idx]
         df.rename(columns={'白底图': '商品图片'}, inplace=True)
-        set_typ = {
-            '日期': 'date',
-            '商品id': 'bigint',
-            # '白底图': 'varchar(255)',
-            '商品图片': 'varchar(255)',
-            '商家编码': 'varchar(255)',
-            'sku_id': 'bigint',
-            'sku地址': 'varchar(255)',
-            '更新时间': 'timestamp'
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -1530,21 +1366,7 @@ class MysqlDatasQuery:
                     return item['上市年份']
 
         df['上市年份'] = df['商品id'].apply(lambda x: check_year(x))
-        set_typ = {
-            '日期': 'date',
-            '店铺id': 'bigint',
-            '店铺名称': 'varchar(255)',
-            '商家id': 'bigint',
-            '商品id': 'bigint',
-            '上市年份': 'varchar(50)',
-            '商品标题': 'varchar(255)',
-            '商品链接': 'varchar(255)',
-            '商品图片': 'varchar(255)',
-            '销量': 'varchar(50)',
-            '页面价': 'int',
-            'data_sku': 'varchar(1000)',
-            '更新时间': 'timestamp',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -1624,48 +1446,7 @@ class MysqlDatasQuery:
         df['上市季节'] = df['上市年月'].apply(lambda x: check_jijie(x))
         p = df.pop('上市季节')
         df.insert(loc=9, column='上市季节', value=p)
-        set_typ = {
-            '商品id': 'BIGINT',
-            '店铺名称': 'varchar(100)',
-            '商品名称': 'varchar(255)',
-            '主商品id': 'BIGINT',
-            '商品类型': 'varchar(50)',
-            '货号': 'varchar(50)',
-            '商品状态': 'varchar(50)',
-            '商品标签': 'varchar(50)',
-            '商品访客数': 'int',
-            '商品浏览量': 'int',
-            '平均停留时长': 'decimal(10,2)',
-            '商品详情页跳出率': 'decimal(6,4)',
-            '商品收藏人数': 'smallint',
-            '商品加购件数': 'smallint',
-            '商品加购人数': 'smallint',
-            '下单买家数': 'smallint',
-            '下单件数': 'smallint',
-            '下单金额': 'decimal(10,2)',
-            '下单转化率': 'decimal(10,4)',
-            '支付买家数': 'smallint',
-            '支付件数': 'int',
-            '支付金额': 'decimal(12,2)',
-            '商品支付转化率': 'decimal(10,4)',
-            '支付新买家数': 'smallint',
-            '支付老买家数': 'smallint',
-            '老买家支付金额': 'decimal(10,2)',
-            '聚划算支付金额': 'decimal(10,2)',
-            '访客平均价值': 'decimal(10,2)',
-            '成功退款金额': 'decimal(10,2)',
-            '竞争力评分': 'smallint',
-            '年累计支付金额': 'decimal(12,2)',
-            '月累计支付金额': 'decimal(12,2)',
-            '月累计支付件数': 'mediumint',
-            '搜索引导支付转化率': 'decimal(6,4)',
-            '搜索引导访客数': 'smallint',
-            '搜索引导支付买家数': 'smallint',
-            '结构化详情引导转化率': 'decimal(6,4)',
-            '结构化详情引导成交占比': 'decimal(6,4)',
-            '更新时间': 'timestamp',
-            '上市年份': 'varchar(100)',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -1754,23 +1535,7 @@ class MysqlDatasQuery:
         df = pd.merge(df, df_visitor3, how='left', left_on='三级来源', right_on='三级来源')
         for col in ['一级来源索引', '二级来源索引', '三级来源索引']:
             df[col] = df[col].apply(lambda x: 1000 if str(x) == 'nan' else x)
-        set_typ = {
-            '日期': 'date',
-            '店铺名称': 'varchar(100)',
-            '类别': 'varchar(100)',
-            '来源构成': 'varchar(100)',
-            '一级来源': 'varchar(100)',
-            '二级来源': 'varchar(100)',
-            '三级来源': 'varchar(100)',
-            '访客数': 'int',
-            '支付金额': 'decimal(12,2)',
-            '支付买家数': 'int',
-            '支付转化率': 'decimal(10,4)',
-            '加购人数': 'int',
-            '一级来源索引': 'smallint',
-            '二级来源索引': 'smallint',
-            '三级来源索引': 'smallint',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -1799,15 +1564,7 @@ class MysqlDatasQuery:
         df = pd.DataFrame(data=data_values)
         df.sort_values(by=['款号', '日期'], ascending=[False, True], ignore_index=True, inplace=True)
         df.drop_duplicates(subset=['款号'], keep='last', inplace=True, ignore_index=True)
-        set_typ = {
-            '日期': 'date',
-            '款号': 'varchar(100)',
-            '年份季节': 'varchar(100)',
-            '吊牌价': 'decimal(10,2)',
-            '成本价': 'decimal(10,2)',
-            '天猫页面价': 'decimal(10,2)',
-            '天猫中促价': 'decimal(10,2)',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -1899,23 +1656,7 @@ class MysqlDatasQuery:
         cols = list(df.columns)
         cols.insert(3, cols.pop(cols.index('spu_id')))
         df = df[cols]
-        set_typ = {
-            '日期': 'date',
-            '店铺名称': 'varchar(100)',
-            '产品线': 'varchar(100)',
-            '触发sku_id': 'bigint',
-            '跟单sku_id': 'bigint',
-            'spu_id': 'bigint',
-            '花费': 'decimal(10,2)',
-            '展现数': 'int',
-            '点击数': 'int',
-            '直接订单行': 'int',
-            '直接订单金额': 'decimal(10,2)',
-            '总订单行': 'int',
-            '总订单金额': 'decimal(10,2)',
-            '直接加购数': 'int',
-            '总加购数': 'int',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -1970,19 +1711,7 @@ class MysqlDatasQuery:
             }
         )
         df = df[df['花费'] > 0]
-        set_typ = {
-            '日期': 'date',
-            '店铺名称': 'varchar(100)',
-            '产品线': 'varchar(100)',
-            '花费': 'decimal(10,2)',
-            '全站投产比': 'decimal(10,2)',
-            '全站交易额': 'decimal(10,2)',
-            '全站订单行': 'decimal(10,2)',
-            '全站订单成本': 'decimal(10,2)',
-            '全站费比': 'decimal(8,4)',
-            '核心位置展现量': 'int',
-            '核心位置点击量': 'int',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -2058,30 +1787,7 @@ class MysqlDatasQuery:
         df['k_是否品牌词'] = df['k_是否品牌词'].apply(lambda x: '品牌词' if x else '-')
         df['s_是否品牌词'] = df['搜索词'].str.contains('万里马|wanlima', regex=True)
         df['s_是否品牌词'] = df['s_是否品牌词'].apply(lambda x: '品牌词' if x else '-')
-        set_typ = {
-            '日期': 'date',
-            '产品线': 'varchar(100)',
-            '计划类型': 'varchar(100)',
-            '计划id': 'varchar(100)',
-            '搜索词': 'varchar(100)',
-            '关键词': 'varchar(100)',
-            '关键词购买类型': 'varchar(100)',
-            '广告定向类型': 'varchar(100)',
-            '展现数': 'int',
-            '点击数': 'int',
-            '花费': 'decimal(10,2)',
-            '直接订单行': 'int',
-            '直接订单金额': 'decimal(12,2)',
-            '总订单行': 'int',
-            '总订单金额': 'decimal(12,2)',
-            '总加购数': 'int',
-            '领券数': 'int',
-            '商品关注数': 'int',
-            '店铺关注数': 'int',
-            '推广计划': 'varchar(100)',
-            'k_是否品牌词': 'varchar(100)',
-            's_是否品牌词': 'varchar(100)',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -2131,19 +1837,7 @@ class MysqlDatasQuery:
         idx = df.groupby(['日期', '店铺名称', '商品id', '货号', '访客数', '成交客户数', '加购商品件数', '加购人数'])['更新时间'].idxmax()
         df = df.loc[idx]
         df = df[['日期', '店铺名称', '商品id', '货号', '访客数', '成交客户数', '加购商品件数', '加购人数', '成交单量', '成交金额']]
-        set_typ = {
-            '日期': 'date',
-            '店铺名称': 'varchar(100)',
-            '商品id': 'varchar(100)',
-            '货号': 'varchar(100)',
-            '访客数': 'int',
-            '成交客户数': 'int',
-            '加购商品件数': 'int',
-            '加购人数': 'int',
-            '成交单量': 'int',
-            '成交金额': 'decimal(10,2)',
-            'sku_id': 'varchar(100)',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -2193,19 +1887,7 @@ class MysqlDatasQuery:
         idx = df.groupby(['日期', '店铺名称', '商品id', '货号', '访客数', '成交客户数', '加购商品件数', '加购人数'])['更新时间'].idxmax()
         df = df.loc[idx]
         df = df[['日期', '店铺名称', '商品id', '货号', '访客数', '成交客户数', '加购商品件数', '加购人数', '成交单量', '成交金额']]
-        set_typ = {
-            '日期': 'date',
-            '店铺名称': 'varchar(100)',
-            '商品id': 'varchar(100)',
-            '货号': 'varchar(100)',
-            '访客数': 'int',
-            '成交客户数': 'int',
-            '加购商品件数': 'int',
-            '加购人数': 'int',
-            '成交单量': 'int',
-            '成交金额': 'decimal(10,2)',
-            'spu_id': 'varchar(100)',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -2265,20 +1947,7 @@ class MysqlDatasQuery:
         idx = df.groupby(['日期', '店铺名称', '词类型', '搜索词'])['更新时间'].idxmax()
         df = df.loc[idx]
         df = df[['日期', '店铺名称', '词类型', '搜索词', '访客数', '加购人数', '支付金额', '支付转化率', '支付买家数', '客单价', 'uv价值']]
-
-        set_typ = {
-            '日期': 'date',
-            '店铺名称': 'varchar(100)',
-            '词类型': 'varchar(100)',
-            '搜索词': 'varchar(255)',
-            '访客数': 'int',
-            '加购人数': 'int',
-            '支付金额': 'decimal(10,2)',
-            '支付转化率': 'decimal(10,4)',
-            '支付买家数': 'int',
-            '客单价': 'decimal(10,2)',
-            'uv价值': 'decimal(10,2)',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -2307,80 +1976,7 @@ class MysqlDatasQuery:
             projection={},
         )
         df.drop_duplicates(subset=['场次id'], keep='first', inplace=True, ignore_index=True)
-        set_typ = {
-            '日期': 'DATE',
-            '店铺名称': 'varchar(100)',
-            'fvr_pv': 'int',
-            '封面图点击率': 'decimal(10,4)',
-            'itrt_pv    ': 'int',
-            '开播时长': 'smallint',
-            '成交笔数': 'smallint',
-            'aov': 'decimal(10,2)',
-            '退款金额': 'decimal(12,2)',
-            '曝光pv': 'int',
-            '场次信息': 'varchar(255)',
-            'cmt_uv': 'int',
-            '退款件数占比': 'decimal(10,4)',
-            'reward_gift_cnt': 'smallint',
-            '观看人数': 'int',
-            '开播时长_f': 'varchar(100)',
-            'reward_uv_rate': 'smallint',
-            'fvr_uv': 'int',
-            '直播开播时间': 'datetime',
-            '商品点击率': 'decimal(10,4)',
-            '加购次数': 'smallint',
-            '成交转化率': 'decimal(10,4)',
-            'atv': 'decimal(10,2)',
-            '成交金额': 'decimal(12,2)',
-            '退款人数': 'smallint',
-            'index': 'smallint',
-            '预售定金支付人数': 'smallint',
-            '加购访客': 'smallint',
-            '商品点击次数': 'int',
-            '退款笔数': 'smallint',
-            'itrt_uv': 'smallint',
-            '成交人数': 'smallint',
-            '观看总时长': 'varchar(100)',
-            '加购访客转化率': 'decimal(10,4)',
-            'subpay_order_cnt': 'smallint',
-            'cmt_pv': 'int',
-            '商品点击人数': 'int',
-            'status': 'int',
-            '商品曝光uv': 'int',
-            '预售定金支付件数': 'smallint',
-            '预售预估总金额': 'decimal(12,2)',
-            '退款笔数占比': 'decimal(10,4)',
-            'reward_pv': 'int',
-            '访客点击量': 'int',
-            'aiv': 'decimal(10,2)',
-            'shr_uv': 'int',
-            '浏览点击量': 'int',
-            '场次图片': 'text',
-            'user_role': 'varchar(100)',
-            '退款人数占比': 'decimal(10,4)',
-            '退款件数': 'smallint',
-            '新增粉丝数': 'smallint',
-            '场均观看时长': 'decimal(10,2)',
-            '人均观看时长': 'decimal(10,2)',
-            '加购人数': 'smallint',
-            'reward_uv': 'smallint',
-            '直播结束时间': 'datetime',
-            '商品曝光pv': 'int',
-            'shr_pv': 'int',
-            '场次id': 'bigint',
-            'look_pv_flowcontrol': 'smallint',
-            '退款率': 'decimal(10,4)',
-            'is_delete': 'varchar(50)',
-            'atn_uv_rate': 'decimal(10,4)',
-            '成交件数': 'smallint',
-            '最大在线人数': 'int',
-            '曝光uv': 'int',
-            '加购件数': 'smallint',
-            '预售定金支付金额': 'decimal(12,2)',
-            '观看次数': 'int',
-            '封面图': 'text',
-            '更新时间': 'timestamp',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         ordered_columns = [
             '日期',
             '店铺名称',
@@ -2865,17 +2461,7 @@ class MysqlDatasQuery:
             }
         )
         df.sort_values(['日期', '店铺名称', '花费'], ascending=[False, False, False], ignore_index=True, inplace=True)
-        set_typ = {
-            '日期': 'date',
-            '店铺名称': 'varchar(100)',
-            '营销场景': 'varchar(100)',
-            '花费': 'decimal(12,2)',
-            '展现量': 'int',
-            '点击量': 'int',
-            '加购量': 'int',
-            '成交笔数': 'int',
-            '成交金额': 'decimal(12,2)',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -2951,20 +2537,7 @@ class MysqlDatasQuery:
         df = df[new_columns]
         df['更新时间'] = df.pop('更新时间')
         df = df.astype({'日期': 'datetime64[ns]'}, errors='ignore')
-        set_typ = {
-            '日期': 'date',
-            '店铺名称': 'varchar(100)',
-            'spuid': 'varchar(100)',
-            '图片': 'varchar(255)',
-            '序号': 'smallint',
-            '商品名称': 'varchar(255)',
-            '商品款号': 'varchar(255)',
-            '一级类目名称': 'varchar(255)',
-            '二级类目名称': 'varchar(255)',
-            '三级类目名称': 'varchar(255)',
-            '数据更新时间': 'timestamp',
-            '更新时间': 'timestamp',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -2993,26 +2566,7 @@ class MysqlDatasQuery:
             projection=projection,
         )
         df.drop_duplicates(subset=['日期', '人群类型', '店铺名称', '人群规模', '广告投入金额'], keep='last', inplace=True, ignore_index=True)
-        set_typ = {
-            '日期': 'date',
-            '人群类型': 'varchar(100)',
-            '店铺名称': 'varchar(100)',
-            '人群规模': 'int',
-            '人均成交价值': 'decimal(10, 4)',
-            'datatype': 'varchar(100)',
-            '人群总计': 'int',
-            '广告触达占比': 'decimal(12, 4)',
-            '广告投入金额': 'decimal(12, 2)',
-            'touchcharge': 'decimal(12, 2)',
-            '人群占比': 'decimal(12, 4)',
-            '长周期roi': 'decimal(12, 4)',
-            '支付买家数': 'int',
-            '成交笔数': 'int',
-            '成交金额': 'decimal(13, 2)',
-            '触达人数': 'int',
-            '长周期成交价值': 'decimal(13, 2)',
-            '达摩盘id': 'int',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -3051,44 +2605,7 @@ class MysqlDatasQuery:
         df.rename(columns={'起始日期': '日期'}, inplace=True)
 
         # df.drop_duplicates(subset=['日期', '店铺名称', '场景id', '父渠道id'], keep='last', inplace=True, ignore_index=True)
-        set_typ = {
-            '日期': 'date',
-            '起始日期': 'date',
-            '结束日期': 'date',
-            '店铺名称': 'varchar(100)',
-            '场景id': 'varchar(50)',
-            '场景名字': 'varchar(50)',
-            '是否子渠道': 'varchar(10)',
-            '父渠道id': 'varchar(50)',
-            '父渠道名称': 'varchar(50)',
-            '在投计划数': 'varchar(10)',
-            'bizCode': 'varchar(50)',
-            'channelType': 'varchar(50)',
-            'urlOneBP': 'varchar(255)',
-            '花费': 'decimal(12, 2)',
-            '展现量': 'int',
-            '点击量': 'int',
-            '加购成本': 'decimal(10, 4)',
-            '加购率': 'decimal(10, 4)',
-            '单次点击成本': 'decimal(10, 4)',
-            '当天引导roi': 'decimal(10, 4)',
-            '当天引导成交笔数': 'int',
-            '当天引导成交金额': 'decimal(12, 2)',
-            '总购物车数': 'int',
-            '成交笔数': 'int',
-            '成交转化率': 'decimal(10, 4)',
-            '成交金额': 'decimal(12, 2)',
-            '成交金额占比': 'decimal(10, 4)',
-            '消耗占比': 'decimal(10, 4)',
-            '渠道策略': 'varchar(255)',
-            '点击转化率': 'decimal(10, 6)',
-            '种草': 'varchar(10)',
-            '笔单价': 'decimal(10, 2)',
-            '蓄水转化成交笔数': 'int',
-            '蓄水转化成交金额': 'decimal(12, 2)',
-            '转化收割': 'varchar(10)',
-            '更新时间': 'timestamp',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -3148,53 +2665,7 @@ class MysqlDatasQuery:
         df['用户年龄'] = df['用户年龄'].apply(lambda x: '~'.join(re.findall(r'^(\d+).*-(\d+)岁$', str(x))[0]) if '岁' in str(x) else x)
         df['消费能力等级'] = df['消费能力等级'].apply(lambda x: f'L{''.join(re.findall(r'(\d)', str(x)))}' if '购买力' in str(x) else x)
         df.rename(columns={'消耗_元': '消耗'}, inplace=True)
-        set_typ = {
-            '日期': 'date',
-            '店铺名称': 'varchar(100)',
-            '人群id': 'bigint',
-            '人群名称': 'varchar(255)',
-            '营销渠道': 'varchar(100)',
-            '计划基础信息': 'varchar(255)',
-            '推广单元信息': 'varchar(255)',
-            '消耗_元': 'decimal(10,2)',
-            '展现人数': 'int',
-            '展现量': 'int',
-            '点击人数': 'int',
-            '点击量': 'int',
-            '店铺收藏人数': 'smallint',
-            '店铺收藏量': 'smallint',
-            '加购人数': 'smallint',
-            '加购量': 'smallint',
-            '宝贝收藏人数': 'smallint',
-            '宝贝收藏量': 'smallint',
-            '收藏加购量': 'smallint',
-            '收藏加购人数': 'smallint',
-            '拍下人数': 'smallint',
-            '拍下订单量': 'smallint',
-            '拍下订单金额_元': 'decimal(10,2)',
-            '成交人数': 'smallint',
-            '成交订单量': 'smallint',
-            '成交订单金额_元': 'decimal(10,2)',
-            '店铺首购人数': 'smallint',
-            '店铺复购人数': 'smallint',
-            '点击率': 'decimal(10,4)',
-            'uv点击率': 'decimal(10, 4)',
-            '收藏加购率': 'decimal(10, 4)',
-            'uv收藏加购率': 'decimal(10, 4)',
-            '点击转化率': 'decimal(10, 4)',
-            'uv点击转化率': 'decimal(10, 4)',
-            '投资回报率': 'decimal(10, 4)',
-            '千次展现成本_元': 'decimal(10, 2)',
-            '点击成本_元': 'decimal(10, 2)',
-            'uv点击成本_元': 'decimal(10, 2)',
-            '收藏加购成本_元': 'decimal(10, 2)',
-            'uv收藏加购成本_元': 'decimal(10, 2)',
-            '更新时间': 'timestamp',
-            '人群规模': 'int',
-            '用户年龄': 'varchar(100)',
-            '消费能力等级': 'varchar(100)',
-            '用户性别': 'varchar(100)',
-        }
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -3568,7 +3039,7 @@ class MysqlDatasQuery:
         df.replace(to_replace='', value=0, inplace=True)
         set_typ = {
             '日期': 'date',
-            '店铺名称': 'varchar(100)',
+            '店铺名称': 'varchar(255)',
             '推广渠道': 'varchar(100)',
             '营销场景': 'varchar(100)',
             '商品id': 'bigint',
@@ -3667,21 +3138,7 @@ def date_table():
     df = df.reset_index(drop=False)
     df.rename(columns={'index': 'id'}, inplace=True)
     df['id'] = df['id'].apply(lambda x: x + 1)
-    set_typ = {
-        '日期': 'date',
-        '年': 'varchar(50)',
-        '月': 'varchar(50)',
-        '日': 'int',
-        '年月': 'varchar(50)',
-        '月日': 'varchar(50)',
-        '第n周': 'varchar(50)',
-        '第n周_new': 'varchar(50)',
-        '星期': 'varchar(50)',
-        'weekname': 'varchar(50)',
-        '索引': 'int',
-        '月索引': 'int',
-    }
-
+    set_typ = SET_TYP_DICT['聚合数据_日期表']
     return df, {
         'db_name': '聚合数据',
         'table_name': '日期表',