mdbq 4.0.52__py3-none-any.whl → 4.0.54__py3-none-any.whl

mdbq/__version__.py

@@ -1 +1 @@
-VERSION = '4.0.52'
+VERSION = '4.0.54'

mdbq/aggregation/query_data.py

@@ -211,7 +211,7 @@ def upload_data_decorator(**upload_kwargs):
     return decorator
 
 
-class MysqlDatasQuery:
+class ShopDataQuery:
     """
     从数据库中下载数据
     """
@@ -247,7 +247,7 @@ class MysqlDatasQuery:
         df = df_shop_gmv.merge(df_real_sales, on=['日期', '店铺名称'], how='outer')  # 平台数据合并销售数据
         df = df.merge(df_tg_data, on=['日期', '店铺名称'], how='outer')  # 合并推广数据
         df.fillna(0, inplace=True)
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -265,6 +265,7 @@ class MysqlDatasQuery:
         }
     
     def _get_tg_data(self, db_name='聚合数据', table_name='多店推广场景_按日聚合', shop_list:dict=None):
+        """获取推广数据"""
         start_date, end_date = self.months_data(num=self.months)
         projection = ['日期', '店铺名称', '营销场景', '花费']
         df = self.download_manager.data_to_df(
@@ -377,6 +378,15 @@ class MysqlDatasQuery:
         return df
 
     
+class MysqlDatasQuery:
+    """
+    从数据库中下载数据
+    """
+    def __init__(self, download_manager):
+        self.months = 0  # 下载几个月数据, 0 表示当月, 1 是上月 1 号至今
+        self.download_manager = download_manager
+        self.pf_datas = []
+
     # @error_handler.log_on_exception(logger=logger)
     def tg_wxt(self, db_name='聚合数据', table_name='天猫_主体报表', is_maximize=True):
         start_date, end_date = self.months_data(num=self.months)
@@ -451,7 +461,7 @@ class MysqlDatasQuery:
                 }
             )
         df.insert(loc=1, column='推广渠道', value='万相台无界版')
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         # 制作其他聚合表
         self.pf_datas.append(
             {
@@ -599,7 +609,7 @@ class MysqlDatasQuery:
                 }
             )
         df.insert(loc=1, column='推广渠道', value='万相台无界版')  # df中插入新列
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -690,7 +700,7 @@ class MysqlDatasQuery:
                 }
             )
         df.insert(loc=1, column='推广渠道', value='万相台无界版')  # df中插入新列
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -781,7 +791,7 @@ class MysqlDatasQuery:
                 }
             )
         df.insert(loc=1, column='推广渠道', value='万相台无界版')  # df中插入新列
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -841,7 +851,7 @@ class MysqlDatasQuery:
             else '300+' if x >= 300
             else '300以下'
         )
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -1030,7 +1040,7 @@ class MysqlDatasQuery:
                 else x['人群分类'], axis=1
             )
         df['人群分类'] = df['人群分类'].apply(lambda x: str(x).upper() if x else x)
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         df.fillna(0, inplace=True)
         return df, {
             'db_name': db_name,
@@ -1146,7 +1156,7 @@ class MysqlDatasQuery:
             )
         else:
             df['词分类'] = df['词名字_词包名字'].apply(lambda x: self.ret_keyword(keyword=str(x), as_file=False))
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -1295,7 +1305,7 @@ class MysqlDatasQuery:
                 '数据主体': df[['日期', '店铺名称', '推广渠道', '营销场景', '花费', '展现量', '观看次数', '加购量', '成交笔数', '成交金额', '直接成交笔数', '直接成交金额']]
             },
         )  # 制作其他聚合表
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -1389,7 +1399,7 @@ class MysqlDatasQuery:
                 '数据主体': df[['日期', '店铺名称', '推广渠道', '营销场景', '花费', '展现量', '点击量', '加购量', '成交笔数', '成交金额']]
             },
         )  # 制作其他聚合表
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         logger.info('更新', {'主机': f'{host}:{port}', '库': db_name, '表': table_name})
         return df, {
             'db_name': db_name,
@@ -1430,7 +1440,7 @@ class MysqlDatasQuery:
         idx = df.groupby(['日期', '商品id'])['更新时间'].idxmax()
         df = df.loc[idx]
         df.rename(columns={'商品id': '宝贝id'}, inplace=True)
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         logger.info('更新', {'主机': f'{host}:{port}', '库': db_name, '表': table_name})
         return df, {
             'db_name': db_name,
@@ -1472,7 +1482,7 @@ class MysqlDatasQuery:
         idx = df.groupby(['日期', 'sku_id'])['更新时间'].idxmax()
         df = df.loc[idx]
         df.rename(columns={'白底图': '商品图片'}, inplace=True)
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -1523,7 +1533,7 @@ class MysqlDatasQuery:
                     return item['上市年份']
 
         df['上市年份'] = df['商品id'].apply(lambda x: check_year(x))
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -1603,7 +1613,7 @@ class MysqlDatasQuery:
         df['上市季节'] = df['上市年月'].apply(lambda x: check_jijie(x))
         p = df.pop('上市季节')
         df.insert(loc=9, column='上市季节', value=p)
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -1690,9 +1700,10 @@ class MysqlDatasQuery:
         df = pd.merge(df, df_visitor1, how='left', left_on='一级来源', right_on='一级来源')
         df = pd.merge(df, df_visitor2, how='left', left_on='二级来源', right_on='二级来源')
         df = pd.merge(df, df_visitor3, how='left', left_on='三级来源', right_on='三级来源')
+
         for col in ['一级来源索引', '二级来源索引', '三级来源索引']:
             df[col] = df[col].apply(lambda x: 1000 if str(x) == 'nan' else x)
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -1721,7 +1732,7 @@ class MysqlDatasQuery:
         df = pd.DataFrame(data=data_values)
         df.sort_values(by=['款号', '日期'], ascending=[False, True], ignore_index=True, inplace=True)
         df.drop_duplicates(subset=['款号'], keep='last', inplace=True, ignore_index=True)
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -1813,7 +1824,7 @@ class MysqlDatasQuery:
         cols = list(df.columns)
         cols.insert(3, cols.pop(cols.index('spu_id')))
         df = df[cols]
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -1868,7 +1879,7 @@ class MysqlDatasQuery:
             }
         )
         df = df[df['花费'] > 0]
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -1944,7 +1955,7 @@ class MysqlDatasQuery:
         df['k_是否品牌词'] = df['k_是否品牌词'].apply(lambda x: '品牌词' if x else '-')
         df['s_是否品牌词'] = df['搜索词'].str.contains('万里马|wanlima', regex=True)
         df['s_是否品牌词'] = df['s_是否品牌词'].apply(lambda x: '品牌词' if x else '-')
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -1994,7 +2005,7 @@ class MysqlDatasQuery:
         idx = df.groupby(['日期', '店铺名称', '商品id', '货号', '访客数', '成交客户数', '加购商品件数', '加购人数'])['更新时间'].idxmax()
         df = df.loc[idx]
         df = df[['日期', '店铺名称', '商品id', '货号', '访客数', '成交客户数', '加购商品件数', '加购人数', '成交单量', '成交金额']]
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -2044,7 +2055,7 @@ class MysqlDatasQuery:
         idx = df.groupby(['日期', '店铺名称', '商品id', '货号', '访客数', '成交客户数', '加购商品件数', '加购人数'])['更新时间'].idxmax()
         df = df.loc[idx]
         df = df[['日期', '店铺名称', '商品id', '货号', '访客数', '成交客户数', '加购商品件数', '加购人数', '成交单量', '成交金额']]
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -2104,7 +2115,7 @@ class MysqlDatasQuery:
         idx = df.groupby(['日期', '店铺名称', '词类型', '搜索词'])['更新时间'].idxmax()
         df = df.loc[idx]
         df = df[['日期', '店铺名称', '词类型', '搜索词', '访客数', '加购人数', '支付金额', '支付转化率', '支付买家数', '客单价', 'uv价值']]
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -2120,6 +2131,39 @@ class MysqlDatasQuery:
             'transaction_mode': 'batch',  # 事务模式
             'unique_keys': [['日期', '店铺名称', '词类型', '搜索词']],  # 唯一约束列表
         }
+    
+    def pdd_tg(self, db_name='聚合数据', table_name='拼多多_商品推广'):
+        """拼多多商品推广数据"""
+        start_date, end_date = self.months_data(num=self.months)
+        projection = ['日期', '店铺名称', '营销场景', '商品id', '总花费']
+        df = self.download_manager.data_to_df(
+            db_name='爱库存2',
+            table_name='拼多多_商品推广',
+            start_date=start_date,
+            end_date=end_date,
+            projection=projection,
+        )
+        if len(df) == 0:
+            return None, None
+        df = df.groupby(['日期', '店铺名称', '营销场景'], as_index=False).agg({'总花费': 'sum'}).rename(columns={'总花费': '花费'})
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
+        return df, {
+            'db_name': db_name,
+            'table_name': table_name,
+            'set_typ': set_typ,
+            'primary_keys': [],  # 创建唯一主键
+            'check_duplicate': False,  # 检查重复数据
+            'duplicate_columns': [],  # 指定排重的组合键
+            'update_on_duplicate': True,  # 更新旧数据
+            'allow_null': False,  # 允许插入空值
+            'partition_by': None,  # 分表方式
+            'partition_date_column': '日期',  # 用于分表的日期列名，默认为'日期'
+            'indexes': [],  # 普通索引列
+            'transaction_mode': 'batch',  # 事务模式
+            'unique_keys': [['日期', '店铺名称', '营销场景']],  # 唯一约束列表
+        }
+
+
 
     @error_handler.log_on_exception(logger=logger)
     @upload_data_decorator()
@@ -2133,7 +2177,7 @@ class MysqlDatasQuery:
             projection={},
         )
         df.drop_duplicates(subset=['场次id'], keep='first', inplace=True, ignore_index=True)
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         ordered_columns = [
             '日期',
             '店铺名称',
@@ -2201,6 +2245,7 @@ class MysqlDatasQuery:
         df_jd = pd.DataFrame()  # 京东推广
         df_jd_qzyx = pd.DataFrame()  # 京东全站推广
         df_jd_ziying = pd.DataFrame()  # 京东推广
+        df_pdd = pd.DataFrame()  # 拼多多推广
         start_date, end_date = self.months_data(num=self.months)
         projection = {
             '日期': 1,
@@ -2565,7 +2610,14 @@ class MysqlDatasQuery:
             df_jd_ziying.rename(columns={'产品线': '营销场景', '展现数': '展现量', '点击数': '点击量'}, inplace=True)
             df_jd_ziying = df_jd_ziying[df_jd_ziying['花费'] > 0]
 
-        _datas = [item for item in  [df_tm, df_tb, df_tb_qzt, df_al, df_sj, df_tm_pxb, df_tm_living, df_jd, df_jd_qzyx, df_jd_ziying] if len(item) > 0]  # 阻止空的 dataframe
+        # 拼多多推广
+        df_pdd, _ = self.pdd_tg(db_name='聚合数据', table_name='拼多多_商品推广')
+        df_pdd['店铺名称'] = df_pdd['店铺名称'].map({
+            '万里马箱包官方旗舰店': '拼多多_丹宁', 
+            '万里马箱包皮具官方旗舰店': '拼多多_togo',
+        }).fillna('-')
+
+        _datas = [item for item in  [df_tm, df_tb, df_tb_qzt, df_al, df_sj, df_tm_pxb, df_tm_living, df_jd, df_jd_qzyx, df_jd_ziying, df_pdd] if len(item) > 0]  # 阻止空的 dataframe
         df = pd.concat(_datas, axis=0, ignore_index=True)
         # 超级直播全站推广不包含在营销场景报表中，所以单独添加  2025-03-05
         projection = {
@@ -2618,7 +2670,7 @@ class MysqlDatasQuery:
             }
         )
         df.sort_values(['日期', '店铺名称', '花费'], ascending=[False, False, False], ignore_index=True, inplace=True)
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -2694,7 +2746,7 @@ class MysqlDatasQuery:
         df = df[new_columns]
         df['更新时间'] = df.pop('更新时间')
         df = df.astype({'日期': 'datetime64[ns]'}, errors='ignore')
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -2723,7 +2775,7 @@ class MysqlDatasQuery:
             projection=projection,
         )
         df.drop_duplicates(subset=['日期', '人群类型', '店铺名称', '人群规模', '广告投入金额'], keep='last', inplace=True, ignore_index=True)
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -2762,7 +2814,7 @@ class MysqlDatasQuery:
         df.rename(columns={'起始日期': '日期'}, inplace=True)
 
         # df.drop_duplicates(subset=['日期', '店铺名称', '场景id', '父渠道id'], keep='last', inplace=True, ignore_index=True)
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -2822,7 +2874,7 @@ class MysqlDatasQuery:
         df['用户年龄'] = df['用户年龄'].apply(lambda x: '~'.join(re.findall(r'^(\d+).*-(\d+)岁$', str(x))[0]) if '岁' in str(x) else x)
         df['消费能力等级'] = df['消费能力等级'].apply(lambda x: f'L{''.join(re.findall(r'(\d)', str(x)))}' if '购买力' in str(x) else x)
         df.rename(columns={'消耗_元': '消耗'}, inplace=True)
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -3314,50 +3366,50 @@ def date_table():
 
 
 def query1(months=1, download_manager=None):
-    sdq = MysqlDatasQuery(download_manager=download_manager)  # 实例化数据处理类
-    sdq.months = months  # 设置数据周期， 1 表示近 2 个月
+    msdq = MysqlDatasQuery(download_manager=download_manager)  # 实例化数据处理类
+    msdq.months = months  # 设置数据周期， 1 表示近 2 个月
     # 依赖表  -- >>
-    sdq.tg_wxt(db_name='聚合数据', table_name='天猫_主体报表')
-    sdq.tg_cjzb(db_name='聚合数据', table_name='天猫_超级直播')
-    sdq.pxb_zh(db_name='聚合数据', table_name='天猫_品销宝账户报表')
+    msdq.tg_wxt(db_name='聚合数据', table_name='天猫_主体报表')
+    msdq.tg_cjzb(db_name='聚合数据', table_name='天猫_超级直播')
+    msdq.pxb_zh(db_name='聚合数据', table_name='天猫_品销宝账户报表')
     # 依赖表  << --
 
-    sdq.syj(db_name='聚合数据', table_name='生意经_宝贝指标')
-    sdq.idbm(db_name='聚合数据', table_name='商品id编码表')
-    sdq.sp_picture(db_name='聚合数据', table_name='商品id图片对照表')
-    sdq.sp_cost(db_name='聚合数据', table_name='商品成本')
-    sdq.jdjzt(db_name='聚合数据', table_name='京东_京准通')
-    sdq.sku_sales(db_name='聚合数据', table_name='京东_sku_商品明细')
+    msdq.syj(db_name='聚合数据', table_name='生意经_宝贝指标')
+    msdq.idbm(db_name='聚合数据', table_name='商品id编码表')
+    msdq.sp_picture(db_name='聚合数据', table_name='商品id图片对照表')
+    msdq.sp_cost(db_name='聚合数据', table_name='商品成本')
+    msdq.jdjzt(db_name='聚合数据', table_name='京东_京准通')
+    msdq.sku_sales(db_name='聚合数据', table_name='京东_sku_商品明细')
 
-    sdq._ald_wxt(db_name='聚合数据', table_name='奥莱店_主体报表')
-    sdq._sj_wxt(db_name='聚合数据', table_name='圣积天猫店_主体报表')
-    sdq._tb_wxt(db_name='聚合数据', table_name='淘宝_主体报表')
-    sdq.jdqzyx(db_name='聚合数据', table_name='京东_京准通_全站营销')
-    sdq.spu_sales(db_name='聚合数据', table_name='京东_spu_商品明细')
-    sdq.zb_ccfx(db_name='聚合数据', table_name='生意参谋_直播场次分析')
-    sdq.tg_by_day(db_name='聚合数据', table_name='多店推广场景_按日聚合')
-    sdq.performance_concat(bb_tg=False, db_name='聚合数据', table_name='天猫_推广汇总')  # _推广商品销售
+    msdq._ald_wxt(db_name='聚合数据', table_name='奥莱店_主体报表')
+    msdq._sj_wxt(db_name='聚合数据', table_name='圣积天猫店_主体报表')
+    msdq._tb_wxt(db_name='聚合数据', table_name='淘宝_主体报表')
+    msdq.jdqzyx(db_name='聚合数据', table_name='京东_京准通_全站营销')
+    msdq.spu_sales(db_name='聚合数据', table_name='京东_spu_商品明细')
+    msdq.zb_ccfx(db_name='聚合数据', table_name='生意参谋_直播场次分析')
+    msdq.tg_by_day(db_name='聚合数据', table_name='多店推广场景_按日聚合')
+    msdq.performance_concat(bb_tg=False, db_name='聚合数据', table_name='天猫_推广汇总')  # _推广商品销售
 
 
 def query2(months=1, download_manager=None):
-    sdq = MysqlDatasQuery(download_manager=download_manager)  # 实例化数据处理类
-    sdq.months = months  # 设置数据周期， 1 表示近 2 个月
-    sdq.dplyd(db_name='聚合数据', table_name='店铺流量来源构成')
-    sdq.tg_rqbb(db_name='聚合数据', table_name='天猫_人群报表')
-    sdq.tg_gjc(db_name='聚合数据', table_name='天猫_关键词报表')
-    sdq.jd_gjc(db_name='聚合数据', table_name='京东_关键词报表')
-    sdq.se_search(db_name='聚合数据', table_name='天猫店铺来源_手淘搜索')
+    msdq = MysqlDatasQuery(download_manager=download_manager)  # 实例化数据处理类
+    msdq.months = months  # 设置数据周期， 1 表示近 2 个月
+    msdq.dplyd(db_name='聚合数据', table_name='店铺流量来源构成')
+    msdq.tg_rqbb(db_name='聚合数据', table_name='天猫_人群报表')
+    msdq.tg_gjc(db_name='聚合数据', table_name='天猫_关键词报表')
+    msdq.jd_gjc(db_name='聚合数据', table_name='京东_关键词报表')
+    msdq.se_search(db_name='聚合数据', table_name='天猫店铺来源_手淘搜索')
     # sdq.aikucun_bd_spu(db_name='聚合数据', table_name='爱库存_商品spu榜单')
-    sdq.dmp_crowd(db_name='聚合数据', table_name='达摩盘_人群报表')
-    sdq.deeplink(db_name='聚合数据', table_name='达摩盘_deeplink人群洞察')
-    sdq.global_insights(db_name='聚合数据', table_name='全域洞察')
+    msdq.dmp_crowd(db_name='聚合数据', table_name='达摩盘_人群报表')
+    msdq.deeplink(db_name='聚合数据', table_name='达摩盘_deeplink人群洞察')
+    msdq.global_insights(db_name='聚合数据', table_name='全域洞察')
 
 
 def query3(months=1, download_manager=None):
-    sdq = MysqlDatasQuery(download_manager=download_manager)  # 实例化数据处理类
-    sdq.months = months  # 设置数据周期， 1 表示近 2 个月
-    sdq.spph(db_name='聚合数据', table_name='天猫_商品排行')
-    sdq.item_up(db_name='聚合数据', table_name='淘宝店铺货品')
+    msdq = MysqlDatasQuery(download_manager=download_manager)  # 实例化数据处理类
+    msdq.months = months  # 设置数据周期， 1 表示近 2 个月
+    msdq.spph(db_name='聚合数据', table_name='天猫_商品排行')
+    msdq.item_up(db_name='聚合数据', table_name='淘宝店铺货品')
 
 
 def main(months=3):
@@ -3386,13 +3438,18 @@ if __name__ == '__main__':
     # main(months=3)
     pass
 
-    download_manager = s_query.QueryDatas(
-        username=username, 
-        password=password, 
-        host=host, 
-        port=int(port),
-        pool_size=10,
-        )
-    sdq = MysqlDatasQuery(download_manager=download_manager) 
-    sdq.months = 1
-    sdq.shops_concat(db_name='聚合数据', table_name='多店聚合_日报')
+    db_config = {
+        'username': username,
+        'password': password,
+        'host': host,
+        'port': int(port),
+        'pool_size': 20,
+        'mincached': 5,
+        'maxcached': 10,
+    }
+    with s_query.QueryDatas(**db_config) as download_manager:
+        # shdq = ShopDataQuery(download_manager=download_manager) 
+        # shdq.months = 1
+        # shdq.shops_concat(db_name='聚合数据', table_name='多店聚合_日报')
+
+        query1(download_manager=download_manager, months=1)

mdbq/aggregation/set_typ_dict.py

@@ -38,7 +38,7 @@ SET_TYP_DICT = {
         '直接成交笔数': 'int',
         '直接成交金额': 'decimal(12,2)',
     },
-    '聚合数据_奥莱_主体报表': {
+    '聚合数据_奥莱店_主体报表': {
         '日期': 'date',
         '推广渠道': 'varchar(100)',
         '店铺名称': 'varchar(255)',
@@ -582,6 +582,35 @@ SET_TYP_DICT = {
         '实际消耗': 'decimal(10,2)',
         '推广成交金额': 'decimal(12,2)',
     },
+    '聚合数据_店铺流量来源构成': {
+        '日期': 'DATE',
+        '店铺名称': 'varchar(255)',
+        '类别': 'varchar(100)',
+        '来源构成': 'varchar(100)',
+        '一级来源': 'varchar(100)',
+        '二级来源': 'varchar(100)',
+        '三级来源': 'varchar(100)',
+        '访客数': 'int',
+        '支付金额': 'decimal(12,2)',
+        '支付买家数': 'smallint',
+        '支付转化率': 'decimal(10,4)',
+        '加购人数': 'smallint',
+        '加购件数': 'smallint',
+        '下单买家数': 'smallint',
+        '关注店铺人数': 'smallint',
+        '一级来源索引': 'smallint',
+        '二级来源索引': 'smallint',
+        '三级来源索引': 'smallint',
+        '更新时间': 'timestamp',
+    },
+    '爱库存2_拼多多_商品推广': {
+        '日期': 'date',
+        '店铺名称': 'varchar(255)',
+        '营销场景': 'varchar(128)',
+        '商品id': 'bigint',
+        '商品名称': 'varchar(255)',
+        '实际消耗': 'decimal(10,2)',
+    },
 }
 
 

mdbq/mysql/uploader.py

@@ -1071,6 +1071,10 @@ class MySQLUploader:
         # 统一处理原始数据中列名的特殊字符
         data = self.normalize_column_names(data)
 
+        if not set_typ:
+            logger.warning('set_typ为空, 将自动推断数据类型, 可能存在数据类型识别错误', {
+                'func': sys._getframe().f_code.co_name,
+            })
         # set_typ的键清洗
         if not set_typ:
             set_typ = {}

{mdbq-4.0.52.dist-info → mdbq-4.0.54.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.2
 Name: mdbq
-Version: 4.0.52
+Version: 4.0.54
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-4.0.52.dist-info → mdbq-4.0.54.dist-info}/RECORD

@@ -1,8 +1,8 @@
 mdbq/__init__.py,sha256=Il5Q9ATdX8yXqVxtP_nYqUhExzxPC_qk_WXQ_4h0exg,16
-mdbq/__version__.py,sha256=oRmzDEkmmyAlXwpbKoDeVNJzH0P6pghSjKc3gq_WNa4,18
+mdbq/__version__.py,sha256=TH_tREycuMQsoB20nak5sEQHNWCpiQzI-3Qpm0fm96g,18
 mdbq/aggregation/__init__.py,sha256=EeDqX2Aml6SPx8363J-v1lz0EcZtgwIBYyCJV6CcEDU,40
-mdbq/aggregation/query_data.py,sha256=83-CR2jFFrMJMwkuZm43Kn7P3mjTvjP6i4Av6eEudT8,157236
-mdbq/aggregation/set_typ_dict.py,sha256=Cax8i6My6xuTC8l-eB0AJ-kOZQwPRcZj-P9dhiiaTj0,21078
+mdbq/aggregation/query_data.py,sha256=SOqR9o2UFaavbPZ73UWc5AcmxE2U9xFpIh3hPYuvGy4,160008
+mdbq/aggregation/set_typ_dict.py,sha256=93Y5jkEMRI0DUEWA7aj7KSYw1OSmvII4d_-83ibelx8,22130
 mdbq/log/__init__.py,sha256=Mpbrav0s0ifLL7lVDAuePEi1hJKiSHhxcv1byBKDl5E,15
 mdbq/log/mylogger.py,sha256=kPe3wsQNaB1slfX-Z7VMqzZoMoqPfc7ylYXZDBeFzzI,24945
 mdbq/myconf/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
@@ -12,7 +12,7 @@ mdbq/mysql/deduplicator.py,sha256=AB3gL7ZwhcmzGHSu4UY4M6YZVPFZ2wlAN3BCcwAhegQ,73
 mdbq/mysql/mysql.py,sha256=pDg771xBugCMSTWeskIFTi3pFLgaqgyG3smzf-86Wn8,56772
 mdbq/mysql/s_query.py,sha256=1wJ3HVjHEF6FA-bVeeesRlsf73CZSvVTEQ51CF1OsE4,46786
 mdbq/mysql/unique_.py,sha256=MaztT-WIyEQUs-OOYY4pFulgHVcXR1BfCy3QUz0XM_U,21127
-mdbq/mysql/uploader.py,sha256=Y5gCXuhZR-Oo89xaU4wRlcrzDtarABEyJLt43GvDhcI,88718
+mdbq/mysql/uploader.py,sha256=dJRAtj-IebPgOHvKKeu-CqoeqfSaRqusSBgt_hXgNdw,88926
 mdbq/other/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
 mdbq/other/download_sku_picture.py,sha256=X66sVdvVgzoNzmgVJyPtd7bjEvctEKtLPblEPF65EWc,46940
 mdbq/other/error_handler.py,sha256=4p5haAXSY-P78stp4Xwo_MwAngWYqyKj5ogWIuYXMeY,12631
@@ -25,7 +25,7 @@ mdbq/pbix/refresh_all.py,sha256=OBT9EewSZ0aRS9vL_FflVn74d4l2G00wzHiikCC4TC0,5926
 mdbq/redis/__init__.py,sha256=YtgBlVSMDphtpwYX248wGge1x-Ex_mMufz4-8W0XRmA,12
 mdbq/redis/getredis.py,sha256=vpBuNc22uj9Vr-_Dh25_wpwWM1e-072EAAIBdB_IpL0,23494
 mdbq/spider/__init__.py,sha256=RBMFXGy_jd1HXZhngB2T2XTvJqki8P_Fr-pBcwijnew,18
-mdbq-4.0.52.dist-info/METADATA,sha256=OLb8hSRm0jr5HU-n2MJ0JILsojpcmcbGBCJCaPdZHN4,364
-mdbq-4.0.52.dist-info/WHEEL,sha256=jB7zZ3N9hIM9adW7qlTAyycLYW9npaWKLRzaoVcLKcM,91
-mdbq-4.0.52.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
-mdbq-4.0.52.dist-info/RECORD,,
+mdbq-4.0.54.dist-info/METADATA,sha256=uWfsvpl8sPzKxK3SEDqV7tRNUOxyOxJClVHdTPplA4g,364
+mdbq-4.0.54.dist-info/WHEEL,sha256=jB7zZ3N9hIM9adW7qlTAyycLYW9npaWKLRzaoVcLKcM,91
+mdbq-4.0.54.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
+mdbq-4.0.54.dist-info/RECORD,,