mdbq 4.0.53__tar.gz → 4.0.54__tar.gz

{mdbq-4.0.53 → mdbq-4.0.54}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.2
 Name: mdbq
-Version: 4.0.53
+Version: 4.0.54
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

mdbq-4.0.54/mdbq/__version__.py

@@ -0,0 +1 @@
+VERSION = '4.0.54'

{mdbq-4.0.53 → mdbq-4.0.54}/mdbq/aggregation/query_data.py

@@ -211,7 +211,7 @@ def upload_data_decorator(**upload_kwargs):
     return decorator
 
 
-class MysqlDatasQuery:
+class ShopDataQuery:
     """
     从数据库中下载数据
     """
@@ -265,6 +265,7 @@ class MysqlDatasQuery:
         }
     
     def _get_tg_data(self, db_name='聚合数据', table_name='多店推广场景_按日聚合', shop_list:dict=None):
+        """获取推广数据"""
         start_date, end_date = self.months_data(num=self.months)
         projection = ['日期', '店铺名称', '营销场景', '花费']
         df = self.download_manager.data_to_df(
@@ -377,6 +378,15 @@ class MysqlDatasQuery:
         return df
 
     
+class MysqlDatasQuery:
+    """
+    从数据库中下载数据
+    """
+    def __init__(self, download_manager):
+        self.months = 0  # 下载几个月数据, 0 表示当月, 1 是上月 1 号至今
+        self.download_manager = download_manager
+        self.pf_datas = []
+
     # @error_handler.log_on_exception(logger=logger)
     def tg_wxt(self, db_name='聚合数据', table_name='天猫_主体报表', is_maximize=True):
         start_date, end_date = self.months_data(num=self.months)
@@ -2121,6 +2131,39 @@ class MysqlDatasQuery:
             'transaction_mode': 'batch',  # 事务模式
             'unique_keys': [['日期', '店铺名称', '词类型', '搜索词']],  # 唯一约束列表
         }
+    
+    def pdd_tg(self, db_name='聚合数据', table_name='拼多多_商品推广'):
+        """拼多多商品推广数据"""
+        start_date, end_date = self.months_data(num=self.months)
+        projection = ['日期', '店铺名称', '营销场景', '商品id', '总花费']
+        df = self.download_manager.data_to_df(
+            db_name='爱库存2',
+            table_name='拼多多_商品推广',
+            start_date=start_date,
+            end_date=end_date,
+            projection=projection,
+        )
+        if len(df) == 0:
+            return None, None
+        df = df.groupby(['日期', '店铺名称', '营销场景'], as_index=False).agg({'总花费': 'sum'}).rename(columns={'总花费': '花费'})
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
+        return df, {
+            'db_name': db_name,
+            'table_name': table_name,
+            'set_typ': set_typ,
+            'primary_keys': [],  # 创建唯一主键
+            'check_duplicate': False,  # 检查重复数据
+            'duplicate_columns': [],  # 指定排重的组合键
+            'update_on_duplicate': True,  # 更新旧数据
+            'allow_null': False,  # 允许插入空值
+            'partition_by': None,  # 分表方式
+            'partition_date_column': '日期',  # 用于分表的日期列名，默认为'日期'
+            'indexes': [],  # 普通索引列
+            'transaction_mode': 'batch',  # 事务模式
+            'unique_keys': [['日期', '店铺名称', '营销场景']],  # 唯一约束列表
+        }
+
+
 
     @error_handler.log_on_exception(logger=logger)
     @upload_data_decorator()
@@ -2202,6 +2245,7 @@ class MysqlDatasQuery:
         df_jd = pd.DataFrame()  # 京东推广
         df_jd_qzyx = pd.DataFrame()  # 京东全站推广
         df_jd_ziying = pd.DataFrame()  # 京东推广
+        df_pdd = pd.DataFrame()  # 拼多多推广
         start_date, end_date = self.months_data(num=self.months)
         projection = {
             '日期': 1,
@@ -2566,7 +2610,14 @@ class MysqlDatasQuery:
             df_jd_ziying.rename(columns={'产品线': '营销场景', '展现数': '展现量', '点击数': '点击量'}, inplace=True)
             df_jd_ziying = df_jd_ziying[df_jd_ziying['花费'] > 0]
 
-        _datas = [item for item in  [df_tm, df_tb, df_tb_qzt, df_al, df_sj, df_tm_pxb, df_tm_living, df_jd, df_jd_qzyx, df_jd_ziying] if len(item) > 0]  # 阻止空的 dataframe
+        # 拼多多推广
+        df_pdd, _ = self.pdd_tg(db_name='聚合数据', table_name='拼多多_商品推广')
+        df_pdd['店铺名称'] = df_pdd['店铺名称'].map({
+            '万里马箱包官方旗舰店': '拼多多_丹宁', 
+            '万里马箱包皮具官方旗舰店': '拼多多_togo',
+        }).fillna('-')
+
+        _datas = [item for item in  [df_tm, df_tb, df_tb_qzt, df_al, df_sj, df_tm_pxb, df_tm_living, df_jd, df_jd_qzyx, df_jd_ziying, df_pdd] if len(item) > 0]  # 阻止空的 dataframe
         df = pd.concat(_datas, axis=0, ignore_index=True)
         # 超级直播全站推广不包含在营销场景报表中，所以单独添加  2025-03-05
         projection = {
@@ -3315,50 +3366,50 @@ def date_table():
 
 
 def query1(months=1, download_manager=None):
-    sdq = MysqlDatasQuery(download_manager=download_manager)  # 实例化数据处理类
-    sdq.months = months  # 设置数据周期， 1 表示近 2 个月
+    msdq = MysqlDatasQuery(download_manager=download_manager)  # 实例化数据处理类
+    msdq.months = months  # 设置数据周期， 1 表示近 2 个月
     # 依赖表  -- >>
-    sdq.tg_wxt(db_name='聚合数据', table_name='天猫_主体报表')
-    sdq.tg_cjzb(db_name='聚合数据', table_name='天猫_超级直播')
-    sdq.pxb_zh(db_name='聚合数据', table_name='天猫_品销宝账户报表')
+    msdq.tg_wxt(db_name='聚合数据', table_name='天猫_主体报表')
+    msdq.tg_cjzb(db_name='聚合数据', table_name='天猫_超级直播')
+    msdq.pxb_zh(db_name='聚合数据', table_name='天猫_品销宝账户报表')
     # 依赖表  << --
 
-    sdq.syj(db_name='聚合数据', table_name='生意经_宝贝指标')
-    sdq.idbm(db_name='聚合数据', table_name='商品id编码表')
-    sdq.sp_picture(db_name='聚合数据', table_name='商品id图片对照表')
-    sdq.sp_cost(db_name='聚合数据', table_name='商品成本')
-    sdq.jdjzt(db_name='聚合数据', table_name='京东_京准通')
-    sdq.sku_sales(db_name='聚合数据', table_name='京东_sku_商品明细')
+    msdq.syj(db_name='聚合数据', table_name='生意经_宝贝指标')
+    msdq.idbm(db_name='聚合数据', table_name='商品id编码表')
+    msdq.sp_picture(db_name='聚合数据', table_name='商品id图片对照表')
+    msdq.sp_cost(db_name='聚合数据', table_name='商品成本')
+    msdq.jdjzt(db_name='聚合数据', table_name='京东_京准通')
+    msdq.sku_sales(db_name='聚合数据', table_name='京东_sku_商品明细')
 
-    sdq._ald_wxt(db_name='聚合数据', table_name='奥莱店_主体报表')
-    sdq._sj_wxt(db_name='聚合数据', table_name='圣积天猫店_主体报表')
-    sdq._tb_wxt(db_name='聚合数据', table_name='淘宝_主体报表')
-    sdq.jdqzyx(db_name='聚合数据', table_name='京东_京准通_全站营销')
-    sdq.spu_sales(db_name='聚合数据', table_name='京东_spu_商品明细')
-    sdq.zb_ccfx(db_name='聚合数据', table_name='生意参谋_直播场次分析')
-    sdq.tg_by_day(db_name='聚合数据', table_name='多店推广场景_按日聚合')
-    sdq.performance_concat(bb_tg=False, db_name='聚合数据', table_name='天猫_推广汇总')  # _推广商品销售
+    msdq._ald_wxt(db_name='聚合数据', table_name='奥莱店_主体报表')
+    msdq._sj_wxt(db_name='聚合数据', table_name='圣积天猫店_主体报表')
+    msdq._tb_wxt(db_name='聚合数据', table_name='淘宝_主体报表')
+    msdq.jdqzyx(db_name='聚合数据', table_name='京东_京准通_全站营销')
+    msdq.spu_sales(db_name='聚合数据', table_name='京东_spu_商品明细')
+    msdq.zb_ccfx(db_name='聚合数据', table_name='生意参谋_直播场次分析')
+    msdq.tg_by_day(db_name='聚合数据', table_name='多店推广场景_按日聚合')
+    msdq.performance_concat(bb_tg=False, db_name='聚合数据', table_name='天猫_推广汇总')  # _推广商品销售
 
 
 def query2(months=1, download_manager=None):
-    sdq = MysqlDatasQuery(download_manager=download_manager)  # 实例化数据处理类
-    sdq.months = months  # 设置数据周期， 1 表示近 2 个月
-    sdq.dplyd(db_name='聚合数据', table_name='店铺流量来源构成')
-    sdq.tg_rqbb(db_name='聚合数据', table_name='天猫_人群报表')
-    sdq.tg_gjc(db_name='聚合数据', table_name='天猫_关键词报表')
-    sdq.jd_gjc(db_name='聚合数据', table_name='京东_关键词报表')
-    sdq.se_search(db_name='聚合数据', table_name='天猫店铺来源_手淘搜索')
+    msdq = MysqlDatasQuery(download_manager=download_manager)  # 实例化数据处理类
+    msdq.months = months  # 设置数据周期， 1 表示近 2 个月
+    msdq.dplyd(db_name='聚合数据', table_name='店铺流量来源构成')
+    msdq.tg_rqbb(db_name='聚合数据', table_name='天猫_人群报表')
+    msdq.tg_gjc(db_name='聚合数据', table_name='天猫_关键词报表')
+    msdq.jd_gjc(db_name='聚合数据', table_name='京东_关键词报表')
+    msdq.se_search(db_name='聚合数据', table_name='天猫店铺来源_手淘搜索')
     # sdq.aikucun_bd_spu(db_name='聚合数据', table_name='爱库存_商品spu榜单')
-    sdq.dmp_crowd(db_name='聚合数据', table_name='达摩盘_人群报表')
-    sdq.deeplink(db_name='聚合数据', table_name='达摩盘_deeplink人群洞察')
-    sdq.global_insights(db_name='聚合数据', table_name='全域洞察')
+    msdq.dmp_crowd(db_name='聚合数据', table_name='达摩盘_人群报表')
+    msdq.deeplink(db_name='聚合数据', table_name='达摩盘_deeplink人群洞察')
+    msdq.global_insights(db_name='聚合数据', table_name='全域洞察')
 
 
 def query3(months=1, download_manager=None):
-    sdq = MysqlDatasQuery(download_manager=download_manager)  # 实例化数据处理类
-    sdq.months = months  # 设置数据周期， 1 表示近 2 个月
-    sdq.spph(db_name='聚合数据', table_name='天猫_商品排行')
-    sdq.item_up(db_name='聚合数据', table_name='淘宝店铺货品')
+    msdq = MysqlDatasQuery(download_manager=download_manager)  # 实例化数据处理类
+    msdq.months = months  # 设置数据周期， 1 表示近 2 个月
+    msdq.spph(db_name='聚合数据', table_name='天猫_商品排行')
+    msdq.item_up(db_name='聚合数据', table_name='淘宝店铺货品')
 
 
 def main(months=3):
@@ -3387,13 +3438,18 @@ if __name__ == '__main__':
     # main(months=3)
     pass
 
-    download_manager = s_query.QueryDatas(
-        username=username, 
-        password=password, 
-        host=host, 
-        port=int(port),
-        pool_size=10,
-        )
-    sdq = MysqlDatasQuery(download_manager=download_manager) 
-    sdq.months = 1
-    sdq.dplyd(db_name='聚合数据', table_name='店铺流量来源构成')
+    db_config = {
+        'username': username,
+        'password': password,
+        'host': host,
+        'port': int(port),
+        'pool_size': 20,
+        'mincached': 5,
+        'maxcached': 10,
+    }
+    with s_query.QueryDatas(**db_config) as download_manager:
+        # shdq = ShopDataQuery(download_manager=download_manager) 
+        # shdq.months = 1
+        # shdq.shops_concat(db_name='聚合数据', table_name='多店聚合_日报')
+
+        query1(download_manager=download_manager, months=1)

{mdbq-4.0.53 → mdbq-4.0.54}/mdbq/aggregation/set_typ_dict.py

@@ -603,6 +603,14 @@ SET_TYP_DICT = {
         '三级来源索引': 'smallint',
         '更新时间': 'timestamp',
     },
+    '爱库存2_拼多多_商品推广': {
+        '日期': 'date',
+        '店铺名称': 'varchar(255)',
+        '营销场景': 'varchar(128)',
+        '商品id': 'bigint',
+        '商品名称': 'varchar(255)',
+        '实际消耗': 'decimal(10,2)',
+    },
 }
 
 

{mdbq-4.0.53 → mdbq-4.0.54}/mdbq.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.2
 Name: mdbq
-Version: 4.0.53
+Version: 4.0.54
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

mdbq-4.0.53/mdbq/__version__.py

@@ -1 +0,0 @@
-VERSION = '4.0.53'