mdbq 3.2.4__py3-none-any.whl → 3.2.6__py3-none-any.whl

mdbq/aggregation/query_data.py

@@ -3121,6 +3121,50 @@ def date_table():
     )
 
 
+def query1(months=1, less_dict=[]):
+    if months == 0:
+        print(f'months 不建议为 0 ')
+        return
+    sdq = MysqlDatasQuery()  # 实例化数据处理类
+    sdq.months = months  # 设置数据周期， 1 表示近 2 个月
+    sdq.update_service = True  # 调试时加，true: 将数据写入 mysql 服务器
+
+    sdq.tg_wxt(db_name='聚合数据', table_name='天猫_主体报表')
+    sdq.syj(db_name='聚合数据', table_name='生意经_宝贝指标')
+    sdq.idbm(db_name='聚合数据', table_name='商品id编码表')
+    sdq.sp_picture(db_name='聚合数据', table_name='商品id图片对照表')
+    sdq.sp_cost(db_name='聚合数据', table_name='商品成本')
+    sdq.jdjzt(db_name='聚合数据', table_name='京东_京准通')
+    sdq.jdqzyx(db_name='聚合数据', table_name='京东_京准通_全站营销')
+    sdq.sku_sales(db_name='聚合数据', table_name='京东_sku_商品明细')
+    sdq.spu_sales(db_name='聚合数据', table_name='京东_spu_商品明细')
+    sdq.tg_cjzb(db_name='聚合数据', table_name='天猫_超级直播')
+    sdq.pxb_zh(db_name='聚合数据', table_name='天猫_品销宝账户报表')
+    sdq.zb_ccfx(db_name='聚合数据', table_name='生意参谋_直播场次分析')
+    sdq.tg_by_day(db_name='聚合数据', table_name='多店推广场景_按日聚合')
+    sdq.performance(bb_tg=True, db_name='聚合数据', table_name='_全店商品销售')  # _全店商品销售
+    sdq.performance(bb_tg=False, db_name='聚合数据', table_name='_推广商品销售')  # _推广商品销售
+    sdq.performance_jd(jd_tg=False, db_name='聚合数据', table_name='_京东_推广商品销售')  # _推广商品销售
+    sdq.performance_concat(bb_tg=False, db_name='聚合数据', table_name='天猫_推广汇总')  # _推广商品销售
+
+
+def query2(months=1, less_dict=[]):
+    if months == 0:
+        print(f'months 不建议为 0 ')
+        return
+    sdq = MysqlDatasQuery()  # 实例化数据处理类
+    sdq.months = months  # 设置数据周期， 1 表示近 2 个月
+    sdq.update_service = True  # 调试时加，true: 将数据写入 mysql 服务器
+    sdq.dplyd(db_name='聚合数据', table_name='店铺流量来源构成')
+    sdq.tg_rqbb(db_name='聚合数据', table_name='天猫_人群报表')
+    sdq.tg_gjc(db_name='聚合数据', table_name='天猫_关键词报表')
+    sdq.jd_gjc(db_name='聚合数据', table_name='京东_关键词报表')
+    sdq.se_search(db_name='聚合数据', table_name='天猫店铺来源_手淘搜索')
+    sdq.aikucun_bd_spu(db_name='聚合数据', table_name='爱库存_商品spu榜单')
+    sdq.dmp_crowd(db_name='聚合数据', table_name='达摩盘_人群报表')
+    sdq.deeplink(db_name='聚合数据', table_name='达摩盘_deeplink人群洞察')
+
+
 def main(days=150, months=3):
     """
     days:    清理聚合数据的日期长度
@@ -3159,8 +3203,19 @@ def main(days=150, months=3):
         #     future.result()
 
     # 2. 数据聚合
-    query_(months=months)
-    time.sleep(60)
+    query_list = [query1, query2]
+    # 使用 ThreadPoolExecutor 来并行运行
+    with concurrent.futures.ThreadPoolExecutor() as executor:
+        for func_query in query_list:
+            future_to_function = {
+                executor.submit(
+                    func_query,
+                    months=months,
+                    less_dict=[],
+                ),
+            }
+    # query_(months=months)
+    time.sleep(10)
 
     # 3. 清理聚合数据
     optimize_data.op_data(
@@ -3171,59 +3226,28 @@ def main(days=150, months=3):
     )
 
 
-def query_(months=1, less_dict=[]):
-    if months == 0:
-        print(f'months 不建议为 0 ')
-        return
-    sdq = MysqlDatasQuery()  # 实例化数据处理类
-    sdq.months = months  # 设置数据周期， 1 表示近 2 个月
-    sdq.update_service = True  # 调试时加，true: 将数据写入 mysql 服务器
-
-    sdq.tg_wxt(db_name='聚合数据', table_name='天猫_主体报表')
-    sdq.syj(db_name='聚合数据', table_name='生意经_宝贝指标')
-    sdq.idbm(db_name='聚合数据', table_name='商品id编码表')
-    sdq.sp_picture(db_name='聚合数据', table_name='商品id图片对照表')
-    sdq.sp_cost(db_name='聚合数据', table_name='商品成本')
-    sdq.dplyd(db_name='聚合数据', table_name='店铺流量来源构成')
-    sdq.jdjzt(db_name='聚合数据', table_name='京东_京准通')
-    sdq.jdqzyx(db_name='聚合数据', table_name='京东_京准通_全站营销')
-    sdq.sku_sales(db_name='聚合数据', table_name='京东_sku_商品明细')
-    sdq.spu_sales(db_name='聚合数据', table_name='京东_spu_商品明细')
-    sdq.tg_rqbb(db_name='聚合数据', table_name='天猫_人群报表')
-    sdq.tg_gjc(db_name='聚合数据', table_name='天猫_关键词报表')
-    sdq.tg_cjzb(db_name='聚合数据', table_name='天猫_超级直播')
-    sdq.jd_gjc(db_name='聚合数据', table_name='京东_关键词报表')
-    sdq.pxb_zh(db_name='聚合数据', table_name='天猫_品销宝账户报表')
-    sdq.se_search(db_name='聚合数据', table_name='天猫店铺来源_手淘搜索')
-    sdq.zb_ccfx(db_name='聚合数据', table_name='生意参谋_直播场次分析')
-    sdq.tg_by_day(db_name='聚合数据', table_name='多店推广场景_按日聚合')
-    sdq.aikucun_bd_spu(db_name='聚合数据', table_name='爱库存_商品spu榜单')
-    sdq.dmp_crowd(db_name='聚合数据', table_name='达摩盘_人群报表')
-    sdq.deeplink(db_name='聚合数据', table_name='达摩盘_deeplink人群洞察')
-    sdq.performance(bb_tg=True, db_name='聚合数据', table_name='_全店商品销售')  # _全店商品销售
-    sdq.performance(bb_tg=False, db_name='聚合数据', table_name='_推广商品销售')  # _推广商品销售
-    sdq.performance_jd(jd_tg=False, db_name='聚合数据', table_name='_京东_推广商品销售')  # _推广商品销售
-    sdq.performance_concat(bb_tg=False, db_name='聚合数据', table_name='天猫_推广汇总')  # _推广商品销售
-
-
 if __name__ == '__main__':
     main(
         days=150,  # 清理聚合数据的日期长度
         months=3  # 生成聚合数据的长度
     )
-    # date_table()
-    # query_(months=3)
-
-    # system = platform.system()  # 本机系统
-    # host_name = socket.gethostname()  # 本机名
-    # conf = myconfig.main()
-    # db_list = conf[system][host_name]['mysql']['数据库集']
-    # # 4. 清理聚合数据
+
+    # query_list = [query1, query2]
+    # # 使用 ThreadPoolExecutor 来并行运行
+    # with concurrent.futures.ThreadPoolExecutor() as executor:
+    #     for func_query in query_list:
+    #         future_to_function = {
+    #             executor.submit(
+    #                 func_query,
+    #                 months=3,
+    #                 less_dict=[],
+    #             ),
+    #         }
+
+    # # 3. 清理聚合数据
     # optimize_data.op_data(
-    #     # db_name_lists=['聚合数据'],
-    #     db_name_lists=db_list,
-    #     days=3650,
+    #     db_name_lists=['聚合数据'],
+    #     days=180,  # 清理聚合数据的日期长度
     #     is_mongo=False,
     #     is_mysql=True,
     # )
-