mdbq 3.2.3__py3-none-any.whl → 3.2.5__py3-none-any.whl

mdbq/aggregation/optimize_data.py

@@ -72,23 +72,12 @@ def restart_mongodb():
 
 
 def op_data(db_name_lists, days: int = 63, is_mongo=True, is_mysql=True):
-    """ """
-
-    if socket.gethostname() == 'xigua_lx' or socket.gethostname() == 'xigua1' or socket.gethostname() == 'Mac2.local':
-        # Mysql
-        if is_mysql:
-            s = mysql.OptimizeDatas(username=username, password=password, host=host, port=port)
-            s.db_name_lists = db_name_lists
-            s.days = days
-            s.optimize_list()
-
-    elif socket.gethostname() == 'company':
-        # Mysql
-        if is_mysql:
-            s = mysql.OptimizeDatas(username=username, password=password, host=host, port=port)
-            s.db_name_lists = db_name_lists
-            s.days = days
-            s.optimize_list()
+    # Mysql
+    if is_mysql:
+        s = mysql.OptimizeDatas(username=username, password=password, host=host, port=port)
+        s.db_name_lists = db_name_lists
+        s.days = days
+        s.optimize_list()
 
 
 if __name__ == '__main__':

mdbq/aggregation/query_data.py

@@ -17,6 +17,7 @@ import json
 import os
 import time
 import calendar
+import concurrent.futures
 
 """
 
@@ -3120,44 +3121,7 @@ def date_table():
     )
 
 
-def main(days=150, months=3):
-    """
-    days:    清理聚合数据的日期长度
-    months:   生成聚合数据的长度
-    """
-    # 1. 更新日期表  更新货品年份基准表， 属性设置 3 - 货品年份基准
-    date_table()
-    p = products.Products()
-    p.to_mysql()
-
-    # 清理非聚合数据库
-    system = platform.system()  # 本机系统
-    host_name = socket.gethostname()  # 本机名
-    conf = myconfig.main()
-    db_list = conf[system][host_name]['mysql']['数据库集']
-    not_juhe_db_list = [item for item in db_list if item != '聚合数据']
-    optimize_data.op_data(
-        db_name_lists=not_juhe_db_list,
-        days= 31,  # 清理聚合数据的日期长度
-        is_mongo=False,
-        is_mysql=True,
-    )
-
-    # 2. 数据聚合
-    query_(months=months)
-    time.sleep(60)
-
-    # 3. 清理聚合数据
-
-    optimize_data.op_data(
-        db_name_lists=['聚合数据'],
-        days=days,  # 清理聚合数据的日期长度
-        is_mongo=False,
-        is_mysql=True,
-    )
-
-
-def query_(months=1, less_dict=[]):
+def query1(months=1, less_dict=[]):
     if months == 0:
         print(f'months 不建议为 0 ')
         return
@@ -3170,46 +3134,120 @@ def query_(months=1, less_dict=[]):
     sdq.idbm(db_name='聚合数据', table_name='商品id编码表')
     sdq.sp_picture(db_name='聚合数据', table_name='商品id图片对照表')
     sdq.sp_cost(db_name='聚合数据', table_name='商品成本')
-    sdq.dplyd(db_name='聚合数据', table_name='店铺流量来源构成')
     sdq.jdjzt(db_name='聚合数据', table_name='京东_京准通')
     sdq.jdqzyx(db_name='聚合数据', table_name='京东_京准通_全站营销')
     sdq.sku_sales(db_name='聚合数据', table_name='京东_sku_商品明细')
     sdq.spu_sales(db_name='聚合数据', table_name='京东_spu_商品明细')
-    sdq.tg_rqbb(db_name='聚合数据', table_name='天猫_人群报表')
-    sdq.tg_gjc(db_name='聚合数据', table_name='天猫_关键词报表')
     sdq.tg_cjzb(db_name='聚合数据', table_name='天猫_超级直播')
-    sdq.jd_gjc(db_name='聚合数据', table_name='京东_关键词报表')
     sdq.pxb_zh(db_name='聚合数据', table_name='天猫_品销宝账户报表')
-    sdq.se_search(db_name='聚合数据', table_name='天猫店铺来源_手淘搜索')
     sdq.zb_ccfx(db_name='聚合数据', table_name='生意参谋_直播场次分析')
     sdq.tg_by_day(db_name='聚合数据', table_name='多店推广场景_按日聚合')
-    sdq.aikucun_bd_spu(db_name='聚合数据', table_name='爱库存_商品spu榜单')
-    sdq.dmp_crowd(db_name='聚合数据', table_name='达摩盘_人群报表')
-    sdq.deeplink(db_name='聚合数据', table_name='达摩盘_deeplink人群洞察')
     sdq.performance(bb_tg=True, db_name='聚合数据', table_name='_全店商品销售')  # _全店商品销售
     sdq.performance(bb_tg=False, db_name='聚合数据', table_name='_推广商品销售')  # _推广商品销售
     sdq.performance_jd(jd_tg=False, db_name='聚合数据', table_name='_京东_推广商品销售')  # _推广商品销售
     sdq.performance_concat(bb_tg=False, db_name='聚合数据', table_name='天猫_推广汇总')  # _推广商品销售
 
 
-if __name__ == '__main__':
-    # main(
-    #     days=150,  # 清理聚合数据的日期长度
-    #     months=3  # 生成聚合数据的长度
-    # )
+def query2(months=1, less_dict=[]):
+    if months == 0:
+        print(f'months 不建议为 0 ')
+        return
+    sdq = MysqlDatasQuery()  # 实例化数据处理类
+    sdq.months = months  # 设置数据周期， 1 表示近 2 个月
+    sdq.update_service = True  # 调试时加，true: 将数据写入 mysql 服务器
+    sdq.dplyd(db_name='聚合数据', table_name='店铺流量来源构成')
+    sdq.tg_rqbb(db_name='聚合数据', table_name='天猫_人群报表')
+    sdq.tg_gjc(db_name='聚合数据', table_name='天猫_关键词报表')
+    sdq.jd_gjc(db_name='聚合数据', table_name='京东_关键词报表')
+    sdq.se_search(db_name='聚合数据', table_name='天猫店铺来源_手淘搜索')
+    sdq.aikucun_bd_spu(db_name='聚合数据', table_name='爱库存_商品spu榜单')
+    sdq.dmp_crowd(db_name='聚合数据', table_name='达摩盘_人群报表')
+    sdq.deeplink(db_name='聚合数据', table_name='达摩盘_deeplink人群洞察')
+
+
+def main(days=150, months=3):
+    """
+    days:    清理聚合数据的日期长度
+    months:   生成聚合数据的长度
+    """
+    # 1. 更新日期表  更新货品年份基准表， 属性设置 3 - 货品年份基准
     date_table()
-    # query_(months=3)
+    p = products.Products()
+    p.to_mysql()
+
+    # 清理非聚合数据库
+    db_list = [
+        "京东数据3",
+        "属性设置3",
+        "推广数据2",
+        "推广数据_淘宝店",
+        "爱库存2",
+        "生意参谋3",
+        "生意经3",
+        "达摩盘3",
+    ]
+    # 使用 ThreadPoolExecutor 来并行运行
+    with concurrent.futures.ThreadPoolExecutor() as executor:
+        for step in range(len(db_list)):
+            future_to_function = {
+                executor.submit(
+                    optimize_data.op_data,
+                    days=31,
+                    is_mongo=False,
+                    is_mysql=True,
+                    db_name_lists=[db_list[step]],
+                ),
+            }
+        # # 等待所有任务完成并获取执行结果
+        # for future in concurrent.futures.as_completed(future_to_function):
+        #     future.result()
+
+    # 2. 数据聚合
+    query_list = [query1, query2]
+    # 使用 ThreadPoolExecutor 来并行运行
+    with concurrent.futures.ThreadPoolExecutor() as executor:
+        for func_query in query_list:
+            future_to_function = {
+                executor.submit(
+                    func_query,
+                    months=months,
+                    less_dict=[],
+                ),
+            }
+    # query_(months=months)
+    time.sleep(10)
+
+    # 3. 清理聚合数据
+    optimize_data.op_data(
+        db_name_lists=['聚合数据'],
+        days=days,  # 清理聚合数据的日期长度
+        is_mongo=False,
+        is_mysql=True,
+    )
 
-    # system = platform.system()  # 本机系统
-    # host_name = socket.gethostname()  # 本机名
-    # conf = myconfig.main()
-    # db_list = conf[system][host_name]['mysql']['数据库集']
-    # # 4. 清理聚合数据
+
+if __name__ == '__main__':
+    main(
+        days=150,  # 清理聚合数据的日期长度
+        months=3  # 生成聚合数据的长度
+    )
+
+    # query_list = [query1, query2]
+    # # 使用 ThreadPoolExecutor 来并行运行
+    # with concurrent.futures.ThreadPoolExecutor() as executor:
+    #     for func_query in query_list:
+    #         future_to_function = {
+    #             executor.submit(
+    #                 func_query,
+    #                 months=3,
+    #                 less_dict=[],
+    #             ),
+    #         }
+
+    # # 3. 清理聚合数据
     # optimize_data.op_data(
-    #     # db_name_lists=['聚合数据'],
-    #     db_name_lists=db_list,
-    #     days=3650,
+    #     db_name_lists=['聚合数据'],
+    #     days=180,  # 清理聚合数据的日期长度
     #     is_mongo=False,
     #     is_mysql=True,
     # )
-