mdbq 3.6.23__py3-none-any.whl → 3.7.0__py3-none-any.whl

mdbq/aggregation/optimize_data.py

@@ -1,7 +1,6 @@
 # -*- coding: UTF-8 –*-
 from mdbq.mongo import mongo
 from mdbq.mysql import mysql
-# from mdbq.config import myconfig
 from mdbq.config import default
 import socket
 import subprocess
@@ -12,23 +11,7 @@ import logging
 """
 对指定数据库所有冗余数据进行清理
 """
-m_engine, company_engine, ts_engine, (username, password, host, port) = default.get_engine()
-# username, password, host, port, service_database = None, None, None, None, None,
-# if socket.gethostname() in ['xigua_lx', 'xigua1', 'MacBookPro']:
-#     conf = myconfig.main()
-#     data = conf['Windows']['xigua_lx']['mysql']['local']
-#     username, password, host, port = data['username'], data['password'], data['host'], data['port']
-#     service_database = {'xigua_lx': 'mysql'}
-# elif socket.gethostname() in ['company', 'Mac2.local']:
-#     conf = myconfig.main()
-#     data = conf['Windows']['company']['mysql']['local']
-#     username, password, host, port = data['username'], data['password'], data['host'], data['port']
-#     service_database = {'company': 'mysql'}
-# elif socket.gethostname() == 'xigua_ts':
-#     conf = myconfig.main()
-#     data = conf['Windows']['xigua_ts']['mysql']['remoto']
-#     username, password, host, port = data['username'], data['password'], data['host'], data['port']
-#     service_database = {'xigua_ts': 'mysql'}
+m_engine, username, password, host, port = default.get_mysql_engine(platform='Windows', hostname='xigua_lx', sql='mysql', local='remoto', config_file=None)
 if not username:
     logger.info(f'找不到主机：')
 

mdbq/aggregation/query_data.py

@@ -4,7 +4,6 @@ import socket
 from mdbq.mysql import mysql
 from mdbq.mysql import s_query
 from mdbq.aggregation import optimize_data
-from mdbq.config import myconfig
 from mdbq.config import products
 from mdbq.config import set_support
 from mdbq.config import default
@@ -27,8 +26,7 @@ import logging
 
 """
 error_file = os.path.join(set_support.SetSupport(dirname='support').dirname, 'error.log')
-m_engine, company_engine, ts_engine, (username, password, host, port) = default.get_engine()
-
+m_engine, username, password, host, port = default.get_mysql_engine(platform='Windows', hostname='xigua_lx', sql='mysql', local='remoto', config_file=None)
 logger = logging.getLogger(__name__)
 
 
@@ -186,19 +184,6 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
-        company_engine.df_to_mysql(
-            df=df,
-            db_name=db_name,
-            table_name=table_name,
-            # icm_update=['日期', '推广渠道', '营销场景', '商品id', '花费'],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=True,  # 先删除，再插入
-            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
-            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
-            count=None,
-            filename=None,  # 用来追踪处理进度
-            reset_id=True,  # 是否重置自增列
-            set_typ=set_typ,
-        )
 
         # df_pic：商品排序索引表, 给 powerbi 中的主推款排序用的,(从上月1号到今天的总花费进行排序)
         today = datetime.date.today()
@@ -247,19 +232,6 @@ class MysqlDatasQuery:
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
         )
-        company_engine.df_to_mysql(
-            df=df_pic,
-            db_name='属性设置3',
-            table_name='商品索引表_主推排序调用',
-            icm_update=['商品id'],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=False,  # 先删除，再插入
-            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
-            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
-            count=None,
-            filename=None,  # 用来追踪处理进度
-            reset_id=False,  # 是否重置自增列
-            set_typ=set_typ,
-        )
         return True
 
     def _tb_wxt(self, db_name='聚合数据', table_name='淘宝_主体报表', is_maximize=True):
@@ -371,19 +343,6 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
-        company_engine.df_to_mysql(
-            df=df,
-            db_name=db_name,
-            table_name=table_name,
-            # icm_update=['日期', '推广渠道', '营销场景', '商品id', '花费'],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=True,  # 先删除，再插入
-            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
-            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
-            count=None,
-            filename=None,  # 用来追踪处理进度
-            reset_id=True,  # 是否重置自增列
-            set_typ=set_typ,
-        )
         return True
 
     def _ald_wxt(self, db_name='聚合数据', table_name='奥莱店_主体报表', is_maximize=True):
@@ -495,19 +454,6 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
-        company_engine.df_to_mysql(
-            df=df,
-            db_name=db_name,
-            table_name=table_name,
-            # icm_update=['日期', '推广渠道', '营销场景', '商品id', '花费'],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=True,  # 先删除，再插入
-            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
-            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
-            count=None,
-            filename=None,  # 用来追踪处理进度
-            reset_id=True,  # 是否重置自增列
-            set_typ=set_typ,
-        )
         return True
 
     @try_except
@@ -605,19 +551,6 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
-        company_engine.df_to_mysql(
-            df=df,
-            db_name=db_name,
-            table_name=table_name,
-            # icm_update=['日期', '宝贝id'],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=True,  # 先删除，再插入
-            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
-            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
-            count=None,
-            filename=None,  # 用来追踪处理进度
-            reset_id=True,  # 是否重置自增列
-            set_typ=set_typ,
-        )
         return True
 
     @try_except
@@ -837,19 +770,6 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
-        company_engine.df_to_mysql(
-            df=df,
-            db_name=db_name,
-            table_name=table_name,
-            # icm_update=['日期', '推广渠道', '营销场景', '商品id', '花费', '人群名字'],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=True,  # 先删除，再插入
-            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
-            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
-            count=None,
-            filename=None,  # 用来追踪处理进度
-            reset_id=True,  # 是否重置自增列
-            set_typ=set_typ,
-        )
         return True
 
     @try_except
@@ -986,19 +906,6 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
-        company_engine.df_to_mysql(
-            df=df,
-            db_name=db_name,
-            table_name=table_name,
-            # icm_update=['日期', '推广渠道', '营销场景', '商品id', '花费', '词类型', '词名字_词包名字',],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=True,  # 先删除，再插入
-            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
-            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
-            count=None,
-            filename=None,  # 用来追踪处理进度
-            reset_id=True,  # 是否重置自增列
-            set_typ=set_typ,
-        )
         return True
 
     @try_except
@@ -1124,19 +1031,6 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
-        company_engine.df_to_mysql(
-            df=df,
-            db_name=db_name,
-            table_name=table_name,
-            # icm_update=['日期', '推广渠道', '营销场景', '花费'],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=True,  # 先删除，再插入
-            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
-            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
-            count=None,
-            filename=None,  # 用来追踪处理进度
-            reset_id=True,  # 是否重置自增列
-            set_typ=set_typ,
-        )
         return True
 
     @try_except
@@ -1250,19 +1144,6 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
-        company_engine.df_to_mysql(
-            df=df,
-            db_name=db_name,
-            table_name=table_name,
-            # icm_update=['日期', '报表类型', '推广渠道', '营销场景', '花费'],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=True,  # 先删除，再插入
-            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
-            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
-            count=None,
-            filename=None,  # 用来追踪处理进度
-            reset_id=True,  # 是否重置自增列
-            set_typ=set_typ,
-        )
         return True
 
     @try_except
@@ -1320,19 +1201,6 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
-        company_engine.df_to_mysql(
-            df=df,
-            db_name=db_name,
-            table_name=table_name,
-            icm_update=['宝贝id'],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=False,  # 先删除，再插入
-            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
-            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
-            count=None,
-            filename=None,  # 用来追踪处理进度
-            reset_id=True,  # 是否重置自增列
-            set_typ=set_typ,
-        )
         return True
 
     @try_except
@@ -1390,19 +1258,6 @@ class MysqlDatasQuery:
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
         )
-        company_engine.df_to_mysql(
-            df=df,
-            db_name=db_name,
-            table_name=table_name,
-            icm_update=['商品id'],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=False,  # 先删除，再插入
-            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
-            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
-            count=None,
-            filename=None,  # 用来追踪处理进度
-            reset_id=False,  # 是否重置自增列
-            set_typ=set_typ,
-        )
         return True
 
     def item_up(self, db_name='聚合数据', table_name='淘宝店铺货品'):
@@ -1467,19 +1322,6 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
-        company_engine.df_to_mysql(
-            df=df,
-            db_name=db_name,
-            table_name=table_name,
-            # icm_update=['日期', '一级来源', '二级来源', '三级来源', '访客数'],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=True,  # 先删除，再插入
-            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
-            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
-            count=None,
-            filename=None,  # 用来追踪处理进度
-            reset_id=True,  # 是否重置自增列
-            set_typ=set_typ,
-        )
 
 
     def spph(self, db_name='聚合数据', table_name='天猫_商品排行'):
@@ -1603,19 +1445,6 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
-        company_engine.df_to_mysql(
-            df=df,
-            db_name=db_name,
-            table_name=table_name,
-            # icm_update=['日期', '一级来源', '二级来源', '三级来源', '访客数'],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=True,  # 先删除，再插入
-            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
-            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
-            count=None,
-            filename=None,  # 用来追踪处理进度
-            reset_id=True,  # 是否重置自增列
-            set_typ=set_typ,
-        )
 
     # @try_except
     def dplyd(self, db_name='聚合数据', table_name='店铺流量来源构成'):
@@ -1726,19 +1555,6 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
-        company_engine.df_to_mysql(
-            df=df,
-            db_name=db_name,
-            table_name=table_name,
-            # icm_update=['日期', '一级来源', '二级来源', '三级来源', '访客数'],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=True,  # 先删除，再插入
-            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
-            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
-            count=None,
-            filename=None,  # 用来追踪处理进度
-            reset_id=True,  # 是否重置自增列
-            set_typ=set_typ,
-        )
         return True
 
     @try_except
@@ -1786,19 +1602,6 @@ class MysqlDatasQuery:
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
         )
-        company_engine.df_to_mysql(
-            df=df,
-            db_name=db_name,
-            table_name=table_name,
-            icm_update=['款号'],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=False,  # 先删除，再插入
-            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
-            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
-            count=None,
-            filename=None,  # 用来追踪处理进度
-            reset_id=False,  # 是否重置自增列
-            set_typ=set_typ,
-        )
         return True
 
     # @try_except
@@ -1904,67 +1707,6 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
-        company_engine.df_to_mysql(
-            df=df,
-            db_name=db_name,
-            table_name=table_name,
-            # icm_update=['日期', '产品线', '触发sku_id', '跟单sku_id', '花费', ],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=True,  # 先删除，再插入
-            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
-            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
-            count=None,
-            filename=None,  # 用来追踪处理进度
-            reset_id=True,  # 是否重置自增列
-            set_typ=set_typ,
-        )
-
-        # # 按照 spu 聚合
-        # df = df.groupby(
-        #     ['日期', '店铺名称', 'spu_id'],
-        #     as_index=False).agg(
-        #     **{
-        #         '花费': ('花费', np.sum),
-        #         '展现数': ('展现数', np.sum),
-        #         '点击数': ('点击数', np.sum),
-        #         '直接订单行': ('直接订单行', np.sum),
-        #         '直接订单金额': ('直接订单金额', np.sum),
-        #         '总订单行': ('总订单行', np.sum),
-        #         '总订单金额': ('总订单金额', np.sum),
-        #         '直接加购数': ('直接加购数', np.sum),
-        #         '总加购数': ('总加购数', np.sum),
-        #     }
-        # )
-        # min_date = df['日期'].min()
-        # max_date = df['日期'].max()
-        # now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
-        # logger.info(f'{now} 正在更新: mysql ({host}:{port}) {db_name}/京东_京准通_按spu -> {min_date}~{max_date}')
-        # m_engine.df_to_mysql(
-        #     df=df,
-        #     db_name=db_name,
-        #     table_name='京东_京准通_按spu',
-        #     # icm_update=['日期', '产品线', '触发sku_id', '跟单sku_id', '花费', ],  # 增量更新, 在聚合数据中使用，其他不要用
-        #     move_insert=True,  # 先删除，再插入
-        #     df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
-        #     drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
-        #     count=None,
-        #     filename=None,  # 用来追踪处理进度
-        #     reset_id=True,  # 是否重置自增列
-        #     set_typ=set_typ
-        # )
-        # company_engine.df_to_mysql(
-        #     df=df,
-        #     db_name=db_name,
-        #     table_name='京东_京准通_按spu',
-        #     # icm_update=['日期', '产品线', '触发sku_id', '跟单sku_id', '花费', ],  # 增量更新, 在聚合数据中使用，其他不要用
-        #     move_insert=True,  # 先删除，再插入
-        #     df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
-        #     drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
-        #     count=None,
-        #     filename=None,  # 用来追踪处理进度
-        #     reset_id=True,  # 是否重置自增列
-        #     set_typ=set_typ
-        # )
-
         return True
 
     @try_except
@@ -2034,19 +1776,6 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ
         )
-        company_engine.df_to_mysql(
-            df=df,
-            db_name=db_name,
-            table_name=table_name,
-            # icm_update=['日期', '产品线', '花费'],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=True,  # 先删除，再插入
-            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
-            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
-            count=None,
-            filename=None,  # 用来追踪处理进度
-            reset_id=True,  # 是否重置自增列
-            set_typ=set_typ
-        )
         return True
 
     @try_except
@@ -2148,19 +1877,6 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ
         )
-        company_engine.df_to_mysql(
-            df=df,
-            db_name=db_name,
-            table_name=table_name,
-            # icm_update=['日期', '产品线', '搜索词',  '关键词', '展现数', '花费'],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=True,  # 先删除，再插入
-            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
-            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
-            count=None,
-            filename=None,  # 用来追踪处理进度
-            reset_id=True,  # 是否重置自增列
-            set_typ=set_typ
-        )
         return True
 
     @try_except
@@ -2240,19 +1956,6 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
-        company_engine.df_to_mysql(
-            df=df,
-            db_name=db_name,
-            table_name=table_name,
-            # icm_update=['日期', '商品id', '成交单量'],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=True,  # 先删除，再插入
-            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
-            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
-            count=None,
-            filename=None,  # 用来追踪处理进度
-            reset_id=True,  # 是否重置自增列
-            set_typ=set_typ,
-        )
         return True
 
     @try_except
@@ -2324,19 +2027,6 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ
         )
-        company_engine.df_to_mysql(
-            df=df,
-            db_name=db_name,
-            table_name=table_name,
-            # icm_update=['日期', '商品id', '成交单量'],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=True,  # 先删除，再插入
-            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
-            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
-            count=None,
-            filename=None,  # 用来追踪处理进度
-            reset_id=True,  # 是否重置自增列
-            set_typ=set_typ
-        )
         return True
 
     @staticmethod
@@ -2425,19 +2115,6 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
-        company_engine.df_to_mysql(
-            df=df,
-            db_name=db_name,
-            table_name=table_name,
-            # icm_update=['日期', '店铺名称', '词类型', '搜索词'],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=True,  # 先删除，再插入
-            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
-            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
-            count=None,
-            filename=None,  # 用来追踪处理进度
-            reset_id=True,  # 是否重置自增列
-            set_typ=set_typ,
-        )
         return True
 
     @try_except
@@ -2610,15 +2287,6 @@ class MysqlDatasQuery:
                 main_key=None,  # 指定索引列, 通常用日期列，默认会设置日期为索引
                 set_typ=set_typ,  # 指定数据类型
             )
-            company_engine.insert_many_dict(
-                db_name=db_name,
-                table_name=table_name,
-                dict_data_list=_results,
-                unique_main_key=None,
-                icm_update=['场次id'],  # 唯一组合键
-                main_key=None,  # 指定索引列, 通常用日期列，默认会设置日期为索引
-                set_typ=set_typ,  # 指定数据类型
-            )
         return True
 
     # @try_except
@@ -2978,19 +2646,6 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ
         )
-        company_engine.df_to_mysql(
-            df=df,
-            db_name=db_name,
-            table_name=table_name,
-            # icm_update=['日期', '店铺名称', '营销场景', '花费', '展现量', '点击量'],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=True,  # 先删除，再插入
-            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
-            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
-            count=None,
-            filename=None,  # 用来追踪处理进度
-            reset_id=True,  # 是否重置自增列
-            set_typ=set_typ
-        )
         return True
 
     @try_except
@@ -3081,19 +2736,6 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ
         )
-        company_engine.df_to_mysql(
-            df=df,
-            db_name=db_name,
-            table_name=table_name,
-            icm_update=[],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=True,  # 先删除，再插入
-            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
-            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
-            count=None,
-            filename=None,  # 用来追踪处理进度
-            reset_id=True,  # 是否重置自增列
-            set_typ=set_typ
-        )
         return True
 
     def deeplink(self, db_name='聚合数据', table_name='达摩盘_deeplink人群洞察'):
@@ -3146,19 +2788,6 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ
         )
-        company_engine.df_to_mysql(
-            df=df,
-            db_name=db_name,
-            table_name=table_name,
-            # icm_update=['日期', '人群类型', '店铺名称', '人群规模', '广告投入金额'],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=True,  # 先删除，再插入
-            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
-            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
-            count=None,
-            filename=None,  # 用来追踪处理进度
-            reset_id=True,  # 是否重置自增列
-            set_typ=set_typ
-        )
         return True
 
     # @try_except
@@ -3271,19 +2900,6 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
-        company_engine.df_to_mysql(
-            df=df,
-            db_name=db_name,
-            table_name=table_name,
-            icm_update=[],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=True,  # 先删除，再插入
-            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
-            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
-            count=None,
-            filename=None,  # 用来追踪处理进度
-            reset_id=True,  # 是否重置自增列
-            set_typ=set_typ,
-        )
         return True
 
     @try_except
@@ -3696,19 +3312,6 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
-        company_engine.df_to_mysql(
-            df=df,
-            db_name=db_name,
-            table_name=table_name,
-            icm_update=[],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=True,  # 先删除，再插入
-            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
-            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
-            count=None,
-            filename=None,  # 用来追踪处理进度
-            reset_id=True,  # 是否重置自增列
-            set_typ=set_typ,
-        )
         return True
 
     # @try_except
@@ -3819,19 +3422,6 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
-        company_engine.df_to_mysql(
-            df=df,
-            db_name=db_name,
-            table_name=table_name,
-            icm_update=[],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=True,  # 先删除，再插入
-            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
-            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
-            count=None,
-            filename=None,  # 用来追踪处理进度
-            reset_id=True,  # 是否重置自增列
-            set_typ=set_typ,
-        )
         return True
 
     # @try_except
@@ -3903,19 +3493,6 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
-        company_engine.df_to_mysql(
-            df=df,
-            db_name=db_name,
-            table_name=table_name,
-            icm_update=[],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=True,  # 先删除，再插入
-            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
-            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
-            count=None,
-            filename=None,  # 用来追踪处理进度
-            reset_id=True,  # 是否重置自增列
-            set_typ=set_typ,
-        )
         return True
 
 
@@ -4016,17 +3593,6 @@ def date_table():
         filename=None,  # 用来追踪处理进度
         set_typ=set_typ,
     )
-    company_engine.df_to_mysql(
-        df=df,
-        db_name='聚合数据',
-        table_name='日期表',
-        move_insert=True,  # 先删除，再插入
-        df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
-        drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
-        count=None,
-        filename=None,  # 用来追踪处理进度
-        set_typ=set_typ,
-    )
 
 
 def query1(months=1, less_dict=[]):

mdbq/config/default.py

@@ -8,25 +8,30 @@ import logging
 from mdbq.mysql import mysql
 
 if platform.system() == 'Windows':
-    support_path = r'C:\同步空间\BaiduSyncdisk\自动0备份\py\数据更新\support'
+    support_path = r'C:\数据中心2\support'
 elif platform.system() == 'Darwin':
-    support_path = f'/Users/{getpass.getuser()}/数据中心/自动0备份/py/数据更新/support'
+    support_path = f'/Users/{getpass.getuser()}/数据中心2/support'
 else:
-    support_path = '数据中心/数据更新/support'  # 没有用可以删
+    support_path = '数据中心2/support'  # 没有用, 可以删
 logger = logging.getLogger(__name__)
 
 
-def get_mysql_engine(platform, hostname, sql, local, config_file=None):
+def get_mysql_engine(platform='Windows', hostname='xigua_lx', sql='mysql', local='remoto', config_file=None):
     if not config_file:
         config_file = os.path.join(support_path, 'my_config.txt')
     if not os.path.isfile(config_file):
         print(f'缺少配置文件，无法读取配置文件： {config_file}')
         return None
+
+    if socket.gethostname() == 'xigua_lx':
+        local = 'local'
+
     with open(config_file, 'r', encoding='utf-8') as f:
         conf = json.load(f)
     conf_data = conf[platform][hostname][sql][local]
     username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
-    return mysql.MysqlUpload(username=username, password=password, host=host, port=port, charset='utf8mb4')
+    _engine = mysql.MysqlUpload(username=username, password=password, host=host, port=port, charset='utf8mb4')
+    return _engine, username, password, host, port
 
 
 def return_host(conf_data):
@@ -57,7 +62,10 @@ def get_hostname(platform, hostname, sql, local):
     return return_host(conf_data)
 
 
-def get_engine():
+def get_engine_bak():
+    """
+    要删除
+    """
     if not os.path.isdir(support_path):
         print(f'缺少配置文件，无法读取配置文件： {file}')
         return

mdbq/config/myconfig.py

@@ -2,7 +2,9 @@
 import os
 import json
 from mdbq.config import set_support
-
+"""
+用来读取本地配置文件
+"""
 
 
 def main():

mdbq/config/products.py

@@ -6,7 +6,6 @@ import getpass
 import socket
 import pandas as pd
 from mdbq.mysql import mysql
-# from mdbq.config import myconfig
 from mdbq.config import default
 from numpy.ma.core import product
 
@@ -14,18 +13,7 @@ from numpy.ma.core import product
 天猫货品年份基准对照
 用于聚合数据，通过此数据表进一步可确定商品上架年月
 """
-m_engine, company_engine, ts_engine, (username, password, host, port) = default.get_engine()
-# username, password, host, port, service_database = None, None, None, None, None,
-# if socket.gethostname() in ['xigua_lx', 'xigua1', 'MacBookPro']:
-#     conf = myconfig.main()
-#     data = conf['Windows']['xigua_lx']['mysql']['local']
-#     username, password, host, port = data['username'], data['password'], data['host'], data['port']
-#     service_database = {'xigua_lx': 'mysql'}
-# elif socket.gethostname() in ['company', 'Mac2.local']:
-#     conf = myconfig.main()
-#     data = conf['Windows']['company']['mysql']['local']
-#     username, password, host, port = data['username'], data['password'], data['host'], data['port']
-#     service_database = {'company': 'mysql'}
+m_engine, username, password, host, port = default.get_mysql_engine(platform='Windows', hostname='xigua_lx', sql='mysql', local='remoto', config_file=None)
 if not username:
     print(f'找不到主机1：')
 

mdbq/other/download_sku_picture.py

@@ -50,24 +50,7 @@ upload_path = os.path.join(D_PATH, '数据上传中心')  # 此目录位于下
 if not os.path.exists(upload_path):  # 数据中心根目录
     os.makedirs(upload_path)
 
-m_engine, company_engine, ts_engine, (username, password, host, port) = default.get_engine()
-# username, password, host, port, service_database = None, None, None, None, None,
-# if socket.gethostname() in ['xigua_lx', 'xigua1', 'MacBookPro']:
-#     conf = myconfig.main()
-#     conf_data = conf['Windows']['xigua_lx']['mysql']['local']
-#     username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
-#     service_database = {'xigua_lx': 'mysql'}
-# elif socket.gethostname() in ['company', 'Mac2.local']:
-#     conf = myconfig.main()
-#     conf_data = conf['Windows']['company']['mysql']['local']
-#     username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
-#     service_database = {'company': 'mysql'}
-# elif socket.gethostname() == 'xigua_ts':
-#     conf = myconfig.main()
-#     conf_data = conf['Windows']['xigua_ts']['mysql']['remote']
-#     username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
-#     service_database = {'xigua_ts': 'mysql'}
-
+m_engine, username, password, host, port = default.get_mysql_engine(platform='Windows', hostname='xigua_lx', sql='mysql', local='remoto', config_file=None)
 if not username:
     print(f'找不到主机：')
 

mdbq/redis/getredis.py

@@ -22,33 +22,7 @@ if platform.system() == 'Windows':
 else:
     D_PATH = os.path.join(f'/Users/{getpass.getuser()}/Downloads')
 
-
-m_engine, company_engine, ts_engine, (username, password, host, port) = default.get_engine()
-
-a, redis_password, c, d = default.get_hostname('Windows', 'xigua_lx', 'redis', 'local')
-
-# if socket.gethostname() == 'company' or socket.gethostname() == 'Mac2.local':
-#     conf = myconfig.main()
-#     conf_data = conf['Windows']['company']['mysql']['local']
-#     username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
-#     redis_password = conf['Windows']['company']['redis']['local']['password']
-# elif socket.gethostname() == 'MacBookPro':
-#     conf = myconfig.main()
-#     conf_data = conf['Windows']['xigua_lx']['mysql']['local']
-#     username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
-#     redis_password = conf['Windows']['company']['redis']['local']['password']
-# elif socket.gethostname() == 'xigua_ts':
-#     conf = myconfig.main()
-#     conf_data = conf['Windows']['xigua_ts']['mysql']['remote']
-#     username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
-#     redis_password = conf['Windows']['xigua_ts']['redis']['local']['password']
-# else:
-#     conf = myconfig.main()
-#     conf_data = conf['Windows']['xigua_lx']['mysql']['local']
-#     username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
-#     redis_password = conf['Windows']['company']['redis']['local']['password']  # redis 使用本地数据，全部机子相同
-
-# logging.basicConfig(level=logging.INFO, format='%(asctime)s | %(levelname)s | %(message)s', datefmt='%Y-%m-%d %H:%M:%S')
+m_engine, username, password, host, port = default.get_mysql_engine(platform='Windows', hostname='xigua_lx', sql='mysql', local='remoto', config_file=None)
 
 # 获取当前模块的日志记录器
 logger = logging.getLogger(__name__)
@@ -647,7 +621,7 @@ if __name__ == '__main__':
     # r = redis.Redis(**redis_config)
     # # mysql 实例化
     # d = s_query.QueryDatas(username=username, password=password, host=host, port=port)
-    # # 将两个库的实例化对象传给 RedisData 类，并实例化数据处理引擎
+    # # 将两个库的实例化对传给 RedisData 类，并实例化数据处理引擎
     # m = RedisData(redis_engin=r, download=d)
     # # ****************************************************
     #

mdbq/spider/aikucun.py

@@ -36,55 +36,7 @@ else:
     D_PATH = str(pathlib.Path(f'/Users/{getpass.getuser()}/Downloads'))
 upload_path = os.path.join(D_PATH, '数据上传中心', '爱库存')  # 此目录位于下载文件夹
 
-m_engine, company_engine, ts_engine, (username, password, host, port) = default.get_engine()
-# m_engine = mysql.MysqlUpload(username='', password='', host='', port=0, charset='utf8mb4')
-# company_engine = mysql.MysqlUpload(username='', password='', host='', port=0, charset='utf8mb4')
-#
-# if socket.gethostname() == 'company' or socket.gethostname() == 'Mac2.local':
-#     conf = myconfig.main()
-#     conf_data = conf['Windows']['xigua_lx']['mysql']['remoto']
-#     username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
-#     m_engine = mysql.MysqlUpload(
-#         username=username,
-#         password=password,
-#         host=host,
-#         port=port,
-#         charset='utf8mb4'
-#     )
-#     conf_data = conf['Windows']['company']['mysql']['local']
-#     username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
-#     company_engine = mysql.MysqlUpload(
-#         username=username,
-#         password=password,
-#         host=host,
-#         port=port,
-#         charset='utf8mb4'
-#     )
-#     targe_host = 'company'
-#
-# else:
-#     conf = myconfig.main()
-#
-#     conf_data = conf['Windows']['company']['mysql']['remoto']
-#     username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
-#     company_engine = mysql.MysqlUpload(
-#         username=username,
-#         password=password,
-#         host=host,
-#         port=port,
-#         charset='utf8mb4'
-#     )
-#
-#     conf_data = conf['Windows']['xigua_lx']['mysql']['local']
-#     username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
-#     m_engine = mysql.MysqlUpload(
-#         username=username,
-#         password=password,
-#         host=host,
-#         port=port,
-#         charset='utf8mb4'
-#     )
-#     targe_host = 'xigua_lx'
+m_engine, username, password, host, port = default.get_mysql_engine(platform='Windows', hostname='xigua_lx', sql='mysql', local='remoto', config_file=None)
 
 
 def get_cookie_aikucun():
@@ -406,14 +358,6 @@ class AikuCun:
                             unique_main_key=None,
                             set_typ=set_typ,
                         )
-                        company_engine.insert_many_dict(
-                            db_name='爱库存2',
-                            table_name='商品spu榜单',
-                            dict_data_list=_results,
-                            icm_update=['日期', '店铺名称', 'spu_id', '商品款号'],
-                            unique_main_key=None,
-                            set_typ=set_typ,
-                        )
 
                     new_name = f'爱库存_商品榜单_spu_{date}_{date}.csv'
                     df.to_csv(os.path.join(root, new_name), encoding='utf-8_sig', index=False)

{mdbq-3.6.23.dist-info → mdbq-3.7.0.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 3.6.23
+Version: 3.7.0
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-3.6.23.dist-info → mdbq-3.7.0.dist-info}/RECORD

@@ -3,14 +3,14 @@ mdbq/__version__.py,sha256=y9Mp_8x0BCZSHsdLT_q5tX9wZwd5QgqrSIENLrb6vXA,62
 mdbq/aggregation/__init__.py,sha256=EeDqX2Aml6SPx8363J-v1lz0EcZtgwIBYyCJV6CcEDU,40
 mdbq/aggregation/aggregation_bak.py,sha256=-yzApnlqSN2L0E1YMu5ml-W827qpKQvWPCOI7jj2kzY,80264
 mdbq/aggregation/datashow_bak.py,sha256=1AYSIDkdUx-4as1Ax2rPj0cExM9d-qFMrFYLAaPHNuk,54962
-mdbq/aggregation/optimize_data.py,sha256=JXdhVHQmtULZrV8wizlj6oyP8Ry4lwqoLlA5xV8ILNo,3589
-mdbq/aggregation/query_data.py,sha256=bxRWBk5JTCfr6-15P77iXOEy81KkuWVZenYfI3VIV1k,191782
+mdbq/aggregation/optimize_data.py,sha256=foZGLDGJRhM2qOr2mTvB3InDFId7r4KBXrJfB3-xq1k,2639
+mdbq/aggregation/query_data.py,sha256=AiG0W9Rum_hKCTPNB-nuA5ehpnVW12byLA7uwzOmO6Q,168639
 mdbq/bdup/__init__.py,sha256=AkhsGk81SkG1c8FqDH5tRq-8MZmFobVbN60DTyukYTY,28
 mdbq/bdup/bdup.py,sha256=LAV0TgnQpc-LB-YuJthxb0U42_VkPidzQzAagan46lU,4234
 mdbq/config/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
-mdbq/config/default.py,sha256=3aSdPjKcfNGTpbNN3bTTVeqkT88pDK7nWYus3Qyo_Wk,4855
-mdbq/config/myconfig.py,sha256=EGymTlAimtHIDJ9egCtOehBEPOj6rea504kvsEZu64o,854
-mdbq/config/products.py,sha256=UAPcS0CbKmHribxgwtqiAsVICkuGLrizLDT6zbf4kFY,6353
+mdbq/config/default.py,sha256=3IGc4aVuoL6sZh7xkM0GUXwHJD3-HCfYTnb1Q5ZL1UM,4976
+mdbq/config/myconfig.py,sha256=Akt-7KqSUBdoHQa4_Mw6YC4pA75219d-21iDO30iaD8,894
+mdbq/config/products.py,sha256=FbBIqmyaiq9h03FIeE9W2bwbLm2_5pr6xyzPV-u7Ges,5689
 mdbq/config/set_support.py,sha256=6EJC1PUCvP8HnRsljOrlBbK-65lZjh8_8mCCOVoPkFM,691
 mdbq/dataframe/__init__.py,sha256=2HtCN8AdRj53teXDqzysC1h8aPL-mMFy561ESmhehGQ,22
 mdbq/dataframe/converter.py,sha256=lETYhT7KXlWzWwqguqhk6vI6kj4rnOBEW1lhqKy2Abc,5035
@@ -23,7 +23,7 @@ mdbq/mysql/mysql.py,sha256=YgmSLkwjIUpjiGH3S-bTiaJCKe8As0WvHDOS6_ePyYs,98591
 mdbq/mysql/s_query.py,sha256=pj5ioJfUT81Su9S-km9G49gF5F2MmXXfw_oAIUzhN28,8794
 mdbq/mysql/year_month_day.py,sha256=VgewoE2pJxK7ErjfviL_SMTN77ki8GVbTUcao3vFUCE,1523
 mdbq/other/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
-mdbq/other/download_sku_picture.py,sha256=lG6S8u0nR1yAVnTHkNPwJb5ZMrO_IvVkkqvhKynSR58,45630
+mdbq/other/download_sku_picture.py,sha256=QglvUmI6rFYtfwG59uuOqAA4kLwuKtCwgkz7yO_KkPs,44656
 mdbq/other/porxy.py,sha256=UHfgEyXugogvXgsG68a7QouUCKaohTKKkI4RN-kYSdQ,4961
 mdbq/other/pov_city.py,sha256=AEOmCOzOwyjHi9LLZWPKi6DUuSC-_M163664I52u9qw,21050
 mdbq/other/sku_picture.py,sha256=JwSXYlzamVqcKCD2tRH2VqYVZNr8fM6f--kcGlTVRnM,50026
@@ -33,10 +33,10 @@ mdbq/pbix/pbix_refresh.py,sha256=JUjKW3bNEyoMVfVfo77UhguvS5AWkixvVhDbw4_MHco,239
 mdbq/pbix/refresh_all.py,sha256=OBT9EewSZ0aRS9vL_FflVn74d4l2G00wzHiikCC4TC0,5926
 mdbq/pbix/refresh_all_old.py,sha256=_pq3WSQ728GPtEG5pfsZI2uTJhU8D6ra-htIk1JXYzw,7192
 mdbq/redis/__init__.py,sha256=YtgBlVSMDphtpwYX248wGge1x-Ex_mMufz4-8W0XRmA,12
-mdbq/redis/getredis.py,sha256=qbNrXv_M1KpTpC5WR-E-E-NkLGNkWWTmQFqwqV17SKk,27223
+mdbq/redis/getredis.py,sha256=oyFwE-8c6uErSGYNIO0z2ng93mH0zstRLD86MWqF6M8,25636
 mdbq/spider/__init__.py,sha256=RBMFXGy_jd1HXZhngB2T2XTvJqki8P_Fr-pBcwijnew,18
-mdbq/spider/aikucun.py,sha256=w-qbSuzzVL5e3XsLj_ylOEEpGGAeT1k9ql07KIDwTo8,21609
-mdbq-3.6.23.dist-info/METADATA,sha256=rlcJ2mzeLyGqqumRMbrgpsZcOE_oOkcmbPtjq9npmPM,244
-mdbq-3.6.23.dist-info/WHEEL,sha256=cpQTJ5IWu9CdaPViMhC9YzF8gZuS5-vlfoFihTBC86A,91
-mdbq-3.6.23.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
-mdbq-3.6.23.dist-info/RECORD,,
+mdbq/spider/aikucun.py,sha256=1gAEwCUmhCSpOSRPD2EEcbH3bFGn4sUQnQUAsJb5-qM,19391
+mdbq-3.7.0.dist-info/METADATA,sha256=0uGaC5cgZEGGQq_U5XmvMzgUtGMK0o8_3CyLq4lKgpU,243
+mdbq-3.7.0.dist-info/WHEEL,sha256=cpQTJ5IWu9CdaPViMhC9YzF8gZuS5-vlfoFihTBC86A,91
+mdbq-3.7.0.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
+mdbq-3.7.0.dist-info/RECORD,,