mdbq 3.3.2__py3-none-any.whl → 3.3.4__py3-none-any.whl

mdbq/aggregation/query_data.py

@@ -25,26 +25,54 @@ import traceback
 
 """
 error_file = os.path.join(set_support.SetSupport(dirname='support').dirname, 'error.log')
-username, password, host, port, service_database = None, None, None, None, None,
-if socket.gethostname() in ['xigua_lx', 'xigua1', 'MacBookPro']:
+m_engine = mysql.MysqlUpload(username='', password='', host='', port=0, charset='utf8mb4')
+company_engine = mysql.MysqlUpload(username='', password='', host='', port=0, charset='utf8mb4')
+
+if socket.gethostname() == 'company' or socket.gethostname() == 'Mac2.local':
     conf = myconfig.main()
-    conf_data = conf['Windows']['xigua_lx']['mysql']['local']
+    conf_data = conf['Windows']['xigua_lx']['mysql']['remoto']
     username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
-    service_database = {'xigua_lx': 'mysql'}
-elif socket.gethostname() in ['company', 'Mac2.local']:
-    conf = myconfig.main()
+    m_engine = mysql.MysqlUpload(
+        username=username,
+        password=password,
+        host=host,
+        port=port,
+        charset='utf8mb4'
+    )
     conf_data = conf['Windows']['company']['mysql']['local']
     username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
-    service_database = {'company': 'mysql'}
-if not username:
-    print(f'找不到主机：')
-m_engine = mysql.MysqlUpload(
-    username=username,
-    password=password,
-    host=host,
-    port=port,
-    charset='utf8mb4'
-)
+    company_engine = mysql.MysqlUpload(
+        username=username,
+        password=password,
+        host=host,
+        port=port,
+        charset='utf8mb4'
+    )
+    targe_host = 'company'
+
+else:
+    conf = myconfig.main()
+
+    conf_data = conf['Windows']['company']['mysql']['remoto']
+    username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
+    company_engine = mysql.MysqlUpload(
+        username=username,
+        password=password,
+        host=host,
+        port=port,
+        charset='utf8mb4'
+    )
+
+    conf_data = conf['Windows']['xigua_lx']['mysql']['local']
+    username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
+    m_engine = mysql.MysqlUpload(
+        username=username,
+        password=password,
+        host=host,
+        port=port,
+        charset='utf8mb4'
+    )
+    targe_host = 'xigua_lx'
 
 
 class MysqlDatasQuery:
@@ -200,6 +228,19 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '推广渠道', '营销场景', '商品id', '花费'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
 
         # df_pic：商品排序索引表, 给 powerbi 中的主推款排序用的,(从上月1号到今天的总花费进行排序)
         today = datetime.date.today()
@@ -248,6 +289,19 @@ class MysqlDatasQuery:
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df_pic,
+            db_name='属性设置3',
+            table_name='商品索引表_主推排序调用',
+            icm_update=['商品id'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=False,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=False,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
     @try_except
@@ -340,6 +394,19 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '宝贝id'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
     @try_except
@@ -530,6 +597,19 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '推广渠道', '营销场景', '商品id', '花费', '人群名字'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
     @try_except
@@ -666,6 +746,19 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '推广渠道', '营销场景', '商品id', '花费', '词类型', '词名字_词包名字',],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
     @try_except
@@ -790,6 +883,19 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '推广渠道', '营销场景', '花费'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
     @try_except
@@ -903,6 +1009,19 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '报表类型', '推广渠道', '营销场景', '花费'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
     @try_except
@@ -960,6 +1079,19 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            icm_update=['宝贝id'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=False,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
     @try_except
@@ -1017,6 +1149,19 @@ class MysqlDatasQuery:
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            icm_update=['商品id'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=False,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=False,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
     # @try_except
@@ -1125,6 +1270,19 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '一级来源', '二级来源', '三级来源', '访客数'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
     @try_except
@@ -1172,6 +1330,19 @@ class MysqlDatasQuery:
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            icm_update=['款号'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=False,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=False,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
     # @try_except
@@ -1276,7 +1447,19 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
-            
+        )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '产品线', '触发sku_id', '跟单sku_id', '花费', ],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
         )
 
         # # 按照 spu 聚合
@@ -1310,8 +1493,20 @@ class MysqlDatasQuery:
         #     count=None,
         #     filename=None,  # 用来追踪处理进度
         #     reset_id=True,  # 是否重置自增列
-        #     set_typ=set_typ,
-        #
+        #     set_typ=set_typ
+        # )
+        # company_engine.df_to_mysql(
+        #     df=df,
+        #     db_name=db_name,
+        #     table_name='京东_京准通_按spu',
+        #     # icm_update=['日期', '产品线', '触发sku_id', '跟单sku_id', '花费', ],  # 增量更新, 在聚合数据中使用，其他不要用
+        #     move_insert=True,  # 先删除，再插入
+        #     df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+        #     drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+        #     count=None,
+        #     filename=None,  # 用来追踪处理进度
+        #     reset_id=True,  # 是否重置自增列
+        #     set_typ=set_typ
         # )
 
         return True
@@ -1379,8 +1574,20 @@ class MysqlDatasQuery:
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=True,  # 是否重置自增列
-            set_typ=set_typ,
-            
+            set_typ=set_typ
+        )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '产品线', '花费'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ
         )
         return True
 
@@ -1481,8 +1688,20 @@ class MysqlDatasQuery:
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=True,  # 是否重置自增列
-            set_typ=set_typ,
-            
+            set_typ=set_typ
+        )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '产品线', '搜索词',  '关键词', '展现数', '花费'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ
         )
         return True
 
@@ -1558,6 +1777,19 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '商品id', '成交单量'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
     @try_except
@@ -1622,8 +1854,20 @@ class MysqlDatasQuery:
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=True,  # 是否重置自增列
-            set_typ=set_typ,
-            
+            set_typ=set_typ
+        )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '商品id', '成交单量'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ
         )
         return True
 
@@ -1708,6 +1952,19 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '店铺名称', '词类型', '搜索词'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
     @try_except
@@ -1877,6 +2134,15 @@ class MysqlDatasQuery:
                 main_key=None,  # 指定索引列, 通常用日期列，默认会设置日期为索引
                 set_typ=set_typ,  # 指定数据类型
             )
+            company_engine.dict_to_mysql(
+                db_name=db_name,
+                table_name=table_name,
+                dict_data=new_dict,
+                unique_main_key=None,
+                icm_update=['场次id'],  # 唯一组合键
+                main_key=None,  # 指定索引列, 通常用日期列，默认会设置日期为索引
+                set_typ=set_typ,  # 指定数据类型
+            )
         return True
 
     # @try_except
@@ -2206,8 +2472,20 @@ class MysqlDatasQuery:
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=True,  # 是否重置自增列
-            set_typ=set_typ,
-            
+            set_typ=set_typ
+        )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '店铺名称', '营销场景', '花费', '展现量', '点击量'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ
         )
         return True
 
@@ -2312,6 +2590,14 @@ class MysqlDatasQuery:
         #         unique_main_key=None,
         #         set_typ=set_typ,
         #     )
+        #     company_engine.dict_to_mysql(
+        #         db_name=db_name,
+        #         table_name=table_name,
+        #         dict_data=new_dict,
+        #         icm_update=['日期', '店铺名称', 'spu_id', '商品款号'],
+        #         unique_main_key=None,
+        #         set_typ=set_typ,
+        #     )
         m_engine.df_to_mysql(
             df=df,
             db_name=db_name,
@@ -2323,8 +2609,20 @@ class MysqlDatasQuery:
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=True,  # 是否重置自增列
-            set_typ=set_typ,
-
+            set_typ=set_typ
+        )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            icm_update=[],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ
         )
         return True
 
@@ -2376,8 +2674,20 @@ class MysqlDatasQuery:
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=True,  # 是否重置自增列
-            set_typ=set_typ,
-            
+            set_typ=set_typ
+        )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '人群类型', '店铺名称', '人群规模', '广告投入金额'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ
         )
         return True
 
@@ -2491,6 +2801,19 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            icm_update=[],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
     @try_except
@@ -2902,6 +3225,19 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            icm_update=[],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
     # @try_except
@@ -3012,6 +3348,19 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            icm_update=[],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
     # @try_except
@@ -3083,6 +3432,19 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            icm_update=[],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
 

mdbq/mysql/mysql.py

@@ -128,6 +128,19 @@ class MysqlUpload:
 
         return wrapper
 
+    def keep_connect(self, _config, max_try: int=5):
+        attempts = 1
+        while attempts <= max_try:
+            try:
+                connection = pymysql.connect(**_config)  # 连接数据库
+                return connection
+            except Exception as e:
+                print(f'连接失败，正在重试: {attempts}/{max_try} {e}')
+                attempts += 1
+                time.sleep(10)
+        print(f'连接失败，重试次数超限')
+        return None
+
     def cover_doc_dtypes(self, dict_data):
         """ 清理字典键值 并转换数据类型  """
         if not dict_data:
@@ -201,7 +214,10 @@ class MysqlUpload:
             print(f'dict_data 中"数据主体"键不能为空')
             return
 
-        connection = pymysql.connect(**self.config)  # 连接数据库
+        # connection = pymysql.connect(**self.config)  # 连接数据库
+        connection = self.keep_connect(_config=self.config, max_try=5)
+        if not connection:
+            return
         with connection.cursor() as cursor:
             cursor.execute(f"SHOW DATABASES LIKE '{db_name}'")  # 检查数据库是否存在
             database_exists = cursor.fetchone()
@@ -219,7 +235,10 @@ class MysqlUpload:
                 print(f"创建Database: {db_name}")
 
         self.config.update({'database': db_name})  # 添加更新 config 字段
-        connection = pymysql.connect(**self.config)  # 重新连接数据库
+        # connection = pymysql.connect(**self.config)  # 重新连接数据库
+        connection = self.keep_connect(_config=self.config, max_try=5)
+        if not connection:
+            return
         with connection.cursor() as cursor:
             # 1. 查询表, 不存在则创建一个空表
             sql = "SHOW TABLES LIKE %s;"  # 有特殊字符不需转义
@@ -362,7 +381,10 @@ class MysqlUpload:
                 except Exception as e:
                     print(f'{table_name} 将数据按年/月保存(cut_data)，但在转换日期时报错 -> {e}')
 
-        connection = pymysql.connect(**self.config)  # 连接数据库
+        # connection = pymysql.connect(**self.config)  # 连接数据库
+        connection = self.keep_connect(_config=self.config, max_try=5)
+        if not connection:
+            return
         with connection.cursor() as cursor:
             cursor.execute(f"SHOW DATABASES LIKE '{db_name}'")  # 检查数据库是否存在
             database_exists = cursor.fetchone()
@@ -380,7 +402,10 @@ class MysqlUpload:
                 print(f"创建Database: {db_name}")
 
         self.config.update({'database': db_name})  # 添加更新 config 字段
-        connection = pymysql.connect(**self.config)  # 重新连接数据库
+        # connection = pymysql.connect(**self.config)  # 重新连接数据库
+        connection = self.keep_connect(_config=self.config, max_try=5)
+        if not connection:
+            return
         with connection.cursor() as cursor:
             # 1. 查询表, 不存在则创建一个空表
             sql = "SHOW TABLES LIKE %s;"  # 有特殊字符不需转义
@@ -723,7 +748,10 @@ class MysqlUpload:
                 # 确保传进来的 set_typ 键存在于实际的 df 列才 update
                 [dtypes.update({k: inside_v}) for inside_k, inside_v in set_typ.items() if k == inside_k]
 
-        connection = pymysql.connect(**self.config)  # 连接数据库
+        # connection = pymysql.connect(**self.config)  # 连接数据库
+        connection = self.keep_connect(_config=self.config, max_try=5)
+        if not connection:
+            return
         with connection.cursor() as cursor:
             cursor.execute(f"SHOW DATABASES LIKE '{db_name}'")  # 检查数据库是否存在
             database_exists = cursor.fetchone()
@@ -741,7 +769,10 @@ class MysqlUpload:
                 print(f"创建Database: {db_name}")
 
         self.config.update({'database': db_name})  # 添加更新 config 字段
-        connection = pymysql.connect(**self.config)  # 重新连接数据库
+        # connection = pymysql.connect(**self.config)  # 重新连接数据库
+        connection = self.keep_connect(_config=self.config, max_try=5)
+        if not connection:
+            return
         with connection.cursor() as cursor:
             # 1. 查询表, 不存在则创建一个空表
             sql = "SHOW TABLES LIKE %s;"  # 有特殊字符不需转义
@@ -1017,7 +1048,10 @@ class MysqlUpload:
         if not filename:
             print(f'未指定文件名: filename')
             return
-        connection = pymysql.connect(**self.config)  # 连接数据库
+        # connection = pymysql.connect(**self.config)  # 连接数据库
+        connection = self.keep_connect(_config=self.config, max_try=5)
+        if not connection:
+            return
         # try:
         with connection.cursor() as cursor:
             cursor.execute(f"SHOW DATABASES LIKE '{db_name}'")  # 检查数据库是否存在
@@ -1026,7 +1060,10 @@ class MysqlUpload:
                 print(f"Database {db_name} 数据库不存在")
                 return
         self.config.update({'database': db_name})
-        connection = pymysql.connect(**self.config)  # 重新连接数据库
+        # connection = pymysql.connect(**self.config)  # 重新连接数据库
+        connection = self.keep_connect(_config=self.config, max_try=5)
+        if not connection:
+            return
         with connection.cursor() as cursor:
             # 1. 查询表
             sql = "SHOW TABLES LIKE %s;"  # 有特殊字符不需转义
@@ -1056,7 +1093,10 @@ class MysqlUpload:
         end_date = pd.to_datetime(end_date).strftime('%Y-%m-%d')
         df = pd.DataFrame()
 
-        connection = pymysql.connect(**self.config)  # 连接数据库
+        # connection = pymysql.connect(**self.config)  # 连接数据库
+        connection = self.keep_connect(_config=self.config, max_try=5)
+        if not connection:
+            return
         try:
             with connection.cursor() as cursor:
                 cursor.execute(f"SHOW DATABASES LIKE '{db_name}'")  # 检查数据库是否存在
@@ -1075,7 +1115,10 @@ class MysqlUpload:
         before_time = time.time()
         # 读取数据
         self.config.update({'database': db_name})
-        connection = pymysql.connect(**self.config)  # 重新连接数据库
+        # connection = pymysql.connect(**self.config)  # 重新连接数据库
+        connection = self.keep_connect(_config=self.config, max_try=5)
+        if not connection:
+            return
         try:
             with connection.cursor() as cursor:
                 # 获取指定日期范围的数据
@@ -1197,6 +1240,19 @@ class OptimizeDatas:
 
         return wrapper
 
+    def keep_connect(self, _config, max_try: int=5):
+        attempts = 1
+        while attempts <= max_try:
+            try:
+                connection = pymysql.connect(**_config)  # 连接数据库
+                return connection
+            except Exception as e:
+                print(f'连接失败，正在重试: {attempts}/{max_try} {e}')
+                attempts += 1
+                time.sleep(10)
+        print(f'连接失败，重试次数超限')
+        return None
+
     def optimize_list(self):
         """
         更新多个数据库 移除冗余数据
@@ -1243,7 +1299,10 @@ class OptimizeDatas:
                 # if '店铺指标' not in table_name:
                 #     continue
                 self.config.update({'database': self.db_name})  # 添加更新 config 字段
-                self.connection = pymysql.connect(**self.config)
+                # self.connection = pymysql.connect(**self.config)
+                self.connection = self.keep_connect(_config=self.config, max_try=5)
+                if not self.connection:
+                    return
                 with self.connection.cursor() as cursor:
                     sql = f"SELECT 1 FROM `{table_name}` LIMIT 1"
                     # print(sql)
@@ -1395,7 +1454,10 @@ class OptimizeDatas:
 
     def database_list(self):
         """ 获取所有数据库 """
-        connection = pymysql.connect(**self.config)  # 连接数据库
+        # connection = pymysql.connect(**self.config)  # 连接数据库
+        connection = self.keep_connect(_config=self.config, max_try=5)
+        if not connection:
+            return
         with connection.cursor() as cursor:
             cursor.execute("SHOW DATABASES")
             databases = cursor.fetchall()  # 获取所有数据库的结果
@@ -1404,7 +1466,10 @@ class OptimizeDatas:
 
     def table_list(self, db_name):
         """ 获取指定数据库的所有数据表 """
-        connection = pymysql.connect(**self.config)  # 连接数据库
+        # connection = pymysql.connect(**self.config)  # 连接数据库
+        connection = self.keep_connect(_config=self.config, max_try=5)
+        if not connection:
+            return
         try:
             with connection.cursor() as cursor:
                 cursor.execute(f"SHOW DATABASES LIKE '{db_name}'")  # 检查数据库是否存在
@@ -1420,7 +1485,10 @@ class OptimizeDatas:
             connection.close()  # 断开连接
 
         self.config.update({'database': db_name})  # 添加更新 config 字段
-        connection = pymysql.connect(**self.config)  # 重新连接数据库
+        # connection = pymysql.connect(**self.config)  # 重新连接数据库
+        connection = self.keep_connect(_config=self.config, max_try=5)
+        if not connection:
+            return
         with connection.cursor() as cursor:
             cursor.execute("SHOW TABLES")
             tables = cursor.fetchall()  # 获取所有数据表
@@ -1432,7 +1500,10 @@ class OptimizeDatas:
         获取指定数据表的数据, 按天获取
         """
         self.config.update({'database': db_name})  # 添加更新 config 字段
-        connection = pymysql.connect(**self.config)
+        # connection = pymysql.connect(**self.config)
+        connection = self.keep_connect(_config=self.config, max_try=5)
+        if not connection:
+            return
         try:
             with connection.cursor() as cursor:
                 sql = f"SELECT * FROM `{table_name}` WHERE {'日期'} BETWEEN '%s' AND '%s'" % (date, date)
@@ -1465,7 +1536,10 @@ class OptimizeDatas:
         for table_dict in tables:
             for key, table_name in table_dict.items():
                 self.config.update({'database': self.db_name})  # 添加更新 config 字段
-                self.connection = pymysql.connect(**self.config)
+                # self.connection = pymysql.connect(**self.config)
+                self.connection = self.keep_connect(_config=self.config, max_try=5)
+                if not self.connection:
+                    return
                 with self.connection.cursor() as cursor:
                     cursor.execute(f"SHOW FULL COLUMNS FROM `{table_name}`")  # 查询数据表的列信息
                     columns = cursor.fetchall()

mdbq/spider/aikucun.py

@@ -47,23 +47,55 @@ else:
     Share_Path = str(pathlib.Path('/Volumes/时尚事业部/01.运营部/天猫报表'))  # 共享文件根目录
     Source_Path = str(pathlib.Path(Data_Path, '原始文件2'))
 upload_path = os.path.join(D_PATH, '数据上传中心')  # 此目录位于下载文件夹
+
+m_engine = mysql.MysqlUpload(username='', password='', host='', port=0, charset='utf8mb4')
+company_engine = mysql.MysqlUpload(username='', password='', host='', port=0, charset='utf8mb4')
+
 if socket.gethostname() == 'company' or socket.gethostname() == 'Mac2.local':
     conf = myconfig.main()
+    conf_data = conf['Windows']['xigua_lx']['mysql']['remoto']
+    username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
+    m_engine = mysql.MysqlUpload(
+        username=username,
+        password=password,
+        host=host,
+        port=port,
+        charset='utf8mb4'
+    )
     conf_data = conf['Windows']['company']['mysql']['local']
-    username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data[
-        'port']
+    username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
+    company_engine = mysql.MysqlUpload(
+        username=username,
+        password=password,
+        host=host,
+        port=port,
+        charset='utf8mb4'
+    )
+    targe_host = 'company'
+
 else:
     conf = myconfig.main()
+
+    conf_data = conf['Windows']['company']['mysql']['remoto']
+    username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
+    company_engine = mysql.MysqlUpload(
+        username=username,
+        password=password,
+        host=host,
+        port=port,
+        charset='utf8mb4'
+    )
+
     conf_data = conf['Windows']['xigua_lx']['mysql']['local']
-    username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data[
-        'port']
-m_engine = mysql.MysqlUpload(
-    username=username,
-    password=password,
-    host=host,
-    port=port,
-    charset='utf8mb4'
-)
+    username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
+    m_engine = mysql.MysqlUpload(
+        username=username,
+        password=password,
+        host=host,
+        port=port,
+        charset='utf8mb4'
+    )
+    targe_host = 'xigua_lx'
 
 
 def get_cookie_aikucun():
@@ -382,6 +414,14 @@ class AikuCun:
                             unique_main_key=None,
                             set_typ=set_typ,
                         )
+                        company_engine.dict_to_mysql(
+                            db_name='爱库存2',
+                            table_name='商品spu榜单',
+                            dict_data=new_dict,
+                            icm_update=['日期', '店铺名称', 'spu_id', '商品款号'],
+                            unique_main_key=None,
+                            set_typ=set_typ,
+                        )
 
                     # m_engine.df_to_mysql(
                     #     df=df,
@@ -396,6 +436,19 @@ class AikuCun:
                     #     reset_id=False,  # 是否重置自增列
                     #     set_typ=set_typ,
                     # )
+                    # company_engine.df_to_mysql(
+                    #     df=df,
+                    #     db_name='爱库存2',
+                    #     table_name='商品spu榜单',
+                    #     icm_update=[],  # 增量更新, 在聚合数据中使用，其他不要用
+                    #     move_insert=False,  # 先删除，再插入
+                    #     df_sql=True,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+                    #     drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+                    #     count=None,
+                    #     filename=None,  # 用来追踪处理进度
+                    #     reset_id=False,  # 是否重置自增列
+                    #     set_typ=set_typ,
+                    # )
 
                     new_name = f'爱库存_商品榜单_spu_{date}_{date}.csv'
                     df.to_csv(os.path.join(root, new_name), encoding='utf-8_sig', index=False)

{mdbq-3.3.2.dist-info → mdbq-3.3.4.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 3.3.2
+Version: 3.3.4
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-3.3.2.dist-info → mdbq-3.3.4.dist-info}/RECORD

@@ -5,7 +5,7 @@ mdbq/aggregation/aggregation.py,sha256=-yzApnlqSN2L0E1YMu5ml-W827qpKQvWPCOI7jj2k
 mdbq/aggregation/df_types.py,sha256=U9i3q2eRPTDY8qAPTw7irzu-Tlg4CIySW9uYro81wdk,8125
 mdbq/aggregation/mysql_types.py,sha256=YTGyrF9vcRgfkQbpT-e-JdJ7c7VF1dDHgyx9YZRES8w,10934
 mdbq/aggregation/optimize_data.py,sha256=RXIv7cACCgYyehAxMjUYi_S7rVyjIwXKWMaM3nduGtA,3068
-mdbq/aggregation/query_data.py,sha256=CM3qY2yCeYhtZ58U5lVWIQjDqlJSSJZFs5V86dC4VKo,148479
+mdbq/aggregation/query_data.py,sha256=4C9BmMUV4x1YvezIySO5Nh8tqGqg1z4GVnuYDGU5OJs,167595
 mdbq/bdup/__init__.py,sha256=AkhsGk81SkG1c8FqDH5tRq-8MZmFobVbN60DTyukYTY,28
 mdbq/bdup/bdup.py,sha256=LAV0TgnQpc-LB-YuJthxb0U42_VkPidzQzAagan46lU,4234
 mdbq/clean/__init__.py,sha256=A1d6x3L27j4NtLgiFV5TANwEkLuaDfPHDQNrPBbNWtU,41
@@ -26,7 +26,7 @@ mdbq/log/mylogger.py,sha256=oaT7Bp-Hb9jZt52seP3ISUuxVcI19s4UiqTeouScBO0,3258
 mdbq/mongo/__init__.py,sha256=SILt7xMtQIQl_m-ik9WLtJSXIVf424iYgCfE_tnQFbw,13
 mdbq/mongo/mongo.py,sha256=v9qvrp6p1ZRWuPpbSilqveiE0FEcZF7U5xUPI0RN4xs,31880
 mdbq/mysql/__init__.py,sha256=A_DPJyAoEvTSFojiI2e94zP0FKtCkkwKP1kYUCSyQzo,11
-mdbq/mysql/mysql.py,sha256=dpQWQTq8PpSYFPAHZRNinLuHKfrekSNYbyOxtOD0SwA,82319
+mdbq/mysql/mysql.py,sha256=pTeZD0KgVNJnRLaMXP11wz8lBBq2_xkAqIuoRmnEMWA,85259
 mdbq/mysql/recheck_mysql.py,sha256=rgTpvDMWYTyEn7UQdlig-pdXDluTgiU8JG6lkMh8DV0,8665
 mdbq/mysql/s_query.py,sha256=MbIprZ4yJDAZ9AahZPzl7hqS695Vs0P-AJNwAtA_EEc,9287
 mdbq/mysql/year_month_day.py,sha256=VgewoE2pJxK7ErjfviL_SMTN77ki8GVbTUcao3vFUCE,1523
@@ -43,8 +43,8 @@ mdbq/pbix/refresh_all_old.py,sha256=_pq3WSQ728GPtEG5pfsZI2uTJhU8D6ra-htIk1JXYzw,
 mdbq/req_post/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
 mdbq/req_post/req_tb.py,sha256=qg7pet73IgKGmCwxaeUyImJIoeK_pBQT9BBKD7fkBNg,36160
 mdbq/spider/__init__.py,sha256=RBMFXGy_jd1HXZhngB2T2XTvJqki8P_Fr-pBcwijnew,18
-mdbq/spider/aikucun.py,sha256=yG0wqvKKqAsx_OQXAy-wAJF_DPITL3r_S-9txb5bnHk,22436
-mdbq-3.3.2.dist-info/METADATA,sha256=I4qUUWuBiywfwZwIlLGC1fxlIZGmq46nLGLcluAV3kM,243
-mdbq-3.3.2.dist-info/WHEEL,sha256=cpQTJ5IWu9CdaPViMhC9YzF8gZuS5-vlfoFihTBC86A,91
-mdbq-3.3.2.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
-mdbq-3.3.2.dist-info/RECORD,,
+mdbq/spider/aikucun.py,sha256=BKVa0xbTkyhIH5kQgOdyPDtwFPScbMNAFYup_-fFF9Y,24809
+mdbq-3.3.4.dist-info/METADATA,sha256=5HCgLOtVbO2JXkq0HhNkTOo2wqWf4MFVh78NWT_ruPk,243
+mdbq-3.3.4.dist-info/WHEEL,sha256=eOLhNAGa2EW3wWl_TU484h7q1UNgy0JXjjoqKoxAAQc,92
+mdbq-3.3.4.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
+mdbq-3.3.4.dist-info/RECORD,,

{mdbq-3.3.2.dist-info → mdbq-3.3.4.dist-info}/WHEEL

@@ -1,5 +1,5 @@
 Wheel-Version: 1.0
-Generator: setuptools (70.1.0)
+Generator: bdist_wheel (0.44.0)
 Root-Is-Purelib: true
 Tag: py3-none-any