mdbq 3.3.2__py3-none-any.whl → 3.3.3__py3-none-any.whl

mdbq/aggregation/query_data.py

@@ -25,26 +25,54 @@ import traceback
 
 """
 error_file = os.path.join(set_support.SetSupport(dirname='support').dirname, 'error.log')
-username, password, host, port, service_database = None, None, None, None, None,
-if socket.gethostname() in ['xigua_lx', 'xigua1', 'MacBookPro']:
+m_engine = mysql.MysqlUpload(username='', password='', host='', port=0, charset='utf8mb4')
+company_engine = mysql.MysqlUpload(username='', password='', host='', port=0, charset='utf8mb4')
+
+if socket.gethostname() == 'company' or socket.gethostname() == 'Mac2.local':
     conf = myconfig.main()
-    conf_data = conf['Windows']['xigua_lx']['mysql']['local']
+    conf_data = conf['Windows']['xigua_lx']['mysql']['remoto']
     username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
-    service_database = {'xigua_lx': 'mysql'}
-elif socket.gethostname() in ['company', 'Mac2.local']:
-    conf = myconfig.main()
+    m_engine = mysql.MysqlUpload(
+        username=username,
+        password=password,
+        host=host,
+        port=port,
+        charset='utf8mb4'
+    )
     conf_data = conf['Windows']['company']['mysql']['local']
     username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
-    service_database = {'company': 'mysql'}
-if not username:
-    print(f'找不到主机：')
-m_engine = mysql.MysqlUpload(
-    username=username,
-    password=password,
-    host=host,
-    port=port,
-    charset='utf8mb4'
-)
+    company_engine = mysql.MysqlUpload(
+        username=username,
+        password=password,
+        host=host,
+        port=port,
+        charset='utf8mb4'
+    )
+    targe_host = 'company'
+
+else:
+    conf = myconfig.main()
+
+    conf_data = conf['Windows']['company']['mysql']['remoto']
+    username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
+    company_engine = mysql.MysqlUpload(
+        username=username,
+        password=password,
+        host=host,
+        port=port,
+        charset='utf8mb4'
+    )
+
+    conf_data = conf['Windows']['xigua_lx']['mysql']['local']
+    username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
+    m_engine = mysql.MysqlUpload(
+        username=username,
+        password=password,
+        host=host,
+        port=port,
+        charset='utf8mb4'
+    )
+    targe_host = 'xigua_lx'
 
 
 class MysqlDatasQuery:
@@ -200,6 +228,19 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '推广渠道', '营销场景', '商品id', '花费'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
 
         # df_pic：商品排序索引表, 给 powerbi 中的主推款排序用的,(从上月1号到今天的总花费进行排序)
         today = datetime.date.today()
@@ -248,6 +289,19 @@ class MysqlDatasQuery:
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df_pic,
+            db_name='属性设置3',
+            table_name='商品索引表_主推排序调用',
+            icm_update=['商品id'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=False,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=False,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
     @try_except
@@ -340,6 +394,19 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '宝贝id'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
     @try_except
@@ -530,6 +597,19 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '推广渠道', '营销场景', '商品id', '花费', '人群名字'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
     @try_except
@@ -666,6 +746,19 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '推广渠道', '营销场景', '商品id', '花费', '词类型', '词名字_词包名字',],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
     @try_except
@@ -790,6 +883,19 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '推广渠道', '营销场景', '花费'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
     @try_except
@@ -903,6 +1009,19 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '报表类型', '推广渠道', '营销场景', '花费'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
     @try_except
@@ -960,6 +1079,19 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            icm_update=['宝贝id'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=False,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
     @try_except
@@ -1017,6 +1149,19 @@ class MysqlDatasQuery:
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            icm_update=['商品id'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=False,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=False,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
     # @try_except
@@ -1125,6 +1270,19 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '一级来源', '二级来源', '三级来源', '访客数'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
     @try_except
@@ -1172,6 +1330,19 @@ class MysqlDatasQuery:
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            icm_update=['款号'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=False,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=False,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
     # @try_except
@@ -1276,7 +1447,19 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
-            
+        )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '产品线', '触发sku_id', '跟单sku_id', '花费', ],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
         )
 
         # # 按照 spu 聚合
@@ -1310,8 +1493,20 @@ class MysqlDatasQuery:
         #     count=None,
         #     filename=None,  # 用来追踪处理进度
         #     reset_id=True,  # 是否重置自增列
-        #     set_typ=set_typ,
-        #
+        #     set_typ=set_typ
+        # )
+        # company_engine.df_to_mysql(
+        #     df=df,
+        #     db_name=db_name,
+        #     table_name='京东_京准通_按spu',
+        #     # icm_update=['日期', '产品线', '触发sku_id', '跟单sku_id', '花费', ],  # 增量更新, 在聚合数据中使用，其他不要用
+        #     move_insert=True,  # 先删除，再插入
+        #     df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+        #     drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+        #     count=None,
+        #     filename=None,  # 用来追踪处理进度
+        #     reset_id=True,  # 是否重置自增列
+        #     set_typ=set_typ
         # )
 
         return True
@@ -1379,8 +1574,20 @@ class MysqlDatasQuery:
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=True,  # 是否重置自增列
-            set_typ=set_typ,
-            
+            set_typ=set_typ
+        )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '产品线', '花费'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ
         )
         return True
 
@@ -1481,8 +1688,20 @@ class MysqlDatasQuery:
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=True,  # 是否重置自增列
-            set_typ=set_typ,
-            
+            set_typ=set_typ
+        )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '产品线', '搜索词',  '关键词', '展现数', '花费'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ
         )
         return True
 
@@ -1558,6 +1777,19 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '商品id', '成交单量'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
     @try_except
@@ -1622,8 +1854,20 @@ class MysqlDatasQuery:
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=True,  # 是否重置自增列
-            set_typ=set_typ,
-            
+            set_typ=set_typ
+        )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '商品id', '成交单量'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ
         )
         return True
 
@@ -1708,6 +1952,19 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '店铺名称', '词类型', '搜索词'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
     @try_except
@@ -1877,6 +2134,15 @@ class MysqlDatasQuery:
                 main_key=None,  # 指定索引列, 通常用日期列，默认会设置日期为索引
                 set_typ=set_typ,  # 指定数据类型
             )
+            company_engine.dict_to_mysql(
+                db_name=db_name,
+                table_name=table_name,
+                dict_data=new_dict,
+                unique_main_key=None,
+                icm_update=['场次id'],  # 唯一组合键
+                main_key=None,  # 指定索引列, 通常用日期列，默认会设置日期为索引
+                set_typ=set_typ,  # 指定数据类型
+            )
         return True
 
     # @try_except
@@ -2206,8 +2472,20 @@ class MysqlDatasQuery:
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=True,  # 是否重置自增列
-            set_typ=set_typ,
-            
+            set_typ=set_typ
+        )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '店铺名称', '营销场景', '花费', '展现量', '点击量'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ
         )
         return True
 
@@ -2312,6 +2590,14 @@ class MysqlDatasQuery:
         #         unique_main_key=None,
         #         set_typ=set_typ,
         #     )
+        #     company_engine.dict_to_mysql(
+        #         db_name=db_name,
+        #         table_name=table_name,
+        #         dict_data=new_dict,
+        #         icm_update=['日期', '店铺名称', 'spu_id', '商品款号'],
+        #         unique_main_key=None,
+        #         set_typ=set_typ,
+        #     )
         m_engine.df_to_mysql(
             df=df,
             db_name=db_name,
@@ -2323,8 +2609,20 @@ class MysqlDatasQuery:
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=True,  # 是否重置自增列
-            set_typ=set_typ,
-
+            set_typ=set_typ
+        )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            icm_update=[],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ
         )
         return True
 
@@ -2376,8 +2674,20 @@ class MysqlDatasQuery:
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=True,  # 是否重置自增列
-            set_typ=set_typ,
-            
+            set_typ=set_typ
+        )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '人群类型', '店铺名称', '人群规模', '广告投入金额'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ
         )
         return True
 
@@ -2491,6 +2801,19 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            icm_update=[],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
     @try_except
@@ -2902,6 +3225,19 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            icm_update=[],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
     # @try_except
@@ -3012,6 +3348,19 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            icm_update=[],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
     # @try_except
@@ -3083,6 +3432,19 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            icm_update=[],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
 

mdbq/spider/aikucun.py

@@ -47,23 +47,55 @@ else:
     Share_Path = str(pathlib.Path('/Volumes/时尚事业部/01.运营部/天猫报表'))  # 共享文件根目录
     Source_Path = str(pathlib.Path(Data_Path, '原始文件2'))
 upload_path = os.path.join(D_PATH, '数据上传中心')  # 此目录位于下载文件夹
+
+m_engine = mysql.MysqlUpload(username='', password='', host='', port=0, charset='utf8mb4')
+company_engine = mysql.MysqlUpload(username='', password='', host='', port=0, charset='utf8mb4')
+
 if socket.gethostname() == 'company' or socket.gethostname() == 'Mac2.local':
     conf = myconfig.main()
+    conf_data = conf['Windows']['xigua_lx']['mysql']['remoto']
+    username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
+    m_engine = mysql.MysqlUpload(
+        username=username,
+        password=password,
+        host=host,
+        port=port,
+        charset='utf8mb4'
+    )
     conf_data = conf['Windows']['company']['mysql']['local']
-    username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data[
-        'port']
+    username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
+    company_engine = mysql.MysqlUpload(
+        username=username,
+        password=password,
+        host=host,
+        port=port,
+        charset='utf8mb4'
+    )
+    targe_host = 'company'
+
 else:
     conf = myconfig.main()
+
+    conf_data = conf['Windows']['company']['mysql']['remoto']
+    username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
+    company_engine = mysql.MysqlUpload(
+        username=username,
+        password=password,
+        host=host,
+        port=port,
+        charset='utf8mb4'
+    )
+
     conf_data = conf['Windows']['xigua_lx']['mysql']['local']
-    username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data[
-        'port']
-m_engine = mysql.MysqlUpload(
-    username=username,
-    password=password,
-    host=host,
-    port=port,
-    charset='utf8mb4'
-)
+    username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
+    m_engine = mysql.MysqlUpload(
+        username=username,
+        password=password,
+        host=host,
+        port=port,
+        charset='utf8mb4'
+    )
+    targe_host = 'xigua_lx'
 
 
 def get_cookie_aikucun():
@@ -382,6 +414,14 @@ class AikuCun:
                             unique_main_key=None,
                             set_typ=set_typ,
                         )
+                        company_engine.dict_to_mysql(
+                            db_name='爱库存2',
+                            table_name='商品spu榜单',
+                            dict_data=new_dict,
+                            icm_update=['日期', '店铺名称', 'spu_id', '商品款号'],
+                            unique_main_key=None,
+                            set_typ=set_typ,
+                        )
 
                     # m_engine.df_to_mysql(
                     #     df=df,
@@ -396,6 +436,19 @@ class AikuCun:
                     #     reset_id=False,  # 是否重置自增列
                     #     set_typ=set_typ,
                     # )
+                    # company_engine.df_to_mysql(
+                    #     df=df,
+                    #     db_name='爱库存2',
+                    #     table_name='商品spu榜单',
+                    #     icm_update=[],  # 增量更新, 在聚合数据中使用，其他不要用
+                    #     move_insert=False,  # 先删除，再插入
+                    #     df_sql=True,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+                    #     drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+                    #     count=None,
+                    #     filename=None,  # 用来追踪处理进度
+                    #     reset_id=False,  # 是否重置自增列
+                    #     set_typ=set_typ,
+                    # )
 
                     new_name = f'爱库存_商品榜单_spu_{date}_{date}.csv'
                     df.to_csv(os.path.join(root, new_name), encoding='utf-8_sig', index=False)

{mdbq-3.3.2.dist-info → mdbq-3.3.3.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 3.3.2
+Version: 3.3.3
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-3.3.2.dist-info → mdbq-3.3.3.dist-info}/RECORD

@@ -5,7 +5,7 @@ mdbq/aggregation/aggregation.py,sha256=-yzApnlqSN2L0E1YMu5ml-W827qpKQvWPCOI7jj2k
 mdbq/aggregation/df_types.py,sha256=U9i3q2eRPTDY8qAPTw7irzu-Tlg4CIySW9uYro81wdk,8125
 mdbq/aggregation/mysql_types.py,sha256=YTGyrF9vcRgfkQbpT-e-JdJ7c7VF1dDHgyx9YZRES8w,10934
 mdbq/aggregation/optimize_data.py,sha256=RXIv7cACCgYyehAxMjUYi_S7rVyjIwXKWMaM3nduGtA,3068
-mdbq/aggregation/query_data.py,sha256=CM3qY2yCeYhtZ58U5lVWIQjDqlJSSJZFs5V86dC4VKo,148479
+mdbq/aggregation/query_data.py,sha256=4C9BmMUV4x1YvezIySO5Nh8tqGqg1z4GVnuYDGU5OJs,167595
 mdbq/bdup/__init__.py,sha256=AkhsGk81SkG1c8FqDH5tRq-8MZmFobVbN60DTyukYTY,28
 mdbq/bdup/bdup.py,sha256=LAV0TgnQpc-LB-YuJthxb0U42_VkPidzQzAagan46lU,4234
 mdbq/clean/__init__.py,sha256=A1d6x3L27j4NtLgiFV5TANwEkLuaDfPHDQNrPBbNWtU,41
@@ -43,8 +43,8 @@ mdbq/pbix/refresh_all_old.py,sha256=_pq3WSQ728GPtEG5pfsZI2uTJhU8D6ra-htIk1JXYzw,
 mdbq/req_post/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
 mdbq/req_post/req_tb.py,sha256=qg7pet73IgKGmCwxaeUyImJIoeK_pBQT9BBKD7fkBNg,36160
 mdbq/spider/__init__.py,sha256=RBMFXGy_jd1HXZhngB2T2XTvJqki8P_Fr-pBcwijnew,18
-mdbq/spider/aikucun.py,sha256=yG0wqvKKqAsx_OQXAy-wAJF_DPITL3r_S-9txb5bnHk,22436
-mdbq-3.3.2.dist-info/METADATA,sha256=I4qUUWuBiywfwZwIlLGC1fxlIZGmq46nLGLcluAV3kM,243
-mdbq-3.3.2.dist-info/WHEEL,sha256=cpQTJ5IWu9CdaPViMhC9YzF8gZuS5-vlfoFihTBC86A,91
-mdbq-3.3.2.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
-mdbq-3.3.2.dist-info/RECORD,,
+mdbq/spider/aikucun.py,sha256=BKVa0xbTkyhIH5kQgOdyPDtwFPScbMNAFYup_-fFF9Y,24809
+mdbq-3.3.3.dist-info/METADATA,sha256=2_AvXdqYGWMuln2wfqXfLKddw2h8Sbr49mK1UjEiiVU,243
+mdbq-3.3.3.dist-info/WHEEL,sha256=cpQTJ5IWu9CdaPViMhC9YzF8gZuS5-vlfoFihTBC86A,91
+mdbq-3.3.3.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
+mdbq-3.3.3.dist-info/RECORD,,