mdbq 3.3.1__py3-none-any.whl → 3.3.3__py3-none-any.whl

mdbq/aggregation/query_data.py

@@ -25,26 +25,54 @@ import traceback
 
 """
 error_file = os.path.join(set_support.SetSupport(dirname='support').dirname, 'error.log')
-username, password, host, port, service_database = None, None, None, None, None,
-if socket.gethostname() in ['xigua_lx', 'xigua1', 'MacBookPro']:
+m_engine = mysql.MysqlUpload(username='', password='', host='', port=0, charset='utf8mb4')
+company_engine = mysql.MysqlUpload(username='', password='', host='', port=0, charset='utf8mb4')
+
+if socket.gethostname() == 'company' or socket.gethostname() == 'Mac2.local':
     conf = myconfig.main()
-    conf_data = conf['Windows']['xigua_lx']['mysql']['local']
+    conf_data = conf['Windows']['xigua_lx']['mysql']['remoto']
     username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
-    service_database = {'xigua_lx': 'mysql'}
-elif socket.gethostname() in ['company', 'Mac2.local']:
-    conf = myconfig.main()
+    m_engine = mysql.MysqlUpload(
+        username=username,
+        password=password,
+        host=host,
+        port=port,
+        charset='utf8mb4'
+    )
     conf_data = conf['Windows']['company']['mysql']['local']
     username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
-    service_database = {'company': 'mysql'}
-if not username:
-    print(f'找不到主机：')
-m_engine = mysql.MysqlUpload(
-    username=username,
-    password=password,
-    host=host,
-    port=port,
-    charset='utf8mb4'
-)
+    company_engine = mysql.MysqlUpload(
+        username=username,
+        password=password,
+        host=host,
+        port=port,
+        charset='utf8mb4'
+    )
+    targe_host = 'company'
+
+else:
+    conf = myconfig.main()
+
+    conf_data = conf['Windows']['company']['mysql']['remoto']
+    username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
+    company_engine = mysql.MysqlUpload(
+        username=username,
+        password=password,
+        host=host,
+        port=port,
+        charset='utf8mb4'
+    )
+
+    conf_data = conf['Windows']['xigua_lx']['mysql']['local']
+    username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
+    m_engine = mysql.MysqlUpload(
+        username=username,
+        password=password,
+        host=host,
+        port=port,
+        charset='utf8mb4'
+    )
+    targe_host = 'xigua_lx'
 
 
 class MysqlDatasQuery:
@@ -200,6 +228,19 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '推广渠道', '营销场景', '商品id', '花费'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
 
         # df_pic：商品排序索引表, 给 powerbi 中的主推款排序用的,(从上月1号到今天的总花费进行排序)
         today = datetime.date.today()
@@ -248,6 +289,19 @@ class MysqlDatasQuery:
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df_pic,
+            db_name='属性设置3',
+            table_name='商品索引表_主推排序调用',
+            icm_update=['商品id'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=False,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=False,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
     @try_except
@@ -340,6 +394,19 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '宝贝id'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
     @try_except
@@ -530,6 +597,19 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '推广渠道', '营销场景', '商品id', '花费', '人群名字'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
     @try_except
@@ -666,6 +746,19 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '推广渠道', '营销场景', '商品id', '花费', '词类型', '词名字_词包名字',],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
     @try_except
@@ -790,6 +883,19 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '推广渠道', '营销场景', '花费'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
     @try_except
@@ -903,6 +1009,19 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '报表类型', '推广渠道', '营销场景', '花费'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
     @try_except
@@ -960,6 +1079,19 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            icm_update=['宝贝id'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=False,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
     @try_except
@@ -1017,6 +1149,19 @@ class MysqlDatasQuery:
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            icm_update=['商品id'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=False,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=False,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
     # @try_except
@@ -1125,6 +1270,19 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '一级来源', '二级来源', '三级来源', '访客数'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
     @try_except
@@ -1172,6 +1330,19 @@ class MysqlDatasQuery:
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            icm_update=['款号'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=False,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=False,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
     # @try_except
@@ -1276,7 +1447,19 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
-            
+        )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '产品线', '触发sku_id', '跟单sku_id', '花费', ],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
         )
 
         # # 按照 spu 聚合
@@ -1310,8 +1493,20 @@ class MysqlDatasQuery:
         #     count=None,
         #     filename=None,  # 用来追踪处理进度
         #     reset_id=True,  # 是否重置自增列
-        #     set_typ=set_typ,
-        #
+        #     set_typ=set_typ
+        # )
+        # company_engine.df_to_mysql(
+        #     df=df,
+        #     db_name=db_name,
+        #     table_name='京东_京准通_按spu',
+        #     # icm_update=['日期', '产品线', '触发sku_id', '跟单sku_id', '花费', ],  # 增量更新, 在聚合数据中使用，其他不要用
+        #     move_insert=True,  # 先删除，再插入
+        #     df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+        #     drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+        #     count=None,
+        #     filename=None,  # 用来追踪处理进度
+        #     reset_id=True,  # 是否重置自增列
+        #     set_typ=set_typ
         # )
 
         return True
@@ -1379,8 +1574,20 @@ class MysqlDatasQuery:
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=True,  # 是否重置自增列
-            set_typ=set_typ,
-            
+            set_typ=set_typ
+        )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '产品线', '花费'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ
         )
         return True
 
@@ -1481,8 +1688,20 @@ class MysqlDatasQuery:
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=True,  # 是否重置自增列
-            set_typ=set_typ,
-            
+            set_typ=set_typ
+        )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '产品线', '搜索词',  '关键词', '展现数', '花费'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ
         )
         return True
 
@@ -1558,6 +1777,19 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '商品id', '成交单量'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
     @try_except
@@ -1622,8 +1854,20 @@ class MysqlDatasQuery:
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=True,  # 是否重置自增列
-            set_typ=set_typ,
-            
+            set_typ=set_typ
+        )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '商品id', '成交单量'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ
         )
         return True
 
@@ -1708,6 +1952,19 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '店铺名称', '词类型', '搜索词'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
     @try_except
@@ -1877,6 +2134,15 @@ class MysqlDatasQuery:
                 main_key=None,  # 指定索引列, 通常用日期列，默认会设置日期为索引
                 set_typ=set_typ,  # 指定数据类型
             )
+            company_engine.dict_to_mysql(
+                db_name=db_name,
+                table_name=table_name,
+                dict_data=new_dict,
+                unique_main_key=None,
+                icm_update=['场次id'],  # 唯一组合键
+                main_key=None,  # 指定索引列, 通常用日期列，默认会设置日期为索引
+                set_typ=set_typ,  # 指定数据类型
+            )
         return True
 
     # @try_except
@@ -2206,8 +2472,20 @@ class MysqlDatasQuery:
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=True,  # 是否重置自增列
-            set_typ=set_typ,
-            
+            set_typ=set_typ
+        )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '店铺名称', '营销场景', '花费', '展现量', '点击量'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ
         )
         return True
 
@@ -2312,6 +2590,14 @@ class MysqlDatasQuery:
         #         unique_main_key=None,
         #         set_typ=set_typ,
         #     )
+        #     company_engine.dict_to_mysql(
+        #         db_name=db_name,
+        #         table_name=table_name,
+        #         dict_data=new_dict,
+        #         icm_update=['日期', '店铺名称', 'spu_id', '商品款号'],
+        #         unique_main_key=None,
+        #         set_typ=set_typ,
+        #     )
         m_engine.df_to_mysql(
             df=df,
             db_name=db_name,
@@ -2323,8 +2609,20 @@ class MysqlDatasQuery:
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=True,  # 是否重置自增列
-            set_typ=set_typ,
-
+            set_typ=set_typ
+        )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            icm_update=[],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ
         )
         return True
 
@@ -2376,8 +2674,20 @@ class MysqlDatasQuery:
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=True,  # 是否重置自增列
-            set_typ=set_typ,
-            
+            set_typ=set_typ
+        )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '人群类型', '店铺名称', '人群规模', '广告投入金额'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ
         )
         return True
 
@@ -2491,6 +2801,19 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            icm_update=[],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
     @try_except
@@ -2902,6 +3225,19 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            icm_update=[],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
     # @try_except
@@ -3012,6 +3348,19 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            icm_update=[],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
     # @try_except
@@ -3083,6 +3432,19 @@ class MysqlDatasQuery:
             reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            icm_update=[],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
         return True
 
 

mdbq/mysql/mysql.py

@@ -98,14 +98,17 @@ class MysqlUpload:
         self.password = password
         self.host = host
         self.port = port
-        self.config = {
-            'host': self.host,
-            'port': int(self.port),
-            'user': self.username,
-            'password': self.password,
-            'charset': charset,  # utf8mb4 支持存储四字节的UTF-8字符集
-            'cursorclass': pymysql.cursors.DictCursor,
-        }
+        if username == '' or password == '' or host == '' or port == 0:
+            self.config = None
+        else:
+            self.config = {
+                'host': self.host,
+                'port': int(self.port),
+                'user': self.username,
+                'password': self.password,
+                'charset': charset,  # utf8mb4 支持存储四字节的UTF-8字符集
+                'cursorclass': pymysql.cursors.DictCursor,
+            }
         self.filename = None
 
     @staticmethod
@@ -192,6 +195,8 @@ class MysqlUpload:
         filename:
         reset_id:
         """
+        if not self.config:
+            return
         if '数据主体' not in dict_data.keys():
             print(f'dict_data 中"数据主体"键不能为空')
             return
@@ -320,7 +325,6 @@ class MysqlUpload:
                     connection.rollback()
             connection.commit()
 
-
     @try_except
     def dict_to_mysql(self, db_name, table_name, dict_data, icm_update=None, main_key=None, unique_main_key=None, index_length=100, set_typ=None, allow_not_null=False, cut_data=None):
         """
@@ -333,6 +337,8 @@ class MysqlUpload:
         set_typ: {}
         allow_not_null: 创建允许插入空值的列，正常情况下不允许空值
         """
+        if not self.config:
+            return
         if icm_update:
             if main_key or unique_main_key:
                 print(f'icm_update/unique_main_key/unique_main_key 参数不能同时设定')
@@ -672,6 +678,8 @@ class MysqlUpload:
         filename: 用来追踪处理进度，传这个参数是方便定位产生错误的文件
         allow_not_null: 创建允许插入空值的列，正常情况下不允许空值
         """
+        if not self.config:
+            return
         if icm_update:
             if move_insert or df_sql or drop_duplicates:
                 print(f'icm_update/move_insert/df_sql/drop_duplicates 参数不能同时设定')

mdbq/spider/aikucun.py

@@ -47,23 +47,55 @@ else:
     Share_Path = str(pathlib.Path('/Volumes/时尚事业部/01.运营部/天猫报表'))  # 共享文件根目录
     Source_Path = str(pathlib.Path(Data_Path, '原始文件2'))
 upload_path = os.path.join(D_PATH, '数据上传中心')  # 此目录位于下载文件夹
+
+m_engine = mysql.MysqlUpload(username='', password='', host='', port=0, charset='utf8mb4')
+company_engine = mysql.MysqlUpload(username='', password='', host='', port=0, charset='utf8mb4')
+
 if socket.gethostname() == 'company' or socket.gethostname() == 'Mac2.local':
     conf = myconfig.main()
+    conf_data = conf['Windows']['xigua_lx']['mysql']['remoto']
+    username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
+    m_engine = mysql.MysqlUpload(
+        username=username,
+        password=password,
+        host=host,
+        port=port,
+        charset='utf8mb4'
+    )
     conf_data = conf['Windows']['company']['mysql']['local']
-    username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data[
-        'port']
+    username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
+    company_engine = mysql.MysqlUpload(
+        username=username,
+        password=password,
+        host=host,
+        port=port,
+        charset='utf8mb4'
+    )
+    targe_host = 'company'
+
 else:
     conf = myconfig.main()
+
+    conf_data = conf['Windows']['company']['mysql']['remoto']
+    username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
+    company_engine = mysql.MysqlUpload(
+        username=username,
+        password=password,
+        host=host,
+        port=port,
+        charset='utf8mb4'
+    )
+
     conf_data = conf['Windows']['xigua_lx']['mysql']['local']
-    username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data[
-        'port']
-m_engine = mysql.MysqlUpload(
-    username=username,
-    password=password,
-    host=host,
-    port=port,
-    charset='utf8mb4'
-)
+    username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
+    m_engine = mysql.MysqlUpload(
+        username=username,
+        password=password,
+        host=host,
+        port=port,
+        charset='utf8mb4'
+    )
+    targe_host = 'xigua_lx'
 
 
 def get_cookie_aikucun():
@@ -382,6 +414,14 @@ class AikuCun:
                             unique_main_key=None,
                             set_typ=set_typ,
                         )
+                        company_engine.dict_to_mysql(
+                            db_name='爱库存2',
+                            table_name='商品spu榜单',
+                            dict_data=new_dict,
+                            icm_update=['日期', '店铺名称', 'spu_id', '商品款号'],
+                            unique_main_key=None,
+                            set_typ=set_typ,
+                        )
 
                     # m_engine.df_to_mysql(
                     #     df=df,
@@ -396,6 +436,19 @@ class AikuCun:
                     #     reset_id=False,  # 是否重置自增列
                     #     set_typ=set_typ,
                     # )
+                    # company_engine.df_to_mysql(
+                    #     df=df,
+                    #     db_name='爱库存2',
+                    #     table_name='商品spu榜单',
+                    #     icm_update=[],  # 增量更新, 在聚合数据中使用，其他不要用
+                    #     move_insert=False,  # 先删除，再插入
+                    #     df_sql=True,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+                    #     drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+                    #     count=None,
+                    #     filename=None,  # 用来追踪处理进度
+                    #     reset_id=False,  # 是否重置自增列
+                    #     set_typ=set_typ,
+                    # )
 
                     new_name = f'爱库存_商品榜单_spu_{date}_{date}.csv'
                     df.to_csv(os.path.join(root, new_name), encoding='utf-8_sig', index=False)

{mdbq-3.3.1.dist-info → mdbq-3.3.3.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 3.3.1
+Version: 3.3.3
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-3.3.1.dist-info → mdbq-3.3.3.dist-info}/RECORD

@@ -5,7 +5,7 @@ mdbq/aggregation/aggregation.py,sha256=-yzApnlqSN2L0E1YMu5ml-W827qpKQvWPCOI7jj2k
 mdbq/aggregation/df_types.py,sha256=U9i3q2eRPTDY8qAPTw7irzu-Tlg4CIySW9uYro81wdk,8125
 mdbq/aggregation/mysql_types.py,sha256=YTGyrF9vcRgfkQbpT-e-JdJ7c7VF1dDHgyx9YZRES8w,10934
 mdbq/aggregation/optimize_data.py,sha256=RXIv7cACCgYyehAxMjUYi_S7rVyjIwXKWMaM3nduGtA,3068
-mdbq/aggregation/query_data.py,sha256=CM3qY2yCeYhtZ58U5lVWIQjDqlJSSJZFs5V86dC4VKo,148479
+mdbq/aggregation/query_data.py,sha256=4C9BmMUV4x1YvezIySO5Nh8tqGqg1z4GVnuYDGU5OJs,167595
 mdbq/bdup/__init__.py,sha256=AkhsGk81SkG1c8FqDH5tRq-8MZmFobVbN60DTyukYTY,28
 mdbq/bdup/bdup.py,sha256=LAV0TgnQpc-LB-YuJthxb0U42_VkPidzQzAagan46lU,4234
 mdbq/clean/__init__.py,sha256=A1d6x3L27j4NtLgiFV5TANwEkLuaDfPHDQNrPBbNWtU,41
@@ -26,7 +26,7 @@ mdbq/log/mylogger.py,sha256=oaT7Bp-Hb9jZt52seP3ISUuxVcI19s4UiqTeouScBO0,3258
 mdbq/mongo/__init__.py,sha256=SILt7xMtQIQl_m-ik9WLtJSXIVf424iYgCfE_tnQFbw,13
 mdbq/mongo/mongo.py,sha256=v9qvrp6p1ZRWuPpbSilqveiE0FEcZF7U5xUPI0RN4xs,31880
 mdbq/mysql/__init__.py,sha256=A_DPJyAoEvTSFojiI2e94zP0FKtCkkwKP1kYUCSyQzo,11
-mdbq/mysql/mysql.py,sha256=yWxjrh1uygcb5S84CruNaD5w4oF6lNALNLCNjqR04F4,82030
+mdbq/mysql/mysql.py,sha256=dpQWQTq8PpSYFPAHZRNinLuHKfrekSNYbyOxtOD0SwA,82319
 mdbq/mysql/recheck_mysql.py,sha256=rgTpvDMWYTyEn7UQdlig-pdXDluTgiU8JG6lkMh8DV0,8665
 mdbq/mysql/s_query.py,sha256=MbIprZ4yJDAZ9AahZPzl7hqS695Vs0P-AJNwAtA_EEc,9287
 mdbq/mysql/year_month_day.py,sha256=VgewoE2pJxK7ErjfviL_SMTN77ki8GVbTUcao3vFUCE,1523
@@ -43,8 +43,8 @@ mdbq/pbix/refresh_all_old.py,sha256=_pq3WSQ728GPtEG5pfsZI2uTJhU8D6ra-htIk1JXYzw,
 mdbq/req_post/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
 mdbq/req_post/req_tb.py,sha256=qg7pet73IgKGmCwxaeUyImJIoeK_pBQT9BBKD7fkBNg,36160
 mdbq/spider/__init__.py,sha256=RBMFXGy_jd1HXZhngB2T2XTvJqki8P_Fr-pBcwijnew,18
-mdbq/spider/aikucun.py,sha256=yG0wqvKKqAsx_OQXAy-wAJF_DPITL3r_S-9txb5bnHk,22436
-mdbq-3.3.1.dist-info/METADATA,sha256=i38ZdQqZK4ci9BMpha5-8peJtDs0yOOGMIhos9Ag4FE,243
-mdbq-3.3.1.dist-info/WHEEL,sha256=cpQTJ5IWu9CdaPViMhC9YzF8gZuS5-vlfoFihTBC86A,91
-mdbq-3.3.1.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
-mdbq-3.3.1.dist-info/RECORD,,
+mdbq/spider/aikucun.py,sha256=BKVa0xbTkyhIH5kQgOdyPDtwFPScbMNAFYup_-fFF9Y,24809
+mdbq-3.3.3.dist-info/METADATA,sha256=2_AvXdqYGWMuln2wfqXfLKddw2h8Sbr49mK1UjEiiVU,243
+mdbq-3.3.3.dist-info/WHEEL,sha256=cpQTJ5IWu9CdaPViMhC9YzF8gZuS5-vlfoFihTBC86A,91
+mdbq-3.3.3.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
+mdbq-3.3.3.dist-info/RECORD,,