mdbq 1.8.6__tar.gz → 1.8.8__tar.gz

{mdbq-1.8.6 → mdbq-1.8.8}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 1.8.6
+Version: 1.8.8
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-1.8.6 → mdbq-1.8.8}/mdbq/aggregation/aggregation.py

@@ -709,8 +709,9 @@ class DatabaseUpdate:
                             df=df,
                             db_name=db_name,
                             table_name=collection_name,
+                            move_insert=True,  # 先删除，再插入
                             df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
-                            drop_duplicates=True,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+                            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
                             filename=rt_filename,  # 用来追踪处理进度
                             service_database=service_database,  # 字典
                         )
@@ -876,8 +877,9 @@ class DatabaseUpdate:
                     df=df,
                     db_name='聚合数据',
                     table_name='日期表',
+                    move_insert=True,  # 先删除，再插入
                     df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
-                    drop_duplicates=True,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+                    drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
                     filename=None,  # 用来追踪处理进度
                     service_database=service_database,  # 用来追踪处理进度
                 )
@@ -907,6 +909,7 @@ class DatabaseUpdate:
                     df=df,
                     db_name='属性设置2',
                     table_name='主推商品',
+                    move_insert=False,  # 先删除，再插入
                     df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
                     drop_duplicates=True,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
                     filename=None,  # 用来追踪处理进度
@@ -994,6 +997,7 @@ def upload_dir(path, db_name, collection_name, dbs={'mysql': True, 'mongodb': Tr
                         d.df_to_mongo(df=df, db_name=db_name, collection_name=collection_name)
                     if dbs['mysql']:  # drop_duplicates: 值为 True 时检查重复数据再插入
                         m.df_to_mysql(df=df, db_name=db_name, table_name=collection_name,
+                                      move_insert=False,  # 先删除，再插入
                                       df_sql = True,
                                       drop_duplicates=False,
                                       filename=name, count=f'{i}/{count}')
@@ -1016,7 +1020,7 @@ def one_file_to_mysql(file, db_name, table_name, target_service, database):
     df = pd.read_csv(file, encoding='utf-8_sig', header=0, na_filter=False, float_precision='high')
     # df.replace(to_replace=[','], value='', regex=True, inplace=True)  # 替换掉特殊字符
     m = mysql.MysqlUpload(username=username, password=password, host=host, port=port)
-    m.df_to_mysql(df=df, db_name=db_name, table_name=table_name, filename=filename, df_sql=True, drop_duplicates=False,)
+    m.df_to_mysql(df=df, db_name=db_name, table_name=table_name, filename=filename, move_insert=False,  df_sql=True, drop_duplicates=False,)
 
 
 def file_dir(one_file=True):

{mdbq-1.8.6 → mdbq-1.8.8}/mdbq/aggregation/query_data.py

@@ -1263,6 +1263,7 @@ def data_aggregation_one(service_databases=[{}], months=1):
                     df=df,
                     db_name=db_name,
                     table_name=table_name,
+                    move_insert=False,  # 先删除，再插入
                     df_sql=True,
                     drop_duplicates=False,
                     # icm_update=unique_key_list,
@@ -1394,6 +1395,7 @@ def data_aggregation(service_databases=[{}], months=1):
                         df=g.sp_index_datas,
                         db_name='属性设置2',
                         table_name='商品索引表',
+                        move_insert=False,  # 先删除，再插入
                         # df_sql=True,
                         drop_duplicates=False,
                         icm_update=['商品id'],
@@ -1417,6 +1419,7 @@ def data_aggregation(service_databases=[{}], months=1):
                         df=df,
                         db_name=db_name,
                         table_name=table_name,
+                        move_insert=False,  # 先删除，再插入
                         # df_sql=True,
                         drop_duplicates=False,
                         icm_update=unique_key_list,

{mdbq-1.8.6 → mdbq-1.8.8}/mdbq/dataframe/converter.py

@@ -32,7 +32,7 @@ class DataFrameConverter(object):
 
         # dtypes = df.dtypes.apply(str).to_dict()  # 将 dataframe 数据类型转为字典形式
         df.replace([np.inf, -np.inf], 0, inplace=True)  # 清理一些非法值
-        df.replace(to_replace=['\\N', '-', '--', '', 'nan'], value=0, regex=False, inplace=True)  # 替换掉特殊字符
+        df.replace(to_replace=['\\N', '-', '--', '', 'nan', 'NAN'], value=0, regex=False, inplace=True)  # 替换掉特殊字符
         df.replace(to_replace=[','], value='', regex=True, inplace=True)
         df.replace(to_replace=['="'], value='', regex=True, inplace=True)  # ="和"不可以放在一起清洗, 因为有: id=86785565
         df.replace(to_replace=['"'], value='', regex=True, inplace=True)

{mdbq-1.8.6 → mdbq-1.8.8}/mdbq.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 1.8.6
+Version: 1.8.8
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-1.8.6 → mdbq-1.8.8}/setup.py

@@ -3,7 +3,7 @@
 from setuptools import setup, find_packages
 
 setup(name='mdbq',
-      version='1.8.6',
+      version='1.8.8',
       author='xigua, ',
       author_email="2587125111@qq.com",
       url='https://pypi.org/project/mdbsql',