mdbq 1.3.7__tar.gz → 1.3.9__tar.gz

{mdbq-1.3.7 → mdbq-1.3.9}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 1.3.7
+Version: 1.3.9
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-1.3.7 → mdbq-1.3.9}/mdbq/aggregation/aggregation.py

@@ -549,6 +549,7 @@ class DatabaseUpdate:
                             '数据库名': db_name,
                             '集合名称': collection_name,
                             '数据主体': df,
+                            '文件名': name,
                         }
                     )
 
@@ -585,6 +586,7 @@ class DatabaseUpdate:
                                 '数据库名': db_name,
                                 '集合名称': collection_name,
                                 '数据主体': df,
+                                '文件名': name,
                             }
                         )
                     if is_move:
@@ -596,6 +598,7 @@ class DatabaseUpdate:
                 '数据库名': '聚合数据',
                 '集合名称': '日期表',
                 '数据主体': df,
+                '文件名': '日期表文件名',
             }
         )
 
@@ -641,7 +644,7 @@ class DatabaseUpdate:
                         port=port,
                     )
                     for data in self.datas:
-                        df, db_name, collection_name = data['数据主体'], data['数据库名'], data['集合名称']
+                        df, db_name, collection_name, rt_filename = data['数据主体'], data['数据库名'], data['集合名称'], data['文件名']
                         df_to_json.get_df_types(
                             df=df,
                             db_name=db_name,
@@ -653,7 +656,9 @@ class DatabaseUpdate:
                             db_name=db_name,
                             table_name=collection_name,
                             df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
-                            drop_dup=True  # 值为 True 时检查重复数据再插入，反之直接上传
+                            drop_dup=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+                            filename=rt_filename,  # 用来追踪处理进度
+                            system_name=system_name,  # 用来追踪处理进度
                         )
                 df_to_json.as_json_file()  # 写入 json 文件, 包含数据的 dtypes 信息
 

{mdbq-1.3.7 → mdbq-1.3.9}/mdbq/aggregation/query_data.py

@@ -581,7 +581,7 @@ def data_aggregation(service_databases=[{}], months=1, system_name=None,):
                 system_name=system_name,
             )
 
-    # 这是 optimize_data.py 独立的程序，但不在这里清洗数据, 而是通过修改配置文件的方式触发 optimize_datas.py(有s)程序进行全局清理
+    # 这里要注释掉，不然 copysh.py 可能有问题，这里主要修改配置文件，后续触发 home_lx 的 optimize_datas.py(有s)程序进行全局清理
     # optimize_data.op_data(service_databases=service_databases, days=3650)  # 立即启动对聚合数据的清理工作
 
 

{mdbq-1.3.7 → mdbq-1.3.9}/mdbq/company/copysh.py

@@ -306,7 +306,7 @@ def op_data(days: int =3650):
             '生意参谋2',
             '生意经2',
             '属性设置2',
-            '聚合数据',
+            # '聚合数据',  # 不在这里清理聚合数据, 还未开始聚合呢
         ]
         s.days = days
         s.optimize_list()
@@ -329,7 +329,7 @@ def main():
             dp = aggregation.DatabaseUpdate(path=d_path)
             dp.new_unzip(is_move=True)
             dp.cleaning(is_move=True)  # 公司台式机需要移除自身下载的文件
-            dp.upload_df(service_databases=[{'company': 'mysql'}])
+            dp.upload_df(service_databases=[{'company': 'mysql'}], system_name='company')
 
             # 此操作用于修改 .copysh_conf 文件，将 ch_record 改为 false (更新完成)
             w = update_conf.UpdateConf()

{mdbq-1.3.7 → mdbq-1.3.9}/mdbq/mysql/mysql.py

@@ -57,14 +57,14 @@ class MysqlUpload:
         }
         self.filename = None
 
-    def df_to_mysql(self, df, table_name, db_name='远程数据源', icm_update=[], icm_up=[], df_sql=False, drop_dup=True, drop_duplicates=False, filename=None, count=None, json_path=None, system_name=None):
+    def df_to_mysql(self, df, table_name, db_name='远程数据源', icm_update=[], icm_up=[], df_sql=False, drop_dup=False, drop_duplicates=False, filename=None, count=None, json_path=None, system_name=None):
         """
         将 df 写入数据库
         db_name: 数据库名称
         table_name: 集合/表名称
         df_sql: 这是一个临时参数, 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
         drop_duplicates：值为 True 时（仅限于聚合数据使用），其他情况不要设置此参数
-        drop_dup: 值为 True 时检查重复数据再插入，反之直接上传
+        drop_dup: 值为 True 时检查重复数据再插入，反之直接上传，数据量大时会比较慢
         filename: 传这个参数是方便定位产生错误的文件
         icm_update: 增量更新, 在聚合数据中使用，原始文件不要使用，设置此参数时需将 drop_dup 改为 False
                 使用增量更新: 必须确保 icm_update 传进来的列必须是数据表中唯一主键，值不会发生变化，不会重复，否则可能产生错乱覆盖情况

{mdbq-1.3.7 → mdbq-1.3.9}/mdbq.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 1.3.7
+Version: 1.3.9
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-1.3.7 → mdbq-1.3.9}/setup.py

@@ -3,7 +3,7 @@
 from setuptools import setup, find_packages
 
 setup(name='mdbq',
-      version='1.3.7',
+      version='1.3.9',
       author='xigua, ',
       author_email="2587125111@qq.com",
       url='https://pypi.org/project/mdbsql',