mdbq 2.4.3__tar.gz → 2.4.5__tar.gz

{mdbq-2.4.3 → mdbq-2.4.5}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 2.4.3
+Version: 2.4.5
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-2.4.3 → mdbq-2.4.5}/mdbq/aggregation/aggregation.py

@@ -1180,6 +1180,7 @@ def upload_dir(path, db_name, collection_name, dbs={'mysql': True, 'mongodb': Tr
                     #     continue
                     cv = converter.DataFrameConverter()
                     df = cv.convert_df_cols(df=df)  # 清理列名和 df 中的非法字符
+
                     try:
                         df = df.astype(dtypes)  # 按本地文件更新 df 的数据类型, 可能因为字段不同产生异常
                     except Exception as e:
@@ -1298,7 +1299,7 @@ def test2():
 if __name__ == '__main__':
     username, password, host, port = get_myconf.select_config_values(target_service='nas', database='mysql')
     print(username, password, host, port)
-    # file_dir(one_file=False, target_service='company')
+    file_dir(one_file=False, target_service='company')
     # one_file_to_mysql(
     #     file='/Users/xigua/Downloads/爱库存_商品榜单_spu_2024-10-17_2024-10-17.csv',
     #     db_name='爱库存2',

{mdbq-2.4.3 → mdbq-2.4.5}/mdbq/dataframe/converter.py

@@ -43,8 +43,13 @@ class DataFrameConverter(object):
             if col.lower() == 'id':
                 df.pop(col)  # 等待插入的 df 不能包含 id 列，否则可能跟现有 id 主键冲突
                 continue
+
             # 百分比在某些数据库中不兼容, 转换百分比为小数
             df[col] = df[col].apply(lambda x: float(float((str(x).rstrip("%"))) / 100) if str(x).endswith('%') and '~' not in str(x) else x)
+
+            if col.endswith('占比') or col.endswith('率'):
+                df = df.astype({col: float}, errors='raise')
+
             # 尝试转换合适的数据类型
             if df[col].dtype == 'object':
                 #  "_"符号会被错误识别

{mdbq-2.4.3 → mdbq-2.4.5}/mdbq/mysql/mysql.py

@@ -167,6 +167,8 @@ class MysqlUpload:
                     index=False,
                     chunksize=1000
                 )
+                print(f'重置自增')
+                # 6. 重置自增列
                 try:
                     cursor.execute(f"SHOW COLUMNS FROM {table_name} LIKE 'id'")
                     result = cursor.fetchone()
@@ -385,6 +387,8 @@ class MysqlUpload:
             return 'mediumtext'
         if '文件大小' in col:  # bw 程序
             return 'mediumtext'
+        if col.endswith('占比') and (df[col].dtype == 'float' or df[col].dtype == 'int'):
+            return 'decimal(10,4)'
         elif dtype == 'datetime64[ns]':
             return 'DATETIME'  # 使用 DATE 后续排重可能会引发不能排重
         elif dtype == 'int32':

{mdbq-2.4.3 → mdbq-2.4.5}/mdbq.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 2.4.3
+Version: 2.4.5
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-2.4.3 → mdbq-2.4.5}/setup.py

@@ -3,7 +3,7 @@
 from setuptools import setup, find_packages
 
 setup(name='mdbq',
-      version='2.4.3',
+      version='2.4.5',
       author='xigua, ',
       author_email="2587125111@qq.com",
       url='https://pypi.org/project/mdbsql',