mdbq 2.4.2__tar.gz → 2.4.4__tar.gz

{mdbq-2.4.2 → mdbq-2.4.4}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 2.4.2
+Version: 2.4.4
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-2.4.2 → mdbq-2.4.4}/mdbq/aggregation/aggregation.py

@@ -1180,6 +1180,7 @@ def upload_dir(path, db_name, collection_name, dbs={'mysql': True, 'mongodb': Tr
                     #     continue
                     cv = converter.DataFrameConverter()
                     df = cv.convert_df_cols(df=df)  # 清理列名和 df 中的非法字符
+
                     try:
                         df = df.astype(dtypes)  # 按本地文件更新 df 的数据类型, 可能因为字段不同产生异常
                     except Exception as e:
@@ -1298,7 +1299,7 @@ def test2():
 if __name__ == '__main__':
     username, password, host, port = get_myconf.select_config_values(target_service='nas', database='mysql')
     print(username, password, host, port)
-    # file_dir(one_file=False, target_service='company')
+    file_dir(one_file=False, target_service='company')
     # one_file_to_mysql(
     #     file='/Users/xigua/Downloads/爱库存_商品榜单_spu_2024-10-17_2024-10-17.csv',
     #     db_name='爱库存2',

{mdbq-2.4.2 → mdbq-2.4.4}/mdbq/dataframe/converter.py

@@ -40,6 +40,11 @@ class DataFrameConverter(object):
         df.reset_index(inplace=True, drop=True)  # 重置索引，避免下面的 df.loc[0, col] 会出错
 
         for col in cols:
+            if col.lower() == 'id':
+                df.pop(col)  # 等待插入的 df 不能包含 id 列，否则可能跟现有 id 主键冲突
+                continue
+            if col.endswith('占比') or col.endswith('率'):
+                df = df.astype({col: float}, errors='raise')
             # 百分比在某些数据库中不兼容, 转换百分比为小数
             df[col] = df[col].apply(lambda x: float(float((str(x).rstrip("%"))) / 100) if str(x).endswith('%') and '~' not in str(x) else x)
             # 尝试转换合适的数据类型

{mdbq-2.4.2 → mdbq-2.4.4}/mdbq/mysql/mysql.py

@@ -68,7 +68,7 @@ class MysqlUpload:
 
         return wrapper
 
-    @try_except
+    # @try_except
     def df_to_mysql(self, df, table_name, db_name='远程数据源', icm_update=[], service_database={'home_lx': 'mysql'}, move_insert=False, df_sql=False, drop_duplicates=False, filename=None, count=None, json_path=None, reset_id=False):
         """
         将 df 写入数据库
@@ -167,6 +167,7 @@ class MysqlUpload:
                     index=False,
                     chunksize=1000
                 )
+                # 6. 重置自增列
                 try:
                     cursor.execute(f"SHOW COLUMNS FROM {table_name} LIKE 'id'")
                     result = cursor.fetchone()
@@ -385,6 +386,8 @@ class MysqlUpload:
             return 'mediumtext'
         if '文件大小' in col:  # bw 程序
             return 'mediumtext'
+        if col.endswith('占比') and (df[col].dtype == 'float' or df[col].dtype == 'int'):
+            return 'decimal(10,4)'
         elif dtype == 'datetime64[ns]':
             return 'DATETIME'  # 使用 DATE 后续排重可能会引发不能排重
         elif dtype == 'int32':

{mdbq-2.4.2 → mdbq-2.4.4}/mdbq.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 2.4.2
+Version: 2.4.4
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-2.4.2 → mdbq-2.4.4}/setup.py

@@ -3,7 +3,7 @@
 from setuptools import setup, find_packages
 
 setup(name='mdbq',
-      version='2.4.2',
+      version='2.4.4',
       author='xigua, ',
       author_email="2587125111@qq.com",
       url='https://pypi.org/project/mdbsql',