mdbq 1.2.2__py3-none-any.whl → 1.2.4__py3-none-any.whl

mdbq/aggregation/aggregation.py

@@ -438,6 +438,7 @@ class DatabaseUpdate:
                         new_name = f'未分类_{date1}_全部渠道_商品明细.csv'
                     df.rename(columns={'商品ID': '商品id'}, inplace=True)
                     df.insert(loc=0, column='日期', value=date1)
+                    df['最近上架时间'].loc[0] = df['最近上架时间'].loc[1]  # 填充这一列, 避免上传 mysql 日期类型报错
                     if 'sku' in new_name:
                         db_name = '京东数据2'
                         collection_name = 'sku_商品明细'
@@ -929,7 +930,7 @@ def one_file_to_mysql(file, db_name, table_name, target_service, database):
     filename = os.path.basename(file)
     df = pd.read_csv(file, encoding='utf-8_sig', header=0, na_filter=False, float_precision='high')
     m = mysql.MysqlUpload(username=username, password=password, host=host, port=port)
-    m.df_to_mysql(df=df, db_name=db_name, table_name=table_name, filename=filename)
+    m.df_to_mysql(df=df, db_name=db_name, table_name=table_name, filename=filename, df_sql=True)
 
 
 def file_dir(one_file=True):
@@ -974,6 +975,7 @@ def file_dir(one_file=True):
                     path=os.path.join(path, sub_path),
                     db_name = db_name,
                     collection_name = table_name,
+                    dbs={'mysql': True, 'mongodb': True},
                 )
             data.update({'入库进度': 1})  # 更新进度为已上传
     # 将进度信息写回文件
@@ -981,7 +983,27 @@ def file_dir(one_file=True):
     df.to_csv(os.path.join(support_file, filename), encoding='utf-8_sig', index=False, header=True)
 
 
+def test():
+    path = '/Users/xigua/数据中心/原始文件2/京东报表/JD商品明细spu'
+    for root, dirs, files in os.walk(path, topdown=False):
+        for name in files:
+            if name.endswith('.csv') and 'baidu' not in name and '~' not in name:
+                df = pd.read_csv(os.path.join(root, name), encoding='utf-8_sig', header=0, na_filter=False)
+                df['最近上架时间'].loc[0] = df['最近上架时间'].loc[1]
+                # print(df[['日期', '最近上架时间']])
+                df.to_csv(os.path.join(root, name), encoding='utf-8_sig', index=False, header=True)
+        #         break
+        # break
+
+
 if __name__ == '__main__':
     # username, password, host, port = get_myconf.select_config_values(target_service='nas', database='mysql')
     # print(username, password, host, port)
-    file_dir(one_file=True)
+    file_dir(one_file=False)
+    # one_file_to_mysql(
+    #     file='/Users/xigua/数据中心/原始文件2/京东报表/商品信息导出/spu/京东商品信息_批量SPU导出-批量任务_2024-08-10.csv',
+    #     db_name='京东数据2',
+    #     table_name='京东spu商品信息',
+    #     target_service='home_lx',
+    #     database='mysql'
+    # )

mdbq/aggregation/mysql_types.py

@@ -123,6 +123,7 @@ class DataTypes:
                 sort_keys=True,  # 默认为False。如果为True，则字典的输出将按键排序。
                 indent=4,
             )
+        print(f'已更新 json 文件: {self.json_file}')
         time.sleep(1)
 
     def load_dtypes(self, db_name, table_name, cl='mysql', ):
@@ -205,6 +206,7 @@ def mysql_all_dtypes(db_name=None, table_name=None, path=None):
         time.sleep(0.5)
 
     d = DataTypes()
+    d.json_file = os.path.join(path, 'mysql_types.json')  # # json 保存位置
     for result in results:
         for db_n, table_n in result.items():
             # print(db_n, table_n, db_name, table_name)
@@ -229,12 +231,16 @@ def mysql_all_dtypes(db_name=None, table_name=None, path=None):
                     cl='mysql', 
                     db_name=db_n,
                     table_name=table_n,
-                    is_file_dtype=True
+                    is_file_dtype=True  # True表示旧文件有限
                 )
             else:
                 print(f'数据库回传数据(name_type)为空')
     # print(d.datas)
     d.as_json_file()
 
+
 if __name__ == '__main__':
-    mysql_all_dtypes()  # 更新 mysql 中所有数据库的 dtypes 信息到本地 json
+    # 更新 mysql 中所有数据库的 dtypes 信息到本地 json
+    mysql_all_dtypes(
+        path='/Users/xigua/Downloads',
+    )

mdbq/dataframe/converter.py

@@ -43,11 +43,14 @@ class DataFrameConverter(object):
             df[col] = df[col].apply(lambda x: float(float((str(x).rstrip("%"))) / 100) if str(x).endswith('%') and '~' not in str(x) else x)
             # 尝试转换合适的数据类型
             if df[col].dtype == 'object':
+                #  "_"符号会被错误识别
                 try:
-                    df[col] = df[col].apply(lambda x: int(x) if '_' not in str(x) else x)
+                    df[col] = df[col].apply(lambda x: int(x) if '_' not in str(x) and '.' not in str(x) else x)  # 不含小数点尝试转整数
                 except:
+                    pass
+                if df[col].dtype == 'object':
                     try:
-                        df[col] = df[col].apply(lambda x: float(x) if '_' not in str(x) else x)
+                        df[col] = df[col].apply(lambda x: float(x) if '.' in str(x) and '_' not in str(x) else x)
                     except:
                         pass
             if df[col].dtype == 'float' or df[col].dtype == 'float64':  # 对于小数类型, 保留 6 位小数

mdbq/mysql/mysql.py

@@ -9,7 +9,9 @@ import warnings
 import pymysql
 import numpy as np
 import pandas as pd
+import sqlalchemy.types
 from more_itertools.more import iequals
+from pandas.core.dtypes.common import INT64_DTYPE
 from sqlalchemy import create_engine
 import os
 import calendar
@@ -20,18 +22,20 @@ from mdbq.aggregation import mysql_types
 
 warnings.filterwarnings('ignore')
 """
-建表规范:
-1. 先建 json 表，再批量上传数据;（非常重要）
-    在初创数据表时, 如果有不同类报表，新版和旧版都要取一个文件，先创建数据表，再导其他数据;
-    例如有的报表转化率是0%，数据类型会被识别为2位小数: decimal(10, 2)，正常值应类似 0.43%，应保留4个小数, 创建类型为 decimal(10, 4)
-    为了避免以上可能数据类型错误的情况，初创时要先检查一遍数据类型，确认没问题再导其他数据！
-    即导一个表，然后删除数据库，但保留 mysql_types.json，并检查表的数据类型（有问题就手动改 json 文件），之后会按 json 的 types 上传数据;
+建表流程:
+尽可能手动建表，再上传数据
+1. 每个表手动上传一个文件建表
+2. 全部建表完成，建议所有表的数据类型，有问题的在数据库修改
+3. 清空所有数据表，仅保留列信息
+4. 下载所有数据表的 dtypes 信息到 json 文件
+5. 之后可以正常上传数据
 
-2. 数据库和数据表名如果有字母，必须使用小写，大写在建库后会自动变小写，再次上传数据会找不到数据库(macos和linux都有这种情况)
-3. 无论是数据库/表/列名还是值，尽量避免特殊字符或者表情符号，数据库/表/列名尽量都使用 `列名` 转义，避免错误
-4. 小数必须使用 decimal, 禁止 float 和 double, 因为计算精度差异，后续需要聚合数据时会引发很多问题
-5. 日期类型暂时全部用 DATETIME，使用 DATE 在后续可能会重复插入不能排重，因为 df 进来的数据, 日期是带时间的，而数据库中日期不含时间
-6. 目前小数自动适配类型转换，对于文本或者大数全部用 mediumtext, 因为部分表涉及爬虫数据，进来的字符长度未知，暂时统一 mediumtext 避免入库失败
+建表规范:
+1. 数据库和数据表名如果有字母，必须使用小写，大写在建库后会自动变小写，再次上传数据会找不到数据库(macos和linux都有这种情况)
+2. 无论是数据库/表/列名还是值，尽量避免特殊字符或者表情符号，数据库/表/列名尽量都使用 `列名` 转义，避免错误
+3. 小数必须使用 decimal, 禁止 float 和 double, 因为计算精度差异，后续需要聚合数据时会引发很多问题
+4. 日期类型暂时全部用 DATETIME，使用 DATE 在后续可能会重复插入不能排重，因为 df 进来的数据, 日期是带时间的，而数据库中日期不含时间
+5. 目前小数自动适配类型转换，对于文本或者大数全部用 mediumtext, 因为部分表涉及爬虫数据，进来的字符长度未知，暂时统一 mediumtext 避免入库失败
 
 
 
@@ -56,7 +60,7 @@ class MysqlUpload:
         }
         self.filename = None
 
-    def df_to_mysql(self, df, table_name, db_name='远程数据源', drop_dup=True, drop_duplicates=False, filename=None, count=None):
+    def df_to_mysql(self, df, table_name, db_name='远程数据源', df_sql=False, drop_dup=True, drop_duplicates=False, filename=None, count=None):
         """
         将 df 写入数据库
         db_name: 数据库名称
@@ -73,9 +77,23 @@ class MysqlUpload:
         else:
             print(f'{db_name}: {table_name} 传入的 df 不是有效的 dataframe 结构, {self.filename}')
             return
+
         cv = converter.DataFrameConverter()
         df = cv.convert_df_cols(df=df)  # 清理 dataframe 非法值
 
+        # if df_sql:
+        #     now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S ")
+        #     print(f'{now}正在更新 mysql ({self.host}:{self.port}) {db_name}/{table_name}, {count},{self.filename}')
+        #     engine = create_engine(f"mysql+pymysql://{self.username}:{self.password}@{self.host}:{self.port}/{db_name}")  # 创建数据库引擎
+        #     df.to_sql(
+        #         name=table_name,
+        #         con=engine,
+        #         if_exists='append',
+        #         index=False,
+        #         chunksize=1000,
+        #         dtype={'京东价': 'INT'},
+        #     )
+        #     return
         connection = pymysql.connect(**self.config)  # 连接数据库
         with connection.cursor() as cursor:
             cursor.execute(f"SHOW DATABASES LIKE '{db_name}'")  # 检查数据库是否存在
@@ -132,6 +150,22 @@ class MysqlUpload:
                         print(f'{self.filename}: {e}')
             connection.commit()  # 提交事务
 
+            if df_sql:
+                now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S ")
+                print(f'{now}正在更新 mysql ({self.host}:{self.port}) {db_name}/{table_name}, {count},{self.filename}')
+                engine = create_engine(
+                    f"mysql+pymysql://{self.username}:{self.password}@{self.host}:{self.port}/{db_name}")  # 创建数据库引擎
+                df.to_sql(
+                    name=table_name,
+                    con=engine,
+                    if_exists='append',
+                    index=False,
+                    chunksize=1000
+                )
+                connection.close()
+                return
+
+            # print(cl, db_n, tb_n)
             # 返回这些结果的目的是等添加完列再写 json 文件才能读到 types 信息
             if cl and db_n and tb_n:
                 mysql_types.mysql_all_dtypes(db_name=db_name, table_name=table_name)  # 更新一个表的 dtypes
@@ -152,6 +186,7 @@ class MysqlUpload:
             # 5. 更新插入数据
             now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S ")
             print(f'{now}正在更新 mysql ({self.host}:{self.port}) {db_name}/{table_name}, {count},{self.filename}')
+
             datas = df.to_dict(orient='records')
             for data in datas:
                 try:
@@ -183,6 +218,7 @@ class MysqlUpload:
                     print(f'mysql -> df_to_mysql 报错: {e}, {self.filename}')
                     # breakpoint()
         connection.commit()  # 提交事务
+        connection.close()
 
     def convert_dtypes(self, df, db_name, table_name):
         """
@@ -208,6 +244,7 @@ class MysqlUpload:
             col_not_exist = cols
         # 对文件不存在的列信息进行数据类型转换(按指定规则)
         dtypes.update({col: self.convert_dtype_to_sql(df=df, col=col, dtype=df[col].dtype) for col in col_not_exist})
+        # print(dtypes)
         # 至此 df 中全部列类型已经转换完成
         # 返回结果, 示例: {'上市年份': 'mediumtext', '商品id': 'mediumtext', '平台': 'mediumtext'}
         return dtypes, cl, db_n, tb_n  # 返回这些结果的目的是等添加完列再写 json 文件才能读到 types 信息

{mdbq-1.2.2.dist-info → mdbq-1.2.4.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 1.2.2
+Version: 1.2.4
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-1.2.2.dist-info → mdbq-1.2.4.dist-info}/RECORD

@@ -1,9 +1,9 @@
 mdbq/__init__.py,sha256=Il5Q9ATdX8yXqVxtP_nYqUhExzxPC_qk_WXQ_4h0exg,16
 mdbq/__version__.py,sha256=y9Mp_8x0BCZSHsdLT_q5tX9wZwd5QgqrSIENLrb6vXA,62
 mdbq/aggregation/__init__.py,sha256=EeDqX2Aml6SPx8363J-v1lz0EcZtgwIBYyCJV6CcEDU,40
-mdbq/aggregation/aggregation.py,sha256=-cyucSkFCW9WHfhourcVH2_u4syRsR7VmbICWE82Brg,56259
+mdbq/aggregation/aggregation.py,sha256=a-lK0R6fEqj5InZZXly-xqfyZ4mCDMqAuEHuTzKMvv0,57467
 mdbq/aggregation/df_types.py,sha256=rHLIgv82PJSFmDvXkZyOJAffXkFyyMyFO23w9tUt8EQ,7525
-mdbq/aggregation/mysql_types.py,sha256=kzUAGM4FYp77tA_dvHjZNGyPoUAOU1WY5QD0uanh9I4,10418
+mdbq/aggregation/mysql_types.py,sha256=umVixmbFZM63k-QhVWLvOuhcAde4P_oDKbdo8ry2O9w,10633
 mdbq/aggregation/optimize_data.py,sha256=jLAWtxPUuhpo4XTVrhKtT4xK3grs7r73ePQfLhxlu1I,779
 mdbq/aggregation/query_data.py,sha256=sdMWj0st_VFDfBHmqTrY05k-0yoagdnaiNMoB0otEuk,25255
 mdbq/bdup/__init__.py,sha256=AkhsGk81SkG1c8FqDH5tRq-8MZmFobVbN60DTyukYTY,28
@@ -18,14 +18,14 @@ mdbq/config/products.py,sha256=9gqXJMsw8KKuD4Xs6krNgcF7AuWDvV7clI6wVi3QjcA,4260
 mdbq/config/set_support.py,sha256=xkZCX6y9Bq1ppBpJAofld4B2YtchA7fl0eT3dx3CrSI,777
 mdbq/config/update_conf.py,sha256=taL3ZqKgiVWwUrDFuaYhim9a72Hm4BHRhhDscJTziR8,4535
 mdbq/dataframe/__init__.py,sha256=2HtCN8AdRj53teXDqzysC1h8aPL-mMFy561ESmhehGQ,22
-mdbq/dataframe/converter.py,sha256=6eVs8Bfj7-SaYksITEF0gZVa0U3eoTIDyFLSPiBwkhM,3400
+mdbq/dataframe/converter.py,sha256=BAst61HvtXqN3yWguia47zNY19c-wpby8CsdS48PC6g,3592
 mdbq/log/__init__.py,sha256=Mpbrav0s0ifLL7lVDAuePEi1hJKiSHhxcv1byBKDl5E,15
 mdbq/log/mylogger.py,sha256=oaT7Bp-Hb9jZt52seP3ISUuxVcI19s4UiqTeouScBO0,3258
 mdbq/mongo/__init__.py,sha256=SILt7xMtQIQl_m-ik9WLtJSXIVf424iYgCfE_tnQFbw,13
 mdbq/mongo/mongo.py,sha256=v9qvrp6p1ZRWuPpbSilqveiE0FEcZF7U5xUPI0RN4xs,31880
 mdbq/mysql/__init__.py,sha256=A_DPJyAoEvTSFojiI2e94zP0FKtCkkwKP1kYUCSyQzo,11
 mdbq/mysql/data_types_即将删除.py,sha256=sjBBDKr9674LdjM5N_dwyJACdZPbdB8Beli59jGdgnQ,10378
-mdbq/mysql/mysql.py,sha256=Urzkj_qq0-uxE0Z2xzVBzxpVySgn9HN-5zcNYrKh6G8,36340
+mdbq/mysql/mysql.py,sha256=hZWk7rgoeCkNYbGMgJokiPJSoMJ3y-wSVH_ojzh49l8,37464
 mdbq/mysql/s_query.py,sha256=4c24SwbqtnO33o8CgWlTQ_j8sZYl5BRIQkaD9CI-vTY,7901
 mdbq/mysql/year_month_day.py,sha256=VgewoE2pJxK7ErjfviL_SMTN77ki8GVbTUcao3vFUCE,1523
 mdbq/other/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
@@ -36,7 +36,7 @@ mdbq/pbix/__init__.py,sha256=Trtfaynu9RjoTyLLYBN2xdRxTvm_zhCniUkVTAYwcjo,24
 mdbq/pbix/pbix_refresh.py,sha256=JUjKW3bNEyoMVfVfo77UhguvS5AWkixvVhDbw4_MHco,2396
 mdbq/pbix/refresh_all.py,sha256=tgy762608HMaXWynbOURIf2UVMuSPybzrDXQnOOcnZU,6102
 mdbq/spider/__init__.py,sha256=RBMFXGy_jd1HXZhngB2T2XTvJqki8P_Fr-pBcwijnew,18
-mdbq-1.2.2.dist-info/METADATA,sha256=8J7jj1T-AEP4LVtu84LnG_IvmoXV8JkXodk_F-iJr8I,245
-mdbq-1.2.2.dist-info/WHEEL,sha256=cpQTJ5IWu9CdaPViMhC9YzF8gZuS5-vlfoFihTBC86A,91
-mdbq-1.2.2.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
-mdbq-1.2.2.dist-info/RECORD,,
+mdbq-1.2.4.dist-info/METADATA,sha256=ekCyUS5vKgOSEK7iYzdo-70H1ThaVi89ATDo6jnJBSI,245
+mdbq-1.2.4.dist-info/WHEEL,sha256=eOLhNAGa2EW3wWl_TU484h7q1UNgy0JXjjoqKoxAAQc,92
+mdbq-1.2.4.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
+mdbq-1.2.4.dist-info/RECORD,,

{mdbq-1.2.2.dist-info → mdbq-1.2.4.dist-info}/WHEEL

@@ -1,5 +1,5 @@
 Wheel-Version: 1.0
-Generator: setuptools (70.1.0)
+Generator: bdist_wheel (0.44.0)
 Root-Is-Purelib: true
 Tag: py3-none-any