mdbq 1.2.1__tar.gz → 1.2.3__tar.gz

{mdbq-1.2.1 → mdbq-1.2.3}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 1.2.1
+Version: 1.2.3
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-1.2.1 → mdbq-1.2.3}/mdbq/aggregation/aggregation.py

@@ -438,6 +438,7 @@ class DatabaseUpdate:
                         new_name = f'未分类_{date1}_全部渠道_商品明细.csv'
                     df.rename(columns={'商品ID': '商品id'}, inplace=True)
                     df.insert(loc=0, column='日期', value=date1)
+                    df['最近上架时间'].loc[0] = df['最近上架时间'].loc[1]  # 填充这一列, 避免上传 mysql 日期类型报错
                     if 'sku' in new_name:
                         db_name = '京东数据2'
                         collection_name = 'sku_商品明细'
@@ -939,8 +940,13 @@ def file_dir(one_file=True):
     one_file: 值为 True 时每个文件夹取一个文件上传数据库，反之上传所有文件夹数据
     """
     filename = '文件目录对照表.csv'
-    path = set_support.SetSupport(dirname='support').dirname  # 根据平台自动适配 support 路径
-    df = pd.read_csv(os.path.join(path, filename), encoding='utf-8_sig', header=0, na_filter=False)
+    if platform.system() == 'Windows':
+        path = 'C:\\同步空间\\BaiduSyncdisk\\原始文件2'
+    else:
+        path = '/Users/xigua/数据中心/原始文件2'
+
+    support_file = set_support.SetSupport(dirname='support').dirname
+    df = pd.read_csv(os.path.join(support_file, filename), encoding='utf-8_sig', header=0, na_filter=False)
     datas = df.to_dict('records')  # 转字典
     for data in datas:
         # print(data)
@@ -973,10 +979,30 @@ def file_dir(one_file=True):
             data.update({'入库进度': 1})  # 更新进度为已上传
     # 将进度信息写回文件
     df = pd.DataFrame.from_dict(datas, orient='columns')
-    df.to_csv(os.path.join(path, filename), encoding='utf-8_sig', index=False, header=True)
+    df.to_csv(os.path.join(support_file, filename), encoding='utf-8_sig', index=False, header=True)
+
+
+def test():
+    path = '/Users/xigua/数据中心/原始文件2/京东报表/JD商品明细spu'
+    for root, dirs, files in os.walk(path, topdown=False):
+        for name in files:
+            if name.endswith('.csv') and 'baidu' not in name and '~' not in name:
+                df = pd.read_csv(os.path.join(root, name), encoding='utf-8_sig', header=0, na_filter=False)
+                df['最近上架时间'].loc[0] = df['最近上架时间'].loc[1]
+                # print(df[['日期', '最近上架时间']])
+                df.to_csv(os.path.join(root, name), encoding='utf-8_sig', index=False, header=True)
+        #         break
+        # break
 
 
 if __name__ == '__main__':
     # username, password, host, port = get_myconf.select_config_values(target_service='nas', database='mysql')
     # print(username, password, host, port)
-    file_dir(one_file=True)
+    file_dir(one_file=False)
+    # one_file_to_mysql(
+    #     file='',
+    #     db_name='京东数据2',
+    #     table_name='商品词下排名',
+    #     target_service='home_lx',
+    #     database='mysql'
+    # )

{mdbq-1.2.1 → mdbq-1.2.3}/mdbq/aggregation/mysql_types.py

@@ -123,6 +123,7 @@ class DataTypes:
                 sort_keys=True,  # 默认为False。如果为True，则字典的输出将按键排序。
                 indent=4,
             )
+        print(f'已更新 json 文件: {self.json_file}')
         time.sleep(1)
 
     def load_dtypes(self, db_name, table_name, cl='mysql', ):
@@ -236,5 +237,6 @@ def mysql_all_dtypes(db_name=None, table_name=None, path=None):
     # print(d.datas)
     d.as_json_file()
 
+
 if __name__ == '__main__':
     mysql_all_dtypes()  # 更新 mysql 中所有数据库的 dtypes 信息到本地 json

{mdbq-1.2.1 → mdbq-1.2.3}/mdbq/mysql/mysql.py

@@ -21,6 +21,7 @@ from mdbq.aggregation import mysql_types
 warnings.filterwarnings('ignore')
 """
 建表规范:
+尽可能手动建表，再上传数据
 1. 先建 json 表，再批量上传数据;（非常重要）
     在初创数据表时, 如果有不同类报表，新版和旧版都要取一个文件，先创建数据表，再导其他数据;
     例如有的报表转化率是0%，数据类型会被识别为2位小数: decimal(10, 2)，正常值应类似 0.43%，应保留4个小数, 创建类型为 decimal(10, 4)
@@ -132,6 +133,7 @@ class MysqlUpload:
                         print(f'{self.filename}: {e}')
             connection.commit()  # 提交事务
 
+            # print(cl, db_n, tb_n)
             # 返回这些结果的目的是等添加完列再写 json 文件才能读到 types 信息
             if cl and db_n and tb_n:
                 mysql_types.mysql_all_dtypes(db_name=db_name, table_name=table_name)  # 更新一个表的 dtypes
@@ -208,6 +210,7 @@ class MysqlUpload:
             col_not_exist = cols
         # 对文件不存在的列信息进行数据类型转换(按指定规则)
         dtypes.update({col: self.convert_dtype_to_sql(df=df, col=col, dtype=df[col].dtype) for col in col_not_exist})
+        # print(dtypes)
         # 至此 df 中全部列类型已经转换完成
         # 返回结果, 示例: {'上市年份': 'mediumtext', '商品id': 'mediumtext', '平台': 'mediumtext'}
         return dtypes, cl, db_n, tb_n  # 返回这些结果的目的是等添加完列再写 json 文件才能读到 types 信息

{mdbq-1.2.1 → mdbq-1.2.3}/mdbq.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 1.2.1
+Version: 1.2.3
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-1.2.1 → mdbq-1.2.3}/setup.py

@@ -3,7 +3,7 @@
 from setuptools import setup, find_packages
 
 setup(name='mdbq',
-      version='1.2.1',
+      version='1.2.3',
       author='xigua, ',
       author_email="2587125111@qq.com",
       url='https://pypi.org/project/mdbsql',