mdbq 1.9.7__tar.gz → 1.9.9__tar.gz

{mdbq-1.9.7 → mdbq-1.9.9}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 1.9.7
+Version: 1.9.9
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-1.9.7 → mdbq-1.9.9}/mdbq/aggregation/aggregation.py

@@ -725,6 +725,9 @@ class DatabaseUpdate:
                     except Exception as e:
                         print(f'{name},  {e}')
                 if len(df) > 0:
+                    if not db_name or not collection_name:
+                        print(f'从本地csv文件中，根据文件标题匹配数据库名和数据表，结果存在空值，db_name: {db_name}, collection_name: {collection_name}')
+                    # else:
                     # 将数据传入 self.datas 等待更新进数据库
                     self.datas.append(
                         {
@@ -763,14 +766,19 @@ class DatabaseUpdate:
                             # print(f'{name}/{sheet4} 跳过')
                             continue
                         df.insert(loc=1, column='报表类型', value=sheet4)
-                        self.datas.append(
-                            {
-                                '数据库名': db_name,
-                                '集合名称': collection_name,
-                                '数据主体': df,
-                                '文件名': name,
-                            }
-                        )
+                        if not db_name or not collection_name:
+                            print(
+                                f'从本地csv文件中，根据文件标题匹配数据库名和数据表，结果存在空值，db_name: {db_name}, collection_name: {collection_name}')
+                        else:
+                            # 将数据传入 self.datas 等待更新进数据库
+                            self.datas.append(
+                                {
+                                    '数据库名': db_name,
+                                    '集合名称': collection_name,
+                                    '数据主体': df,
+                                    '文件名': name,
+                                }
+                            )
                     if is_move:
                         os.remove(os.path.join(root, name))
 

{mdbq-1.9.7 → mdbq-1.9.9}/mdbq/aggregation/df_types.py

@@ -118,6 +118,12 @@ class DataTypes:
 
     def as_json_file(self):
         """ 保存为本地 json 文件 """
+        self.datas = {k: 'null' if v is None else v for k, v in self.datas.items()}  # 替换字典中，值存在空值的值
+        self.datas = {k if k != None else 'null': v for k, v in self.datas.items()}  # 替换字典中，键存在空值的键
+        if 'null' in str(self.datas):
+            print(f'self.datas 数据中存在空值，可能有未匹配的数据库名或数据表名，请检查 《标题对照表.csv》，已取消写入 df_types.json ')
+            print('self.datas: ', self.datas)
+            return
         with open(self.json_file, 'w', encoding='utf-8_sig') as f:
             json.dump(
                 self.datas,

{mdbq-1.9.7 → mdbq-1.9.9}/mdbq/clean/data_clean.py

@@ -116,7 +116,15 @@ class DataClean:
 
                             df.replace(to_replace=['\\N'], value=0, regex=False, inplace=True)  # 替换掉特殊字符
                             df.fillna(0, inplace=True)
-                            col_ids = ['场景ID', '计划ID', '单元ID', '主体ID', '宝贝ID', '词ID/词包ID', '创意ID']
+                            col_ids = [
+                                # '场景ID',  # 2024.10.5 改为不加 =""
+                                '计划ID',
+                                '单元ID',
+                                '主体ID',
+                                '宝贝ID',
+                                '词ID/词包ID',
+                                '创意ID',
+                            ]
                             sb = df.columns.tolist()
                             if '日期' not in sb:
                                 print(f'{name} 注意：该报表不包含分日数据，数据不会保存，请重新下载！')
@@ -162,7 +170,10 @@ class DataClean:
                             shop_name = shop_name[0]
                         else:
                             shop_name = ''
-                        cols = ['场景ID', '计划ID']
+                        cols = [
+                            # '场景ID',  # 2024.10.5 改为不加 =""
+                            '计划ID',
+                        ]
                         for col in cols:
                             df[col] = df[col].apply(lambda x: f'="{x}"' if x and '=' not in str(x) else x)
                         df.replace(to_replace=['\\N'], value=0, regex=False, inplace=True)  # 替换掉特殊字符

{mdbq-1.9.7 → mdbq-1.9.9}/mdbq.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 1.9.7
+Version: 1.9.9
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-1.9.7 → mdbq-1.9.9}/setup.py

@@ -3,7 +3,7 @@
 from setuptools import setup, find_packages
 
 setup(name='mdbq',
-      version='1.9.7',
+      version='1.9.9',
       author='xigua, ',
       author_email="2587125111@qq.com",
       url='https://pypi.org/project/mdbsql',