mdbq 1.3.0__tar.gz → 1.3.2__tar.gz

{mdbq-1.3.0 → mdbq-1.3.2}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 1.3.0
+Version: 1.3.2
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-1.3.0 → mdbq-1.3.2}/mdbq/aggregation/df_types.py

@@ -48,7 +48,11 @@ class DataTypes:
                 }
         }
         self.path = set_support.SetSupport(dirname='support').dirname
-        self.json_file = os.path.join(self.path, 'df_types.json')
+        self.system_name = None
+        if self.system_name:
+            self.json_file = os.path.join(self.path, f'{self.system_name}_df_types.json')
+        else:
+            self.json_file = os.path.join(self.path, 'df_types.json')
         if not os.path.isdir(self.path):
             os.makedirs(self.path)
         if not os.path.isfile(self.json_file):

{mdbq-1.3.0 → mdbq-1.3.2}/mdbq/aggregation/mysql_types.py

@@ -46,11 +46,12 @@ class DataTypes:
                     '数据库量': 0,
                     '集合数量': 0,
                     '字段量': 0,
-                    '数据简介': '记录 dataframe 或者数据库的列信息(dtypes)',
+                    '数据简介': '记录数据库各表的数据类型信息',
                 }
         }
         self.path = set_support.SetSupport(dirname='support').dirname
-        self.json_file = os.path.join(self.path, 'mysql_types.json')
+        self.system_name = 'home_lx'
+        self.json_file = os.path.join(self.path, f'mysql_types_{self.system_name}.json')
         if not os.path.isdir(self.path):
             os.makedirs(self.path)
         if not os.path.isfile(self.json_file):
@@ -149,7 +150,7 @@ class DataTypes:
             return {}, cl, None, None  # 返回这些结果的目的是等添加完列再写 json 文件才能读到 types 信息
 
 
-def mysql_all_dtypes(db_name=None, table_name=None, path=None):
+def mysql_all_dtypes(db_name=None, table_name=None, path=None, system_name=None):
     """
     更新笔记本 mysql 中所有数据库的 dtypes 信息到本地 json
     """
@@ -206,7 +207,9 @@ def mysql_all_dtypes(db_name=None, table_name=None, path=None):
         time.sleep(0.5)
 
     d = DataTypes()
-    d.json_file = os.path.join(path, f'mysql_types.json')  # # json 保存位置
+    if system_name:
+        d.system_name = system_name  # 影响 json 文件名
+    # d.json_file = os.path.join(path, f'mysql_types.json')  # # json 保存位置
     for result in results:
         for db_n, table_n in result.items():
             # print(db_n, table_n, db_name, table_name)
@@ -242,5 +245,5 @@ def mysql_all_dtypes(db_name=None, table_name=None, path=None):
 if __name__ == '__main__':
     # 更新 mysql 中所有数据库的 dtypes 信息到本地 json
     mysql_all_dtypes(
-        path='/Users/xigua/Downloads',
+        path='/Users/xigua/Downloads', system_name='company',
     )

{mdbq-1.3.0 → mdbq-1.3.2}/mdbq/aggregation/query_data.py

@@ -495,7 +495,7 @@ class GroupBy:
         df.to_excel(os.path.join(path, filename + '.xlsx'), index=index, header=header, engine=engine, freeze_panes=freeze_panes)
         
         
-def data_aggregation(service_databases=[{}]):
+def data_aggregation(service_databases=[{}], months=1, system_name=None,):
     """
     1. 从数据库中读取数据
     2. 数据聚合清洗
@@ -504,7 +504,7 @@ def data_aggregation(service_databases=[{}]):
     for service_database in service_databases:
         for service_name, database in service_database.items():
             sdq = MysqlDatasQuery(target_service=service_name)  # 实例化数据处理类
-            sdq.months = 1  # 设置数据周期， 1 表示近 2 个月
+            sdq.months = months  # 设置数据周期， 1 表示近 2 个月
             g = GroupBy()  # 实例化数据聚合类
             # 实例化数据库连接
             username, password, host, port = get_myconf.select_config_values(target_service=service_name, database=database)
@@ -558,7 +558,8 @@ def data_aggregation(service_databases=[{}]):
                     db_name=db_name,
                     table_name=table_name,
                     drop_dup=False,
-                    icm_update=unique_key_list
+                    icm_update=unique_key_list,
+                    system_name=system_name,
                 )  # 3. 回传数据库
             res = g.performance(bb_tg=True)   # 盈亏表，依赖其他表，单独做
             m.df_to_mysql(
@@ -566,7 +567,8 @@ def data_aggregation(service_databases=[{}]):
                 db_name='聚合数据',
                 table_name='_全店商品销售',
                 drop_dup=False,
-                icm_update=['日期', '商品id']  # 设置唯一主键
+                icm_update=['日期', '商品id'],  # 设置唯一主键
+                system_name = system_name,
             )
             res = g.performance(bb_tg=False)  # 盈亏表，依赖其他表，单独做
             m.df_to_mysql(
@@ -574,12 +576,13 @@ def data_aggregation(service_databases=[{}]):
                 db_name='聚合数据',
                 table_name='_推广商品销售',
                 drop_dup=False,
-                icm_update=['日期', '商品id']  # 设置唯一主键
+                icm_update=['日期', '商品id'],  # 设置唯一主键
+                system_name=system_name,
             )
 
     # optimize_data.op_data(service_databases=service_databases, days=3650)  # 立即启动对聚合数据的清理工作
 
 
 if __name__ == '__main__':
-    data_aggregation(service_databases=[{'company': 'mysql'}])
+    data_aggregation(service_databases=[{'company': 'mysql'}], months=1, system_name='company')
     # optimize_data.op_data(service_databases=[{'company': 'mysql'}], days=3650)  # 立即启动对聚合数据的清理工作

{mdbq-1.3.0 → mdbq-1.3.2}/mdbq/mysql/mysql.py

@@ -57,7 +57,7 @@ class MysqlUpload:
         }
         self.filename = None
 
-    def df_to_mysql(self, df, table_name, db_name='远程数据源', icm_update=[], icm_up=[], df_sql=False, drop_dup=True, drop_duplicates=False, filename=None, count=None):
+    def df_to_mysql(self, df, table_name, db_name='远程数据源', icm_update=[], icm_up=[], df_sql=False, drop_dup=True, drop_duplicates=False, filename=None, count=None, system_name=None):
         """
         将 df 写入数据库
         db_name: 数据库名称
@@ -123,7 +123,7 @@ class MysqlUpload:
                 print(f'创建 mysql 表: {table_name}')
 
             # 2. 列数据类型转换，将 df 数据类型转换为 mysql 的数据类型
-            dtypes, cl, db_n, tb_n = self.convert_dtypes(df=df, db_name=db_name, table_name=table_name)
+            dtypes, cl, db_n, tb_n = self.convert_dtypes(df=df, db_name=db_name, table_name=table_name, system_name=system_name)
 
             #  有特殊字符不需转义
             sql = f"SELECT COLUMN_NAME FROM INFORMATION_SCHEMA.COLUMNS WHERE TABLE_SCHEMA = '{db_name}' AND TABLE_NAME = '{table_name}';"
@@ -169,11 +169,11 @@ class MysqlUpload:
             # 返回这些结果的目的是等添加完列再写 json 文件才能读到 types 信息
             # ⚠️ mysql_all_dtypes 函数默认只读取 home_lx 的数据库信息，不会读取其他系统
             if cl and db_n and tb_n:
-                mysql_types.mysql_all_dtypes(db_name=db_name, table_name=table_name)  # 更新一个表的 dtypes
+                mysql_types.mysql_all_dtypes(db_name=db_name, table_name=table_name, system_name=system_name)  # 更新一个表的 dtypes
             elif cl and db_n:
-                mysql_types.mysql_all_dtypes(db_name=db_name)  # 更新一个数据库的 dtypes
+                mysql_types.mysql_all_dtypes(db_name=db_name, system_name=system_name)  # 更新一个数据库的 dtypes
             elif cl:
-                mysql_types.mysql_all_dtypes()  # 更新所有数据库所有数据表的 dtypes 信息到本地 json
+                mysql_types.mysql_all_dtypes(system_name=system_name)  # 更新所有数据库所有数据表的 dtypes 信息到本地 json
 
             # 4. 移除指定日期范围内的数据，仅限于聚合数据使用，其他情况不要设置
             if drop_duplicates and '日期' in df.columns.tolist():
@@ -293,7 +293,7 @@ class MysqlUpload:
         connection.commit()  # 提交事务
         connection.close()
 
-    def convert_dtypes(self, df, db_name, table_name):
+    def convert_dtypes(self, df, db_name, table_name, system_name=None):
         """
         根据本地 json 转换 df 的类型为 mysql 专有的数据类型
         可能不存在本地 json 文件 (函数按指定规则转换并更新 json)
@@ -302,6 +302,8 @@ class MysqlUpload:
         cols = df.columns.tolist()
         # path = set_support.SetSupport(dirname='support').dirname
         d = mysql_types.DataTypes()
+        if system_name:
+            d.system_name = system_name
         # 从本地文件中读取 dtype 信息
         dtypes, cl, db_n, tb_n = d.load_dtypes(cl='mysql', db_name=db_name, table_name=table_name)
         # 可能会因为没有 json 文件, 返回 None

{mdbq-1.3.0 → mdbq-1.3.2}/mdbq.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 1.3.0
+Version: 1.3.2
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-1.3.0 → mdbq-1.3.2}/setup.py

@@ -3,7 +3,7 @@
 from setuptools import setup, find_packages
 
 setup(name='mdbq',
-      version='1.3.0',
+      version='1.3.2',
       author='xigua, ',
       author_email="2587125111@qq.com",
       url='https://pypi.org/project/mdbsql',