mdbq 1.5.1__tar.gz → 1.5.2__tar.gz

{mdbq-1.5.1 → mdbq-1.5.2}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 1.5.1
+Version: 1.5.2
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-1.5.1 → mdbq-1.5.2}/mdbq/aggregation/aggregation.py

@@ -604,7 +604,7 @@ class DatabaseUpdate:
         #     }
         # )
 
-    def upload_df(self, service_databases=[{}], path=None, system_name=None):
+    def upload_df(self, service_databases=[{}], path=None):
         """
         将清洗后的 df 上传数据库, copysh.py 调用
         """
@@ -662,7 +662,7 @@ class DatabaseUpdate:
                             df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
                             drop_duplicates=True,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
                             filename=rt_filename,  # 用来追踪处理进度
-                            system_name=system_name,  # 用来追踪处理进度
+                            service_database=service_database,  # 字典
                         )
                 df_to_json.as_json_file()  # 写入 json 文件, 包含数据的 dtypes 信息
 
@@ -829,7 +829,7 @@ class DatabaseUpdate:
                     df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
                     drop_duplicates=True,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
                     filename=None,  # 用来追踪处理进度
-                    system_name=service_name,  # 用来追踪处理进度
+                    service_name=service_name,  # 用来追踪处理进度
                 )
         # return df
 
@@ -859,11 +859,11 @@ class DatabaseUpdate:
                     df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
                     drop_duplicates=True,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
                     filename=None,  # 用来追踪处理进度
-                    system_name=service_name,  # 用来追踪处理进度
+                    service_name=service_name,  # 用来追踪处理进度
                 )
 
 
-def upload_dir(path, db_name, collection_name, dbs={'mysql': True, 'mongodb': True}, json_path=None, system_name=None):
+def upload_dir(path, db_name, collection_name, dbs={'mysql': True, 'mongodb': True}, json_path=None, service_name=None):
     """ 上传一个文件夹到 mysql 或者 mongodb 数据库 """
     if not os.path.isdir(path):
         print(f'{os.path.splitext(os.path.basename(__file__))[0]}.upload_dir: 函数只接受文件夹路径，不是一个文件夹: {path}')
@@ -1036,7 +1036,7 @@ def test2():
         # {'home_lx': 'mongodb'},
         {'home_lx': 'mysql'},
         # {'nas': 'mysql'}
-    ], path=None, system_name=None)
+    ], path=None, service_name=None)
 
 
 if __name__ == '__main__':

{mdbq-1.5.1 → mdbq-1.5.2}/mdbq/aggregation/mysql_types.py

@@ -38,7 +38,7 @@ class DataTypes:
      数据简介: 记录 dataframe 或者数据库的列信息(dtypes)，可以记录其信息或者加载相关信息用于入库使用，
      第一字段为分类(如 dataframe/mysql)，第二字段为数据库名，第三字段为集合名，第四段列名及其数据类型
     """
-    def __init__(self, path=None, system_name=None):
+    def __init__(self, path=None, service_name=None):
         self.datas = {
             '_json统计':
                 {
@@ -52,10 +52,10 @@ class DataTypes:
         self.path = path
         if not self.path:
             self.path = set_support.SetSupport(dirname='support').dirname
-        self.system_name = system_name
-        if not self.system_name:
-            self.system_name = 'home_lx'
-        self.json_file = os.path.join(self.path, f'mysql_types_{self.system_name}.json')
+        self.service_name = service_name
+        if not self.service_name:
+            self.service_name = 'home_lx'
+        self.json_file = os.path.join(self.path, f'mysql_types_{self.service_name}.json')
         if not os.path.isdir(self.path):
             os.makedirs(self.path)
         if not os.path.isfile(self.json_file):
@@ -154,95 +154,94 @@ class DataTypes:
             return {}, cl, None, None  # 返回这些结果的目的是等添加完列再写 json 文件才能读到 types 信息
 
 
-def mysql_all_dtypes(db_name=None, table_name=None, service_databases=[{'home_lx': 'mysql'}], path=None, system_name=None):
+def mysql_all_dtypes(db_name=None, table_name=None, service_database={'home_lx': 'mysql'}, path=None):
     """
     更新笔记本 mysql 中所有数据库的 dtypes 信息到本地 json
     """
-    for service_database in service_databases:
-        for service_name, database in service_database.items():
-            username, password, host, port = get_myconf.select_config_values(target_service=service_name, database=database)
-            config = {
-                'host': host,
-                'port': port,
-                'user': username,
-                'password': password,
-                'charset': 'utf8mb4',  # utf8mb4 支持存储四字节的UTF-8字符集
-                'cursorclass': pymysql.cursors.DictCursor,
-            }
+    for service_name, database in service_database.items():
+        username, password, host, port = get_myconf.select_config_values(target_service=service_name, database=database)
+        config = {
+            'host': host,
+            'port': port,
+            'user': username,
+            'password': password,
+            'charset': 'utf8mb4',  # utf8mb4 支持存储四字节的UTF-8字符集
+            'cursorclass': pymysql.cursors.DictCursor,
+        }
 
+        connection = pymysql.connect(**config)  # 连接数据库
+        with connection.cursor() as cursor:
+            sql = "SHOW DATABASES;"
+            cursor.execute(sql)
+            db_name_lists = cursor.fetchall()
+            db_name_lists = [item['Database'] for item in db_name_lists]
+            connection.close()
+
+        sys_lists = ['information_schema', 'mysql', 'performance_schema', 'sakila', 'sys']
+        db_name_lists = [item for item in db_name_lists if item not in sys_lists]
+
+        # db_name_lists = [
+        #     '京东数据2',
+        #     '推广数据2',
+        #     '市场数据2',
+        #     '生意参谋2',
+        #     '生意经2',
+        #     '属性设置2',
+        #     '聚合数据',
+        # ]
+        results = []  # 返回结果示例: [{'云电影': '电影更新'}, {'生意经2': 'e3_零售明细统计'}]
+        for db_ in db_name_lists:
+            config.update({'database': db_})  # 添加更新 config 字段
             connection = pymysql.connect(**config)  # 连接数据库
-            with connection.cursor() as cursor:
-                sql = "SHOW DATABASES;"
-                cursor.execute(sql)
-                db_name_lists = cursor.fetchall()
-                db_name_lists = [item['Database'] for item in db_name_lists]
+            try:
+                with connection.cursor() as cursor:
+                    sql = f"SELECT TABLE_NAME FROM INFORMATION_SCHEMA.TABLES WHERE TABLE_SCHEMA = '{db_}';"
+                    sql = "SHOW TABLES;"
+                    cursor.execute(sql)
+                    res_tables = cursor.fetchall()
+                    for res_table in res_tables:
+                        for k, v in res_table.items():
+                            results.append({db_: v})
+            except:
+                pass
+            finally:
                 connection.close()
-
-            sys_lists = ['information_schema', 'mysql', 'performance_schema', 'sakila', 'sys']
-            db_name_lists = [item for item in db_name_lists if item not in sys_lists]
-
-            # db_name_lists = [
-            #     '京东数据2',
-            #     '推广数据2',
-            #     '市场数据2',
-            #     '生意参谋2',
-            #     '生意经2',
-            #     '属性设置2',
-            #     '聚合数据',
-            # ]
-            results = []  # 返回结果示例: [{'云电影': '电影更新'}, {'生意经2': 'e3_零售明细统计'}]
-            for db_ in db_name_lists:
-                config.update({'database': db_})  # 添加更新 config 字段
-                connection = pymysql.connect(**config)  # 连接数据库
-                try:
-                    with connection.cursor() as cursor:
-                        sql = f"SELECT TABLE_NAME FROM INFORMATION_SCHEMA.TABLES WHERE TABLE_SCHEMA = '{db_}';"
-                        sql = "SHOW TABLES;"
-                        cursor.execute(sql)
-                        res_tables = cursor.fetchall()
-                        for res_table in res_tables:
-                            for k, v in res_table.items():
-                                results.append({db_: v})
-                except:
-                    pass
-                finally:
-                    connection.close()
-                time.sleep(0.5)
-
-            d = DataTypes(path=path, system_name=system_name)
-            for result in results:
-                for db_n, table_n in result.items():
-                    # print(db_n, table_n, db_name, table_name)
-                    if db_name and table_name:  # 下载一个指定的数据表
-                        if db_name != db_n or table_name != table_n:
-                            continue
-                    elif db_name:  # 下载一个数据库的所有数据表
-                        if db_name != db_n:
-                            continue
-                    # 如果 db_name 和 table_name 都不指定，则下载所有数据库的所有数据表
-                    print(f'获取列信息 数据库: < {db_n} >, 数据表: < {table_n} >')
-                    sq = s_query.QueryDatas(username=username, password=password, host=host, port=port)
-                    # 获取数据表的指定列, 返回列表
-                    # [{'视频bv号': 'BV1Dm4y1S7BU', '下载进度': 1}, {'视频bv号': 'BV1ov411c7US', '下载进度': 1}]
-                    name_type = sq.dtypes_to_list(db_name=db_n, table_name=table_n)
-                    if name_type:
-                        dtypes = {item['COLUMN_NAME']: item['COLUMN_TYPE'] for item in name_type}
-                        dtypes = {'mysql': {db_n: {table_n: dtypes}}}
-                        d.get_mysql_types(
-                            dtypes=dtypes,
-                            cl='mysql',
-                            db_name=db_n,
-                            table_name=table_n,
-                            is_file_dtype=True  # True表示旧文件有限
-                        )
-                    else:
-                        print(f'数据库回传数据(name_type)为空')
-            # print(d.datas)
-            d.as_json_file()
+            time.sleep(0.5)
+
+        d = DataTypes(path=path, service_name=service_name)
+        for result in results:
+            for db_n, table_n in result.items():
+                # print(db_n, table_n, db_name, table_name)
+                if db_name and table_name:  # 下载一个指定的数据表
+                    if db_name != db_n or table_name != table_n:
+                        continue
+                elif db_name:  # 下载一个数据库的所有数据表
+                    if db_name != db_n:
+                        continue
+                # 如果 db_name 和 table_name 都不指定，则下载所有数据库的所有数据表
+                print(f'获取列信息 数据库: < {db_n} >, 数据表: < {table_n} >')
+                sq = s_query.QueryDatas(username=username, password=password, host=host, port=port)
+                # 获取数据表的指定列, 返回列表
+                # [{'视频bv号': 'BV1Dm4y1S7BU', '下载进度': 1}, {'视频bv号': 'BV1ov411c7US', '下载进度': 1}]
+                name_type = sq.dtypes_to_list(db_name=db_n, table_name=table_n)
+                if name_type:
+                    dtypes = {item['COLUMN_NAME']: item['COLUMN_TYPE'] for item in name_type}
+                    dtypes = {'mysql': {db_n: {table_n: dtypes}}}
+                    d.get_mysql_types(
+                        dtypes=dtypes,
+                        cl='mysql',
+                        db_name=db_n,
+                        table_name=table_n,
+                        is_file_dtype=True  # True表示旧文件有限
+                    )
+                else:
+                    print(f'数据库回传数据(name_type)为空')
+        # print(d.datas)
+        d.as_json_file()
 
 
 if __name__ == '__main__':
     # 更新 mysql 中所有数据库的 dtypes 信息到本地 json
     mysql_all_dtypes(
-        path='/Users/xigua/Downloads', system_name='company',
+        path='/Users/xigua/Downloads', service_name='company',
     )

{mdbq-1.5.1 → mdbq-1.5.2}/mdbq/aggregation/query_data.py

@@ -577,7 +577,7 @@ class GroupBy:
         df.to_excel(os.path.join(path, filename + '.xlsx'), index=index, header=header, engine=engine, freeze_panes=freeze_panes)
         
 
-def data_aggregation_one(service_databases=[{}], months=1, system_name=None,):
+def data_aggregation_one(service_databases=[{}], months=1):
     """
     # 单独处理某一个聚合数据库，修改添加 data_dict 的值
     """
@@ -616,12 +616,11 @@ def data_aggregation_one(service_databases=[{}], months=1, system_name=None,):
                     table_name=table_name,
                     drop_duplicates=False,
                     icm_update=unique_key_list,
-                    system_name=system_name,
-                    service_databases=service_databases,
+                    service_database=service_database,
                 )  # 3. 回传数据库
 
 
-def data_aggregation(service_databases=[{}], months=1, system_name=None,):
+def data_aggregation(service_databases=[{}], months=1):
     """
     1. 从数据库中读取数据
     2. 数据聚合清洗
@@ -692,8 +691,7 @@ def data_aggregation(service_databases=[{}], months=1, system_name=None,):
                     table_name=table_name,
                     drop_duplicates=False,
                     icm_update=unique_key_list,
-                    system_name=system_name,
-                    service_databases=service_databases,
+                    service_database=service_database,
                 )  # 3. 回传数据库
             res = g.performance(bb_tg=True)   # 盈亏表，依赖其他表，单独做
             m.df_to_mysql(
@@ -702,8 +700,7 @@ def data_aggregation(service_databases=[{}], months=1, system_name=None,):
                 table_name='_全店商品销售',
                 drop_duplicates=False,
                 icm_update=['日期', '商品id'],  # 设置唯一主键
-                system_name = system_name,
-                service_databases=service_databases,
+                service_database=service_database,
             )
             res = g.performance(bb_tg=False)  # 盈亏表，依赖其他表，单独做
             m.df_to_mysql(
@@ -712,8 +709,7 @@ def data_aggregation(service_databases=[{}], months=1, system_name=None,):
                 table_name='_推广商品销售',
                 drop_duplicates=False,
                 icm_update=['日期', '商品id'],  # 设置唯一主键
-                system_name=system_name,
-                service_databases=service_databases,
+                service_database=service_database,
             )
 
     # 这里要注释掉，不然 copysh.py 可能有问题，这里主要修改配置文件，后续触发 home_lx 的 optimize_datas.py(有s)程序进行全局清理
@@ -721,6 +717,8 @@ def data_aggregation(service_databases=[{}], months=1, system_name=None,):
 
 
 if __name__ == '__main__':
-    # data_aggregation(service_databases=[{'home_lx': 'mysql'}], months=1, system_name='home_lx')
-    data_aggregation_one(service_databases=[{'company': 'mysql'}], months=1, system_name='company')
+    # data_aggregation(service_databases=[{'home_lx': 'mysql'}], months=1)
+    data_aggregation_one(service_databases=[{'company': 'mysql'}], months=1)
     # optimize_data.op_data(service_databases=[{'company': 'mysql'}], days=3650)  # 立即启动对聚合数据的清理工作
+
+

{mdbq-1.5.1 → mdbq-1.5.2}/mdbq/company/copysh.py

@@ -327,7 +327,7 @@ def op_data(days: int =100):
         )
 
         # 数据聚合
-        query_data.data_aggregation(service_databases=[{'home_lx': 'mysql'}], months=3, system_name='home_lx')
+        query_data.data_aggregation(service_databases=[{'home_lx': 'mysql'}], months=3,)
         time.sleep(60)
 
         # 清理聚合数据
@@ -347,7 +347,7 @@ def main():
             dp = aggregation.DatabaseUpdate(path=d_path)
             dp.new_unzip(is_move=True)
             dp.cleaning(is_move=True)  # 公司台式机需要移除自身下载的文件
-            dp.upload_df(service_databases=[{'company': 'mysql'}], system_name='company')
+            dp.upload_df(service_databases=[{'company': 'mysql'}])
             dp.date_table(service_databases=[{'company': 'mysql'}])  # 因为日期表不受 days 参数控制，因此单独更新日期表
             dp.other_table(service_databases=[{'company': 'mysql'}])  # 上传 support 文件夹下的 主推商品.csv
 
@@ -365,4 +365,4 @@ def main():
 if __name__ == '__main__':
     main()
     # # 聚合数据，并清理聚合数据
-    # query_data.data_aggregation(service_databases=[{'company': 'mysql'}], months=1, system_name='company')
+    # query_data.data_aggregation(service_databases=[{'company': 'mysql'}], months=1)

{mdbq-1.5.1 → mdbq-1.5.2}/mdbq/config/products.py

@@ -125,7 +125,7 @@ class Products:
                     table_name='货品年份基准',
                     df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
                     drop_duplicates=True,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
-                    system_name=service_name,  # 用来追踪处理进度
+                    service_database=service_database,  # 用来追踪处理进度
                 )
 
     def market_date(self, product_id: int):

{mdbq-1.5.1 → mdbq-1.5.2}/mdbq/mysql/mysql.py

@@ -57,7 +57,7 @@ class MysqlUpload:
         }
         self.filename = None
 
-    def df_to_mysql(self, df, table_name, db_name='远程数据源', icm_update=[], service_databases=[{'home_lx': 'mysql'}], df_sql=False, drop_duplicates=False, filename=None, count=None, json_path=None, system_name=None):
+    def df_to_mysql(self, df, table_name, db_name='远程数据源', icm_update=[], service_database={'home_lx': 'mysql'}, df_sql=False, drop_duplicates=False, filename=None, count=None, json_path=None):
         """
         将 df 写入数据库
         db_name: 数据库名称
@@ -67,7 +67,6 @@ class MysqlUpload:
         icm_update: 增量更新, 在聚合数据中使用，原始文件不要使用，设置此参数时需将 drop_duplicates 改为 False
                 使用增量更新: 必须确保 icm_update 传进来的列必须是数据表中唯一主键，值不会发生变化，不会重复，否则可能产生错乱覆盖情况
         filename: 用来追踪处理进度，传这个参数是方便定位产生错误的文件
-        system_name: 同样是用来追踪处理进度
         service_databases: 这个参数是用来设置更新哪台服务器的 types 信息到本地 json 文件
         json_path: 这个参数同样也是是用来设置更新 json 文件
         """
@@ -111,8 +110,9 @@ class MysqlUpload:
                 cursor.execute(sql)
                 print(f'创建 mysql 表: {table_name}')
 
-            # 2. 列数据类型转换，将 df 数据类型转换为 mysql 的数据类型
-            dtypes, cl, db_n, tb_n = self.convert_dtypes(df=df, db_name=db_name, table_name=table_name, path=json_path, system_name=system_name)
+            for service_name, database in service_database.items():
+                # 2. 列数据类型转换，将 df 数据类型转换为 mysql 的数据类型
+                dtypes, cl, db_n, tb_n = self.convert_dtypes(df=df, db_name=db_name, table_name=table_name, path=json_path, service_name=service_name)
 
             #  有特殊字符不需转义
             sql = "SELECT COLUMN_NAME FROM INFORMATION_SCHEMA.COLUMNS WHERE TABLE_SCHEMA = %s AND TABLE_NAME = %s;"
@@ -156,11 +156,11 @@ class MysqlUpload:
             # 返回这些结果的目的是等添加完列再写 json 文件才能读到 types 信息
             # ⚠️ mysql_all_dtypes 函数默认只读取 home_lx 的数据库信息，不会读取其他系统
             if cl and db_n and tb_n:
-                mysql_types.mysql_all_dtypes(service_databases=service_databases, db_name=db_name, table_name=table_name, system_name=system_name)  # 更新一个表的 dtypes
+                mysql_types.mysql_all_dtypes(service_database=service_database, db_name=db_name, table_name=table_name)  # 更新一个表的 dtypes
             elif cl and db_n:
-                mysql_types.mysql_all_dtypes(service_databases=service_databases, db_name=db_name, system_name=system_name)  # 更新一个数据库的 dtypes
+                mysql_types.mysql_all_dtypes(service_database=service_database, db_name=db_name)  # 更新一个数据库的 dtypes
             elif cl:
-                mysql_types.mysql_all_dtypes(service_databases=service_databases, system_name=system_name)  # 更新所有数据库所有数据表的 dtypes 信息到本地 json
+                mysql_types.mysql_all_dtypes(service_database=service_database)  # 更新所有数据库所有数据表的 dtypes 信息到本地 json
 
             # # 4. 移除指定日期范围内的数据，仅限于聚合数据使用，其他情况不要设置
             # if drop_duplicates and '日期' in df.columns.tolist():
@@ -173,7 +173,8 @@ class MysqlUpload:
 
             # 5. 更新插入数据
             now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S ")
-            print(f'{now}正在更新 mysql ({self.host}:{self.port}) {db_name}/{table_name}, {count}, {self.filename}')
+            for service_name, database in service_database.items():
+                print(f'{now}正在更新 mysql ({self.host}:{self.port}) {db_name}/{table_name}, {count}, {service_name}, {self.filename}')
 
             datas = df.to_dict(orient='records')
             for data in datas:
@@ -261,7 +262,7 @@ class MysqlUpload:
         connection.commit()  # 提交事务
         connection.close()
 
-    def convert_dtypes(self, df, db_name, table_name, path=None, system_name=None):
+    def convert_dtypes(self, df, db_name, table_name, path=None, service_name=None):
         """
         根据本地 json 转换 df 的类型为 mysql 专有的数据类型
         可能不存在本地 json 文件 (函数按指定规则转换并更新 json)
@@ -269,7 +270,7 @@ class MysqlUpload:
         """
         cols = df.columns.tolist()
         # path = set_support.SetSupport(dirname='support').dirname
-        d = mysql_types.DataTypes(path=path, system_name=system_name)
+        d = mysql_types.DataTypes(path=path, service_name=service_name)
         # 从本地文件中读取 dtype 信息
         dtypes, cl, db_n, tb_n = d.load_dtypes(cl='mysql', db_name=db_name, table_name=table_name)
         # 可能会因为没有 json 文件, 返回 None
@@ -813,7 +814,7 @@ if __name__ == '__main__':
         db_name='test',
         table_name='测试数据',
         drop_duplicates=True,
-        # system_name=system_name,
+        # service_name=service_name,
         # service_databases=service_databases,
     )
 

{mdbq-1.5.1 → mdbq-1.5.2}/mdbq.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 1.5.1
+Version: 1.5.2
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-1.5.1 → mdbq-1.5.2}/setup.py

@@ -3,7 +3,7 @@
 from setuptools import setup, find_packages
 
 setup(name='mdbq',
-      version='1.5.1',
+      version='1.5.2',
       author='xigua, ',
       author_email="2587125111@qq.com",
       url='https://pypi.org/project/mdbsql',