mdbq 0.1.7__tar.gz → 0.1.9__tar.gz

{mdbq-0.1.7 → mdbq-0.1.9}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 0.1.7
+Version: 0.1.9
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-0.1.7 → mdbq-0.1.9}/mdbq/aggregation/aggregation.py

@@ -136,6 +136,7 @@ class DatabaseUpdate:
     def __init__(self, path):
         self.path = path  # 数据所在目录, 即: 下载文件夹
         self.datas: list = []  # 带更新进数据库的数据集合
+        self.start_date = '2022-01-01'  # 日期表的起始日期
 
     def cleaning(self, is_move=True):
         """
@@ -740,6 +741,15 @@ class DatabaseUpdate:
                         os.remove(os.path.join(root, name))
         json_data.dtypes_to_file()  # 写入 json 文件, 包含数据的 dtypes 信息
 
+        df = self.date_table()  # 创建一个日期表
+        self.datas.append(
+            {
+                '数据库名': '聚合数据',
+                '集合名称': '日期表',
+                '数据主体': df,
+            }
+        )
+
     def upload_df(self, service_databases=[{}]):
         """
         将清洗后的 df 上传数据库
@@ -896,6 +906,32 @@ class DatabaseUpdate:
             encod = chardet.detect(f1).get('encoding')
         return encod
 
+    def date_table(self):
+        """
+        生成 pbix使用的日期表
+        """
+        yesterday = time.strftime('%Y-%m-%d', time.localtime(time.time() - 86400))
+        dic = pd.date_range(start=self.start_date, end=yesterday)
+        df = pd.DataFrame(dic, columns=['日期'])
+        df.sort_values('日期', ascending=True, ignore_index=True, inplace=True)
+        df.reset_index(inplace=True)
+        # inplace 添加索引到 df
+        p = df.pop('index')
+        df['月2'] = df['日期']
+        df['月2'] = df['月2'].dt.month
+        df['日期'] = df['日期'].dt.date  # 日期格式保留年月日，去掉时分秒
+        df['年'] = df['日期'].apply(lambda x: str(x).split('-')[0] + '年')
+        df['月'] = df['月2'].apply(lambda x: str(x) + '月')
+        # df.drop('月2', axis=1, inplace=True)
+        mon = df.pop('月2')
+        df['日'] = df['日期'].apply(lambda x: str(x).split('-')[2])
+        df['年月'] = df.apply(lambda x: x['年'] + x['月'], axis=1)
+        df['月日'] = df.apply(lambda x: x['月'] + x['日'] + '日', axis=1)
+        df['第n周'] = df['日期'].apply(lambda x: x.strftime('第%W周'))
+        df['索引'] = p
+        df['月索引'] = mon
+        df.sort_values('日期', ascending=False, ignore_index=True, inplace=True)
+        return df
 
 def update_dtypte():
     """ 更新一个文件的 dtype 信息到 json 文件 """
@@ -991,7 +1027,11 @@ def main():
     d = DatabaseUpdate(path='/Users/xigua/Downloads')
     d.new_unzip(is_move=True)
     d.cleaning(is_move=False)
-    d.upload_df(service_databases=[{'home_lx': 'mongodb'}, {'home_lx': 'mysql'}])
+    d.upload_df(service_databases=[
+        # {'home_lx': 'mongodb'},
+        {'home_lx': 'mysql'}
+    ]
+    )
     # print(d.datas)
 
 
@@ -999,5 +1039,5 @@ if __name__ == '__main__':
     # username, password, host, port = get_myconf.select_config_values(target_service='nas', database='mysql')
     # print(username, password, host, port)
 
-    # main()
-    upload()
+    main()
+    # upload()

{mdbq-0.1.7 → mdbq-0.1.9}/mdbq/aggregation/query_data.py

@@ -396,57 +396,59 @@ class GroupBy:
                     index=index, header=header, engine=engine, freeze_panes=freeze_panes)
         
         
-def data_aggregation():
+def data_aggregation(service_databases=[{}]):
     """
     1. 从数据库中读取数据
     2. 数据聚合清洗
     3. 统一回传数据库: <聚合数据>  （不再导出为文件）
     """
-    sdq = MysqlDatasQuery(target_service='company')  # 实例化数据处理类
-    sdq.months = 0  # 设置数据周期
-    g = GroupBy()  # 实例化数据聚合类
-    # 实例化数据库连接
-    username, password, host, port = get_myconf.select_config_values(target_service='company', database='mysql')
-    m = mysql.MysqlUpload(username=username, password=password, host=host, port=port)
+    for service_database in service_databases:
+        for service_name, database in service_database.items():
+            sdq = MysqlDatasQuery(target_service=service_name)  # 实例化数据处理类
+            sdq.months = 0  # 设置数据周期
+            g = GroupBy()  # 实例化数据聚合类
+            # 实例化数据库连接
+            username, password, host, port = get_myconf.select_config_values(target_service=service_name, database=database)
+            m = mysql.MysqlUpload(username=username, password=password, host=host, port=port)
 
-    data_dict = [
-        {
-            '数据库名': '聚合数据',
-            '集合名': '推广数据_宝贝主体报表',
-            '数据主体': sdq.tg_wxt(),
-        },
-        {
-            '数据库名': '聚合数据',
-            '集合名': '天猫生意经_宝贝指标',
-            '数据主体': sdq.syj(),
-        },
-        {
-            '数据库名': '聚合数据',
-            '集合名': '天猫_店铺来源_日数据',
-            '数据主体': sdq.dplyd(),
-        },
-        {
-            '数据库名': '聚合数据',
-            '集合名': '商品id编码表',
-            '数据主体': sdq.idbm(),
-        },
-        {
-            '数据库名': '聚合数据',
-            '集合名': '商品id图片对照表',
-            '数据主体': sdq.sp_picture(),
-        },
-        {
-            '数据库名': '聚合数据',
-            '集合名': '商品成本',
-            '数据主体': sdq.sp_cost(),
-        },
-    ]
-    for items in data_dict:
-        db_name, tabel_name, df = items['数据库名'], items['集合名'], items['数据主体']
-        df = g.groupby(df=df, tabel_name=tabel_name, is_maximize=True)  # 2. 聚合数据
-        # g.as_csv(df=df, filename=tabel_name + '.csv')
-        m.df_to_mysql(df=df, db_name=db_name, tabel_name=tabel_name)  # 3. 回传数据库
+            data_dict = [
+                {
+                    '数据库名': '聚合数据',
+                    '集合名': '推广数据_宝贝主体报表',
+                    '数据主体': sdq.tg_wxt(),
+                },
+                {
+                    '数据库名': '聚合数据',
+                    '集合名': '天猫生意经_宝贝指标',
+                    '数据主体': sdq.syj(),
+                },
+                {
+                    '数据库名': '聚合数据',
+                    '集合名': '天猫_店铺来源_日数据',
+                    '数据主体': sdq.dplyd(),
+                },
+                {
+                    '数据库名': '聚合数据',
+                    '集合名': '商品id编码表',
+                    '数据主体': sdq.idbm(),
+                },
+                {
+                    '数据库名': '聚合数据',
+                    '集合名': '商品id图片对照表',
+                    '数据主体': sdq.sp_picture(),
+                },
+                {
+                    '数据库名': '聚合数据',
+                    '集合名': '商品成本',
+                    '数据主体': sdq.sp_cost(),
+                },
+            ]
+            for items in data_dict:
+                db_name, tabel_name, df = items['数据库名'], items['集合名'], items['数据主体']
+                df = g.groupby(df=df, tabel_name=tabel_name, is_maximize=True)  # 2. 聚合数据
+                # g.as_csv(df=df, filename=tabel_name + '.csv')
+                m.df_to_mysql(df=df, db_name=db_name, tabel_name=tabel_name)  # 3. 回传数据库
 
 
 if __name__ == '__main__':
-    data_aggregation()
+    data_aggregation(service_databases=[{'company': 'mysql'}])

{mdbq-0.1.7 → mdbq-0.1.9}/mdbq/mysql/mysql.py

@@ -181,6 +181,8 @@ class MysqlUpload:
         # 最优先处理 ID 类型, 在 mysql 里面, 有些列数字过长不能存储为 int 类型
         if 'id' in col or 'ID' in col or 'Id' in col or '摘要' in col or '商家编码' in col or '单号' in col or '款号' in col:
             return 'mediumtext'
+        if '商品编码' in col:  # 京东sku/spu商品信息
+            return 'mediumtext'
         if '文件大小' in col:  # bw 程序
             return 'mediumtext'
         elif '日期' in col or '时间' in col:
@@ -192,8 +194,12 @@ class MysqlUpload:
         elif dtype == 'datetime64[ns]':  # 日期可能显示为数字, 因为放在判断 int 的前面
             return 'DATE'
         elif dtype == 'int32':
+            if len(str(max(df[col].tolist()))) >= 10:  # 数值长度超限转为 mediumtext
+                return 'mediumtext'
             return 'INT'
         elif dtype == 'int64':
+            if len(str(max(df[col].tolist()))) >= 10:
+                return 'mediumtext'
             return 'INT'
         elif dtype == 'float64':
             return 'FLOAT'
@@ -391,11 +397,19 @@ class OptimizeDatas:
                 self.config.update({'database': self.db_name})  # 添加更新 config 字段
                 self.connection = pymysql.connect(**self.config)
                 with self.connection.cursor() as cursor:
+                    sql = f"SELECT 1 FROM {table_name} LIMIT 1"
+                    cursor.execute(sql)
+                    result = cursor.fetchone()
+                    if not result:
+                        now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S ")
+                        print(f'{now}数据表: {table_name}, 数据长度为 0')
+                        continue  # 检查数据表是否为空
+
                     cursor.execute(f"SHOW FULL COLUMNS FROM {table_name}")  # 查询数据表的列信息
                     columns = cursor.fetchall()
                     date_exist = False
                     for col in columns:  # 遍历列信息，检查是否存在类型为日期的列
-                        if col['Field'] == '日期' and col['Type'] == 'date' or col['Type'].startswith('datetime'):
+                        if col['Field'] == '日期' and (col['Type'] == 'date' or col['Type'].startswith('datetime')):
                             date_exist = True
                             break
                     if date_exist:  # 存在日期列

{mdbq-0.1.7 → mdbq-0.1.9}/mdbq.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 0.1.7
+Version: 0.1.9
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-0.1.7 → mdbq-0.1.9}/setup.py

@@ -3,7 +3,7 @@
 from setuptools import setup, find_packages
 
 setup(name='mdbq',
-      version='0.1.7',
+      version='0.1.9',
       author='xigua, ',
       author_email="2587125111@qq.com",
       url='https://pypi.org/project/mdbsql',