mdbq 0.1.8__tar.gz → 0.1.9__tar.gz

{mdbq-0.1.8 → mdbq-0.1.9}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 0.1.8
+Version: 0.1.9
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-0.1.8 → mdbq-0.1.9}/mdbq/aggregation/aggregation.py

@@ -136,6 +136,7 @@ class DatabaseUpdate:
     def __init__(self, path):
         self.path = path  # 数据所在目录, 即: 下载文件夹
         self.datas: list = []  # 带更新进数据库的数据集合
+        self.start_date = '2022-01-01'  # 日期表的起始日期
 
     def cleaning(self, is_move=True):
         """
@@ -740,6 +741,15 @@ class DatabaseUpdate:
                         os.remove(os.path.join(root, name))
         json_data.dtypes_to_file()  # 写入 json 文件, 包含数据的 dtypes 信息
 
+        df = self.date_table()  # 创建一个日期表
+        self.datas.append(
+            {
+                '数据库名': '聚合数据',
+                '集合名称': '日期表',
+                '数据主体': df,
+            }
+        )
+
     def upload_df(self, service_databases=[{}]):
         """
         将清洗后的 df 上传数据库
@@ -896,6 +906,32 @@ class DatabaseUpdate:
             encod = chardet.detect(f1).get('encoding')
         return encod
 
+    def date_table(self):
+        """
+        生成 pbix使用的日期表
+        """
+        yesterday = time.strftime('%Y-%m-%d', time.localtime(time.time() - 86400))
+        dic = pd.date_range(start=self.start_date, end=yesterday)
+        df = pd.DataFrame(dic, columns=['日期'])
+        df.sort_values('日期', ascending=True, ignore_index=True, inplace=True)
+        df.reset_index(inplace=True)
+        # inplace 添加索引到 df
+        p = df.pop('index')
+        df['月2'] = df['日期']
+        df['月2'] = df['月2'].dt.month
+        df['日期'] = df['日期'].dt.date  # 日期格式保留年月日，去掉时分秒
+        df['年'] = df['日期'].apply(lambda x: str(x).split('-')[0] + '年')
+        df['月'] = df['月2'].apply(lambda x: str(x) + '月')
+        # df.drop('月2', axis=1, inplace=True)
+        mon = df.pop('月2')
+        df['日'] = df['日期'].apply(lambda x: str(x).split('-')[2])
+        df['年月'] = df.apply(lambda x: x['年'] + x['月'], axis=1)
+        df['月日'] = df.apply(lambda x: x['月'] + x['日'] + '日', axis=1)
+        df['第n周'] = df['日期'].apply(lambda x: x.strftime('第%W周'))
+        df['索引'] = p
+        df['月索引'] = mon
+        df.sort_values('日期', ascending=False, ignore_index=True, inplace=True)
+        return df
 
 def update_dtypte():
     """ 更新一个文件的 dtype 信息到 json 文件 """
@@ -991,7 +1027,11 @@ def main():
     d = DatabaseUpdate(path='/Users/xigua/Downloads')
     d.new_unzip(is_move=True)
     d.cleaning(is_move=False)
-    d.upload_df(service_databases=[{'home_lx': 'mongodb'}, {'home_lx': 'mysql'}])
+    d.upload_df(service_databases=[
+        # {'home_lx': 'mongodb'},
+        {'home_lx': 'mysql'}
+    ]
+    )
     # print(d.datas)
 
 
@@ -999,5 +1039,5 @@ if __name__ == '__main__':
     # username, password, host, port = get_myconf.select_config_values(target_service='nas', database='mysql')
     # print(username, password, host, port)
 
-    # main()
-    upload()
+    main()
+    # upload()

{mdbq-0.1.8 → mdbq-0.1.9}/mdbq/aggregation/query_data.py

@@ -396,57 +396,59 @@ class GroupBy:
                     index=index, header=header, engine=engine, freeze_panes=freeze_panes)
         
         
-def data_aggregation():
+def data_aggregation(service_databases=[{}]):
     """
     1. 从数据库中读取数据
     2. 数据聚合清洗
     3. 统一回传数据库: <聚合数据>  （不再导出为文件）
     """
-    sdq = MysqlDatasQuery(target_service='company')  # 实例化数据处理类
-    sdq.months = 0  # 设置数据周期
-    g = GroupBy()  # 实例化数据聚合类
-    # 实例化数据库连接
-    username, password, host, port = get_myconf.select_config_values(target_service='company', database='mysql')
-    m = mysql.MysqlUpload(username=username, password=password, host=host, port=port)
+    for service_database in service_databases:
+        for service_name, database in service_database.items():
+            sdq = MysqlDatasQuery(target_service=service_name)  # 实例化数据处理类
+            sdq.months = 0  # 设置数据周期
+            g = GroupBy()  # 实例化数据聚合类
+            # 实例化数据库连接
+            username, password, host, port = get_myconf.select_config_values(target_service=service_name, database=database)
+            m = mysql.MysqlUpload(username=username, password=password, host=host, port=port)
 
-    data_dict = [
-        {
-            '数据库名': '聚合数据',
-            '集合名': '推广数据_宝贝主体报表',
-            '数据主体': sdq.tg_wxt(),
-        },
-        {
-            '数据库名': '聚合数据',
-            '集合名': '天猫生意经_宝贝指标',
-            '数据主体': sdq.syj(),
-        },
-        {
-            '数据库名': '聚合数据',
-            '集合名': '天猫_店铺来源_日数据',
-            '数据主体': sdq.dplyd(),
-        },
-        {
-            '数据库名': '聚合数据',
-            '集合名': '商品id编码表',
-            '数据主体': sdq.idbm(),
-        },
-        {
-            '数据库名': '聚合数据',
-            '集合名': '商品id图片对照表',
-            '数据主体': sdq.sp_picture(),
-        },
-        {
-            '数据库名': '聚合数据',
-            '集合名': '商品成本',
-            '数据主体': sdq.sp_cost(),
-        },
-    ]
-    for items in data_dict:
-        db_name, tabel_name, df = items['数据库名'], items['集合名'], items['数据主体']
-        df = g.groupby(df=df, tabel_name=tabel_name, is_maximize=True)  # 2. 聚合数据
-        # g.as_csv(df=df, filename=tabel_name + '.csv')
-        m.df_to_mysql(df=df, db_name=db_name, tabel_name=tabel_name)  # 3. 回传数据库
+            data_dict = [
+                {
+                    '数据库名': '聚合数据',
+                    '集合名': '推广数据_宝贝主体报表',
+                    '数据主体': sdq.tg_wxt(),
+                },
+                {
+                    '数据库名': '聚合数据',
+                    '集合名': '天猫生意经_宝贝指标',
+                    '数据主体': sdq.syj(),
+                },
+                {
+                    '数据库名': '聚合数据',
+                    '集合名': '天猫_店铺来源_日数据',
+                    '数据主体': sdq.dplyd(),
+                },
+                {
+                    '数据库名': '聚合数据',
+                    '集合名': '商品id编码表',
+                    '数据主体': sdq.idbm(),
+                },
+                {
+                    '数据库名': '聚合数据',
+                    '集合名': '商品id图片对照表',
+                    '数据主体': sdq.sp_picture(),
+                },
+                {
+                    '数据库名': '聚合数据',
+                    '集合名': '商品成本',
+                    '数据主体': sdq.sp_cost(),
+                },
+            ]
+            for items in data_dict:
+                db_name, tabel_name, df = items['数据库名'], items['集合名'], items['数据主体']
+                df = g.groupby(df=df, tabel_name=tabel_name, is_maximize=True)  # 2. 聚合数据
+                # g.as_csv(df=df, filename=tabel_name + '.csv')
+                m.df_to_mysql(df=df, db_name=db_name, tabel_name=tabel_name)  # 3. 回传数据库
 
 
 if __name__ == '__main__':
-    data_aggregation()
+    data_aggregation(service_databases=[{'company': 'mysql'}])

{mdbq-0.1.8 → mdbq-0.1.9}/mdbq.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 0.1.8
+Version: 0.1.9
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-0.1.8 → mdbq-0.1.9}/setup.py

@@ -3,7 +3,7 @@
 from setuptools import setup, find_packages
 
 setup(name='mdbq',
-      version='0.1.8',
+      version='0.1.9',
       author='xigua, ',
       author_email="2587125111@qq.com",
       url='https://pypi.org/project/mdbsql',