mdbq 1.4.6__py3-none-any.whl → 1.4.7__py3-none-any.whl

mdbq/aggregation/query_data.py

@@ -15,6 +15,12 @@ import json
 import os
 """
 程序用于下载数据库(调用 s_query.py 下载并清洗), 并对数据进行聚合清洗, 不会更新数据库信息;
+
+添加新库流程：
+1.  在 MysqlDatasQuery 类中创建函数，从数据库取出数据
+2.  在 GroupBy 类中创建函数，处理聚合数据
+3.  在 data_aggregation 类中添加 data_dict 字典键值，回传数据到数据库
+
 """
 
 
@@ -153,6 +159,29 @@ class MysqlDatasQuery:
         return df
 
     def dplyd(self):
+        """ 新旧版取的字段是一样的 """
+        start_date, end_date = self.months_data(num=self.months)
+        projection = {
+            '日期': 1,
+            '一级来源': 1,
+            '二级来源': 1,
+            '三级来源': 1,
+            '访客数': 1,
+            '支付金额': 1,
+            '支付买家数': 1,
+            '支付转化率': 1,
+            '加购人数': 1,
+        }
+        df = self.download.data_to_df(
+            db_name='生意参谋2',
+            table_name='店铺来源_日数据',
+            start_date=start_date,
+            end_date=end_date,
+            projection=projection,
+        )
+        return df
+
+    def dplyd_old(self):
         start_date, end_date = self.months_data(num=self.months)
         projection = {
             '日期': 1,
@@ -320,6 +349,8 @@ class GroupBy:
                 }
             )
             return df
+        elif '店铺来源_日数据' in table_name:
+            return df
         elif '店铺来源_日数据_旧版' in table_name:
             return df
         elif '商品id编码表' in table_name:
@@ -513,7 +544,7 @@ def data_aggregation_one(service_databases=[{}], months=1, system_name=None,):
             data_dict = [
                 {
                     '数据库名': '聚合数据',
-                    '集合名': '天猫_店铺来源_日数据_旧版',
+                    '集合名': '天猫_店铺来源_日数据',
                     '唯一主键': ['日期', '一级来源', '二级来源', '三级来源'],
                     '数据主体': sdq.dplyd(),
                 },
@@ -565,10 +596,16 @@ def data_aggregation(service_databases=[{}], months=1, system_name=None,):
                 },
                 {
                     '数据库名': '聚合数据',
-                    '集合名': '天猫_店铺来源_日数据_旧版',
+                    '集合名': '天猫_店铺来源_日数据',
                     '唯一主键': ['日期', '一级来源', '二级来源', '三级来源'],
                     '数据主体': sdq.dplyd(),
                 },
+                {
+                    '数据库名': '聚合数据',
+                    '集合名': '天猫_店铺来源_日数据_旧版',
+                    '唯一主键': ['日期', '一级来源', '二级来源', '三级来源'],
+                    '数据主体': sdq.dplyd_old(),
+                },
                 {
                     '数据库名': '聚合数据',
                     '集合名': '商品id编码表',
@@ -627,6 +664,6 @@ def data_aggregation(service_databases=[{}], months=1, system_name=None,):
 
 
 if __name__ == '__main__':
-    data_aggregation(service_databases=[{'home_lx': 'mysql'}], months=1, system_name='home_lx')
-    # data_aggregation_one(service_databases=[{'company': 'mysql'}], months=10, system_name='company')
+    # data_aggregation(service_databases=[{'home_lx': 'mysql'}], months=1, system_name='home_lx')
+    data_aggregation_one(service_databases=[{'company': 'mysql'}], months=10, system_name='company')
     # optimize_data.op_data(service_databases=[{'company': 'mysql'}], days=3650)  # 立即启动对聚合数据的清理工作

{mdbq-1.4.6.dist-info → mdbq-1.4.7.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 1.4.6
+Version: 1.4.7
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-1.4.6.dist-info → mdbq-1.4.7.dist-info}/RECORD

@@ -5,7 +5,7 @@ mdbq/aggregation/aggregation.py,sha256=uGLS4Zn8oX0TmFxo2G_bDuA7hok4afiZajJZDLxmS
 mdbq/aggregation/df_types.py,sha256=oQJS2IBU3_IO6GMgbssHuC2yCjNnbta0QPGrFOwNLnU,7591
 mdbq/aggregation/mysql_types.py,sha256=3j_SUTi7qYJyY3JtV_lRLIyczIczmRPE_WaIrXiZ6Rw,11425
 mdbq/aggregation/optimize_data.py,sha256=u2Kl_MFtZueXJ57ycy4H2OhXD431RctUYJYCl637uT0,4176
-mdbq/aggregation/query_data.py,sha256=vqAf-FRSnA8umAfhKZn-21AWjmXozcQT5Ec0gwEThzo,29856
+mdbq/aggregation/query_data.py,sha256=PBBbnwN8fHxd6H_k8gZygu41bFk0H4oL3sKULa9_YSM,31207
 mdbq/bdup/__init__.py,sha256=AkhsGk81SkG1c8FqDH5tRq-8MZmFobVbN60DTyukYTY,28
 mdbq/bdup/bdup.py,sha256=LAV0TgnQpc-LB-YuJthxb0U42_VkPidzQzAagan46lU,4234
 mdbq/clean/__init__.py,sha256=A1d6x3L27j4NtLgiFV5TANwEkLuaDfPHDQNrPBbNWtU,41
@@ -35,7 +35,7 @@ mdbq/pbix/__init__.py,sha256=Trtfaynu9RjoTyLLYBN2xdRxTvm_zhCniUkVTAYwcjo,24
 mdbq/pbix/pbix_refresh.py,sha256=JUjKW3bNEyoMVfVfo77UhguvS5AWkixvVhDbw4_MHco,2396
 mdbq/pbix/refresh_all.py,sha256=tgy762608HMaXWynbOURIf2UVMuSPybzrDXQnOOcnZU,6102
 mdbq/spider/__init__.py,sha256=RBMFXGy_jd1HXZhngB2T2XTvJqki8P_Fr-pBcwijnew,18
-mdbq-1.4.6.dist-info/METADATA,sha256=vQjJtP-PX-XLQgL2rZMIMnpav-BKqdoRoHomvHN0brA,245
-mdbq-1.4.6.dist-info/WHEEL,sha256=cpQTJ5IWu9CdaPViMhC9YzF8gZuS5-vlfoFihTBC86A,91
-mdbq-1.4.6.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
-mdbq-1.4.6.dist-info/RECORD,,
+mdbq-1.4.7.dist-info/METADATA,sha256=LtBOaDQcn4v_dj9wjGnSYaoGqXAtzKDdllsXLlCjDFw,245
+mdbq-1.4.7.dist-info/WHEEL,sha256=eOLhNAGa2EW3wWl_TU484h7q1UNgy0JXjjoqKoxAAQc,92
+mdbq-1.4.7.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
+mdbq-1.4.7.dist-info/RECORD,,

{mdbq-1.4.6.dist-info → mdbq-1.4.7.dist-info}/WHEEL

@@ -1,5 +1,5 @@
 Wheel-Version: 1.0
-Generator: setuptools (70.1.0)
+Generator: bdist_wheel (0.44.0)
 Root-Is-Purelib: true
 Tag: py3-none-any