mdbq 1.4.8__tar.gz → 1.4.9__tar.gz

{mdbq-1.4.8 → mdbq-1.4.9}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 1.4.8
+Version: 1.4.9
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-1.4.8 → mdbq-1.4.9}/mdbq/aggregation/query_data.py

@@ -349,9 +349,60 @@ class GroupBy:
                 }
             )
             return df
-        elif '店铺来源_日数据' in table_name:
+        elif '店铺来源_日数据' in table_name and '旧版' not in table_name:
+            # 包含三级来源名称和预设索引值列
+            # 截取 从上月1日 至 今天的花费数据, 推广款式按此数据从高到低排序（商品图+排序）
+            df_visitor3 = df.groupby(['日期', '三级来源'], as_index=False).agg({'访客数': 'sum'})
+            df_visitor3 = df_visitor3[~df_visitor3['三级来源'].isin([''])]  # 指定列中删除包含空值的行
+            # df_visitor = df_visitor[(df_visitor['日期'] >= f'{year_my}-{last_month.month}-01')]
+            df_visitor3 = df_visitor3.groupby(['三级来源'], as_index=False).agg({'访客数': 'sum'})
+            df_visitor3.sort_values('访客数', ascending=False, ignore_index=True, inplace=True)
+            df_visitor3.reset_index(inplace=True)
+            df_visitor3['index'] = df_visitor3['index'] + 100
+            df_visitor3.rename(columns={'index': '三级访客索引'}, inplace=True)
+            df_visitor3 = df_visitor3[['三级来源', '三级访客索引']]
+
+            # 包含二级来源名称和预设索引值列
+            df_visitor2 = df.groupby(['日期', '二级来源'], as_index=False).agg({'访客数': 'sum'})
+            df_visitor2 = df_visitor2[~df_visitor2['二级来源'].isin([''])]  # 指定列中删除包含空值的行
+            # df_visitor2 = df_visitor2[(df_visitor2['日期'] >= f'{year_my}-{last_month.month}-01')]
+            df_visitor2 = df_visitor2.groupby(['二级来源'], as_index=False).agg({'访客数': 'sum'})
+            df_visitor2.sort_values('访客数', ascending=False, ignore_index=True, inplace=True)
+            df_visitor2.reset_index(inplace=True)
+            df_visitor2['index'] = df_visitor2['index'] + 100
+            df_visitor2.rename(columns={'index': '二级访客索引'}, inplace=True)
+            df_visitor2 = df_visitor2[['二级来源', '二级访客索引']]
+
+            df = pd.merge(df, df_visitor2, how='left', left_on='二级来源', right_on='二级来源')
+            df = pd.merge(df, df_visitor3, how='left', left_on='三级来源', right_on='三级来源')
             return df
-        elif '店铺来源_日数据_旧版' in table_name:
+        elif '天猫_店铺来源_日数据_旧版' in table_name:
+
+            # 包含三级来源名称和预设索引值列
+            # 截取 从上月1日 至 今天的花费数据, 推广款式按此数据从高到低排序（商品图+排序）
+            df_visitor3 = df.groupby(['日期', '三级来源'], as_index=False).agg({'访客数': 'sum'})
+            df_visitor3 = df_visitor3[~df_visitor3['三级来源'].isin([''])]  # 指定列中删除包含空值的行
+            # df_visitor = df_visitor[(df_visitor['日期'] >= f'{year_my}-{last_month.month}-01')]
+            df_visitor3 = df_visitor3.groupby(['三级来源'], as_index=False).agg({'访客数': 'sum'})
+            df_visitor3.sort_values('访客数', ascending=False, ignore_index=True, inplace=True)
+            df_visitor3.reset_index(inplace=True)
+            df_visitor3['index'] = df_visitor3['index'] + 100
+            df_visitor3.rename(columns={'index': '三级访客索引'}, inplace=True)
+            df_visitor3 = df_visitor3[['三级来源', '三级访客索引']]
+
+            # 包含二级来源名称和预设索引值列
+            df_visitor2 = df.groupby(['日期', '二级来源'], as_index=False).agg({'访客数': 'sum'})
+            df_visitor2 = df_visitor2[~df_visitor2['二级来源'].isin([''])]  # 指定列中删除包含空值的行
+            # df_visitor2 = df_visitor2[(df_visitor2['日期'] >= f'{year_my}-{last_month.month}-01')]
+            df_visitor2 = df_visitor2.groupby(['二级来源'], as_index=False).agg({'访客数': 'sum'})
+            df_visitor2.sort_values('访客数', ascending=False, ignore_index=True, inplace=True)
+            df_visitor2.reset_index(inplace=True)
+            df_visitor2['index'] = df_visitor2['index'] + 100
+            df_visitor2.rename(columns={'index': '二级访客索引'}, inplace=True)
+            df_visitor2 = df_visitor2[['二级来源', '二级访客索引']]
+
+            df = pd.merge(df, df_visitor2, how='left', left_on='二级来源', right_on='二级来源')
+            df = pd.merge(df, df_visitor3, how='left', left_on='三级来源', right_on='三级来源')
             return df
         elif '商品id编码表' in table_name:
             df['宝贝id'] = df['宝贝id'].astype(str)
@@ -542,6 +593,12 @@ def data_aggregation_one(service_databases=[{}], months=1, system_name=None,):
             # 从数据库中获取数据, 返回包含 df 数据的字典
             # 单独处理某一个聚合数据库，在这里修改添加 data_dict 的值
             data_dict = [
+                {
+                    '数据库名': '聚合数据',
+                    '集合名': '天猫_店铺来源_日数据_旧版',
+                    '唯一主键': ['日期', '一级来源', '二级来源', '三级来源'],
+                    '数据主体': sdq.dplyd_old(),
+                },
                 {
                     '数据库名': '聚合数据',
                     '集合名': '天猫_店铺来源_日数据',
@@ -665,5 +722,5 @@ def data_aggregation(service_databases=[{}], months=1, system_name=None,):
 
 if __name__ == '__main__':
     # data_aggregation(service_databases=[{'home_lx': 'mysql'}], months=1, system_name='home_lx')
-    data_aggregation_one(service_databases=[{'company': 'mysql'}], months=10, system_name='company')
+    data_aggregation_one(service_databases=[{'company': 'mysql'}], months=12, system_name='company')
     # optimize_data.op_data(service_databases=[{'company': 'mysql'}], days=3650)  # 立即启动对聚合数据的清理工作

{mdbq-1.4.8 → mdbq-1.4.9}/mdbq.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 1.4.8
+Version: 1.4.9
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-1.4.8 → mdbq-1.4.9}/setup.py

@@ -3,7 +3,7 @@
 from setuptools import setup, find_packages
 
 setup(name='mdbq',
-      version='1.4.8',
+      version='1.4.9',
       author='xigua, ',
       author_email="2587125111@qq.com",
       url='https://pypi.org/project/mdbsql',