mdbq 3.0.9__py3-none-any.whl → 3.1.0__py3-none-any.whl

mdbq/aggregation/query_data.py

@@ -16,6 +16,7 @@ import getpass
 import json
 import os
 import time
+import calendar
 
 """
 
@@ -134,7 +135,6 @@ class MysqlDatasQuery:
                     '直接成交金额': ('直接成交金额', np.max)
                 }
             )
-        df.to_csv('/Users/xigua/Downloads/zhuti.csv', index=False, header=True, encoding='utf-8_sig')
         df.insert(loc=1, column='推广渠道', value='万相台无界版')  # df中插入新列
         set_typ = {
             '日期': 'date',
@@ -990,12 +990,15 @@ class MysqlDatasQuery:
         )
         return True
 
-    @try_except
+    # @try_except
     def dplyd(self, db_name='聚合数据', table_name='店铺流量来源构成'):
         """ 新旧版取的字段是一样的 """
         start_date, end_date = self.months_data(num=self.months)
         projection = {
             '日期': 1,
+            '店铺名称': 1,
+            '类别': 1,
+            '来源构成': 1,
             '一级来源': 1,
             '二级来源': 1,
             '三级来源': 1,
@@ -1004,7 +1007,9 @@ class MysqlDatasQuery:
             '支付买家数': 1,
             '支付转化率': 1,
             '加购人数': 1,
-            '店铺名称': 1,
+            '加购件数': 1,
+            '下单买家数': 1,
+            '关注店铺人数': 1,
         }
         df = self.download.data_to_df(
             db_name='生意参谋3',
@@ -1013,33 +1018,50 @@ class MysqlDatasQuery:
             end_date=end_date,
             projection=projection,
         )
+        df.drop_duplicates(subset=['日期', '店铺名称', '类别', '来源构成', '一级来源', '二级来源', '三级来源', '访客数'], keep='last', inplace=True, ignore_index=True)
         # 包含三级来源名称和预设索引值列
         # 截取 从上月1日 至 今天的花费数据, 推广款式按此数据从高到低排序（商品图+排序）
-        df_visitor3 = df.groupby(['日期', '三级来源'], as_index=False).agg({'访客数': 'sum'})
-        df_visitor3 = df_visitor3[~df_visitor3['三级来源'].isin([''])]  # 指定列中删除包含空值的行
-        # df_visitor = df_visitor[(df_visitor['日期'] >= f'{year_my}-{last_month.month}-01')]
+        last_month, ii = get_day_of_month(1)
+        df['日期'] = pd.to_datetime(df['日期'], format='%Y-%m-%d', errors='ignore')  # 转换日期列
+        df_visitor3 = df[df['日期'] >= pd.to_datetime(last_month)]
+        df_visitor3 = df_visitor3[(df_visitor3['三级来源'] != '汇总') & (df_visitor3['三级来源'] != '0')]
         df_visitor3 = df_visitor3.groupby(['三级来源'], as_index=False).agg({'访客数': 'sum'})
         df_visitor3.sort_values('访客数', ascending=False, ignore_index=True, inplace=True)
         df_visitor3.reset_index(inplace=True)
         df_visitor3['index'] = df_visitor3['index'] + 100
-        df_visitor3.rename(columns={'index': '三级访客索引'}, inplace=True)
-        df_visitor3 = df_visitor3[['三级来源', '三级访客索引']]
+        df_visitor3.rename(columns={'index': '三级来源索引'}, inplace=True)
+        df_visitor3 = df_visitor3[['三级来源', '三级来源索引']]
 
         # 包含二级来源名称和预设索引值列
-        df_visitor2 = df.groupby(['日期', '二级来源'], as_index=False).agg({'访客数': 'sum'})
-        df_visitor2 = df_visitor2[~df_visitor2['二级来源'].isin([''])]  # 指定列中删除包含空值的行
-        # df_visitor2 = df_visitor2[(df_visitor2['日期'] >= f'{year_my}-{last_month.month}-01')]
+        df_visitor2 = df[df['日期'] >= pd.to_datetime(last_month)]
+        df_visitor2 = df_visitor2[(df_visitor2['二级来源'] != '汇总') & (df_visitor2['二级来源'] != '0')]
         df_visitor2 = df_visitor2.groupby(['二级来源'], as_index=False).agg({'访客数': 'sum'})
         df_visitor2.sort_values('访客数', ascending=False, ignore_index=True, inplace=True)
         df_visitor2.reset_index(inplace=True)
         df_visitor2['index'] = df_visitor2['index'] + 100
-        df_visitor2.rename(columns={'index': '二级访客索引'}, inplace=True)
-        df_visitor2 = df_visitor2[['二级来源', '二级访客索引']]
-
+        df_visitor2.rename(columns={'index': '二级来源索引'}, inplace=True)
+        df_visitor2 = df_visitor2[['二级来源', '二级来源索引']]
+
+        # 包含一级来源名称和预设索引值列
+        df_visitor1 = df[df['日期'] >= pd.to_datetime(last_month)]
+        df_visitor1 = df_visitor1[(df_visitor1['一级来源'] != '汇总') & (df_visitor1['一级来源'] != '0')]
+        df_visitor1 = df_visitor1.groupby(['一级来源'], as_index=False).agg({'访客数': 'sum'})
+        df_visitor1.sort_values('访客数', ascending=False, ignore_index=True, inplace=True)
+        df_visitor1.reset_index(inplace=True)
+        df_visitor1['index'] = df_visitor1['index'] + 100
+        df_visitor1.rename(columns={'index': '一级来源索引'}, inplace=True)
+        df_visitor1 = df_visitor1[['一级来源', '一级来源索引']]
+
+        df = pd.merge(df, df_visitor1, how='left', left_on='一级来源', right_on='一级来源')
         df = pd.merge(df, df_visitor2, how='left', left_on='二级来源', right_on='二级来源')
         df = pd.merge(df, df_visitor3, how='left', left_on='三级来源', right_on='三级来源')
+        for col in ['一级来源索引', '二级来源索引', '三级来源索引']:
+            df[col] = df[col].apply(lambda x: 1000 if str(x) == 'nan' else x)
         set_typ = {
             '日期': 'date',
+            '店铺名称': 'varchar(100)',
+            '类别': 'varchar(100)',
+            '来源构成': 'varchar(100)',
             '一级来源': 'varchar(100)',
             '二级来源': 'varchar(100)',
             '三级来源': 'varchar(100)',
@@ -1048,10 +1070,11 @@ class MysqlDatasQuery:
             '支付买家数': 'int',
             '支付转化率': 'decimal(10,4)',
             '加购人数': 'int',
-            '店铺名称': 'varchar(100)',
-            '二级访客索引': 'smallint',
-            '三级访客索引': 'smallint',
+            '一级来源索引': 'smallint',
+            '二级来源索引': 'smallint',
+            '三级来源索引': 'smallint',
         }
+        # df.to_csv('/Users/xigua/Downloads/ll.csv', index=False, header=True, encoding='utf-8_sig')
         min_date = df['日期'].min()
         max_date = df['日期'].max()
         now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
@@ -1068,7 +1091,6 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            
         )
         return True
 
@@ -2925,6 +2947,19 @@ class MysqlDatasQuery:
         return True
 
 
+def get_day_of_month(num):
+    """
+    num: 获取n月以前的第一天和最后一天, num=0时, 返回当月第一天和最后一天
+    """
+    _today = datetime.date.today()
+    months_ago = _today - relativedelta(months=num)  # n 月以前的今天
+    _, _lastDay = calendar.monthrange(months_ago.year, months_ago.month)  # 返回月的第一天的星期和当月总天数
+    _firstDay = datetime.date(months_ago.year, months_ago.month, day=1).strftime('%Y-%m-%d')
+    _lastDay = datetime.date(months_ago.year, months_ago.month, day=_lastDay).strftime('%Y-%m-%d')
+
+    return _firstDay, _lastDay
+
+
 def date_table():
     """
     生成 pbix 使用的日期表
@@ -3056,17 +3091,22 @@ def query_(months=1, less_dict=[]):
 
 
 if __name__ == '__main__':
-    main(days=150, months=3)
-    # query_(months=3)
-    #
-    # system = platform.system()  # 本机系统
-    # host_name = socket.gethostname()  # 本机名
-    # conf = myconfig.main()
-    # db_list = conf[system][host_name]['mysql']['数据库集']
-    # # 4. 清理聚合数据
-    # optimize_data.op_data(
-    #     db_name_lists=['聚合数据'],
-    #     days=3650,
-    #     is_mongo=False,
-    #     is_mysql=True,
+    # main(
+    #     days=150,  # 清理聚合数据的日期长度
+    #     months=3  # 生成聚合数据的长度
     # )
+
+    query_(months=3)
+
+    system = platform.system()  # 本机系统
+    host_name = socket.gethostname()  # 本机名
+    conf = myconfig.main()
+    db_list = conf[system][host_name]['mysql']['数据库集']
+    # 4. 清理聚合数据
+    optimize_data.op_data(
+        db_name_lists=['聚合数据'],
+        days=3650,
+        is_mongo=False,
+        is_mysql=True,
+    )
+

mdbq/mysql/mysql.py

@@ -495,6 +495,7 @@ class MysqlUpload:
             col_exist = [item['COLUMN_NAME'] for item in cursor.fetchall()]
             cols = df.columns.tolist()
             col_not_exist = [col for col in cols if col not in col_exist]
+
             # 检查列，不存在则新建列
             if col_not_exist:  # 数据表中不存在的列
                 for col in col_not_exist:

{mdbq-3.0.9.dist-info → mdbq-3.1.0.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 3.0.9
+Version: 3.1.0
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-3.0.9.dist-info → mdbq-3.1.0.dist-info}/RECORD

@@ -5,7 +5,7 @@ mdbq/aggregation/aggregation.py,sha256=vgswBnIvXPmll6M1DGoCWozmlM6jdQDSHPdD4NJgq
 mdbq/aggregation/df_types.py,sha256=U9i3q2eRPTDY8qAPTw7irzu-Tlg4CIySW9uYro81wdk,8125
 mdbq/aggregation/mysql_types.py,sha256=YTGyrF9vcRgfkQbpT-e-JdJ7c7VF1dDHgyx9YZRES8w,10934
 mdbq/aggregation/optimize_data.py,sha256=79uwiM2WqNNFxGpE2wKz742PRq-ZGgFjdOV0vgptHdY,3513
-mdbq/aggregation/query_data.py,sha256=QvQZrP4XjaADLh2zrJOTtc8tQy5ZCsrYeN7LfIW2CZw,136483
+mdbq/aggregation/query_data.py,sha256=rDnxnIL_ORszTzIJa-XinaVgedCdVSzXjM4CdbJOiV4,138540
 mdbq/aggregation/query_data_bak.py,sha256=r1FU0C4zjXln7oVSrRkElh4Ehl-9mYhGcq57jLbViUA,104071
 mdbq/bdup/__init__.py,sha256=AkhsGk81SkG1c8FqDH5tRq-8MZmFobVbN60DTyukYTY,28
 mdbq/bdup/bdup.py,sha256=LAV0TgnQpc-LB-YuJthxb0U42_VkPidzQzAagan46lU,4234
@@ -27,7 +27,7 @@ mdbq/log/mylogger.py,sha256=oaT7Bp-Hb9jZt52seP3ISUuxVcI19s4UiqTeouScBO0,3258
 mdbq/mongo/__init__.py,sha256=SILt7xMtQIQl_m-ik9WLtJSXIVf424iYgCfE_tnQFbw,13
 mdbq/mongo/mongo.py,sha256=v9qvrp6p1ZRWuPpbSilqveiE0FEcZF7U5xUPI0RN4xs,31880
 mdbq/mysql/__init__.py,sha256=A_DPJyAoEvTSFojiI2e94zP0FKtCkkwKP1kYUCSyQzo,11
-mdbq/mysql/mysql.py,sha256=1DhJwxVHVR3-MFCGpB5bqiBo7EI51lh1GTsbQLVfXQ8,60455
+mdbq/mysql/mysql.py,sha256=NHCtz65fslci9sR_0o6063pjI3GgGJ1sOOu_H-Ltt-A,60456
 mdbq/mysql/recheck_mysql.py,sha256=rgTpvDMWYTyEn7UQdlig-pdXDluTgiU8JG6lkMh8DV0,8665
 mdbq/mysql/s_query.py,sha256=fnXncwSmA7CB0ELn1a-YxYZDrYkC2Bcgnj2J4dcQ8X8,8481
 mdbq/mysql/year_month_day.py,sha256=VgewoE2pJxK7ErjfviL_SMTN77ki8GVbTUcao3vFUCE,1523
@@ -44,7 +44,7 @@ mdbq/req_post/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
 mdbq/req_post/req_tb.py,sha256=qg7pet73IgKGmCwxaeUyImJIoeK_pBQT9BBKD7fkBNg,36160
 mdbq/spider/__init__.py,sha256=RBMFXGy_jd1HXZhngB2T2XTvJqki8P_Fr-pBcwijnew,18
 mdbq/spider/aikucun.py,sha256=01qJo_Di5Kmi2lG5_HKb0OI283b1-Pgqh-nnA0pX4TY,19038
-mdbq-3.0.9.dist-info/METADATA,sha256=uXrHVXkUOg8-5gthWP79PBIOxrsUICy3YJ4egvNxrg0,243
-mdbq-3.0.9.dist-info/WHEEL,sha256=eOLhNAGa2EW3wWl_TU484h7q1UNgy0JXjjoqKoxAAQc,92
-mdbq-3.0.9.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
-mdbq-3.0.9.dist-info/RECORD,,
+mdbq-3.1.0.dist-info/METADATA,sha256=d0y0FnoOHOwMLCAfoP1JD1dhVbWy0s_yXsbjqaWWCcI,243
+mdbq-3.1.0.dist-info/WHEEL,sha256=eOLhNAGa2EW3wWl_TU484h7q1UNgy0JXjjoqKoxAAQc,92
+mdbq-3.1.0.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
+mdbq-3.1.0.dist-info/RECORD,,