mdbq 3.0.9__py3-none-any.whl → 3.1.1__py3-none-any.whl

mdbq/aggregation/query_data.py

@@ -16,6 +16,7 @@ import getpass
 import json
 import os
 import time
+import calendar
 
 """
 
@@ -134,7 +135,6 @@ class MysqlDatasQuery:
                     '直接成交金额': ('直接成交金额', np.max)
                 }
             )
-        df.to_csv('/Users/xigua/Downloads/zhuti.csv', index=False, header=True, encoding='utf-8_sig')
         df.insert(loc=1, column='推广渠道', value='万相台无界版')  # df中插入新列
         set_typ = {
             '日期': 'date',
@@ -442,9 +442,9 @@ class MysqlDatasQuery:
         dir_file = f'\\\\192.168.1.198\\时尚事业部\\01.运营部\\0-电商周报-每周五更新\\分类配置文件.xlsx'
         dir_file2 = '/Volumes/时尚事业部/01.运营部/0-电商周报-每周五更新/分类配置文件.xlsx'
         if platform.system() == 'Windows':
-            dir_file3 = 'C:\\同步空间\\BaiduSyncdisk\\原始文件2\\分类配置文件.xlsx'
+            dir_file3 = 'C:\\同步空间\\BaiduSyncdisk\\原始文件3\\分类配置文件.xlsx'
         else:
-            dir_file3 = '/Users/xigua/数据中心/原始文件2/分类配置文件.xlsx'
+            dir_file3 = '/Users/xigua/数据中心/原始文件3/分类配置文件.xlsx'
         if not os.path.isfile(dir_file):
             dir_file = dir_file2
         if not os.path.isfile(dir_file):
@@ -990,12 +990,15 @@ class MysqlDatasQuery:
         )
         return True
 
-    @try_except
+    # @try_except
     def dplyd(self, db_name='聚合数据', table_name='店铺流量来源构成'):
         """ 新旧版取的字段是一样的 """
         start_date, end_date = self.months_data(num=self.months)
         projection = {
             '日期': 1,
+            '店铺名称': 1,
+            '类别': 1,
+            '来源构成': 1,
             '一级来源': 1,
             '二级来源': 1,
             '三级来源': 1,
@@ -1004,7 +1007,9 @@ class MysqlDatasQuery:
             '支付买家数': 1,
             '支付转化率': 1,
             '加购人数': 1,
-            '店铺名称': 1,
+            '加购件数': 1,
+            '下单买家数': 1,
+            '关注店铺人数': 1,
         }
         df = self.download.data_to_df(
             db_name='生意参谋3',
@@ -1013,33 +1018,50 @@ class MysqlDatasQuery:
             end_date=end_date,
             projection=projection,
         )
+        df.drop_duplicates(subset=['日期', '店铺名称', '类别', '来源构成', '一级来源', '二级来源', '三级来源', '访客数'], keep='last', inplace=True, ignore_index=True)
         # 包含三级来源名称和预设索引值列
         # 截取 从上月1日 至 今天的花费数据, 推广款式按此数据从高到低排序（商品图+排序）
-        df_visitor3 = df.groupby(['日期', '三级来源'], as_index=False).agg({'访客数': 'sum'})
-        df_visitor3 = df_visitor3[~df_visitor3['三级来源'].isin([''])]  # 指定列中删除包含空值的行
-        # df_visitor = df_visitor[(df_visitor['日期'] >= f'{year_my}-{last_month.month}-01')]
+        last_month, ii = get_day_of_month(1)
+        df['日期'] = pd.to_datetime(df['日期'], format='%Y-%m-%d', errors='ignore')  # 转换日期列
+        df_visitor3 = df[df['日期'] >= pd.to_datetime(last_month)]
+        df_visitor3 = df_visitor3[(df_visitor3['三级来源'] != '汇总') & (df_visitor3['三级来源'] != '0')]
         df_visitor3 = df_visitor3.groupby(['三级来源'], as_index=False).agg({'访客数': 'sum'})
         df_visitor3.sort_values('访客数', ascending=False, ignore_index=True, inplace=True)
         df_visitor3.reset_index(inplace=True)
         df_visitor3['index'] = df_visitor3['index'] + 100
-        df_visitor3.rename(columns={'index': '三级访客索引'}, inplace=True)
-        df_visitor3 = df_visitor3[['三级来源', '三级访客索引']]
+        df_visitor3.rename(columns={'index': '三级来源索引'}, inplace=True)
+        df_visitor3 = df_visitor3[['三级来源', '三级来源索引']]
 
         # 包含二级来源名称和预设索引值列
-        df_visitor2 = df.groupby(['日期', '二级来源'], as_index=False).agg({'访客数': 'sum'})
-        df_visitor2 = df_visitor2[~df_visitor2['二级来源'].isin([''])]  # 指定列中删除包含空值的行
-        # df_visitor2 = df_visitor2[(df_visitor2['日期'] >= f'{year_my}-{last_month.month}-01')]
+        df_visitor2 = df[df['日期'] >= pd.to_datetime(last_month)]
+        df_visitor2 = df_visitor2[(df_visitor2['二级来源'] != '汇总') & (df_visitor2['二级来源'] != '0')]
         df_visitor2 = df_visitor2.groupby(['二级来源'], as_index=False).agg({'访客数': 'sum'})
         df_visitor2.sort_values('访客数', ascending=False, ignore_index=True, inplace=True)
         df_visitor2.reset_index(inplace=True)
         df_visitor2['index'] = df_visitor2['index'] + 100
-        df_visitor2.rename(columns={'index': '二级访客索引'}, inplace=True)
-        df_visitor2 = df_visitor2[['二级来源', '二级访客索引']]
-
+        df_visitor2.rename(columns={'index': '二级来源索引'}, inplace=True)
+        df_visitor2 = df_visitor2[['二级来源', '二级来源索引']]
+
+        # 包含一级来源名称和预设索引值列
+        df_visitor1 = df[df['日期'] >= pd.to_datetime(last_month)]
+        df_visitor1 = df_visitor1[(df_visitor1['一级来源'] != '汇总') & (df_visitor1['一级来源'] != '0')]
+        df_visitor1 = df_visitor1.groupby(['一级来源'], as_index=False).agg({'访客数': 'sum'})
+        df_visitor1.sort_values('访客数', ascending=False, ignore_index=True, inplace=True)
+        df_visitor1.reset_index(inplace=True)
+        df_visitor1['index'] = df_visitor1['index'] + 100
+        df_visitor1.rename(columns={'index': '一级来源索引'}, inplace=True)
+        df_visitor1 = df_visitor1[['一级来源', '一级来源索引']]
+
+        df = pd.merge(df, df_visitor1, how='left', left_on='一级来源', right_on='一级来源')
         df = pd.merge(df, df_visitor2, how='left', left_on='二级来源', right_on='二级来源')
         df = pd.merge(df, df_visitor3, how='left', left_on='三级来源', right_on='三级来源')
+        for col in ['一级来源索引', '二级来源索引', '三级来源索引']:
+            df[col] = df[col].apply(lambda x: 1000 if str(x) == 'nan' else x)
         set_typ = {
             '日期': 'date',
+            '店铺名称': 'varchar(100)',
+            '类别': 'varchar(100)',
+            '来源构成': 'varchar(100)',
             '一级来源': 'varchar(100)',
             '二级来源': 'varchar(100)',
             '三级来源': 'varchar(100)',
@@ -1048,10 +1070,11 @@ class MysqlDatasQuery:
             '支付买家数': 'int',
             '支付转化率': 'decimal(10,4)',
             '加购人数': 'int',
-            '店铺名称': 'varchar(100)',
-            '二级访客索引': 'smallint',
-            '三级访客索引': 'smallint',
+            '一级来源索引': 'smallint',
+            '二级来源索引': 'smallint',
+            '三级来源索引': 'smallint',
         }
+        # df.to_csv('/Users/xigua/Downloads/ll.csv', index=False, header=True, encoding='utf-8_sig')
         min_date = df['日期'].min()
         max_date = df['日期'].max()
         now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
@@ -1068,7 +1091,6 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            
         )
         return True
 
@@ -2925,6 +2947,19 @@ class MysqlDatasQuery:
         return True
 
 
+def get_day_of_month(num):
+    """
+    num: 获取n月以前的第一天和最后一天, num=0时, 返回当月第一天和最后一天
+    """
+    _today = datetime.date.today()
+    months_ago = _today - relativedelta(months=num)  # n 月以前的今天
+    _, _lastDay = calendar.monthrange(months_ago.year, months_ago.month)  # 返回月的第一天的星期和当月总天数
+    _firstDay = datetime.date(months_ago.year, months_ago.month, day=1).strftime('%Y-%m-%d')
+    _lastDay = datetime.date(months_ago.year, months_ago.month, day=_lastDay).strftime('%Y-%m-%d')
+
+    return _firstDay, _lastDay
+
+
 def date_table():
     """
     生成 pbix 使用的日期表
@@ -3056,17 +3091,22 @@ def query_(months=1, less_dict=[]):
 
 
 if __name__ == '__main__':
-    main(days=150, months=3)
-    # query_(months=3)
-    #
-    # system = platform.system()  # 本机系统
-    # host_name = socket.gethostname()  # 本机名
-    # conf = myconfig.main()
-    # db_list = conf[system][host_name]['mysql']['数据库集']
-    # # 4. 清理聚合数据
-    # optimize_data.op_data(
-    #     db_name_lists=['聚合数据'],
-    #     days=3650,
-    #     is_mongo=False,
-    #     is_mysql=True,
+    # main(
+    #     days=150,  # 清理聚合数据的日期长度
+    #     months=3  # 生成聚合数据的长度
     # )
+
+    query_(months=3)
+
+    system = platform.system()  # 本机系统
+    host_name = socket.gethostname()  # 本机名
+    conf = myconfig.main()
+    db_list = conf[system][host_name]['mysql']['数据库集']
+    # 4. 清理聚合数据
+    optimize_data.op_data(
+        db_name_lists=['聚合数据'],
+        days=3650,
+        is_mongo=False,
+        is_mysql=True,
+    )
+

mdbq/mysql/mysql.py

@@ -428,7 +428,7 @@ class MysqlUpload:
 
     # @try_except
     def df_to_mysql(self, df, db_name, table_name, set_typ=None, icm_update=[], move_insert=False, df_sql=False, drop_duplicates=False,
-                    filename=None, count=None, reset_id=False):
+                    filename=None, count=None, reset_id=False, allow_not_null=False):
         """
         db_name: 数据库名
         table_name: 表名
@@ -440,6 +440,7 @@ class MysqlUpload:
         icm_update: 增量更新, 在聚合数据中使用，原始文件不要使用，设置此参数时需将 drop_duplicates 改为 False
                 使用增量更新: 必须确保 icm_update 传进来的列必须是数据表中唯一主键，值不会发生变化，不会重复，否则可能产生错乱覆盖情况
         filename: 用来追踪处理进度，传这个参数是方便定位产生错误的文件
+        allow_not_null: 创建允许插入空值的列，正常情况下不允许空值
         """
         self.filename = filename
         if isinstance(df, pd.DataFrame):
@@ -495,11 +496,15 @@ class MysqlUpload:
             col_exist = [item['COLUMN_NAME'] for item in cursor.fetchall()]
             cols = df.columns.tolist()
             col_not_exist = [col for col in cols if col not in col_exist]
+
             # 检查列，不存在则新建列
             if col_not_exist:  # 数据表中不存在的列
                 for col in col_not_exist:
                     #  创建列，需转义
-                    sql = f"ALTER TABLE `{table_name}` ADD COLUMN `{col}` {dtypes[col]} NOT NULL;"
+                    if allow_not_null:
+                        sql = f"ALTER TABLE `{table_name}` ADD COLUMN `{col}` {dtypes[col]};"
+                    else:
+                        sql = f"ALTER TABLE `{table_name}` ADD COLUMN `{col}` {dtypes[col]} NOT NULL;"
                     cursor.execute(sql)
                     print(f"添加列: {col}({dtypes[col]})")  # 添加列并指定数据类型
 

{mdbq-3.0.9.dist-info → mdbq-3.1.1.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 3.0.9
+Version: 3.1.1
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-3.0.9.dist-info → mdbq-3.1.1.dist-info}/RECORD

@@ -5,7 +5,7 @@ mdbq/aggregation/aggregation.py,sha256=vgswBnIvXPmll6M1DGoCWozmlM6jdQDSHPdD4NJgq
 mdbq/aggregation/df_types.py,sha256=U9i3q2eRPTDY8qAPTw7irzu-Tlg4CIySW9uYro81wdk,8125
 mdbq/aggregation/mysql_types.py,sha256=YTGyrF9vcRgfkQbpT-e-JdJ7c7VF1dDHgyx9YZRES8w,10934
 mdbq/aggregation/optimize_data.py,sha256=79uwiM2WqNNFxGpE2wKz742PRq-ZGgFjdOV0vgptHdY,3513
-mdbq/aggregation/query_data.py,sha256=QvQZrP4XjaADLh2zrJOTtc8tQy5ZCsrYeN7LfIW2CZw,136483
+mdbq/aggregation/query_data.py,sha256=L8JtjWpvowbauRgvXn6ukPIbUvcpgdSgatEU6vaZPRA,138540
 mdbq/aggregation/query_data_bak.py,sha256=r1FU0C4zjXln7oVSrRkElh4Ehl-9mYhGcq57jLbViUA,104071
 mdbq/bdup/__init__.py,sha256=AkhsGk81SkG1c8FqDH5tRq-8MZmFobVbN60DTyukYTY,28
 mdbq/bdup/bdup.py,sha256=LAV0TgnQpc-LB-YuJthxb0U42_VkPidzQzAagan46lU,4234
@@ -27,7 +27,7 @@ mdbq/log/mylogger.py,sha256=oaT7Bp-Hb9jZt52seP3ISUuxVcI19s4UiqTeouScBO0,3258
 mdbq/mongo/__init__.py,sha256=SILt7xMtQIQl_m-ik9WLtJSXIVf424iYgCfE_tnQFbw,13
 mdbq/mongo/mongo.py,sha256=v9qvrp6p1ZRWuPpbSilqveiE0FEcZF7U5xUPI0RN4xs,31880
 mdbq/mysql/__init__.py,sha256=A_DPJyAoEvTSFojiI2e94zP0FKtCkkwKP1kYUCSyQzo,11
-mdbq/mysql/mysql.py,sha256=1DhJwxVHVR3-MFCGpB5bqiBo7EI51lh1GTsbQLVfXQ8,60455
+mdbq/mysql/mysql.py,sha256=wtBrjNL3CcF75OR1Uj_n0haZsM7tIZ1t2_QQPUWrtlw,60729
 mdbq/mysql/recheck_mysql.py,sha256=rgTpvDMWYTyEn7UQdlig-pdXDluTgiU8JG6lkMh8DV0,8665
 mdbq/mysql/s_query.py,sha256=fnXncwSmA7CB0ELn1a-YxYZDrYkC2Bcgnj2J4dcQ8X8,8481
 mdbq/mysql/year_month_day.py,sha256=VgewoE2pJxK7ErjfviL_SMTN77ki8GVbTUcao3vFUCE,1523
@@ -44,7 +44,7 @@ mdbq/req_post/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
 mdbq/req_post/req_tb.py,sha256=qg7pet73IgKGmCwxaeUyImJIoeK_pBQT9BBKD7fkBNg,36160
 mdbq/spider/__init__.py,sha256=RBMFXGy_jd1HXZhngB2T2XTvJqki8P_Fr-pBcwijnew,18
 mdbq/spider/aikucun.py,sha256=01qJo_Di5Kmi2lG5_HKb0OI283b1-Pgqh-nnA0pX4TY,19038
-mdbq-3.0.9.dist-info/METADATA,sha256=uXrHVXkUOg8-5gthWP79PBIOxrsUICy3YJ4egvNxrg0,243
-mdbq-3.0.9.dist-info/WHEEL,sha256=eOLhNAGa2EW3wWl_TU484h7q1UNgy0JXjjoqKoxAAQc,92
-mdbq-3.0.9.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
-mdbq-3.0.9.dist-info/RECORD,,
+mdbq-3.1.1.dist-info/METADATA,sha256=aSbFBYgdB_LrvXNt4bwau6i801bUxK5FudTEP51bAx8,243
+mdbq-3.1.1.dist-info/WHEEL,sha256=eOLhNAGa2EW3wWl_TU484h7q1UNgy0JXjjoqKoxAAQc,92
+mdbq-3.1.1.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
+mdbq-3.1.1.dist-info/RECORD,,