mdbq 3.7.23__py3-none-any.whl → 3.7.25__py3-none-any.whl

mdbq/aggregation/query_data.py

@@ -27,6 +27,8 @@ username, password, host, port = content['username'], content['password'], conte
 m_engine = mysql.MysqlUpload(username=username, password=password, host=host, port=port, charset='utf8mb4')
 
 logger = logging.getLogger(__name__)
+# from mdbq.log import spider_logging
+# logger = spider_logging.setup_logging()
 
 
 class MysqlDatasQuery:
@@ -1011,19 +1013,20 @@ class MysqlDatasQuery:
         )
         return True
 
-    def tg_cjzb_qzt(self, is_maximize=True):
+    def tg_cjzb_qzt(self, projection=None, is_maximize=True):
         start_date, end_date = self.months_data(num=self.months)
-        projection = {
-            '日期': 1,
-            '场景名字': 1,
-            '计划id': 1,
-            '全站花费': 1,
-            '全站观看次数': 1,
-            '全站宝贝点击量': 1,
-            '全站成交金额': 1,
-            '全站成交笔数': 1,
-            '店铺名称': 1,
-        }
+        if not projection:
+            projection = {
+                '日期': 1,
+                '场景名字': 1,
+                '计划id': 1,
+                '全站花费': 1,
+                '全站观看次数': 1,
+                '全站宝贝点击量': 1,
+                '全站成交金额': 1,
+                '全站成交笔数': 1,
+                '店铺名称': 1,
+            }
         __res = []
         for year in range(2025, datetime.datetime.today().year + 1):
             df = self.download.data_to_df(
@@ -1037,14 +1040,6 @@ class MysqlDatasQuery:
         df = pd.concat(__res, ignore_index=True)
         if len(df) == 0:
             return pd.DataFrame()
-        # 这里的重命名要注意，因为 tg_cjzb 函数还要重命名一次，注意改为 tg_cjzb 命名前的列名
-        df.rename(columns={
-            '全站花费': '花费',
-            '全站观看次数': '观看次数',
-            '全站宝贝点击量': '点击量',
-            '全站成交金额': '总成交金额',
-            '全站成交笔数': '总成交笔数'
-        }, inplace=True)
         return df
 
 
@@ -1079,8 +1074,17 @@ class MysqlDatasQuery:
             )
             __res.append(df)
         df = pd.concat(__res, ignore_index=True)
+        # 直播全站推广不包含的超级直播报表，所以单独添加   2025-03-07
         cjzb_qzt = self.tg_cjzb_qzt(is_maximize=True)
         if len(cjzb_qzt) > 0:
+            # 这里的重命名要注意，因为 tg_cjzb 函数还要重命名一次，注意改为 tg_cjzb 命名前的列名
+            cjzb_qzt.rename(columns={
+                '全站花费': '花费',
+                '全站观看次数': '观看次数',
+                '全站宝贝点击量': '点击量',
+                '全站成交金额': '总成交金额',
+                '全站成交笔数': '总成交笔数'
+            }, inplace=True)
             for col in df.columns.tolist():
                 if col not in cjzb_qzt.columns.tolist():
                     cjzb_qzt[col] = 0
@@ -2781,6 +2785,43 @@ class MysqlDatasQuery:
 
         _datas = [item for item in  [df_tm, df_tb, df_tb_qzt, df_al, df_sj, df_tm_pxb, df_tm_living, df_jd, df_jd_qzyx] if len(item) > 0]  # 阻止空的 dataframe
         df = pd.concat(_datas, axis=0, ignore_index=True)
+        # 超级直播全站推广不包含在营销场景报表中，所以单独添加  2025-03-05
+        projection = {
+            '日期': 1,
+            '店铺名称': 1,
+            '场景id': 1,
+            '场景名字': 1,
+            '全站花费': 1,
+            '全站观看次数': 1,
+            '全站宝贝点击量': 1,
+            '全站成交笔数': 1,
+            '全站成交金额': 1,
+        }
+        cjzb_qzt = self.tg_cjzb_qzt(projection=projection, is_maximize=True)
+        if len(cjzb_qzt) > 0:
+            cjzb_qzt.rename(columns={
+                '场景名字': '营销场景',
+                '全站花费': '花费',
+                '全站观看次数': '展现量',
+                '全站宝贝点击量': '点击量',
+                '全站成交笔数': '成交笔数',
+                '全站成交金额': '成交金额',
+            }, inplace=True)
+            cjzb_qzt = cjzb_qzt.groupby(
+                    ['日期', '店铺名称', '场景id', '营销场景'],
+                    as_index=False).agg(
+                    **{
+                        '花费': ('花费', np.max),
+                        '展现量': ('展现量', np.max),
+                        '点击量': ('点击量', np.max),
+                        '成交笔数': ('成交笔数', np.max),
+                        '成交金额': ('成交金额', np.max)
+                    }
+                )
+            for col in df.columns.tolist():
+                if col not in cjzb_qzt.columns.tolist():
+                    cjzb_qzt[col] = 0
+            df = pd.concat([df, cjzb_qzt], ignore_index=True)
         df['日期'] = pd.to_datetime(df['日期'], format='%Y-%m-%d', errors='ignore')  # 转换日期列
         df = df.groupby(
             ['日期', '店铺名称', '营销场景'],
@@ -3549,6 +3590,7 @@ class MysqlDatasQuery:
         #        '直接成交金额': ('直接成交金额', np.max)
         #        }
         # )
+
         df = pd.concat([tg, zb, pxb], axis=0, ignore_index=True)
         df.fillna(0, inplace=True)  # concat 之后要填充空值
         df = df.astype(
@@ -3576,6 +3618,7 @@ class MysqlDatasQuery:
         }
         if not self.update_service:
             return
+        df['日期'] = pd.to_datetime(df['日期'], format='%Y-%m-%d', errors='ignore')
         min_date = df['日期'].min()
         max_date = df['日期'].max()
         now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
@@ -3904,15 +3947,9 @@ def test():
     sdq.update_service = True  # 调试时加，true: 将数据写入 mysql 服务器
     sdq.spph(db_name='聚合数据', table_name='天猫_商品排行')
 
-if __name__ == '__main__':
-    # main(
-    #     days=150,  # 清理聚合数据的日期长度
-    #     months=3  # 生成聚合数据的长度
-    # )
-
-    sdq = MysqlDatasQuery()  # 实例化数据处理类
-    sdq.months = 2
-    sdq.tg_cjzb(db_name='聚合数据', table_name='天猫_超级直播')
-
-
 
+if __name__ == '__main__':
+    main(
+        days=150,  # 清理聚合数据的日期长度
+        months=3  # 生成聚合数据的长度
+    )

{mdbq-3.7.23.dist-info → mdbq-3.7.25.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.2
 Name: mdbq
-Version: 3.7.23
+Version: 3.7.25
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-3.7.23.dist-info → mdbq-3.7.25.dist-info}/RECORD

@@ -2,7 +2,7 @@ mdbq/__init__.py,sha256=Il5Q9ATdX8yXqVxtP_nYqUhExzxPC_qk_WXQ_4h0exg,16
 mdbq/__version__.py,sha256=y9Mp_8x0BCZSHsdLT_q5tX9wZwd5QgqrSIENLrb6vXA,62
 mdbq/aggregation/__init__.py,sha256=EeDqX2Aml6SPx8363J-v1lz0EcZtgwIBYyCJV6CcEDU,40
 mdbq/aggregation/optimize_data_bak.py,sha256=wB7prQdZAHyjzXH9V8g8X_JBMdvCCUITN1hVwK72Tdg,952
-mdbq/aggregation/query_data.py,sha256=wOngHgsU7nFiz6PkrXz0eb5g4m4nc5m4_yJslR5XOWk,176294
+mdbq/aggregation/query_data.py,sha256=R8KL_tX6kU3Na2Gy-FGzNaGRZEzCl8bptYgOTSXYDpw,178194
 mdbq/bdup/__init__.py,sha256=AkhsGk81SkG1c8FqDH5tRq-8MZmFobVbN60DTyukYTY,28
 mdbq/bdup/bdup.py,sha256=hJs815hGFwm_X5bP2i9XugG2w2ZY_F0n3-Q0hVpIPPw,4892
 mdbq/config/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
@@ -31,7 +31,7 @@ mdbq/redis/__init__.py,sha256=YtgBlVSMDphtpwYX248wGge1x-Ex_mMufz4-8W0XRmA,12
 mdbq/redis/getredis.py,sha256=1pTga2iINx0NV2ffl0D-aspZhrZMDQR8SpohAv1acoo,24076
 mdbq/spider/__init__.py,sha256=RBMFXGy_jd1HXZhngB2T2XTvJqki8P_Fr-pBcwijnew,18
 mdbq/spider/aikucun.py,sha256=o_QwFWbD6O2F56k6bwnpVV55EcdFCyes05ON7iu9TrA,21882
-mdbq-3.7.23.dist-info/METADATA,sha256=fdkmDNycOfqYZ-1Yex9emViiRWSFz_fxEg4EF8aLS_I,364
-mdbq-3.7.23.dist-info/WHEEL,sha256=jB7zZ3N9hIM9adW7qlTAyycLYW9npaWKLRzaoVcLKcM,91
-mdbq-3.7.23.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
-mdbq-3.7.23.dist-info/RECORD,,
+mdbq-3.7.25.dist-info/METADATA,sha256=iYpEjhz-9ZbdywrhWjoYuW_-FUZHtJ0U0l9SReSVFpk,364
+mdbq-3.7.25.dist-info/WHEEL,sha256=jB7zZ3N9hIM9adW7qlTAyycLYW9npaWKLRzaoVcLKcM,91
+mdbq-3.7.25.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
+mdbq-3.7.25.dist-info/RECORD,,