mdbq 3.5.0__py3-none-any.whl → 3.5.2__py3-none-any.whl

mdbq/aggregation/query_data.py

@@ -305,6 +305,130 @@ class MysqlDatasQuery:
         )
         return True
 
+    def _tb_wxt(self, db_name='聚合数据', table_name='淘宝_主体报表', is_maximize=True):
+        start_date, end_date = self.months_data(num=self.months)
+        projection = {
+            '日期': 1,
+            '场景名字': 1,
+            '主体id': 1,
+            '花费': 1,
+            '展现量': 1,
+            '点击量': 1,
+            '总购物车数': 1,
+            '总成交笔数': 1,
+            '总成交金额': 1,
+            '自然流量曝光量': 1,
+            '直接成交笔数': 1,
+            '直接成交金额': 1,
+            '店铺名称': 1,
+        }
+        __res = []
+        for year in range(2024, datetime.datetime.today().year+1):
+            df = self.download.data_to_df(
+                db_name='推广数据_淘宝店',
+                table_name=f'主体报表_{year}',
+                start_date=start_date,
+                end_date=end_date,
+                projection=projection,
+            )
+            __res.append(df)
+        df = pd.concat(__res, ignore_index=True)
+        df.rename(columns={
+            '场景名字': '营销场景',
+            '主体id': '商品id',
+            '总购物车数': '加购量',
+            '总成交笔数': '成交笔数',
+            '总成交金额': '成交金额'
+        }, inplace=True)
+        df = df.astype({
+            '商品id': str,
+            '花费': 'float64',
+            '展现量': 'int64',
+            '点击量': 'int64',
+            '加购量': 'int64',
+            '成交笔数': 'int64',
+            '成交金额': 'float64',
+            '自然流量曝光量': 'int64',
+            '直接成交笔数': 'int64',
+            '直接成交金额': 'float64',
+        }, errors='raise')
+        df = df[df['花费'] > 0]
+        if is_maximize:
+            df = df.groupby(['日期', '店铺名称', '营销场景', '商品id', '花费', '点击量'], as_index=False).agg(
+                **{
+                    '展现量': ('展现量', np.max),
+                    '加购量': ('加购量', np.max),
+                   '成交笔数': ('成交笔数', np.max),
+                   '成交金额': ('成交金额', np.max),
+                   '自然流量曝光量': ('自然流量曝光量', np.max),
+                   '直接成交笔数': ('直接成交笔数', np.max),
+                   '直接成交金额': ('直接成交金额', np.max)
+                   }
+            )
+        else:
+            df = df.groupby(['日期', '店铺名称', '营销场景', '商品id', '花费', '点击量'], as_index=False).agg(
+                **{
+                    '展现量': ('展现量', np.min),
+                    '加购量': ('加购量', np.min),
+                    '成交笔数': ('成交笔数', np.min),
+                    '成交金额': ('成交金额', np.min),
+                    '自然流量曝光量': ('自然流量曝光量', np.min),
+                    '直接成交笔数': ('直接成交笔数', np.max),
+                    '直接成交金额': ('直接成交金额', np.max)
+                }
+            )
+        df.insert(loc=1, column='推广渠道', value='万相台无界版')  # df中插入新列
+        set_typ = {
+            '日期': 'date',
+            '推广渠道': 'varchar(100)',
+            '店铺名称': 'varchar(100)',
+            '营销场景': 'varchar(100)',
+            '商品id': 'bigint',
+            '花费': 'decimal(12,2)',
+            '展现量': 'int',
+            '点击量': 'int',
+            '加购量': 'int',
+            '成交笔数': 'int',
+            '成交金额': 'decimal(12,2)',
+            '自然流量曝光量': 'int',
+            '直接成交笔数': 'int',
+            '直接成交金额': 'decimal(12,2)',
+        }
+
+        if not self.update_service:
+            return
+        min_date = df['日期'].min()
+        max_date = df['日期'].max()
+        now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
+        print(f'{now} 正在更新: mysql ({host}:{port}) {db_name}/{table_name} -> {min_date}~{max_date}')
+        m_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '推广渠道', '营销场景', '商品id', '花费'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '推广渠道', '营销场景', '商品id', '花费'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
+        return True
+
     @try_except
     def syj(self, db_name='聚合数据', table_name='生意经_宝贝指标'):
         start_date, end_date = self.months_data(num=self.months)
@@ -2401,6 +2525,7 @@ class MysqlDatasQuery:
         """
         df_tm = pd.DataFrame()  # 天猫营销场景
         df_tb = pd.DataFrame()  # 淘宝营销场景
+        df_al = pd.DataFrame()  # 奥莱营销场景
         df_tb_qzt = pd.DataFrame()  # 淘宝全站推广
         df_tm_pxb = pd.DataFrame()  # 天猫品销宝
         df_tm_living = pd.DataFrame()  # 天猫超级直播
@@ -2444,6 +2569,33 @@ class MysqlDatasQuery:
                     '成交金额': ('总成交金额', np.max)
                 }
             )
+        # 奥莱店
+        __res = []
+        for year in range(2024, datetime.datetime.today().year + 1):
+            df_al = self.download.data_to_df(
+                db_name='推广数据_奥莱店',
+                table_name=f'营销场景报表_{year}',
+                start_date=start_date,
+                end_date=end_date,
+                projection=projection,
+            )
+            __res.append(df_al)
+        df_al = pd.concat(__res, ignore_index=True)
+        if len(df_al) > 0:
+            df_al.rename(columns={'场景名字': '营销场景'}, inplace=True)
+            df_al['店铺名称'] = df_al['店铺名称'].apply(lambda x: '万里马箱包outlet店' if x == 'Wanlima万里马箱包outlet店' else x)
+            df_al = df_al.groupby(
+                ['日期', '店铺名称', '场景id', '营销场景', '花费', '展现量'],
+                as_index=False).agg(
+                **{
+                    # '展现量': ('展现量', np.max),
+                    '点击量': ('点击量', np.max),
+                    '加购量': ('总购物车数', np.max),
+                    '成交笔数': ('总成交笔数', np.max),
+                    '成交金额': ('总成交金额', np.max)
+                }
+            )
+        # 淘宝店
         __res = []
         for year in range(2024, datetime.datetime.today().year + 1):
             df_tb = self.download.data_to_df(
@@ -2677,7 +2829,7 @@ class MysqlDatasQuery:
             df_jd_qzyx = df_jd_qzyx[['日期', '店铺名称', '营销场景', '花费', '展现量', '点击量', '成交笔数', '成交金额']]
             df_jd_qzyx = df_jd_qzyx[df_jd_qzyx['花费'] > 0]
 
-        _datas = [item for item in  [df_tm, df_tb, df_tb_qzt, df_tm_pxb, df_tm_living, df_jd, df_jd_qzyx] if len(item) > 0]  # 阻止空的 dataframe
+        _datas = [item for item in  [df_tm, df_tb, df_tb_qzt, df_al, df_tm_pxb, df_tm_living, df_jd, df_jd_qzyx] if len(item) > 0]  # 阻止空的 dataframe
         df = pd.concat(_datas, axis=0, ignore_index=True)
         df['日期'] = pd.to_datetime(df['日期'], format='%Y-%m-%d', errors='ignore')  # 转换日期列
         df = df.groupby(
@@ -3782,6 +3934,7 @@ def query1(months=1, less_dict=[]):
     sdq.months = months  # 设置数据周期， 1 表示近 2 个月
     sdq.update_service = True  # 调试时加，true: 将数据写入 mysql 服务器
 
+    sdq._tb_wxt(db_name='聚合数据', table_name='淘宝_主体报表')
     sdq.tg_wxt(db_name='聚合数据', table_name='天猫_主体报表')
     sdq.syj(db_name='聚合数据', table_name='生意经_宝贝指标')
     sdq.idbm(db_name='聚合数据', table_name='商品id编码表')
@@ -3896,25 +4049,18 @@ def main(days=150, months=3):
 
 if __name__ == '__main__':
     # main(
-    #     days=3,  # 清理聚合数据的日期长度
-    #     months=1  # 生成聚合数据的长度
+    #     days=150,  # 清理聚合数据的日期长度
+    #     months=3  # 生成聚合数据的长度
     # )
 
-    # query_list = [query1, query2, query3]
-    # # 使用 ThreadPoolExecutor 来并行运行
-    # # with concurrent.futures.ThreadPoolExecutor() as executor:
-    # with concurrent.futures.ProcessPoolExecutor() as executor:
-    #     for func_query in query_list:
-    #         future_to_function = {
-    #             executor.submit(
-    #                 func_query,
-    #                 months=1,
-    #                 less_dict=[],
-    #             ),
-    #         }
-
     sdq = MysqlDatasQuery()  # 实例化数据处理类
-    sdq.months = 2  # 设置数据周期， 1 表示近 2 个月
-    sdq.update_service = True  # 调试时加，true: 将数据写入 mysql 服务器
-    sdq.dplyd(db_name='聚合数据', table_name='店铺流量来源构成')
+    sdq.months = 1
+    sdq.tg_by_day(db_name='聚合数据', table_name='多店推广场景_按日聚合')
+
+    optimize_data.op_data(
+        db_name_lists=['聚合数据'],
+        days=70,  # 清理聚合数据的日期长度
+        is_mongo=False,
+        is_mysql=True,
+    )
 

{mdbq-3.5.0.dist-info → mdbq-3.5.2.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 3.5.0
+Version: 3.5.2
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-3.5.0.dist-info → mdbq-3.5.2.dist-info}/RECORD

@@ -4,7 +4,7 @@ mdbq/aggregation/__init__.py,sha256=EeDqX2Aml6SPx8363J-v1lz0EcZtgwIBYyCJV6CcEDU,
 mdbq/aggregation/aggregation.py,sha256=-yzApnlqSN2L0E1YMu5ml-W827qpKQvWPCOI7jj2kzY,80264
 mdbq/aggregation/datashow.py,sha256=1AYSIDkdUx-4as1Ax2rPj0cExM9d-qFMrFYLAaPHNuk,54962
 mdbq/aggregation/optimize_data.py,sha256=RXIv7cACCgYyehAxMjUYi_S7rVyjIwXKWMaM3nduGtA,3068
-mdbq/aggregation/query_data.py,sha256=JJ7OSrzWAORAah7LJIC8cXa7ikTUWYy-U-inDNa7baU,179119
+mdbq/aggregation/query_data.py,sha256=JI-W2l6Oy98jrTOcw3pZc7ARZI_oFkpCllVaGifGvrM,185763
 mdbq/bdup/__init__.py,sha256=AkhsGk81SkG1c8FqDH5tRq-8MZmFobVbN60DTyukYTY,28
 mdbq/bdup/bdup.py,sha256=LAV0TgnQpc-LB-YuJthxb0U42_VkPidzQzAagan46lU,4234
 mdbq/config/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
@@ -34,7 +34,7 @@ mdbq/pbix/refresh_all.py,sha256=OBT9EewSZ0aRS9vL_FflVn74d4l2G00wzHiikCC4TC0,5926
 mdbq/pbix/refresh_all_old.py,sha256=_pq3WSQ728GPtEG5pfsZI2uTJhU8D6ra-htIk1JXYzw,7192
 mdbq/spider/__init__.py,sha256=RBMFXGy_jd1HXZhngB2T2XTvJqki8P_Fr-pBcwijnew,18
 mdbq/spider/aikucun.py,sha256=zOacjrJ3MvToyuugA68xB-oN6RKj8K3GxMKudnln9EA,22207
-mdbq-3.5.0.dist-info/METADATA,sha256=2oZVnoWshrH8JUDGJr6WuY1t2RCLcJF36NleNi9D524,243
-mdbq-3.5.0.dist-info/WHEEL,sha256=eOLhNAGa2EW3wWl_TU484h7q1UNgy0JXjjoqKoxAAQc,92
-mdbq-3.5.0.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
-mdbq-3.5.0.dist-info/RECORD,,
+mdbq-3.5.2.dist-info/METADATA,sha256=BDEiMQwfpIL-OqUPcVBFxr35oV4f-WBlpNwh7v17rgU,243
+mdbq-3.5.2.dist-info/WHEEL,sha256=eOLhNAGa2EW3wWl_TU484h7q1UNgy0JXjjoqKoxAAQc,92
+mdbq-3.5.2.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
+mdbq-3.5.2.dist-info/RECORD,,