mdbq 4.0.48__py3-none-any.whl → 4.0.50__py3-none-any.whl

mdbq/__version__.py

@@ -1 +1 @@
-VERSION = '4.0.48'
+VERSION = '4.0.50'

mdbq/aggregation/query_data.py

@@ -220,6 +220,163 @@ class MysqlDatasQuery:
         self.download_manager = download_manager
         self.pf_datas = []
 
+    @upload_data_decorator()
+    def shops_concat(self, db_name='聚合数据', table_name='多店聚合_日报'):
+        shop_list = {
+            'DS-WLM天猫旗舰店': '天猫',  # e3
+            'DS-WLM淘宝商城C店': 'c店', 
+            'DS-SJ天猫旗舰店': '圣积', 
+            'wanlima万里马箱包outlet店': '奥莱', 
+            'DS-WLM京东旗舰店': '京东pop', 
+            '拼多多万里马箱包官方旗舰店': '拼多多_丹宁', 
+            'WLM-拼多多TOGO牛皮官方旗舰店': '拼多多_togo', 
+            '万里马官方旗舰店': '天猫',  # 平台
+            '万里马官方企业店': 'c店',
+            'saintjack旗舰店': '圣积',
+            'wanlima万里马箱包outlet店': '奥莱',
+            '万里马京东旗舰店': '京东pop',
+            '万里马箱包官方旗舰店': '拼多多_丹宁',
+            '万里马箱包皮具官方旗舰店': '拼多多_togo',
+            '万里马箱包outlet店': '奥莱',  # 推广
+            '京东箱包旗舰店': '京东pop',
+            '京东自营旗舰店女包': '京东自营',
+        }
+        df_real_sales = self._get_real_sales(shop_list=shop_list)
+        df_shop_gmv = self._get_shop_gmv(shop_list=shop_list)
+        df_tg_data = self._get_tg_data(shop_list=shop_list)
+        df = df_shop_gmv.merge(df_real_sales, on=['日期', '店铺名称'], how='outer')  # 平台数据合并销售数据
+        df = df.merge(df_tg_data, on=['日期', '店铺名称'], how='outer')  # 合并推广数据
+        df.fillna(0, inplace=True)
+        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        return df, {
+            'db_name': db_name,
+            'table_name': table_name,
+            'set_typ': set_typ,
+            'primary_keys': [],  # 创建唯一主键
+            'check_duplicate': False,  # 检查重复数据
+            'duplicate_columns': [],  # 指定排重的组合键
+            'update_on_duplicate': True,  # 更新旧数据
+            'allow_null': False,  # 允许插入空值
+            'partition_by': None,  # 分表方式
+            'partition_date_column': '日期',  # 用于分表的日期列名，默认为'日期'
+            'indexes': [],  # 普通索引列
+            'transaction_mode': 'batch',  # 事务模式
+            'unique_keys': [['日期', '店铺名称']],  # 唯一约束列表
+        }
+    
+    def _get_tg_data(self, db_name='聚合数据', table_name='多店推广场景_按日聚合', shop_list:dict=None):
+        start_date, end_date = self.months_data(num=self.months)
+        projection = ['日期', '店铺名称', '营销场景', '花费']
+        df = self.download_manager.data_to_df(
+            db_name=db_name,
+            table_name=table_name,
+            start_date=start_date,
+            end_date=end_date,
+            projection=projection,
+        )
+        if df.empty:
+            return pd.DataFrame(columns=['日期', '店铺名称', '实际消耗'])
+        df = df[(df['店铺名称'].isin(shop_list.keys()))]
+        df = df.astype({
+            '日期': 'datetime64[ns]',
+            '花费': 'float64',
+        })
+        df = df.groupby(['日期', '店铺名称'], as_index=False).agg({'花费': 'sum'}).rename(columns={'花费': '实际消耗'})
+        df['店铺名称'] = df['店铺名称'].map(shop_list)
+        return df
+
+    def _get_shop_gmv(self, db_name='生意参谋3', table_name='取数_店铺_整体流量', shop_list:dict=None):
+        """获取平台数据"""
+        start_date, end_date = self.months_data(num=self.months)
+        projection = ['日期', '店铺名称', '粒度', '维度', '数据周期', '访客数', '浏览量', '支付金额', '支付买家数', '支付件数']
+        df = self.download_manager.data_to_df(
+            db_name=db_name,
+            table_name=table_name,
+            start_date=start_date,
+            end_date=end_date,
+            projection=projection,
+        )
+        if len(df) == 0:
+            return pd.DataFrame(columns=['日期', '店铺名称', '访客数', '浏览量', '支付金额', '支付买家数', '支付件数'])
+        df = df[(df['店铺名称'].isin(shop_list.keys())) & (df['粒度'] == '店铺') & (df['维度'] == '整体流量') & (df['数据周期'] == '分日')]
+        df = df.astype({
+            '日期': 'datetime64[ns]',
+            '访客数': 'int64',
+            '浏览量': 'int64',
+            '支付金额': 'float64',
+            '支付买家数': 'int64',
+            '支付件数': 'int64'
+        })
+        df = df.groupby(['日期', '店铺名称'], as_index=False).agg({
+            '访客数': 'sum',
+            '浏览量': 'sum',
+            '支付金额': 'sum',
+            '支付买家数': 'sum',
+            '支付件数': 'sum'
+        })
+        df['店铺名称'] = df['店铺名称'].map(shop_list)
+        return df
+
+    def _get_real_sales(self, db_name='生意经3', table_name='零售明细统计', shop_list:dict=None):
+        """获取e3销售"""
+        start_date, end_date = self.months_data(num=self.months)
+        projection = ['验收日期', '商店名称', '商品代码', '金额']
+        __res = []
+        for year in range(2025, datetime.datetime.today().year+1):
+            df = self.download_manager.data_to_df(
+                db_name=db_name,
+                table_name=f'{table_name}_{year}',
+                start_date=start_date,
+                end_date=end_date,
+                projection=projection,
+            )
+            __res.append(df)
+        df_default = pd.DataFrame(columns=['日期', '店铺名称', '实际营收'])
+        if len(__res) == 0:
+            return df_default
+        df = pd.concat(__res, ignore_index=True)
+        if df.empty:
+            return df_default
+        df = df[(df['商品代码'] != '20160222') & (df['商店名称'].isin(shop_list.keys()))]  # 剔除补单数据
+        if df.empty:
+            return df_default
+        df['商店名称'] = df['商店名称'].map(shop_list)
+        df = df.astype({
+            '验收日期': 'datetime64[ns]', '金额': 'float64'
+            }).groupby(
+                ['验收日期', '商店名称'], as_index=False
+                ).agg({
+                    '金额': 'sum'
+                    }).rename(
+                        columns={'商店名称': '店铺名称', '验收日期': '日期', '金额': '实际营收'}
+                        )
+        df_ziying_sales = self._get_ziying_sales(shop_list=shop_list)
+        df = pd.concat([df, df_ziying_sales], ignore_index=True)  # e3 合并京东自营业绩
+        return df
+
+    def _get_ziying_sales(self, db_name='京东数据3', table_name='京东自营_vc品牌业绩', shop_list:dict=None):
+        """获取京东自营业绩"""
+        start_date, end_date = self.months_data(num=self.months)
+        projection = ['日期', '店铺名称', '收入']
+        df = self.download_manager.data_to_df(
+            db_name=db_name,
+            table_name=table_name,
+            start_date=start_date,
+            end_date=end_date,
+            projection=projection,
+        )
+        if df.empty:
+            return pd.DataFrame(columns=['日期', '店铺名称', '收入'])
+        df = df[(df['店铺名称'].isin(shop_list.keys()))]
+        df = df.astype({
+            '日期': 'datetime64[ns]',
+            '收入': 'float64'
+        })
+        df = df.groupby(['日期', '店铺名称'], as_index=False).agg({'收入': 'sum'}).rename(columns={'收入': '实际营收'})
+        df['店铺名称'] = df['店铺名称'].map(shop_list)
+        return df
+
+    
     # @error_handler.log_on_exception(logger=logger)
     def tg_wxt(self, db_name='聚合数据', table_name='天猫_主体报表', is_maximize=True):
         start_date, end_date = self.months_data(num=self.months)
@@ -3237,5 +3394,5 @@ if __name__ == '__main__':
         pool_size=10,
         )
     sdq = MysqlDatasQuery(download_manager=download_manager) 
-    sdq.months = 3
-    sdq.item_up(db_name='聚合数据', table_name='淘宝店铺货品')
+    sdq.months = 1
+    sdq.shops_concat(db_name='聚合数据', table_name='多店聚合_日报')

mdbq/aggregation/set_typ_dict.py

@@ -569,7 +569,19 @@ SET_TYP_DICT = {
         'weekname': 'varchar(50)',
         '索引': 'int',
         '月索引': 'int',
-    }
+    },
+    '聚合数据_多店聚合_日报': {
+        '日期': 'date',
+        '店铺名称': 'varchar(255)',
+        '实际营收': 'decimal(12,2)',
+        '支付金额': 'decimal(12,2)',
+        '访客数': 'int',
+        '浏览量': 'int',
+        '支付买家数': 'int',
+        '支付件数': 'int',
+        '实际消耗': 'decimal(10,2)',
+        '推广成交金额': 'decimal(12,2)',
+    },
 }
 
 

{mdbq-4.0.48.dist-info → mdbq-4.0.50.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.2
 Name: mdbq
-Version: 4.0.48
+Version: 4.0.50
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-4.0.48.dist-info → mdbq-4.0.50.dist-info}/RECORD

@@ -1,8 +1,8 @@
 mdbq/__init__.py,sha256=Il5Q9ATdX8yXqVxtP_nYqUhExzxPC_qk_WXQ_4h0exg,16
-mdbq/__version__.py,sha256=YtPpTN35IlgIZmXk24wjyoda_hVvM76IxursUi5y0aA,18
+mdbq/__version__.py,sha256=OHIJ4KFvV5c7uJSJYHg-7BX1PWBg2YHeYGePH4I_gaA,18
 mdbq/aggregation/__init__.py,sha256=EeDqX2Aml6SPx8363J-v1lz0EcZtgwIBYyCJV6CcEDU,40
-mdbq/aggregation/query_data.py,sha256=3PMbQxuzXsC6F7OrRpgQbUw0zqkiunfa_oms8_eqRnQ,149451
-mdbq/aggregation/set_typ_dict.py,sha256=hyNPWd_deTCLTCI7M5KcqxMfEw42lLNX0uTZuggc5EA,20671
+mdbq/aggregation/query_data.py,sha256=Y9R5TF-C6B7cEoJzIhOTrjg01yrxk4IT_51_hn6eCwE,157224
+mdbq/aggregation/set_typ_dict.py,sha256=Cax8i6My6xuTC8l-eB0AJ-kOZQwPRcZj-P9dhiiaTj0,21078
 mdbq/log/__init__.py,sha256=Mpbrav0s0ifLL7lVDAuePEi1hJKiSHhxcv1byBKDl5E,15
 mdbq/log/mylogger.py,sha256=kPe3wsQNaB1slfX-Z7VMqzZoMoqPfc7ylYXZDBeFzzI,24945
 mdbq/myconf/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
@@ -26,7 +26,7 @@ mdbq/redis/__init__.py,sha256=YtgBlVSMDphtpwYX248wGge1x-Ex_mMufz4-8W0XRmA,12
 mdbq/redis/getredis.py,sha256=vpBuNc22uj9Vr-_Dh25_wpwWM1e-072EAAIBdB_IpL0,23494
 mdbq/spider/__init__.py,sha256=RBMFXGy_jd1HXZhngB2T2XTvJqki8P_Fr-pBcwijnew,18
 mdbq/spider/aikucun.py,sha256=XptHjGzbout9IYzWAOQUpMMV5qEgLTU8pL1ZGt8oNEA,21868
-mdbq-4.0.48.dist-info/METADATA,sha256=deUcIRfhCtouE8evBSJ3fOO8n068KGItchm_pJaAxGs,364
-mdbq-4.0.48.dist-info/WHEEL,sha256=jB7zZ3N9hIM9adW7qlTAyycLYW9npaWKLRzaoVcLKcM,91
-mdbq-4.0.48.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
-mdbq-4.0.48.dist-info/RECORD,,
+mdbq-4.0.50.dist-info/METADATA,sha256=79q02qCKgU3VUp9FDPHtYGk5uIpgZY5_CNL1q5hTqhU,364
+mdbq-4.0.50.dist-info/WHEEL,sha256=jB7zZ3N9hIM9adW7qlTAyycLYW9npaWKLRzaoVcLKcM,91
+mdbq-4.0.50.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
+mdbq-4.0.50.dist-info/RECORD,,