mdbq 1.7.2__py3-none-any.whl → 1.7.4__py3-none-any.whl

mdbq/aggregation/aggregation.py

@@ -912,7 +912,7 @@ def upload_dir(path, db_name, collection_name, dbs={'mysql': True, 'mongodb': Tr
 
     if dbs['mysql']:
         username, password, host, port = get_myconf.select_config_values(
-            target_service='home_lx',
+            target_service='company',
             database='mysql',
         )
         m = mysql.MysqlUpload(
@@ -1082,10 +1082,10 @@ if __name__ == '__main__':
     #     database='mysql'
     # )
 
-    db_name = '京东数据2'
-    table_name = '推广数据_关键词报表'
+    db_name = '推广数据2'
+    table_name = '超级直播'
     upload_dir(
-        path='/Users/xigua/数据中心/原始文件2/京东报表/JD推广_关键词报表',
+        path='/Users/xigua/数据中心/原始文件2/推广报表/超级直播',
         db_name=db_name,
         collection_name=table_name,
         dbs={'mysql': True, 'mongodb': False},

mdbq/aggregation/query_data.py

@@ -219,6 +219,31 @@ class MysqlDatasQuery:
         )
         return df
 
+    def pxb_zh(self):
+        start_date, end_date = self.months_data(num=self.months)
+        projection = {
+            '日期': 1,
+            '报表类型': 1,
+            '搜索量': 1,
+            '搜索访客数': 1,
+            '展现量': 1,
+            # '自然流量增量曝光': 1,
+            '消耗': 1,
+            '点击量': 1,
+            '宝贝加购数': 1,
+            '成交笔数': 1,
+            '成交金额': 1,
+            # '成交访客数': 1
+        }
+        df = self.download.data_to_df(
+            db_name='推广数据2',
+            table_name='品销宝',
+            start_date=start_date,
+            end_date=end_date,
+            projection=projection,
+        )
+        return df
+
     def idbm(self):
         """ 用生意经日数据制作商品 id 和编码对照表 """
         data_values = self.download.columns_to_list(
@@ -342,6 +367,39 @@ class MysqlDatasQuery:
             projection=projection,
         )
         return df
+    def jd_gjc(self):
+        start_date, end_date = self.months_data(num=self.months)
+        projection = {
+            '日期': 1,
+            '产品线': 1,
+            '计划类型': 1,
+            '计划id': 1,
+            '推广计划': 1,
+            '搜索词': 1,
+            '关键词': 1,
+            '关键词购买类型': 1,
+            '广告定向类型': 1,
+            '花费': 1,
+            '展现数': 1,
+            '点击数': 1,
+            '直接订单行': 1,
+            '直接订单金额': 1,
+            '总订单行': 1,
+            '总订单金额': 1,
+            '总加购数': 1,
+            '下单新客数_去重': 1,
+            '领券数': 1,
+            '商品关注数': 1,
+            '店铺关注数': 1
+        }
+        df = self.download.data_to_df(
+            db_name='京东数据2',
+            table_name='推广数据_关键词报表',
+            start_date=start_date,
+            end_date=end_date,
+            projection=projection,
+        )
+        return df
     def sku_sales(self):
         start_date, end_date = self.months_data(num=self.months)
         projection = {
@@ -409,7 +467,12 @@ class GroupBy:
         """
         if isinstance(df, pd.DataFrame):
             if len(df) == 0:
-                print(f' query_data.groupby函数中 {table_name} 传入的 df 数据长度为0')
+                print(f' query_data.groupby 函数中 {table_name} 传入的 df 数据长度为0')
+                self.data_tgyj.update(
+                    {
+                        table_name: pd.DataFrame(),
+                    }
+                )
                 return pd.DataFrame()
         else:
             print(f'query_data.groupby函数中 {table_name} 传入的 df 不是 dataframe 结构')
@@ -541,7 +604,7 @@ class GroupBy:
                 )
             df.insert(loc=1, column='推广渠道', value='万相台无界版')  # df中插入新列
             return df
-        elif '关键词报表' in table_name:
+        elif '天猫_关键词报表' in table_name:
             df.rename(columns={
                 '场景名字': '营销场景',
                 '宝贝id': '商品id',
@@ -581,6 +644,8 @@ class GroupBy:
                        }
                 )
             df.insert(loc=1, column='推广渠道', value='万相台无界版')  # df中插入新列
+            df['是否品牌词'] = df['词名字/词包名字'].str.contains('万里马|wanlima', regex=True)
+            df['是否品牌词'] = df['是否品牌词'].apply(lambda x: '品牌词' if x else '')
             return df
         elif '天猫_超级直播' in table_name:
             df.rename(columns={
@@ -590,6 +655,7 @@ class GroupBy:
                 '总成交金额': '成交金额',
                 '场景名字': '营销场景',
             }, inplace=True)
+            df['营销场景'] = '超级直播'
             df.fillna(0, inplace=True)
             df = df.astype({
                 '花费': float,
@@ -648,6 +714,63 @@ class GroupBy:
                 }
             )
             return df
+        elif '天猫_品销宝账户报表' in table_name:
+            df = df[df['报表类型'] == '账户']
+            df.fillna(value=0, inplace=True)
+            df.rename(columns={
+                '消耗': '花费',
+                '宝贝加购数': '加购量',
+                '搜索量': '品牌搜索量',
+                '搜索访客数': '品牌搜索人数'
+            }, inplace=True)
+            df = df.astype({
+                '花费': float,
+                '展现量': int,
+                '点击量': int,
+                '加购量': int,
+                '成交笔数': int,
+                '成交金额': float,
+                '品牌搜索量': int,
+                '品牌搜索人数': int,
+            }, errors='raise')
+            if is_maximize:
+                df = df.groupby(['日期', '报表类型', '花费', '展现量', '点击量'], as_index=False).agg(
+                    **{
+                        '加购量': ('加购量', np.max),
+                        '成交笔数': ('成交笔数', np.max),
+                        '成交金额': ('成交金额', np.max),
+                        '品牌搜索量': ('品牌搜索量', np.max),
+                        '品牌搜索人数': ('品牌搜索人数', np.max),
+                       }
+                )
+            else:
+                df = df.groupby(['日期', '报表类型', '花费', '展现量', '点击量'], as_index=False).agg(
+                    **{
+                        '加购量': ('加购量', np.min),
+                        '成交笔数': ('成交笔数', np.min),
+                        '成交金额': ('成交金额', np.min),
+                        '品牌搜索量': ('品牌搜索量', np.min),
+                        '品牌搜索人数': ('品牌搜索人数', np.min),
+                       }
+                )
+            df.insert(loc=1, column='推广渠道', value='品销宝')  # df中插入新列
+            df.insert(loc=2, column='营销场景', value='品销宝')  # df中插入新列
+            df_new = df.groupby(['日期', '推广渠道', '营销场景'], as_index=False).agg(
+                **{
+                    '花费': ('花费', np.sum),
+                    '展现量': ('展现量', np.sum),
+                    '点击量': ('点击量', np.sum),
+                    '加购量': ('加购量', np.sum),
+                    '成交笔数': ('成交笔数', np.sum),
+                    '成交金额': ('成交金额', np.sum)
+                }
+            )
+            self.data_tgyj.update(
+                {
+                    table_name: df_new,
+                }
+            )
+            return df
         elif '宝贝指标' in table_name:
             """ 聚合时不可以加商家编码，编码有些是空白，有些是 0 """
             df['宝贝id'] = df['宝贝id'].astype(str)
@@ -832,6 +955,29 @@ class GroupBy:
                 }
             )
             return df
+        elif '京东_关键词报表' in table_name:
+            df_lin = df[['计划id', '推广计划']]
+            df_lin.drop_duplicates(subset=['计划id'], keep='last', inplace=True, ignore_index=True)
+            df = df.groupby(['日期', '产品线', '计划类型', '计划id', '搜索词', '关键词', '关键词购买类型', '广告定向类型', '展现数', '点击数', '花费'],
+                            as_index=False).agg(
+                **{
+                    '直接订单行': ('直接订单行', np.max),
+                    '直接订单金额': ('直接订单金额', np.max),
+                    '总订单行': ('总订单行', np.max),
+                    '总订单金额': ('总订单金额', np.max),
+                    '总加购数': ('总加购数', np.max),
+                    '下单新客数': ('下单新客数_去重', np.max),
+                    '领券数': ('领券数', np.max),
+                    '商品关注数': ('商品关注数', np.max),
+                    '店铺关注数': ('店铺关注数', np.max)
+                }
+            )
+            df = pd.merge(df, df_lin, how='left', left_on='计划id', right_on='计划id')
+            df['k_是否品牌词'] = df['关键词'].str.contains('万里马|wanlima', regex=True)
+            df['k_是否品牌词'] = df['k_是否品牌词'].apply(lambda x: '品牌词' if x else '')
+            df['s_是否品牌词'] = df['搜索词'].str.contains('万里马|wanlima', regex=True)
+            df['s_是否品牌词'] = df['s_是否品牌词'].apply(lambda x: '品牌词' if x else '')
+            return df
         else:
             print(f'<{table_name}>: Groupby 类尚未配置，数据为空')
             return pd.DataFrame({})
@@ -874,7 +1020,7 @@ class GroupBy:
         return df
 
     def performance_concat(self, bb_tg=True):
-        tg,  zb = self.data_tgyj['天猫汇总表调用'], self.data_tgyj['天猫_超级直播']
+        tg,  zb, pxb = self.data_tgyj['天猫汇总表调用'], self.data_tgyj['天猫_超级直播'], self.data_tgyj['天猫_品销宝账户报表']
         zb.rename(columns={
             '观看次数': '点击量',
         }, inplace=True)
@@ -902,7 +1048,7 @@ class GroupBy:
             '直接成交金额': float,
             '自然流量曝光量': int,
         }, errors='raise')
-        df = pd.concat([tg, zb], axis=0, ignore_index=True)
+        df = pd.concat([tg, zb, pxb], axis=0, ignore_index=True)
         df.fillna(0, inplace=True)  # concat 之后要填充空值
         df = df.astype(
             {
@@ -1051,10 +1197,10 @@ def data_aggregation_one(service_databases=[{}], months=1):
             ######################################################
             data_dict = [
                 {
-                    '数据库名': '聚合数据',
-                    '集合名': '天猫_超级直播',
-                    '唯一主键': ['日期', '推广渠道', '营销场景', '花费'],
-                    '数据主体': sdq.tg_cjzb(),
+                    '数据库名': '聚合数据',  # 清洗完回传的目的地数据库
+                    '集合名': '天猫_推广汇总',  # 清洗完回传的数据表名
+                    '唯一主键': ['日期', '商品id'],
+                    '数据主体': sdq.jd_gjc(),
                 },
             ]
             ######################################################
@@ -1069,8 +1215,9 @@ def data_aggregation_one(service_databases=[{}], months=1):
                     df=df,
                     db_name=db_name,
                     table_name=table_name,
+                    df_sql=True,
                     drop_duplicates=False,
-                    icm_update=unique_key_list,
+                    # icm_update=unique_key_list,
                     service_database=service_database,
                 )  # 3. 回传数据库
 
@@ -1094,8 +1241,8 @@ def data_aggregation(service_databases=[{}], months=1):
             # 从数据库中获取数据, 返回包含 df 数据的字典
             data_dict = [
                 {
-                    '数据库名': '聚合数据',
-                    '集合名': '天猫_主体报表',
+                    '数据库名': '聚合数据',  # 清洗完回传的目的地数据库
+                    '集合名': '天猫_主体报表',  # 清洗完回传的数据表名
                     '唯一主键': ['日期', '推广渠道', '营销场景', '商品id', '花费'],
                     '数据主体': sdq.tg_wxt(),
                 },
@@ -1171,6 +1318,18 @@ def data_aggregation(service_databases=[{}], months=1):
                     '唯一主键': ['日期', '推广渠道', '营销场景', '花费'],
                     '数据主体': sdq.tg_cjzb(),
                 },
+                {
+                    '数据库名': '聚合数据',
+                    '集合名': '京东_关键词报表',
+                    '唯一主键': ['日期', '产品线', '搜索词',  '关键词', '展现数', '花费'],
+                    '数据主体': sdq.jd_gjc(),
+                },
+                {
+                    '数据库名': '聚合数据',
+                    '集合名': '天猫_品销宝账户报表',
+                    '唯一主键': ['日期', '报表类型'],
+                    '数据主体': sdq.pxb_zh(),
+                },
             ]
             for items in data_dict:  # 遍历返回结果
                 db_name, table_name, unique_key_list, df = items['数据库名'], items['集合名'], items['唯一主键'], items['数据主体']
@@ -1181,6 +1340,7 @@ def data_aggregation(service_databases=[{}], months=1):
                         df=g.sp_index_datas,
                         db_name='属性设置2',
                         table_name='商品索引表',
+                        # df_sql=True,
                         drop_duplicates=False,
                         icm_update=['商品id'],
                         service_database=service_database,
@@ -1191,8 +1351,9 @@ def data_aggregation(service_databases=[{}], months=1):
                     df=df,
                     db_name=db_name,
                     table_name=table_name,
+                    df_sql=True,
                     drop_duplicates=False,
-                    icm_update=unique_key_list,
+                    # icm_update=unique_key_list,
                     service_database=service_database,
                 )  # 3. 回传数据库
             res = g.performance(bb_tg=True)   # 盈亏表，依赖其他表，单独做
@@ -1200,6 +1361,7 @@ def data_aggregation(service_databases=[{}], months=1):
                 df=res,
                 db_name='聚合数据',
                 table_name='_全店商品销售',
+                # df_sql=True,
                 drop_duplicates=False,
                 icm_update=['日期', '商品id'],  # 设置唯一主键
                 service_database=service_database,
@@ -1209,6 +1371,7 @@ def data_aggregation(service_databases=[{}], months=1):
                 df=res,
                 db_name='聚合数据',
                 table_name='_推广商品销售',
+                # df_sql=True,
                 drop_duplicates=False,
                 icm_update=['日期', '商品id'],  # 设置唯一主键
                 service_database=service_database,
@@ -1219,6 +1382,7 @@ def data_aggregation(service_databases=[{}], months=1):
                 df=res,
                 db_name='聚合数据',
                 table_name='天猫_推广汇总',
+                # df_sql=True,
                 drop_duplicates=False,
                 icm_update=['日期', '商品id'],  # 设置唯一主键
                 service_database=service_database,
@@ -1230,6 +1394,7 @@ def data_aggregation(service_databases=[{}], months=1):
                 df=res,
                 db_name='聚合数据',
                 table_name='_京东_推广商品销售',
+                # df_sql=True,
                 drop_duplicates=False,
                 icm_update=['日期', '跟单sku id', '货号', '花费'],  # 设置唯一主键
                 service_database=service_database,
@@ -1245,7 +1410,7 @@ def main():
 
 
 if __name__ == '__main__':
-    data_aggregation(service_databases=[{'company': 'mysql'}], months=24)  # 正常的聚合所有数据
+    data_aggregation(service_databases=[{'home_lx': 'mysql'}], months=1)  # 正常的聚合所有数据
     # data_aggregation_one(service_databases=[{'company': 'mysql'}], months=1)  # 单独聚合某一个数据库，具体库进函数编辑
     # optimize_data.op_data(service_databases=[{'company': 'mysql'}], days=3650)  # 立即启动对聚合数据的清理工作
 

mdbq/mysql/mysql.py

@@ -209,7 +209,7 @@ class MysqlUpload:
                         cols_exist = [col['COLUMN_NAME'] for col in columns]  # 数据表的所有列, 返回 list
                         update_col = [item for item in cols_exist if item not in icm_update and item != 'id']  # 除了主键外的其他列
 
-                        # unique_keys 示例: `日期`, `推广费余额`
+                        # unique_keys 示例: `日期`, `余额`
                         unique_keys = ', '.join(f"`{item}`" for item in update_col)  # 列名需要转义
                         condition = []
                         for up_col in icm_update:

{mdbq-1.7.2.dist-info → mdbq-1.7.4.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 1.7.2
+Version: 1.7.4
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-1.7.2.dist-info → mdbq-1.7.4.dist-info}/RECORD

@@ -1,11 +1,11 @@
 mdbq/__init__.py,sha256=Il5Q9ATdX8yXqVxtP_nYqUhExzxPC_qk_WXQ_4h0exg,16
 mdbq/__version__.py,sha256=y9Mp_8x0BCZSHsdLT_q5tX9wZwd5QgqrSIENLrb6vXA,62
 mdbq/aggregation/__init__.py,sha256=EeDqX2Aml6SPx8363J-v1lz0EcZtgwIBYyCJV6CcEDU,40
-mdbq/aggregation/aggregation.py,sha256=cydwGivXyoLzvDrbhn8BR-rBRLnY8VjJK9R16pVkR4s,62979
+mdbq/aggregation/aggregation.py,sha256=65nMN39uj3eyWjN3WviOi_8MDrT22Of-mnSE8dcCkuU,62951
 mdbq/aggregation/df_types.py,sha256=oQJS2IBU3_IO6GMgbssHuC2yCjNnbta0QPGrFOwNLnU,7591
 mdbq/aggregation/mysql_types.py,sha256=DQYROALDiwjJzjhaJfIIdnsrNs11i5BORlj_v6bp67Y,11062
 mdbq/aggregation/optimize_data.py,sha256=u2Kl_MFtZueXJ57ycy4H2OhXD431RctUYJYCl637uT0,4176
-mdbq/aggregation/query_data.py,sha256=N7y9bzmoK3hnurpA2hbYSJ6IMznj3D7NzmrlQo5gGg0,59148
+mdbq/aggregation/query_data.py,sha256=Nh4NVeVaq9mS1su3IIyet59HVHLMY10peSlvpbyimx4,66792
 mdbq/bdup/__init__.py,sha256=AkhsGk81SkG1c8FqDH5tRq-8MZmFobVbN60DTyukYTY,28
 mdbq/bdup/bdup.py,sha256=LAV0TgnQpc-LB-YuJthxb0U42_VkPidzQzAagan46lU,4234
 mdbq/clean/__init__.py,sha256=A1d6x3L27j4NtLgiFV5TANwEkLuaDfPHDQNrPBbNWtU,41
@@ -24,7 +24,7 @@ mdbq/log/mylogger.py,sha256=oaT7Bp-Hb9jZt52seP3ISUuxVcI19s4UiqTeouScBO0,3258
 mdbq/mongo/__init__.py,sha256=SILt7xMtQIQl_m-ik9WLtJSXIVf424iYgCfE_tnQFbw,13
 mdbq/mongo/mongo.py,sha256=v9qvrp6p1ZRWuPpbSilqveiE0FEcZF7U5xUPI0RN4xs,31880
 mdbq/mysql/__init__.py,sha256=A_DPJyAoEvTSFojiI2e94zP0FKtCkkwKP1kYUCSyQzo,11
-mdbq/mysql/mysql.py,sha256=Fiha5MUqac36UUhLfOoRybhwbRftub9qUBi63wVz1Pc,43329
+mdbq/mysql/mysql.py,sha256=cIK_GI6Ggb9LsxsvVUv0AviD7kdyCumk_eQ9MSOwsms,43320
 mdbq/mysql/s_query.py,sha256=fIQvQKPyV7rvSUuxVWXv9S5FmCnIM4GHKconE1Zn5BA,8378
 mdbq/mysql/year_month_day.py,sha256=VgewoE2pJxK7ErjfviL_SMTN77ki8GVbTUcao3vFUCE,1523
 mdbq/other/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
@@ -35,7 +35,7 @@ mdbq/pbix/__init__.py,sha256=Trtfaynu9RjoTyLLYBN2xdRxTvm_zhCniUkVTAYwcjo,24
 mdbq/pbix/pbix_refresh.py,sha256=JUjKW3bNEyoMVfVfo77UhguvS5AWkixvVhDbw4_MHco,2396
 mdbq/pbix/refresh_all.py,sha256=tgy762608HMaXWynbOURIf2UVMuSPybzrDXQnOOcnZU,6102
 mdbq/spider/__init__.py,sha256=RBMFXGy_jd1HXZhngB2T2XTvJqki8P_Fr-pBcwijnew,18
-mdbq-1.7.2.dist-info/METADATA,sha256=oY3Kodabng2WfHmpryLIpCIry7d6w4Bt-F5KwwIzNfs,245
-mdbq-1.7.2.dist-info/WHEEL,sha256=eOLhNAGa2EW3wWl_TU484h7q1UNgy0JXjjoqKoxAAQc,92
-mdbq-1.7.2.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
-mdbq-1.7.2.dist-info/RECORD,,
+mdbq-1.7.4.dist-info/METADATA,sha256=pkkDPmLG_aKCdRwFy_gK33iGW5Dy-lAo21AU8VaziMs,245
+mdbq-1.7.4.dist-info/WHEEL,sha256=eOLhNAGa2EW3wWl_TU484h7q1UNgy0JXjjoqKoxAAQc,92
+mdbq-1.7.4.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
+mdbq-1.7.4.dist-info/RECORD,,