mdbq 2.4.8__py3-none-any.whl → 2.5.0__py3-none-any.whl

mdbq/aggregation/query_data.py

@@ -770,7 +770,11 @@ class MysqlDatasQuery:
         df_dmp.sort_values('日期', ascending=True, ignore_index=True, inplace=True)
         df_dmp.drop_duplicates(subset=['日期', '人群id', '消耗(元)'], keep='last', inplace=True, ignore_index=True)
         df = pd.merge(df_dmp, df_crowd, left_on=['人群id'], right_on=['人群id'], how='left')
+        # 清除一些不必要的字符
+        df['用户年龄'] = df['用户年龄'].apply(lambda x: '~'.join(re.findall(r'^(\d+).*-(\d+)岁$', str(x))[0]) if '岁' in str(x) else x)
+        df['消费能力等级'] = df['消费能力等级'].apply(lambda x: f'L{''.join(re.findall(r'(\d)', str(x)))}' if '购买力' in str(x) else x)
         # df.to_csv('/Users/xigua/Downloads/test3.csv', index=False, header=True, encoding='utf-8_sig')
+        # breakpoint()
         return df
 
 
@@ -920,6 +924,7 @@ class GroupBy:
                 ], keep='last', inplace=True, ignore_index=True)
             return df
         elif '天猫_人群报表' in table_name and '达摩盘' not in table_name:
+            """ 天猫推广人群报表独立生成消费力、年龄层、分类等特征，不依赖于达摩盘数据表 """
             df.rename(columns={
                 '场景名字': '营销场景',
                 '主体id': '商品id',
@@ -1746,7 +1751,7 @@ class GroupBy:
                     '店铺优惠券',
                     '高转化',
                     '认知',
-                    '喜欢我',  # 系统推荐的宝贝相关人群
+                    '喜欢我',  # 系统推荐宝贝/店铺访问相关人群
                     '未购买',
                     '种草',
                     '兴趣',
@@ -2059,126 +2064,126 @@ def data_aggregation(service_databases=[{}], months=1, is_juhe=True):
 
             # 从数据库中获取数据, 返回包含 df 数据的字典
             data_dict = [
-                {
-                    '数据库名': '聚合数据',  # 清洗完回传的目的地数据库
-                    '集合名': '天猫_主体报表',  # 清洗完回传的数据表名
-                    '唯一主键': ['日期', '推广渠道', '营销场景', '商品id', '花费'],
-                    '数据主体': sdq.tg_wxt(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '天猫生意经_宝贝指标',
-                    '唯一主键': ['日期', '宝贝id'],  # 不能加其他字段做主键，比如销售额，是变动的，不是唯一的
-                    '数据主体': sdq.syj(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '天猫_店铺来源_日数据',
-                    '唯一主键': ['日期', '一级来源', '二级来源', '三级来源', '访客数'],
-                    '数据主体': sdq.dplyd(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '天猫_店铺来源_日数据_旧版',
-                    '唯一主键': ['日期', '一级来源', '二级来源', '三级来源'],
-                    '数据主体': sdq.dplyd_old(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '商品id编码表',
-                    '唯一主键': ['宝贝id'],
-                    '数据主体': sdq.idbm(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '商品id图片对照表',
-                    '唯一主键': ['商品id'],
-                    '数据主体': sdq.sp_picture(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '商品成本',
-                    '唯一主键': ['款号'],
-                    '数据主体': sdq.sp_cost(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '京东_京准通',
-                    '唯一主键': ['日期', '产品线', '触发sku id', '跟单sku id', '花费', ],
-                    '数据主体': sdq.jdjzt(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '京东_京准通_全站营销',
-                    '唯一主键': ['日期', '产品线', '花费'],
-                    '数据主体': sdq.jdqzyx(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '京东_sku_商品明细',
-                    '唯一主键': ['日期', '商品id', '成交单量'],
-                    '数据主体': sdq.sku_sales(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '京东_spu_商品明细',
-                    '唯一主键': ['日期', '商品id', '成交单量'],
-                    '数据主体': sdq.spu_sales(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '天猫_人群报表',
-                    '唯一主键': ['日期', '推广渠道', '营销场景', '商品id', '花费', '人群名字'],
-                    '数据主体': sdq.tg_rqbb(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '天猫_关键词报表',
-                    '唯一主键': ['日期', '推广渠道', '营销场景', '商品id', '花费', '词类型', '词名字/词包名字',],
-                    '数据主体': sdq.tg_gjc(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '天猫_超级直播',
-                    '唯一主键': ['日期', '推广渠道', '营销场景', '花费'],
-                    '数据主体': sdq.tg_cjzb(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '京东_关键词报表',
-                    '唯一主键': ['日期', '产品线', '搜索词',  '关键词', '展现数', '花费'],
-                    '数据主体': sdq.jd_gjc(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '天猫_品销宝账户报表',
-                    '唯一主键': ['日期', '报表类型', '推广渠道', '营销场景', '花费'],
-                    '数据主体': sdq.pxb_zh(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '天猫店铺来源_手淘搜索',
-                    '唯一主键': ['日期', '关键词', '访客数'],
-                    '数据主体': sdq.tm_search(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '生意参谋_直播场次分析',
-                    '唯一主键': ['场次id'],
-                    '数据主体': sdq.zb_ccfx(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '多店推广场景_按日聚合',
-                    '唯一主键': [],
-                    '数据主体': sdq.tg_by_day(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '爱库存_商品spu榜单',
-                    '唯一主键': [],
-                    '数据主体': sdq.aikucun_bd_spu(),
-                },
+                # {
+                #     '数据库名': '聚合数据',  # 清洗完回传的目的地数据库
+                #     '集合名': '天猫_主体报表',  # 清洗完回传的数据表名
+                #     '唯一主键': ['日期', '推广渠道', '营销场景', '商品id', '花费'],
+                #     '数据主体': sdq.tg_wxt(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '天猫生意经_宝贝指标',
+                #     '唯一主键': ['日期', '宝贝id'],  # 不能加其他字段做主键，比如销售额，是变动的，不是唯一的
+                #     '数据主体': sdq.syj(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '天猫_店铺来源_日数据',
+                #     '唯一主键': ['日期', '一级来源', '二级来源', '三级来源', '访客数'],
+                #     '数据主体': sdq.dplyd(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '天猫_店铺来源_日数据_旧版',
+                #     '唯一主键': ['日期', '一级来源', '二级来源', '三级来源'],
+                #     '数据主体': sdq.dplyd_old(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '商品id编码表',
+                #     '唯一主键': ['宝贝id'],
+                #     '数据主体': sdq.idbm(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '商品id图片对照表',
+                #     '唯一主键': ['商品id'],
+                #     '数据主体': sdq.sp_picture(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '商品成本',
+                #     '唯一主键': ['款号'],
+                #     '数据主体': sdq.sp_cost(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '京东_京准通',
+                #     '唯一主键': ['日期', '产品线', '触发sku id', '跟单sku id', '花费', ],
+                #     '数据主体': sdq.jdjzt(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '京东_京准通_全站营销',
+                #     '唯一主键': ['日期', '产品线', '花费'],
+                #     '数据主体': sdq.jdqzyx(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '京东_sku_商品明细',
+                #     '唯一主键': ['日期', '商品id', '成交单量'],
+                #     '数据主体': sdq.sku_sales(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '京东_spu_商品明细',
+                #     '唯一主键': ['日期', '商品id', '成交单量'],
+                #     '数据主体': sdq.spu_sales(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '天猫_人群报表',
+                #     '唯一主键': ['日期', '推广渠道', '营销场景', '商品id', '花费', '人群名字'],
+                #     '数据主体': sdq.tg_rqbb(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '天猫_关键词报表',
+                #     '唯一主键': ['日期', '推广渠道', '营销场景', '商品id', '花费', '词类型', '词名字/词包名字',],
+                #     '数据主体': sdq.tg_gjc(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '天猫_超级直播',
+                #     '唯一主键': ['日期', '推广渠道', '营销场景', '花费'],
+                #     '数据主体': sdq.tg_cjzb(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '京东_关键词报表',
+                #     '唯一主键': ['日期', '产品线', '搜索词',  '关键词', '展现数', '花费'],
+                #     '数据主体': sdq.jd_gjc(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '天猫_品销宝账户报表',
+                #     '唯一主键': ['日期', '报表类型', '推广渠道', '营销场景', '花费'],
+                #     '数据主体': sdq.pxb_zh(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '天猫店铺来源_手淘搜索',
+                #     '唯一主键': ['日期', '关键词', '访客数'],
+                #     '数据主体': sdq.tm_search(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '生意参谋_直播场次分析',
+                #     '唯一主键': ['场次id'],
+                #     '数据主体': sdq.zb_ccfx(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '多店推广场景_按日聚合',
+                #     '唯一主键': [],
+                #     '数据主体': sdq.tg_by_day(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '爱库存_商品spu榜单',
+                #     '唯一主键': [],
+                #     '数据主体': sdq.aikucun_bd_spu(),
+                # },
                 {
                     '数据库名': '聚合数据',
                     '集合名': '达摩盘_人群报表',
@@ -2280,6 +2285,6 @@ def main():
 
 
 if __name__ == '__main__':
-    data_aggregation(service_databases=[{'company': 'mysql'}], months=0, is_juhe=False)  # 正常的聚合所有数据
+    data_aggregation(service_databases=[{'company': 'mysql'}], months=24, is_juhe=False)  # 正常的聚合所有数据
     # data_aggregation_one(service_databases=[{'company': 'mysql'}], months=1)  # 单独聚合某一个数据库，具体库进函数编辑
     # optimize_data.op_data(service_databases=[{'company': 'mysql'}], days=3650)  # 立即启动对聚合数据的清理工作

mdbq/company/copysh.py

@@ -269,7 +269,7 @@ class TbFiles:
         dir_files = f'\\\\192.168.1.198\\时尚事业部\\01.运营部\\0-电商周报-每周五更新'
         files = os.listdir(dir_files)
         for file in files:
-            if file.endswith('.xlsx') and '0-WLM_运营周报' in file and '~' not in file and 'baidu' not in file:
+            if file.endswith('.xlsx') and file.startswith('0-WLM_运营周报') and '~' not in file and 'baidu' not in file:
                 excel_file = os.path.join(dir_files, file)
                 r.refresh_excel(file=excel_file)
 

mdbq/spider/aikucun.py

@@ -48,7 +48,7 @@ def get_cookie_aikucun():
     """
     _url = 'https://gray-merc.aikucun.com/index.html'
     cookie_path = os.path.join(set_support.SetSupport(dirname='support').dirname, 'cookies')
-    filename_aikucun = 'cookie_aikucun.txt'
+    filename_aikucun = 'cookie_aikucun.json'
     print(_url)
 
     option = webdriver.ChromeOptions()  # 浏览器启动选项
@@ -90,20 +90,27 @@ def get_cookie_aikucun():
     print(f'{d_time} 登录成功，正在获取cookie...')
     time.sleep(0.1)
 
-
-    _file = os.path.join(cookie_path, filename_aikucun)
-    with open(_file, 'w') as f:
-        # 将cookies保存为json格式
-        cookies_list = _driver.get_cookies()
-        # for cookie in cookies_list:
-        #     # 该字段有问题所以删除就可以
-        #     if 'expiry' in cookie:
-        #         del cookie['expiry']
-        #     # if 'domain' in cookie:
-        #     #     cookie['domain'] = '.taobao.com'
-        cookies_list = json.dumps(cookies_list)
-        f.write(cookies_list)
-        print(f'cookie已保存: {_file}')
+    # 将cookies保存为json格式
+    cookies_list = _driver.get_cookies()
+
+    json_file = os.path.join(cookie_path, filename_aikucun)
+    with open(json_file, 'w', encoding='utf-8') as f:
+        json.dump(cookies_list, f, ensure_ascii=False, sort_keys=True, indent=4)
+    print(f'cookie已保存: {json_file}')
+
+    # _file = os.path.join(cookie_path, filename_aikucun)
+    # with open(_file, 'w') as f:
+    #     # 将cookies保存为json格式
+    #     cookies_list = _driver.get_cookies()
+    #     # for cookie in cookies_list:
+    #     #     # 该字段有问题所以删除就可以
+    #     #     if 'expiry' in cookie:
+    #     #         del cookie['expiry']
+    #     #     # if 'domain' in cookie:
+    #     #     #     cookie['domain'] = '.taobao.com'
+    #     cookies_list = json.dumps(cookies_list)
+    #     f.write(cookies_list)
+    #     print(f'cookie已保存: {_file}')
     _driver.quit()
 
 
@@ -178,7 +185,7 @@ class AikuCun:
         _driver.delete_all_cookies()  # 首先清除浏览器打开已有的cookies
         name_lists = os.listdir(self.cookie_path)  # cookie 放在主目录下的 cookies 文件夹
         for name in name_lists:
-            if shop_name in name and name.endswith('.txt') and '~' not in name and '.DS' not in name:
+            if shop_name in name and name.endswith('.json') and '~' not in name and '.DS' not in name:
                 with open(os.path.join(self.cookie_path, name), 'r') as f:
                     cookies_list = json.load(f)  # 使用json读取cookies 注意读取的是文件 所以用load而不是loads
                     for cookie in cookies_list:

{mdbq-2.4.8.dist-info → mdbq-2.5.0.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 2.4.8
+Version: 2.5.0
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-2.4.8.dist-info → mdbq-2.5.0.dist-info}/RECORD

@@ -5,13 +5,13 @@ mdbq/aggregation/aggregation.py,sha256=nPp5fOLktxejNEak3SyTnKLjwzK1l2xjbV45X-I4L
 mdbq/aggregation/df_types.py,sha256=U9i3q2eRPTDY8qAPTw7irzu-Tlg4CIySW9uYro81wdk,8125
 mdbq/aggregation/mysql_types.py,sha256=DQYROALDiwjJzjhaJfIIdnsrNs11i5BORlj_v6bp67Y,11062
 mdbq/aggregation/optimize_data.py,sha256=Wis40oL04M7E1pkvgNPjyVFAUe-zgjimjIVAikxYY8Y,4418
-mdbq/aggregation/query_data.py,sha256=mL9kGu1sZf0bIRI_s2PwF12tPR0z7jGkC_qWAz_5wG8,103128
+mdbq/aggregation/query_data.py,sha256=65ulg_i5bNb4RXjtBCDKgRSKXLJJd9bb16j0EbdFVXo,103875
 mdbq/bdup/__init__.py,sha256=AkhsGk81SkG1c8FqDH5tRq-8MZmFobVbN60DTyukYTY,28
 mdbq/bdup/bdup.py,sha256=LAV0TgnQpc-LB-YuJthxb0U42_VkPidzQzAagan46lU,4234
 mdbq/clean/__init__.py,sha256=A1d6x3L27j4NtLgiFV5TANwEkLuaDfPHDQNrPBbNWtU,41
 mdbq/clean/data_clean.py,sha256=ucfslhqXVZoH2QaXHSAWDky0GhIvH9f4GeNaHg4SrFE,104790
 mdbq/company/__init__.py,sha256=qz8F_GsP_pMB5PblgJAUAMjasuZbOEp3qQOCB39E8f0,21
-mdbq/company/copysh.py,sha256=8LL9uPkY0L3XGxTM8G7tROaQX3YzDq5vaE8U1FLe_n0,19714
+mdbq/company/copysh.py,sha256=NvlXCBZBcO2GIT5nLRYYqhOyHWM1-1RE7DHvgbj6jmQ,19723
 mdbq/company/home_sh.py,sha256=42CZ2tZIXHLl2mOl2gk2fZnjH2IHh1VJ1s3qHABjonY,18021
 mdbq/config/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
 mdbq/config/get_myconf.py,sha256=cmNvsyoNa0RbZ9FOTjSd3jyyGwkxjUo0phvdHbGlrms,6010
@@ -40,8 +40,8 @@ mdbq/pbix/refresh_all_old.py,sha256=_pq3WSQ728GPtEG5pfsZI2uTJhU8D6ra-htIk1JXYzw,
 mdbq/req_post/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
 mdbq/req_post/req_tb.py,sha256=PexWSCPJNM6Tv0ol4lAWIhlOwsAr_frnjtcdSHCFiek,36179
 mdbq/spider/__init__.py,sha256=RBMFXGy_jd1HXZhngB2T2XTvJqki8P_Fr-pBcwijnew,18
-mdbq/spider/aikucun.py,sha256=Olq7IJP9itM4wuNxZeHOG-Q3i8wWyB4hY8TUGGwCvQ0,14104
-mdbq-2.4.8.dist-info/METADATA,sha256=1PkjCLlpg0ipzA5WgllXzHDYkMUb10_sMB0RU2xIIww,245
-mdbq-2.4.8.dist-info/WHEEL,sha256=eOLhNAGa2EW3wWl_TU484h7q1UNgy0JXjjoqKoxAAQc,92
-mdbq-2.4.8.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
-mdbq-2.4.8.dist-info/RECORD,,
+mdbq/spider/aikucun.py,sha256=KdihSB3q44jsXUQAldfWRVfCSrEw2MNbM-_BhP_29g4,14448
+mdbq-2.5.0.dist-info/METADATA,sha256=TMjdFAFFDBDfOiCXJ9fafyYlA4V71QedBfcoUPkiZjM,245
+mdbq-2.5.0.dist-info/WHEEL,sha256=eOLhNAGa2EW3wWl_TU484h7q1UNgy0JXjjoqKoxAAQc,92
+mdbq-2.5.0.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
+mdbq-2.5.0.dist-info/RECORD,,