mdbq 2.4.7__py3-none-any.whl → 2.4.9__py3-none-any.whl

mdbq/aggregation/query_data.py

@@ -770,7 +770,11 @@ class MysqlDatasQuery:
         df_dmp.sort_values('日期', ascending=True, ignore_index=True, inplace=True)
         df_dmp.drop_duplicates(subset=['日期', '人群id', '消耗(元)'], keep='last', inplace=True, ignore_index=True)
         df = pd.merge(df_dmp, df_crowd, left_on=['人群id'], right_on=['人群id'], how='left')
+        # 清除一些不必要的字符
+        df['用户年龄'] = df['用户年龄'].apply(lambda x: '~'.join(re.findall(r'^(\d+).*-(\d+)岁$', str(x))[0]) if '岁' in str(x) else x)
+        df['消费能力等级'] = df['消费能力等级'].apply(lambda x: f'L{''.join(re.findall(r'(\d)', str(x)))}' if '购买力' in str(x) else x)
         # df.to_csv('/Users/xigua/Downloads/test3.csv', index=False, header=True, encoding='utf-8_sig')
+        # breakpoint()
         return df
 
 
@@ -920,6 +924,7 @@ class GroupBy:
                 ], keep='last', inplace=True, ignore_index=True)
             return df
         elif '天猫_人群报表' in table_name and '达摩盘' not in table_name:
+            """ 天猫推广人群报表独立生成消费力、年龄层、分类等特征，不依赖于达摩盘数据表 """
             df.rename(columns={
                 '场景名字': '营销场景',
                 '主体id': '商品id',
@@ -1002,8 +1007,14 @@ class GroupBy:
             # 下面是添加人群 AIPL 分类
             dir_file = f'\\\\192.168.1.198\\时尚事业部\\01.运营部\\0-电商周报-每周五更新\\分类配置文件.xlsx'
             dir_file2 = '/Volumes/时尚事业部/01.运营部/0-电商周报-每周五更新/分类配置文件.xlsx'
+            if platform.system() == 'Windows':
+                dir_file3 = 'C:\\同步空间\\BaiduSyncdisk\\原始文件2\\分类配置文件.xlsx'
+            else:
+                dir_file3 = '/Users/xigua/数据中心/原始文件2/分类配置文件.xlsx'
             if not os.path.isfile(dir_file):
                 dir_file = dir_file2
+            if not os.path.isfile(dir_file):
+                dir_file = dir_file3
             if os.path.isfile(dir_file):
                 df_fl = pd.read_excel(dir_file, sheet_name='人群分类', header=0)
                 df_fl = df_fl[['人群名字', '人群分类']]
@@ -1012,12 +1023,22 @@ class GroupBy:
                 df['人群分类'].fillna('', inplace=True)
             if '人群分类' in df.columns.tolist():
                 # 这行决定了，从文件中读取的分类信息优先级高于内部函数的分类规则
+                # 这个 lambda 适配人群名字中带有特定标识的分类，强匹配
                 df['人群分类'] = df.apply(
                     lambda x: self.set_crowd(keyword=str(x['人群名字']), as_file=False) if x['人群分类'] == ''
                     else x['人群分类'], axis=1
                 )
+                # 这个 lambda 适配人群名字中聚类的特征字符，弱匹配
+                df['人群分类'] = df.apply(
+                    lambda x: self.set_crowd2(keyword=str(x['人群名字']), as_file=False) if x['人群分类'] == ''
+                    else x['人群分类'], axis=1
+                )
             else:
                 df['人群分类'] = df['人群名字'].apply(lambda x: self.set_crowd(keyword=str(x), as_file=False))
+                df['人群分类'] = df.apply(
+                    lambda x: self.set_crowd2(keyword=str(x['人群名字']), as_file=False) if x['人群分类'] == ''
+                    else x['人群分类'], axis=1
+                )
             df['人群分类'] = df['人群分类'].apply(lambda x: str(x).upper() if x else x)
             # df.to_csv('/Users/xigua/Downloads/test_人群分类.csv', index=False, header=True, encoding='utf-8_sig')
             # breakpoint()
@@ -1071,7 +1092,7 @@ class GroupBy:
                 dir_file = dir_file2
             if os.path.isfile(dir_file):
                 df_fl = pd.read_excel(dir_file, sheet_name='关键词分类', header=0)
-                df_fl.rename(columns={'分类1': '词分类'}, inplace=True)
+                # df_fl.rename(columns={'分类1': '词分类'}, inplace=True)
                 df_fl = df_fl[['关键词', '词分类']]
                 # 合并并获取词分类信息
                 df = pd.merge(df, df_fl, left_on=['词名字/词包名字'], right_on=['关键词'], how='left')
@@ -1678,6 +1699,103 @@ class GroupBy:
         if not is_res:
             return ''
 
+    def set_crowd2(self, keyword, as_file=False):
+        """ 推广人群报表，人群分类， """
+        datas = [
+            {
+                '类别': 'A',
+                '值': [
+                    '相似宝贝',
+                    '相似店铺',
+                    '类目',
+                    '88VIP',
+                    '拉新',
+                    '潮流',
+                    '会场',
+                    '意向',
+                    '>>',  # 系统推荐的搜索相关人群
+                    '关键词：',  # 系统推荐的搜索相关人群
+                    '关键词_',  # 自建的搜索相关人群
+                    '扩展',
+                    '敏感人群',
+                    '尝鲜',
+                    '小二推荐',
+                    '竞争',
+                    '资深',
+                    '女王节',
+                    '本行业',
+                    '618',
+                    '包包树',
+                    '迪桑娜',
+                    '菲安妮',
+                    '卡思乐',
+                    '场景词',
+                    '竞对',
+                    '精选',
+                    '发现',
+                    '行业mvp'
+                    '特征继承',
+                    '机会',
+                    '推荐',
+                    '智能定向',
+                ]
+            },
+            {
+                '类别': 'I',
+                '值': [
+                    '行动',
+                    '收加',
+                    '收藏',
+                    '加购',
+                    '促首购',
+                    '店铺优惠券',
+                    '高转化',
+                    '认知',
+                    '喜欢我',  # 系统推荐宝贝/店铺访问相关人群
+                    '未购买',
+                    '种草',
+                    '兴趣',
+                    '本店',
+                    '领券',
+                ]
+            },
+            {
+                '类别': 'P',
+                '值': [
+                    '万里马',
+                    '购买',
+                    '已购',
+                    '促复购'
+                    '店铺会员',
+                    '店铺粉丝',
+                    '转化',
+                ]
+            },
+            {
+                '类别': 'L',
+                '值': [
+                    'L人群',
+                ]
+            },
+        ]
+        if as_file:
+            with open(os.path.join(self.output, f'分类配置_推广人群分类_函数内置规则.json'), 'w') as f:
+                json.dump(datas, f, ensure_ascii=False, sort_keys=False, indent=4)
+            breakpoint()
+        result = ''
+        res = []
+        is_continue = False
+        for data in datas:
+            for item in data['值']:
+                res = re.findall(item, str(keyword), re.IGNORECASE)
+                if res:
+                    result = data['类别']
+                    is_continue = True
+                    break
+            if is_continue:
+                break
+        return result
+
     # @try_except
     def performance(self, bb_tg=True):
          # print(self.data_tgyj)
@@ -1946,126 +2064,126 @@ def data_aggregation(service_databases=[{}], months=1, is_juhe=True):
 
             # 从数据库中获取数据, 返回包含 df 数据的字典
             data_dict = [
-                {
-                    '数据库名': '聚合数据',  # 清洗完回传的目的地数据库
-                    '集合名': '天猫_主体报表',  # 清洗完回传的数据表名
-                    '唯一主键': ['日期', '推广渠道', '营销场景', '商品id', '花费'],
-                    '数据主体': sdq.tg_wxt(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '天猫生意经_宝贝指标',
-                    '唯一主键': ['日期', '宝贝id'],  # 不能加其他字段做主键，比如销售额，是变动的，不是唯一的
-                    '数据主体': sdq.syj(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '天猫_店铺来源_日数据',
-                    '唯一主键': ['日期', '一级来源', '二级来源', '三级来源', '访客数'],
-                    '数据主体': sdq.dplyd(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '天猫_店铺来源_日数据_旧版',
-                    '唯一主键': ['日期', '一级来源', '二级来源', '三级来源'],
-                    '数据主体': sdq.dplyd_old(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '商品id编码表',
-                    '唯一主键': ['宝贝id'],
-                    '数据主体': sdq.idbm(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '商品id图片对照表',
-                    '唯一主键': ['商品id'],
-                    '数据主体': sdq.sp_picture(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '商品成本',
-                    '唯一主键': ['款号'],
-                    '数据主体': sdq.sp_cost(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '京东_京准通',
-                    '唯一主键': ['日期', '产品线', '触发sku id', '跟单sku id', '花费', ],
-                    '数据主体': sdq.jdjzt(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '京东_京准通_全站营销',
-                    '唯一主键': ['日期', '产品线', '花费'],
-                    '数据主体': sdq.jdqzyx(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '京东_sku_商品明细',
-                    '唯一主键': ['日期', '商品id', '成交单量'],
-                    '数据主体': sdq.sku_sales(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '京东_spu_商品明细',
-                    '唯一主键': ['日期', '商品id', '成交单量'],
-                    '数据主体': sdq.spu_sales(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '天猫_人群报表',
-                    '唯一主键': ['日期', '推广渠道', '营销场景', '商品id', '花费', '人群名字'],
-                    '数据主体': sdq.tg_rqbb(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '天猫_关键词报表',
-                    '唯一主键': ['日期', '推广渠道', '营销场景', '商品id', '花费', '词类型', '词名字/词包名字',],
-                    '数据主体': sdq.tg_gjc(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '天猫_超级直播',
-                    '唯一主键': ['日期', '推广渠道', '营销场景', '花费'],
-                    '数据主体': sdq.tg_cjzb(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '京东_关键词报表',
-                    '唯一主键': ['日期', '产品线', '搜索词',  '关键词', '展现数', '花费'],
-                    '数据主体': sdq.jd_gjc(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '天猫_品销宝账户报表',
-                    '唯一主键': ['日期', '报表类型', '推广渠道', '营销场景', '花费'],
-                    '数据主体': sdq.pxb_zh(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '天猫店铺来源_手淘搜索',
-                    '唯一主键': ['日期', '关键词', '访客数'],
-                    '数据主体': sdq.tm_search(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '生意参谋_直播场次分析',
-                    '唯一主键': ['场次id'],
-                    '数据主体': sdq.zb_ccfx(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '多店推广场景_按日聚合',
-                    '唯一主键': [],
-                    '数据主体': sdq.tg_by_day(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '爱库存_商品spu榜单',
-                    '唯一主键': [],
-                    '数据主体': sdq.aikucun_bd_spu(),
-                },
+                # {
+                #     '数据库名': '聚合数据',  # 清洗完回传的目的地数据库
+                #     '集合名': '天猫_主体报表',  # 清洗完回传的数据表名
+                #     '唯一主键': ['日期', '推广渠道', '营销场景', '商品id', '花费'],
+                #     '数据主体': sdq.tg_wxt(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '天猫生意经_宝贝指标',
+                #     '唯一主键': ['日期', '宝贝id'],  # 不能加其他字段做主键，比如销售额，是变动的，不是唯一的
+                #     '数据主体': sdq.syj(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '天猫_店铺来源_日数据',
+                #     '唯一主键': ['日期', '一级来源', '二级来源', '三级来源', '访客数'],
+                #     '数据主体': sdq.dplyd(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '天猫_店铺来源_日数据_旧版',
+                #     '唯一主键': ['日期', '一级来源', '二级来源', '三级来源'],
+                #     '数据主体': sdq.dplyd_old(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '商品id编码表',
+                #     '唯一主键': ['宝贝id'],
+                #     '数据主体': sdq.idbm(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '商品id图片对照表',
+                #     '唯一主键': ['商品id'],
+                #     '数据主体': sdq.sp_picture(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '商品成本',
+                #     '唯一主键': ['款号'],
+                #     '数据主体': sdq.sp_cost(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '京东_京准通',
+                #     '唯一主键': ['日期', '产品线', '触发sku id', '跟单sku id', '花费', ],
+                #     '数据主体': sdq.jdjzt(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '京东_京准通_全站营销',
+                #     '唯一主键': ['日期', '产品线', '花费'],
+                #     '数据主体': sdq.jdqzyx(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '京东_sku_商品明细',
+                #     '唯一主键': ['日期', '商品id', '成交单量'],
+                #     '数据主体': sdq.sku_sales(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '京东_spu_商品明细',
+                #     '唯一主键': ['日期', '商品id', '成交单量'],
+                #     '数据主体': sdq.spu_sales(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '天猫_人群报表',
+                #     '唯一主键': ['日期', '推广渠道', '营销场景', '商品id', '花费', '人群名字'],
+                #     '数据主体': sdq.tg_rqbb(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '天猫_关键词报表',
+                #     '唯一主键': ['日期', '推广渠道', '营销场景', '商品id', '花费', '词类型', '词名字/词包名字',],
+                #     '数据主体': sdq.tg_gjc(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '天猫_超级直播',
+                #     '唯一主键': ['日期', '推广渠道', '营销场景', '花费'],
+                #     '数据主体': sdq.tg_cjzb(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '京东_关键词报表',
+                #     '唯一主键': ['日期', '产品线', '搜索词',  '关键词', '展现数', '花费'],
+                #     '数据主体': sdq.jd_gjc(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '天猫_品销宝账户报表',
+                #     '唯一主键': ['日期', '报表类型', '推广渠道', '营销场景', '花费'],
+                #     '数据主体': sdq.pxb_zh(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '天猫店铺来源_手淘搜索',
+                #     '唯一主键': ['日期', '关键词', '访客数'],
+                #     '数据主体': sdq.tm_search(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '生意参谋_直播场次分析',
+                #     '唯一主键': ['场次id'],
+                #     '数据主体': sdq.zb_ccfx(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '多店推广场景_按日聚合',
+                #     '唯一主键': [],
+                #     '数据主体': sdq.tg_by_day(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '爱库存_商品spu榜单',
+                #     '唯一主键': [],
+                #     '数据主体': sdq.aikucun_bd_spu(),
+                # },
                 {
                     '数据库名': '聚合数据',
                     '集合名': '达摩盘_人群报表',
@@ -2167,6 +2285,6 @@ def main():
 
 
 if __name__ == '__main__':
-    data_aggregation(service_databases=[{'company': 'mysql'}], months=0, is_juhe=False)  # 正常的聚合所有数据
+    data_aggregation(service_databases=[{'company': 'mysql'}], months=24, is_juhe=False)  # 正常的聚合所有数据
     # data_aggregation_one(service_databases=[{'company': 'mysql'}], months=1)  # 单独聚合某一个数据库，具体库进函数编辑
     # optimize_data.op_data(service_databases=[{'company': 'mysql'}], days=3650)  # 立即启动对聚合数据的清理工作

mdbq/company/copysh.py

@@ -269,7 +269,7 @@ class TbFiles:
         dir_files = f'\\\\192.168.1.198\\时尚事业部\\01.运营部\\0-电商周报-每周五更新'
         files = os.listdir(dir_files)
         for file in files:
-            if file.endswith('.xlsx') and '0-WLM_运营周报' in file and '~' not in file and 'baidu' not in file:
+            if file.endswith('.xlsx') and file.startswith('0-WLM_运营周报') and '~' not in file and 'baidu' not in file:
                 excel_file = os.path.join(dir_files, file)
                 r.refresh_excel(file=excel_file)
 

{mdbq-2.4.7.dist-info → mdbq-2.4.9.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 2.4.7
+Version: 2.4.9
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-2.4.7.dist-info → mdbq-2.4.9.dist-info}/RECORD

@@ -5,13 +5,13 @@ mdbq/aggregation/aggregation.py,sha256=nPp5fOLktxejNEak3SyTnKLjwzK1l2xjbV45X-I4L
 mdbq/aggregation/df_types.py,sha256=U9i3q2eRPTDY8qAPTw7irzu-Tlg4CIySW9uYro81wdk,8125
 mdbq/aggregation/mysql_types.py,sha256=DQYROALDiwjJzjhaJfIIdnsrNs11i5BORlj_v6bp67Y,11062
 mdbq/aggregation/optimize_data.py,sha256=Wis40oL04M7E1pkvgNPjyVFAUe-zgjimjIVAikxYY8Y,4418
-mdbq/aggregation/query_data.py,sha256=_RYPlUDg5Hmfm663gx7vGh0HHfgnik9BDqLPQCl9w5A,98932
+mdbq/aggregation/query_data.py,sha256=65ulg_i5bNb4RXjtBCDKgRSKXLJJd9bb16j0EbdFVXo,103875
 mdbq/bdup/__init__.py,sha256=AkhsGk81SkG1c8FqDH5tRq-8MZmFobVbN60DTyukYTY,28
 mdbq/bdup/bdup.py,sha256=LAV0TgnQpc-LB-YuJthxb0U42_VkPidzQzAagan46lU,4234
 mdbq/clean/__init__.py,sha256=A1d6x3L27j4NtLgiFV5TANwEkLuaDfPHDQNrPBbNWtU,41
 mdbq/clean/data_clean.py,sha256=ucfslhqXVZoH2QaXHSAWDky0GhIvH9f4GeNaHg4SrFE,104790
 mdbq/company/__init__.py,sha256=qz8F_GsP_pMB5PblgJAUAMjasuZbOEp3qQOCB39E8f0,21
-mdbq/company/copysh.py,sha256=8LL9uPkY0L3XGxTM8G7tROaQX3YzDq5vaE8U1FLe_n0,19714
+mdbq/company/copysh.py,sha256=NvlXCBZBcO2GIT5nLRYYqhOyHWM1-1RE7DHvgbj6jmQ,19723
 mdbq/company/home_sh.py,sha256=42CZ2tZIXHLl2mOl2gk2fZnjH2IHh1VJ1s3qHABjonY,18021
 mdbq/config/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
 mdbq/config/get_myconf.py,sha256=cmNvsyoNa0RbZ9FOTjSd3jyyGwkxjUo0phvdHbGlrms,6010
@@ -41,7 +41,7 @@ mdbq/req_post/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
 mdbq/req_post/req_tb.py,sha256=PexWSCPJNM6Tv0ol4lAWIhlOwsAr_frnjtcdSHCFiek,36179
 mdbq/spider/__init__.py,sha256=RBMFXGy_jd1HXZhngB2T2XTvJqki8P_Fr-pBcwijnew,18
 mdbq/spider/aikucun.py,sha256=Olq7IJP9itM4wuNxZeHOG-Q3i8wWyB4hY8TUGGwCvQ0,14104
-mdbq-2.4.7.dist-info/METADATA,sha256=dBLtWhjOK1TZ87LrmoRgLAz7NHJYtQiC01dRimYwZ90,245
-mdbq-2.4.7.dist-info/WHEEL,sha256=eOLhNAGa2EW3wWl_TU484h7q1UNgy0JXjjoqKoxAAQc,92
-mdbq-2.4.7.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
-mdbq-2.4.7.dist-info/RECORD,,
+mdbq-2.4.9.dist-info/METADATA,sha256=3T_hJJlZ-85YZuX4DRP1CNLotuJkISvL4TbTuPJA6BE,245
+mdbq-2.4.9.dist-info/WHEEL,sha256=eOLhNAGa2EW3wWl_TU484h7q1UNgy0JXjjoqKoxAAQc,92
+mdbq-2.4.9.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
+mdbq-2.4.9.dist-info/RECORD,,