mdbq 2.4.6__py3-none-any.whl → 2.4.8__py3-none-any.whl

mdbq/aggregation/aggregation.py

@@ -260,6 +260,7 @@ class DatabaseUpdate:
                     if len(df) == 0:
                         print(f'{name} 报表数据为空')
                         check_remove_file = True
+                        os.remove(os.path.join(root, name))
                         continue
                     df.replace(to_replace=[','], value='', regex=True, inplace=True)
                     df.insert(loc=0, column='日期', value=pattern[0][1])
@@ -398,7 +399,7 @@ class DatabaseUpdate:
                     pattern = re.findall(r'(.*[\u4e00-\u9fa5])(\d{4})(\d{2})(\d{2})\.', name)
                     if not pattern or '省份城市分析2' not in name:
                         print(f'{name}  不支持或已转换的表格')
-                        # os.remove(os.path.join(root, name))  # 直接删掉，避免被分到原始文件, encoding 不同会引发错误
+                        os.remove(os.path.join(root, name))  # 直接删掉，避免被分到原始文件, encoding 不同会引发错误
                         check_remove_file = True
                         continue
                     date = '-'.join(pattern[0][1:])
@@ -406,6 +407,7 @@ class DatabaseUpdate:
                     if len(df) == 0:
                         print(f'{name} 报表数据为空')
                         check_remove_file = True
+                        os.remove(os.path.join(root, name))
                         continue
                     df['省'] = df['省份'].apply(lambda x: x if ' ├─ ' not in x and ' └─ ' not in x else None)
                     df['城市'] = df[['省份', '省']].apply(lambda x: '汇总' if x['省'] else x['省份'], axis=1)

mdbq/aggregation/query_data.py

@@ -998,6 +998,45 @@ class GroupBy:
             # df = df.head(1000)
             # df.to_csv('/Users/xigua/Downloads/test.csv', index=False, header=True, encoding='utf-8_sig')
             # breakpoint()
+
+            # 下面是添加人群 AIPL 分类
+            dir_file = f'\\\\192.168.1.198\\时尚事业部\\01.运营部\\0-电商周报-每周五更新\\分类配置文件.xlsx'
+            dir_file2 = '/Volumes/时尚事业部/01.运营部/0-电商周报-每周五更新/分类配置文件.xlsx'
+            if platform.system() == 'Windows':
+                dir_file3 = 'C:\\同步空间\\BaiduSyncdisk\\原始文件2\\分类配置文件.xlsx'
+            else:
+                dir_file3 = '/Users/xigua/数据中心/原始文件2/分类配置文件.xlsx'
+            if not os.path.isfile(dir_file):
+                dir_file = dir_file2
+            if not os.path.isfile(dir_file):
+                dir_file = dir_file3
+            if os.path.isfile(dir_file):
+                df_fl = pd.read_excel(dir_file, sheet_name='人群分类', header=0)
+                df_fl = df_fl[['人群名字', '人群分类']]
+                # 合并并获取分类信息
+                df = pd.merge(df, df_fl, left_on=['人群名字'], right_on=['人群名字'], how='left')
+                df['人群分类'].fillna('', inplace=True)
+            if '人群分类' in df.columns.tolist():
+                # 这行决定了，从文件中读取的分类信息优先级高于内部函数的分类规则
+                # 这个 lambda 适配人群名字中带有特定标识的分类，强匹配
+                df['人群分类'] = df.apply(
+                    lambda x: self.set_crowd(keyword=str(x['人群名字']), as_file=False) if x['人群分类'] == ''
+                    else x['人群分类'], axis=1
+                )
+                # 这个 lambda 适配人群名字中聚类的特征字符，弱匹配
+                df['人群分类'] = df.apply(
+                    lambda x: self.set_crowd2(keyword=str(x['人群名字']), as_file=False) if x['人群分类'] == ''
+                    else x['人群分类'], axis=1
+                )
+            else:
+                df['人群分类'] = df['人群名字'].apply(lambda x: self.set_crowd(keyword=str(x), as_file=False))
+                df['人群分类'] = df.apply(
+                    lambda x: self.set_crowd2(keyword=str(x['人群名字']), as_file=False) if x['人群分类'] == ''
+                    else x['人群分类'], axis=1
+                )
+            df['人群分类'] = df['人群分类'].apply(lambda x: str(x).upper() if x else x)
+            # df.to_csv('/Users/xigua/Downloads/test_人群分类.csv', index=False, header=True, encoding='utf-8_sig')
+            # breakpoint()
             return df
 
         elif '天猫_关键词报表' in table_name:
@@ -1048,7 +1087,7 @@ class GroupBy:
                 dir_file = dir_file2
             if os.path.isfile(dir_file):
                 df_fl = pd.read_excel(dir_file, sheet_name='关键词分类', header=0)
-                df_fl.rename(columns={'分类1': '词分类'}, inplace=True)
+                # df_fl.rename(columns={'分类1': '词分类'}, inplace=True)
                 df_fl = df_fl[['关键词', '词分类']]
                 # 合并并获取词分类信息
                 df = pd.merge(df, df_fl, left_on=['词名字/词包名字'], right_on=['关键词'], how='left')
@@ -1620,6 +1659,138 @@ class GroupBy:
                 break
         return result
 
+    def set_crowd(self, keyword, as_file=False):
+        """ 推广人群报表，人群分类， """
+        result_a = re.findall('_a$|_a_|_ai|^a_', str(keyword), re.IGNORECASE)
+        result_i = re.findall('_i$|_i_|^i_', str(keyword), re.IGNORECASE)
+        result_p = re.findall('_p$|_p_|_pl|^p_||^pl_', str(keyword), re.IGNORECASE)
+        result_l = re.findall('_l$|_l_|^l_', str(keyword), re.IGNORECASE)
+
+        datas = [
+            {
+                '类别': 'A',
+                '值': result_a,
+            },
+            {
+                '类别': 'I',
+                '值': result_i,
+            },
+            {
+                '类别': 'P',
+                '值': result_p,
+            },
+            {
+                '类别': 'L',
+                '值': result_l,
+            }
+        ]
+
+        is_res = False
+        for data in datas:
+            if data['值']:
+                data['值'] = [item for item in data['值'] if item != '']
+                if data['值']:
+                    return data['类别']
+        if not is_res:
+            return ''
+
+    def set_crowd2(self, keyword, as_file=False):
+        """ 推广人群报表，人群分类， """
+        datas = [
+            {
+                '类别': 'A',
+                '值': [
+                    '相似宝贝',
+                    '相似店铺',
+                    '类目',
+                    '88VIP',
+                    '拉新',
+                    '潮流',
+                    '会场',
+                    '意向',
+                    '>>',  # 系统推荐的搜索相关人群
+                    '关键词：',  # 系统推荐的搜索相关人群
+                    '关键词_',  # 自建的搜索相关人群
+                    '扩展',
+                    '敏感人群',
+                    '尝鲜',
+                    '小二推荐',
+                    '竞争',
+                    '资深',
+                    '女王节',
+                    '本行业',
+                    '618',
+                    '包包树',
+                    '迪桑娜',
+                    '菲安妮',
+                    '卡思乐',
+                    '场景词',
+                    '竞对',
+                    '精选',
+                    '发现',
+                    '行业mvp'
+                    '特征继承',
+                    '机会',
+                    '推荐',
+                    '智能定向',
+                ]
+            },
+            {
+                '类别': 'I',
+                '值': [
+                    '行动',
+                    '收加',
+                    '收藏',
+                    '加购',
+                    '促首购',
+                    '店铺优惠券',
+                    '高转化',
+                    '认知',
+                    '喜欢我',  # 系统推荐的宝贝相关人群
+                    '未购买',
+                    '种草',
+                    '兴趣',
+                    '本店',
+                    '领券',
+                ]
+            },
+            {
+                '类别': 'P',
+                '值': [
+                    '万里马',
+                    '购买',
+                    '已购',
+                    '促复购'
+                    '店铺会员',
+                    '店铺粉丝',
+                    '转化',
+                ]
+            },
+            {
+                '类别': 'L',
+                '值': [
+                    'L人群',
+                ]
+            },
+        ]
+        if as_file:
+            with open(os.path.join(self.output, f'分类配置_推广人群分类_函数内置规则.json'), 'w') as f:
+                json.dump(datas, f, ensure_ascii=False, sort_keys=False, indent=4)
+            breakpoint()
+        result = ''
+        res = []
+        is_continue = False
+        for data in datas:
+            for item in data['值']:
+                res = re.findall(item, str(keyword), re.IGNORECASE)
+                if res:
+                    result = data['类别']
+                    is_continue = True
+                    break
+            if is_continue:
+                break
+        return result
+
     # @try_except
     def performance(self, bb_tg=True):
          # print(self.data_tgyj)
@@ -1870,7 +2041,7 @@ def data_aggregation_one(service_databases=[{}], months=1):
                 )  # 3. 回传数据库
 
 
-def data_aggregation(service_databases=[{}], months=1):
+def data_aggregation(service_databases=[{}], months=1, is_juhe=True):
     """
     1. 从数据库中读取数据
     2. 数据聚合清洗
@@ -2054,54 +2225,51 @@ def data_aggregation(service_databases=[{}], months=1):
                         icm_update=unique_key_list,
                         service_database=service_database,
                     )  # 3. 回传数据库
-            res = g.performance(bb_tg=True)   # 盈亏表，依赖其他表，单独做
-            m.df_to_mysql(
-                df=res,
-                db_name='聚合数据',
-                table_name='_全店商品销售',
-                move_insert=True,  # 先删除，再插入
-                # df_sql=True,
-                # drop_duplicates=False,
-                # icm_update=['日期', '商品id'],  # 设置唯一主键
-                service_database=service_database,
-            )
-            res = g.performance(bb_tg=False)  # 盈亏表，依赖其他表，单独做
-            m.df_to_mysql(
-                df=res,
-                db_name='聚合数据',
-                table_name='_推广商品销售',
-                move_insert=True,  # 先删除，再插入
-                # df_sql=True,
-                # drop_duplicates=False,
-                # icm_update=['日期', '商品id'],  # 设置唯一主键
-                service_database=service_database,
-            )
-
-            res = g.performance_concat(bb_tg=False)  # 推广主体合并直播表，依赖其他表，单独做
-            m.df_to_mysql(
-                df=res,
-                db_name='聚合数据',
-                table_name='天猫_推广汇总',
-                move_insert=True,  # 先删除，再插入
-                # df_sql=True,
-                # drop_duplicates=False,
-                # icm_update=['日期', '推广渠道', '营销场景', '商品id', '花费', '展现量', '点击量'],  # 设置唯一主键
-                service_database=service_database,
-            )
-
-
-            res = g.performance_jd(jd_tg=False)  # 盈亏表，依赖其他表，单独做
-            m.df_to_mysql(
-                df=res,
-                db_name='聚合数据',
-                table_name='_京东_推广商品销售',
-                move_insert=True,  # 先删除，再插入
-                # df_sql=True,
-                # drop_duplicates=False,
-                # icm_update=['日期', '跟单sku id', '货号', '花费'],  # 设置唯一主键
-                service_database=service_database,
-            )
-
+            if is_juhe:
+                res = g.performance(bb_tg=True)   # 盈亏表，依赖其他表，单独做
+                m.df_to_mysql(
+                    df=res,
+                    db_name='聚合数据',
+                    table_name='_全店商品销售',
+                    move_insert=True,  # 先删除，再插入
+                    # df_sql=True,
+                    # drop_duplicates=False,
+                    # icm_update=['日期', '商品id'],  # 设置唯一主键
+                    service_database=service_database,
+                )
+                res = g.performance(bb_tg=False)  # 盈亏表，依赖其他表，单独做
+                m.df_to_mysql(
+                    df=res,
+                    db_name='聚合数据',
+                    table_name='_推广商品销售',
+                    move_insert=True,  # 先删除，再插入
+                    # df_sql=True,
+                    # drop_duplicates=False,
+                    # icm_update=['日期', '商品id'],  # 设置唯一主键
+                    service_database=service_database,
+                )
+                res = g.performance_concat(bb_tg=False)  # 推广主体合并直播表，依赖其他表，单独做
+                m.df_to_mysql(
+                    df=res,
+                    db_name='聚合数据',
+                    table_name='天猫_推广汇总',
+                    move_insert=True,  # 先删除，再插入
+                    # df_sql=True,
+                    # drop_duplicates=False,
+                    # icm_update=['日期', '推广渠道', '营销场景', '商品id', '花费', '展现量', '点击量'],  # 设置唯一主键
+                    service_database=service_database,
+                )
+                res = g.performance_jd(jd_tg=False)  # 盈亏表，依赖其他表，单独做
+                m.df_to_mysql(
+                    df=res,
+                    db_name='聚合数据',
+                    table_name='_京东_推广商品销售',
+                    move_insert=True,  # 先删除，再插入
+                    # df_sql=True,
+                    # drop_duplicates=False,
+                    # icm_update=['日期', '跟单sku id', '货号', '花费'],  # 设置唯一主键
+                    service_database=service_database,
+                )
 
     # 这里要注释掉，不然 copysh.py 可能有问题，这里主要修改配置文件，后续触发 home_lx 的 optimize_datas.py(有s)程序进行全局清理
     # optimize_data.op_data(service_databases=service_databases, days=3650)  # 立即启动对聚合数据的清理工作
@@ -2112,6 +2280,6 @@ def main():
 
 
 if __name__ == '__main__':
-    data_aggregation(service_databases=[{'company': 'mysql'}], months=24)  # 正常的聚合所有数据
+    data_aggregation(service_databases=[{'company': 'mysql'}], months=0, is_juhe=False)  # 正常的聚合所有数据
     # data_aggregation_one(service_databases=[{'company': 'mysql'}], months=1)  # 单独聚合某一个数据库，具体库进函数编辑
     # optimize_data.op_data(service_databases=[{'company': 'mysql'}], days=3650)  # 立即启动对聚合数据的清理工作

{mdbq-2.4.6.dist-info → mdbq-2.4.8.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 2.4.6
+Version: 2.4.8
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-2.4.6.dist-info → mdbq-2.4.8.dist-info}/RECORD

@@ -1,11 +1,11 @@
 mdbq/__init__.py,sha256=Il5Q9ATdX8yXqVxtP_nYqUhExzxPC_qk_WXQ_4h0exg,16
 mdbq/__version__.py,sha256=y9Mp_8x0BCZSHsdLT_q5tX9wZwd5QgqrSIENLrb6vXA,62
 mdbq/aggregation/__init__.py,sha256=EeDqX2Aml6SPx8363J-v1lz0EcZtgwIBYyCJV6CcEDU,40
-mdbq/aggregation/aggregation.py,sha256=Ju5P6jHWR-h9WX0WGCqvkP3Br5gj0_gvoihrzA3rlAI,76013
+mdbq/aggregation/aggregation.py,sha256=nPp5fOLktxejNEak3SyTnKLjwzK1l2xjbV45X-I4LFQ,76131
 mdbq/aggregation/df_types.py,sha256=U9i3q2eRPTDY8qAPTw7irzu-Tlg4CIySW9uYro81wdk,8125
 mdbq/aggregation/mysql_types.py,sha256=DQYROALDiwjJzjhaJfIIdnsrNs11i5BORlj_v6bp67Y,11062
 mdbq/aggregation/optimize_data.py,sha256=Wis40oL04M7E1pkvgNPjyVFAUe-zgjimjIVAikxYY8Y,4418
-mdbq/aggregation/query_data.py,sha256=lS06PG3yhhtbkaYgPbpPCmIC22oaEuXWPKhCuZ4Kxy0,96002
+mdbq/aggregation/query_data.py,sha256=mL9kGu1sZf0bIRI_s2PwF12tPR0z7jGkC_qWAz_5wG8,103128
 mdbq/bdup/__init__.py,sha256=AkhsGk81SkG1c8FqDH5tRq-8MZmFobVbN60DTyukYTY,28
 mdbq/bdup/bdup.py,sha256=LAV0TgnQpc-LB-YuJthxb0U42_VkPidzQzAagan46lU,4234
 mdbq/clean/__init__.py,sha256=A1d6x3L27j4NtLgiFV5TANwEkLuaDfPHDQNrPBbNWtU,41
@@ -41,7 +41,7 @@ mdbq/req_post/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
 mdbq/req_post/req_tb.py,sha256=PexWSCPJNM6Tv0ol4lAWIhlOwsAr_frnjtcdSHCFiek,36179
 mdbq/spider/__init__.py,sha256=RBMFXGy_jd1HXZhngB2T2XTvJqki8P_Fr-pBcwijnew,18
 mdbq/spider/aikucun.py,sha256=Olq7IJP9itM4wuNxZeHOG-Q3i8wWyB4hY8TUGGwCvQ0,14104
-mdbq-2.4.6.dist-info/METADATA,sha256=H7DM3O8lQjt3bvn_ZU5h5RJf8Th_CvZZREWiqjLEf_U,245
-mdbq-2.4.6.dist-info/WHEEL,sha256=eOLhNAGa2EW3wWl_TU484h7q1UNgy0JXjjoqKoxAAQc,92
-mdbq-2.4.6.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
-mdbq-2.4.6.dist-info/RECORD,,
+mdbq-2.4.8.dist-info/METADATA,sha256=1PkjCLlpg0ipzA5WgllXzHDYkMUb10_sMB0RU2xIIww,245
+mdbq-2.4.8.dist-info/WHEEL,sha256=eOLhNAGa2EW3wWl_TU484h7q1UNgy0JXjjoqKoxAAQc,92
+mdbq-2.4.8.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
+mdbq-2.4.8.dist-info/RECORD,,