mdbq 1.6.8__tar.gz → 1.7.0__tar.gz

{mdbq-1.6.8 → mdbq-1.7.0}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 1.6.8
+Version: 1.7.0
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-1.6.8 → mdbq-1.7.0}/mdbq/aggregation/aggregation.py

@@ -74,7 +74,7 @@ class DatabaseUpdate:
                 # 只针对 csv, xlsx 文件进行处理
                 if not name.endswith('.csv') and not name.endswith('.xls') and not name.endswith('.xlsx'):
                     continue
-                df = pd.DataFrame()
+                df = pd.DataFrame()  # 初始化 df
                 encoding = self.get_encoding(file_path=os.path.join(root, name))  # 用于处理 csv 文件
                 tg_names = ['营销场景报表', '计划报表', '单元报表', '关键词报表', '人群报表', '主体报表',
                             '其他主体报表',
@@ -187,6 +187,8 @@ class DatabaseUpdate:
                             collection_name='店铺来源_月数据_旧版'
                         else:
                             collection_name='店铺来源_日数据_旧版'
+                elif name.endswith('.csv') and '客户运营平台_客户列表' in name:
+                    df = pd.read_csv(os.path.join(root, name), encoding=encoding, header=0, na_filter=False)
                 elif name.endswith('.xls') and '生意参谋' in name and '商品_全部' in name:
                     # 店铺商品排行
                     df = pd.read_excel(os.path.join(root, name), header=4)
@@ -550,6 +552,8 @@ class DatabaseUpdate:
                                 df.insert(0, '店铺名称', 'coome旗舰店')  # 插入新列
                             db_name = '属性设置2'
                             collection_name = '商品素材导出'
+                        else:
+                            df = pd.DataFrame()
 
                 if is_move:
                     try:

{mdbq-1.6.8 → mdbq-1.7.0}/mdbq/aggregation/query_data.py

@@ -415,7 +415,7 @@ class GroupBy:
             print(f'query_data.groupby函数中 {table_name} 传入的 df 不是 dataframe 结构')
             return pd.DataFrame()
         # print(table_name)
-        if '主体报表' in table_name:
+        if '天猫_主体报表' in table_name:
             df.rename(columns={
                 '场景名字': '营销场景',
                 '主体id': '商品id',
@@ -473,6 +473,11 @@ class GroupBy:
                     table_name: df_new,
                 }
             )
+            self.data_tgyj.update(
+                {
+                    '天猫汇总表调用': df,
+                }
+            )
             # df_pic：商品排序索引表, 给 powerbi 中的主推款排序用的,(从上月1号到今天的总花费进行排序)
             today = datetime.date.today()
             last_month = today - datetime.timedelta(days=30)
@@ -577,7 +582,7 @@ class GroupBy:
                 )
             df.insert(loc=1, column='推广渠道', value='万相台无界版')  # df中插入新列
             return df
-        elif '超级直播' in table_name:
+        elif '天猫_超级直播' in table_name:
             df.rename(columns={
                 '观看次数': '观看次数',
                 '总购物车数': '加购量',
@@ -625,6 +630,23 @@ class GroupBy:
             df.insert(loc=1, column='推广渠道', value='万相台无界版')  # df中插入新列
             # df.insert(loc=2, column='营销场景', value='超级直播')  # df中插入新列
             # df = df.loc[df['日期'].between(start_day, today)]
+            df_new = df.groupby(['日期', '推广渠道', '营销场景'], as_index=False).agg(
+                **{
+                    '花费': ('花费', np.sum),
+                    '展现量': ('展现量', np.sum),
+                    '观看次数': ('观看次数', np.sum),
+                    '加购量': ('加购量', np.sum),
+                    '成交笔数': ('成交笔数', np.sum),
+                    '成交金额': ('成交金额', np.sum),
+                    '直接成交笔数': ('直接成交笔数', np.sum),
+                    '直接成交金额': ('直接成交金额', np.sum),
+                }
+            )
+            self.data_tgyj.update(
+                {
+                    table_name: df_new,
+                }
+            )
             return df
         elif '宝贝指标' in table_name:
             """ 聚合时不可以加商家编码，编码有些是空白，有些是 0 """
@@ -818,7 +840,7 @@ class GroupBy:
     def performance(self, bb_tg=True):
          # print(self.data_tgyj)
         tg, syj, idbm, pic, cost = (
-            self.data_tgyj['主体报表'],
+            self.data_tgyj['天猫_主体报表'],
             self.data_tgyj['天猫生意经_宝贝指标'],
             self.data_tgyj['商品id编码表'],
             self.data_tgyj['商品id图片对照表'],
@@ -851,6 +873,44 @@ class GroupBy:
         df['盈亏'] = df.apply(lambda x: x['商品毛利'] - x['花费'], axis=1)
         return df
 
+    def performance_concat(self, bb_tg=True):
+        tg,  zb = self.data_tgyj['天猫汇总表调用'], self.data_tgyj['天猫_超级直播']
+        zb.rename(columns={
+            '观看次数': '点击量',
+        }, inplace=True)
+        zb.fillna(0, inplace=True)  # astype 之前要填充空值
+        tg.fillna(0, inplace=True)
+        zb = zb.astype({
+            '花费': float,
+            '展现量': int,
+            '点击量': int,
+            '加购量': int,
+            '成交笔数': int,
+            '成交金额': float,
+            '直接成交笔数': int,
+            '直接成交金额': float,
+        }, errors='raise')
+        tg = tg.astype({
+            '商品id': str,
+            '花费': float,
+            '展现量': int,
+            '点击量': int,
+            '加购量': int,
+            '成交笔数': int,
+            '成交金额': float,
+            '直接成交笔数': int,
+            '直接成交金额': float,
+            '自然流量曝光量': int,
+        }, errors='raise')
+        df = pd.concat([tg, zb], axis=0, ignore_index=True)
+        df.fillna(0, inplace=True)  # concat 之后要填充空值
+        df = df.astype(
+            {
+                '自然流量曝光量': int,
+        }
+        )
+        return df
+
     def performance_jd(self, jd_tg=True):
         jdtg, sku_sales = self.data_jdtg['京东_京准通'], self.data_jdtg['京东_sku_商品明细']
         jdtg = jdtg.groupby(['日期', '跟单sku id'],
@@ -1035,76 +1095,76 @@ def data_aggregation(service_databases=[{}], months=1):
             data_dict = [
                 {
                     '数据库名': '聚合数据',
-                    '集合名': '主体报表',
+                    '集合名': '天猫_主体报表',
                     '唯一主键': ['日期', '推广渠道', '营销场景', '商品id', '花费'],
                     '数据主体': sdq.tg_wxt(),
                 },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '天猫生意经_宝贝指标',
-                    '唯一主键': ['日期', '宝贝id'],
-                    '数据主体': sdq.syj(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '天猫_店铺来源_日数据',
-                    '唯一主键': ['日期', '一级来源', '二级来源', '三级来源'],
-                    '数据主体': sdq.dplyd(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '天猫_店铺来源_日数据_旧版',
-                    '唯一主键': ['日期', '一级来源', '二级来源', '三级来源'],
-                    '数据主体': sdq.dplyd_old(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '商品id编码表',
-                    '唯一主键': ['宝贝id'],
-                    '数据主体': sdq.idbm(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '商品id图片对照表',
-                    '唯一主键': ['商品id'],
-                    '数据主体': sdq.sp_picture(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '商品成本',
-                    '唯一主键': ['款号'],
-                    '数据主体': sdq.sp_cost(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '京东_京准通',
-                    '唯一主键': ['日期', '产品线', '触发sku id', '跟单sku id', '花费', ],
-                    '数据主体': sdq.jdjzt(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '京东_京准通_全站营销',
-                    '唯一主键': ['日期', '产品线', '花费'],
-                    '数据主体': sdq.jdqzyx(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '京东_sku_商品明细',
-                    '唯一主键': ['日期', '商品id', '成交单量'],
-                    '数据主体': sdq.sku_sales(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '天猫_人群报表',
-                    '唯一主键': ['日期', '推广渠道', '营销场景', '商品id', '花费', '人群名字'],
-                    '数据主体': sdq.tg_rqbb(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '天猫_关键词报表',
-                    '唯一主键': ['日期', '推广渠道', '营销场景', '商品id', '花费', '词类型', '词名字/词包名字',],
-                    '数据主体': sdq.tg_gjc(),
-                },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '天猫生意经_宝贝指标',
+                #     '唯一主键': ['日期', '宝贝id'],
+                #     '数据主体': sdq.syj(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '天猫_店铺来源_日数据',
+                #     '唯一主键': ['日期', '一级来源', '二级来源', '三级来源'],
+                #     '数据主体': sdq.dplyd(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '天猫_店铺来源_日数据_旧版',
+                #     '唯一主键': ['日期', '一级来源', '二级来源', '三级来源'],
+                #     '数据主体': sdq.dplyd_old(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '商品id编码表',
+                #     '唯一主键': ['宝贝id'],
+                #     '数据主体': sdq.idbm(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '商品id图片对照表',
+                #     '唯一主键': ['商品id'],
+                #     '数据主体': sdq.sp_picture(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '商品成本',
+                #     '唯一主键': ['款号'],
+                #     '数据主体': sdq.sp_cost(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '京东_京准通',
+                #     '唯一主键': ['日期', '产品线', '触发sku id', '跟单sku id', '花费', ],
+                #     '数据主体': sdq.jdjzt(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '京东_京准通_全站营销',
+                #     '唯一主键': ['日期', '产品线', '花费'],
+                #     '数据主体': sdq.jdqzyx(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '京东_sku_商品明细',
+                #     '唯一主键': ['日期', '商品id', '成交单量'],
+                #     '数据主体': sdq.sku_sales(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '天猫_人群报表',
+                #     '唯一主键': ['日期', '推广渠道', '营销场景', '商品id', '花费', '人群名字'],
+                #     '数据主体': sdq.tg_rqbb(),
+                # },
+                # {
+                #     '数据库名': '聚合数据',
+                #     '集合名': '天猫_关键词报表',
+                #     '唯一主键': ['日期', '推广渠道', '营销场景', '商品id', '花费', '词类型', '词名字/词包名字',],
+                #     '数据主体': sdq.tg_gjc(),
+                # },
                 {
                     '数据库名': '聚合数据',
                     '集合名': '天猫_超级直播',
@@ -1116,15 +1176,15 @@ def data_aggregation(service_databases=[{}], months=1):
                 db_name, table_name, unique_key_list, df = items['数据库名'], items['集合名'], items['唯一主键'], items['数据主体']
                 df = g.groupby(df=df, table_name=table_name, is_maximize=True)  # 2. 聚合数据
                 if len(g.sp_index_datas) != 0:
-                    # 由推广主体报表，写入一个商品索引表，索引规则：从上月 1 号至今花费从高到低排序
-                    m.df_to_mysql(
-                        df=g.sp_index_datas,
-                        db_name='属性设置2',
-                        table_name='商品索引表',
-                        drop_duplicates=False,
-                        icm_update=['商品id'],
-                        service_database=service_database,
-                    )
+                    # # 由推广主体报表，写入一个商品索引表，索引规则：从上月 1 号至今花费从高到低排序
+                    # m.df_to_mysql(
+                    #     df=g.sp_index_datas,
+                    #     db_name='属性设置2',
+                    #     table_name='商品索引表',
+                    #     drop_duplicates=False,
+                    #     icm_update=['商品id'],
+                    #     service_database=service_database,
+                    # )
                     g.sp_index_datas = pd.DataFrame()  # 重置，不然下个循环会继续刷入数据库
                 # g.as_csv(df=df, filename=table_name + '.csv')  # 导出 csv
                 m.df_to_mysql(
@@ -1135,33 +1195,46 @@ def data_aggregation(service_databases=[{}], months=1):
                     icm_update=unique_key_list,
                     service_database=service_database,
                 )  # 3. 回传数据库
-            res = g.performance(bb_tg=True)   # 盈亏表，依赖其他表，单独做
-            m.df_to_mysql(
-                df=res,
-                db_name='聚合数据',
-                table_name='_全店商品销售',
-                drop_duplicates=False,
-                icm_update=['日期', '商品id'],  # 设置唯一主键
-                service_database=service_database,
-            )
-            res = g.performance(bb_tg=False)  # 盈亏表，依赖其他表，单独做
+            # res = g.performance(bb_tg=True)   # 盈亏表，依赖其他表，单独做
+            # m.df_to_mysql(
+            #     df=res,
+            #     db_name='聚合数据',
+            #     table_name='_全店商品销售',
+            #     drop_duplicates=False,
+            #     icm_update=['日期', '商品id'],  # 设置唯一主键
+            #     service_database=service_database,
+            # )
+            # res = g.performance(bb_tg=False)  # 盈亏表，依赖其他表，单独做
+            # m.df_to_mysql(
+            #     df=res,
+            #     db_name='聚合数据',
+            #     table_name='_推广商品销售',
+            #     drop_duplicates=False,
+            #     icm_update=['日期', '商品id'],  # 设置唯一主键
+            #     service_database=service_database,
+            # )
+
+            res = g.performance_concat(bb_tg=False)  # 推广主体合并直播表，依赖其他表，单独做
             m.df_to_mysql(
                 df=res,
                 db_name='聚合数据',
-                table_name='_推广商品销售',
+                table_name='天猫_推广汇总',
                 drop_duplicates=False,
                 icm_update=['日期', '商品id'],  # 设置唯一主键
                 service_database=service_database,
             )
-            res = g.performance_jd(jd_tg=False)  # 盈亏表，依赖其他表，单独做
-            m.df_to_mysql(
-                df=res,
-                db_name='聚合数据',
-                table_name='_京东_推广商品销售',
-                drop_duplicates=False,
-                icm_update=['日期', '跟单sku id', '货号', '花费'],  # 设置唯一主键
-                service_database=service_database,
-            )
+
+
+            # res = g.performance_jd(jd_tg=False)  # 盈亏表，依赖其他表，单独做
+            # m.df_to_mysql(
+            #     df=res,
+            #     db_name='聚合数据',
+            #     table_name='_京东_推广商品销售',
+            #     drop_duplicates=False,
+            #     icm_update=['日期', '跟单sku id', '货号', '花费'],  # 设置唯一主键
+            #     service_database=service_database,
+            # )
+
 
     # 这里要注释掉，不然 copysh.py 可能有问题，这里主要修改配置文件，后续触发 home_lx 的 optimize_datas.py(有s)程序进行全局清理
     # optimize_data.op_data(service_databases=service_databases, days=3650)  # 立即启动对聚合数据的清理工作
@@ -1172,7 +1245,7 @@ def main():
 
 
 if __name__ == '__main__':
-    data_aggregation(service_databases=[{'company': 'mysql'}], months=1)  # 正常的聚合所有数据
-    # data_aggregation_one(service_databases=[{'home_lx': 'mysql'}], months=1)  # 单独聚合某一个数据库，具体库进函数编辑
+    data_aggregation(service_databases=[{'company': 'mysql'}], months=24)  # 正常的聚合所有数据
+    # data_aggregation_one(service_databases=[{'company': 'mysql'}], months=1)  # 单独聚合某一个数据库，具体库进函数编辑
     # optimize_data.op_data(service_databases=[{'company': 'mysql'}], days=3650)  # 立即启动对聚合数据的清理工作
 

{mdbq-1.6.8 → mdbq-1.7.0}/mdbq/clean/data_clean.py

@@ -1146,6 +1146,9 @@ class DataClean:
                 elif name.endswith('.csv') and '零售明细统计' in name:
                     t_path = str(pathlib.Path(self.source_path, '生意经/E3零售明细统计'))
                     bib(t_path, _as_month=True)
+                elif name.endswith('.csv') and '客户运营平台_客户列表' in name:
+                    t_path = str(pathlib.Path(self.source_path, '生意参谋/客户运营平台'))
+                    bib(t_path, _as_month=True)
                 #  京东分界线   ------- 开始标记
                 #  京东分界线
                 elif name.endswith('.csv') and '全部渠道_商品明细' in name:

{mdbq-1.6.8 → mdbq-1.7.0}/mdbq.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 1.6.8
+Version: 1.7.0
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-1.6.8 → mdbq-1.7.0}/setup.py

@@ -3,7 +3,7 @@
 from setuptools import setup, find_packages
 
 setup(name='mdbq',
-      version='1.6.8',
+      version='1.7.0',
       author='xigua, ',
       author_email="2587125111@qq.com",
       url='https://pypi.org/project/mdbsql',