mdbq 3.0.2__py3-none-any.whl → 3.0.4__py3-none-any.whl

mdbq/aggregation/aggregation.py

@@ -1239,12 +1239,6 @@ def test():
                 # os.remove(os.path.join(root, name))
                 # results.append(df)
 
-def test2():
-    file = '/Users/xigua/Downloads/商品素材中心.xlsx'
-    df = pd.read_excel(file, engine='openpyxl')
-    df.replace(to_replace=['0'], value='', regex=False, inplace=True)
-    # print(df.head())
-    df.to_excel(file, index=False, header=True, engine='openpyxl')
 
 if __name__ == '__main__':
     # username = 'root'
@@ -1259,7 +1253,7 @@ if __name__ == '__main__':
     #     table_name='dmp人群报表',
     # )
 
-    test2()
+    test()
     # col = 0
     # if col:
     #     # 上传一个目录到指定数据库

mdbq/aggregation/query_data.py

@@ -172,15 +172,15 @@ class MysqlDatasQuery:
             df=df,
             db_name=db_name,
             table_name=table_name,
-            icm_update=['日期', '推广渠道', '营销场景', '商品id', '花费'],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=False,  # 先删除，再插入
+            # icm_update=['日期', '推广渠道', '营销场景', '商品id', '花费'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
             df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
 
         # df_pic：商品排序索引表, 给 powerbi 中的主推款排序用的,(从上月1号到今天的总花费进行排序)
@@ -229,7 +229,7 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -309,15 +309,15 @@ class MysqlDatasQuery:
             df=df,
             db_name=db_name,
             table_name=table_name,
-            icm_update=['日期', '宝贝id'],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=False,  # 先删除，再插入
+            # icm_update=['日期', '宝贝id'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
             df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -353,7 +353,7 @@ class MysqlDatasQuery:
             '总成交笔数': '成交笔数',
             '总成交金额': '成交金额'
         }, inplace=True)
-        # df.fillna(0, inplace=True)
+        df.fillna(0, inplace=True)
         df = df.astype({
             '商品id': str,
             '花费': float,
@@ -493,15 +493,15 @@ class MysqlDatasQuery:
             df=df,
             db_name=db_name,
             table_name=table_name,
-            icm_update=['日期', '推广渠道', '营销场景', '商品id', '花费', '人群名字'],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=False,  # 先删除，再插入
+            # icm_update=['日期', '推广渠道', '营销场景', '商品id', '花费', '人群名字'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
             df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -538,7 +538,7 @@ class MysqlDatasQuery:
             '总成交笔数': '成交笔数',
             '总成交金额': '成交金额'
         }, inplace=True)
-        # df.fillna(0, inplace=True)
+        df.fillna(0, inplace=True)
         df = df.astype({
             '商品id': str,
             '花费': float,
@@ -623,15 +623,15 @@ class MysqlDatasQuery:
             df=df,
             db_name=db_name,
             table_name=table_name,
-            icm_update=['日期', '推广渠道', '营销场景', '商品id', '花费', '词类型', '词名字_词包名字',],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=False,  # 先删除，再插入
+            # icm_update=['日期', '推广渠道', '营销场景', '商品id', '花费', '词类型', '词名字_词包名字',],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
             df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -670,7 +670,7 @@ class MysqlDatasQuery:
             '场景名字': '营销场景',
         }, inplace=True)
         df['营销场景'] = '超级直播'
-        # df.fillna(0, inplace=True)
+        df.fillna(0, inplace=True)
         df = df.astype({
             '花费': float,
             # '点击量': int,
@@ -742,15 +742,15 @@ class MysqlDatasQuery:
             df=df,
             db_name=db_name,
             table_name=table_name,
-            icm_update=['日期', '推广渠道', '营销场景', '花费'],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=False,  # 先删除，再插入
+            # icm_update=['日期', '推广渠道', '营销场景', '花费'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
             df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -780,7 +780,7 @@ class MysqlDatasQuery:
             projection=projection,
         )
         df = df[df['报表类型'] == '账户']
-        # df.fillna(value=0, inplace=True)
+        df.fillna(value=0, inplace=True)
         df.rename(columns={
             '消耗': '花费',
             '宝贝加购数': '加购量',
@@ -850,15 +850,15 @@ class MysqlDatasQuery:
             df=df,
             db_name=db_name,
             table_name=table_name,
-            icm_update=['日期', '报表类型', '推广渠道', '营销场景', '花费'],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=False,  # 先删除，再插入
+            # icm_update=['日期', '报表类型', '推广渠道', '营销场景', '花费'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
             df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -913,7 +913,7 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -971,7 +971,7 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -1045,15 +1045,15 @@ class MysqlDatasQuery:
             df=df,
             db_name=db_name,
             table_name=table_name,
-            icm_update=['日期', '一级来源', '二级来源', '三级来源', '访客数'],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=False,  # 先删除，再插入
+            # icm_update=['日期', '一级来源', '二级来源', '三级来源', '访客数'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
             df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -1101,7 +1101,7 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -1177,15 +1177,15 @@ class MysqlDatasQuery:
             df=df,
             db_name=db_name,
             table_name=table_name,
-            icm_update=['日期', '产品线', '触发sku_id', '跟单sku_id', '花费', ],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=False,  # 先删除，再插入
+            # icm_update=['日期', '产品线', '触发sku_id', '跟单sku_id', '花费', ],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
             df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -1244,15 +1244,15 @@ class MysqlDatasQuery:
             df=df,
             db_name=db_name,
             table_name=table_name,
-            icm_update=['日期', '产品线', '花费'],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=False,  # 先删除，再插入
+            # icm_update=['日期', '产品线', '花费'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
             df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -1342,15 +1342,15 @@ class MysqlDatasQuery:
             df=df,
             db_name=db_name,
             table_name=table_name,
-            icm_update=['日期', '产品线', '搜索词',  '关键词', '展现数', '花费'],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=False,  # 先删除，再插入
+            # icm_update=['日期', '产品线', '搜索词',  '关键词', '展现数', '花费'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
             df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -1412,15 +1412,15 @@ class MysqlDatasQuery:
             df=df,
             db_name=db_name,
             table_name=table_name,
-            icm_update=['日期', '商品id', '成交单量'],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=False,  # 先删除，再插入
+            # icm_update=['日期', '商品id', '成交单量'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
             df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -1474,15 +1474,15 @@ class MysqlDatasQuery:
             df=df,
             db_name=db_name,
             table_name=table_name,
-            icm_update=['日期', '商品id', '成交单量'],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=False,  # 先删除，再插入
+            # icm_update=['日期', '商品id', '成交单量'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
             df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -1554,15 +1554,15 @@ class MysqlDatasQuery:
             df=df,
             db_name=db_name,
             table_name=table_name,
-            icm_update=['日期', '店铺名称', '词类型', '搜索词'],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=False,  # 先删除，再插入
+            # icm_update=['日期', '店铺名称', '词类型', '搜索词'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
             df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -1701,7 +1701,7 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -1710,6 +1710,14 @@ class MysqlDatasQuery:
         """
         汇总各个店铺的推广数据，按日汇总
         """
+        df_tm = pd.DataFrame()  # 天猫营销场景
+        df_tb = pd.DataFrame()  # 淘宝营销场景
+        df_tb_qzt = pd.DataFrame()  # 淘宝全站推广
+        df_tm_pxb = pd.DataFrame()  # 天猫品销宝
+        df_tm_living = pd.DataFrame()  # 天猫超级直播
+        df_jd = pd.DataFrame()  # 京东推广
+        df_jd_qzyx = pd.DataFrame()  # 京东全站推广
+
         start_date, end_date = self.months_data(num=self.months)
         projection = {
             '日期': 1,
@@ -1729,18 +1737,19 @@ class MysqlDatasQuery:
             end_date=end_date,
             projection=projection,
         )
-        df_tm.rename(columns={'场景名字': '营销场景'}, inplace=True)
-        df_tm = df_tm.groupby(
-            ['日期', '店铺名称', '营销场景', '花费'],
-            as_index=False).agg(
-            **{
-                '展现量': ('展现量', np.max),
-                '点击量': ('点击量', np.max),
-                '加购量': ('总购物车数', np.max),
-                '成交笔数': ('总成交笔数', np.max),
-                '成交金额': ('总成交金额', np.max)
-            }
-        )
+        if len(df_tm) > 0:
+            df_tm.rename(columns={'场景名字': '营销场景'}, inplace=True)
+            df_tm = df_tm.groupby(
+                ['日期', '店铺名称', '营销场景', '花费'],
+                as_index=False).agg(
+                **{
+                    '展现量': ('展现量', np.max),
+                    '点击量': ('点击量', np.max),
+                    '加购量': ('总购物车数', np.max),
+                    '成交笔数': ('总成交笔数', np.max),
+                    '成交金额': ('总成交金额', np.max)
+                }
+            )
 
         df_tb = self.download.data_to_df(
             db_name='推广数据_淘宝店',
@@ -1749,22 +1758,69 @@ class MysqlDatasQuery:
             end_date=end_date,
             projection=projection,
         )
-        # print(df_tb)
-        # df_tm.to_csv('/Users/xigua/Downloads/test2.csv', index=False, header=True, encoding='utf-8_sig')
-        # df_tb.to_csv('/Users/xigua/Downloads/test.csv', index=False, header=True, encoding='utf-8_sig')
-        df_tb.rename(columns={'场景名字': '营销场景'}, inplace=True)
-        df_tb = df_tb.groupby(
-            ['日期', '店铺名称', '营销场景', '花费'],
-            as_index=False).agg(
-            **{
-                '展现量': ('展现量', np.max),
-                '点击量': ('点击量', np.max),
-                '加购量': ('总购物车数', np.max),
-                '成交笔数': ('总成交笔数', np.max),
-                '成交金额': ('总成交金额', np.max)
+        if len(df_tb) > 0:
+            df_tb.rename(columns={'场景名字': '营销场景'}, inplace=True)
+            df_tb = df_tb.groupby(
+                ['日期', '店铺名称', '营销场景', '花费'],
+                as_index=False).agg(
+                **{
+                    '展现量': ('展现量', np.max),
+                    '点击量': ('点击量', np.max),
+                    '加购量': ('总购物车数', np.max),
+                    '成交笔数': ('总成交笔数', np.max),
+                    '成交金额': ('总成交金额', np.max)
+                }
+            )
+
+        #  天猫的全站推广包含在营销场景报表中，淘宝店不包含
+        df_tb_qzt = pd.DataFrame()
+        if '全站推广' not in df_tb['营销场景'].tolist():
+            projection = {
+                '日期': 1,
+                '主体id': 1,
+                '花费': 1,
+                '展现量': 1,
+                '点击量': 1,
+                '总购物车数': 1,
+                '总成交笔数': 1,
+                '总成交金额': 1,
+                '店铺名称': 1,
             }
-        )
+            df_tb_qzt = self.download.data_to_df(
+                db_name='推广数据_淘宝店',
+                table_name='全站推广报表',
+                start_date=start_date,
+                end_date=end_date,
+                projection=projection,
+            )
+            if len(df_tb_qzt) > 0:
+                # 这一步是排重
+                df_tb_qzt = df_tb_qzt.groupby(
+                    ['日期', '店铺名称', '主体id', '花费'],
+                    as_index=False).agg(
+                    **{
+                        '展现量': ('展现量', np.max),
+                        '点击量': ('点击量', np.max),
+                        '加购量': ('总购物车数', np.max),
+                        '成交笔数': ('总成交笔数', np.max),
+                        '成交金额': ('总成交金额', np.max)
+                    }
+                )
+                # 这一步是继续聚合，因为这个报表统计的是场景维度，不需要商品维度
+                df_tb_qzt = df_tb_qzt.groupby(
+                    ['日期', '店铺名称', '花费'],
+                    as_index=False).agg(
+                    **{
+                        '展现量': ('展现量', np.sum),
+                        '点击量': ('点击量', np.sum),
+                        '加购量': ('总购物车数', np.sum),
+                        '成交笔数': ('总成交笔数', np.sum),
+                        '成交金额': ('总成交金额', np.sum)
+                    }
+                )
+                df_tb_qzt['营销场景'] = '全站推广'
 
+        # 品销宝报表
         projection = {
             '日期': 1,
             '报表类型': 1,
@@ -1783,20 +1839,21 @@ class MysqlDatasQuery:
             end_date=end_date,
             projection=projection,
         )
-        df_tm_pxb = df_tm_pxb[df_tm_pxb['报表类型'] == '账户']
-        df_tm_pxb = df_tm_pxb.groupby(
-            ['日期', '店铺名称', '报表类型', '消耗'],
-            as_index=False).agg(
-            **{
-                '展现量': ('展现量', np.max),
-                '点击量': ('点击量', np.max),
-                '加购量': ('宝贝加购数', np.max),
-                '成交笔数': ('成交笔数', np.max),
-                '成交金额': ('成交金额', np.max)
-            }
-        )
-        df_tm_pxb.rename(columns={'报表类型': '营销场景', '消耗': '花费'}, inplace=True)
-        df_tm_pxb['营销场景'] = '品销宝'
+        if len(df_tm_pxb) > 0:
+            df_tm_pxb = df_tm_pxb[df_tm_pxb['报表类型'] == '账户']
+            df_tm_pxb = df_tm_pxb.groupby(
+                ['日期', '店铺名称', '报表类型', '消耗'],
+                as_index=False).agg(
+                **{
+                    '展现量': ('展现量', np.max),
+                    '点击量': ('点击量', np.max),
+                    '加购量': ('宝贝加购数', np.max),
+                    '成交笔数': ('成交笔数', np.max),
+                    '成交金额': ('成交金额', np.max)
+                }
+            )
+            df_tm_pxb.rename(columns={'报表类型': '营销场景', '消耗': '花费'}, inplace=True)
+            df_tm_pxb['营销场景'] = '品销宝'
 
         # 因为 2024.04.16及之前的营销场景报表不含超级直播，所以在此添加
         if start_date < pd.to_datetime('2024-04-17'):
@@ -1831,10 +1888,6 @@ class MysqlDatasQuery:
                         '成交金额': ('总成交金额', np.max)
                     }
                 )
-            else:
-                df_tm_living = pd.DataFrame()
-        else:
-            df_tm_living = pd.DataFrame()
 
         projection = {
             '日期': 1,
@@ -1860,19 +1913,20 @@ class MysqlDatasQuery:
             end_date=end_date,
             projection=projection,
         )
-        df_jd = df_jd.groupby(['日期', '店铺名称', '产品线', '触发sku_id', '跟单sku_id', 'spu_id', '花费', '展现数', '点击数'],
-                        as_index=False).agg(
-            **{'直接订单行': ('直接订单行', np.max),
-               '直接订单金额': ('直接订单金额', np.max),
-               '成交笔数': ('总订单行', np.max),
-               '成交金额': ('总订单金额', np.max),
-               '直接加购数': ('直接加购数', np.max),
-               '加购量': ('总加购数', np.max),
-               }
-        )
-        df_jd = df_jd[['日期', '店铺名称', '产品线', '花费', '展现数', '点击数', '加购量', '成交笔数', '成交金额']]
-        df_jd.rename(columns={'产品线': '营销场景', '展现数': '展现量', '点击数': '点击量'}, inplace=True)
-        df_jd = df_jd[df_jd['花费'] > 0]
+        if len(df_jd) > 0:
+            df_jd = df_jd.groupby(['日期', '店铺名称', '产品线', '触发sku_id', '跟单sku_id', 'spu_id', '花费', '展现数', '点击数'],
+                            as_index=False).agg(
+                **{'直接订单行': ('直接订单行', np.max),
+                   '直接订单金额': ('直接订单金额', np.max),
+                   '成交笔数': ('总订单行', np.max),
+                   '成交金额': ('总订单金额', np.max),
+                   '直接加购数': ('直接加购数', np.max),
+                   '加购量': ('总加购数', np.max),
+                   }
+            )
+            df_jd = df_jd[['日期', '店铺名称', '产品线', '花费', '展现数', '点击数', '加购量', '成交笔数', '成交金额']]
+            df_jd.rename(columns={'产品线': '营销场景', '展现数': '展现量', '点击数': '点击量'}, inplace=True)
+            df_jd = df_jd[df_jd['花费'] > 0]
 
         projection = {
             '日期': 1,
@@ -1909,7 +1963,7 @@ class MysqlDatasQuery:
             df_jd_qzyx = df_jd_qzyx[['日期', '店铺名称', '营销场景', '花费', '展现量', '点击量', '成交笔数', '成交金额']]
             df_jd_qzyx = df_jd_qzyx[df_jd_qzyx['花费'] > 0]
 
-        _datas = [item for item in  [df_tm, df_tb, df_tm_pxb, df_tm_living, df_jd, df_jd_qzyx] if len(item) > 0]  # 阻止空的 dataframe
+        _datas = [item for item in  [df_tm, df_tb, df_tb_qzt, df_tm_pxb, df_tm_living, df_jd, df_jd_qzyx] if len(item) > 0]  # 阻止空的 dataframe
         df = pd.concat(_datas, axis=0, ignore_index=True)
         df['日期'] = pd.to_datetime(df['日期'], format='%Y-%m-%d', errors='ignore')  # 转换日期列
         df = df.groupby(
@@ -1946,15 +2000,15 @@ class MysqlDatasQuery:
             df=df,
             db_name=db_name,
             table_name=table_name,
-            icm_update=[],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=False,  # 先删除，再插入
+            # icm_update=['日期', '店铺名称', '营销场景', '花费', '展现量', '点击量'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
             df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -2032,14 +2086,14 @@ class MysqlDatasQuery:
             db_name=db_name,
             table_name=table_name,
             icm_update=[],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=False,  # 先删除，再插入
+            move_insert=True,  # 先删除，再插入
             df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -2084,7 +2138,7 @@ class MysqlDatasQuery:
             df=df,
             db_name=db_name,
             table_name=table_name,
-            icm_update=['日期', '人群类型', '店铺名称', '人群规模', '广告投入金额'],  # 增量更新, 在聚合数据中使用，其他不要用
+            # icm_update=['日期', '人群类型', '店铺名称', '人群规模', '广告投入金额'],  # 增量更新, 在聚合数据中使用，其他不要用
             move_insert=True,  # 先删除，再插入
             df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
@@ -2092,7 +2146,7 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -2193,14 +2247,14 @@ class MysqlDatasQuery:
             db_name=db_name,
             table_name=table_name,
             icm_update=[],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=False,  # 先删除，再插入
+            move_insert=True,  # 先删除，再插入
             df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -2565,7 +2619,7 @@ class MysqlDatasQuery:
         df.drop(labels='宝贝id', axis=1, inplace=True)
 
         # df.drop_duplicates(subset=['日期', '店铺名称', '商品id', '花费', '销售额'], keep='last', inplace=True, ignore_index=True)
-        # df.fillna(0, inplace=True)
+        df.fillna(0, inplace=True)
         df['成本价'] = df['成本价'].astype('float64')
         df['销售额'] = df['销售额'].astype('float64')
         df['销售量'] = df['销售量'].astype('int64')
@@ -2611,7 +2665,7 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -2687,7 +2741,7 @@ class MysqlDatasQuery:
                 '自然流量曝光量': int,
         }
         )
-        # [df[col].apply(lambda x: '0' if str(x) == '' else x) for col in df.columns.tolist()]
+        [df[col].apply(lambda x: '0' if str(x) == '' else x) for col in df.columns.tolist()]
         set_typ = {
             '日期': 'date',
             '店铺名称': 'varchar(100)',
@@ -2722,7 +2776,7 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -2762,7 +2816,7 @@ class MysqlDatasQuery:
         df['毛利率'] = df.apply(
             lambda x: round((x['成交金额'] - x['商品成本']) / x['成交金额'], 4) if x['成交金额'] > 0 else 0, axis=1)
         df['盈亏'] = df.apply(lambda x: x['商品毛利'] - x['花费'], axis=1)
-        # [df[col].apply(lambda x: '0' if str(x) == '' else x) for col in df.columns.tolist()]
+        [df[col].apply(lambda x: '0' if str(x) == '' else x) for col in df.columns.tolist()]
         set_typ = {
             '日期': 'date',
             '跟单sku_id': 'bigint',
@@ -2794,7 +2848,7 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -2853,7 +2907,7 @@ def date_table():
         count=None,
         filename=None,  # 用来追踪处理进度
         set_typ=set_typ,
-        default=True,  # 对于空值使用默认值
+        
     )
 
 
@@ -2931,7 +2985,7 @@ if __name__ == '__main__':
     # # 4. 清理聚合数据
     # optimize_data.op_data(
     #     db_name_lists=['聚合数据'],
-    #     days=300,
+    #     days=3650,
     #     is_mongo=False,
     #     is_mysql=True,
     # )

mdbq/dataframe/converter.py

@@ -31,8 +31,8 @@ class DataFrameConverter(object):
             return longest_value
 
         # dtypes = df.dtypes.apply(str).to_dict()  # 将 dataframe 数据类型转为字典形式
-        df.replace([np.inf, -np.inf], '', inplace=True)  # 清理一些非法值
-        df.replace(to_replace=['\\N', '-', '--', '', 'nan', 'NAN'], value='', regex=False, inplace=True)  # 替换掉特殊字符
+        df.replace([np.inf, -np.inf], '0', inplace=True)  # 清理一些非法值
+        df.replace(to_replace=['\\N', '-', '--', '', 'nan', 'NAN'], value='0', regex=False, inplace=True)  # 替换掉特殊字符
         df.replace(to_replace=[','], value='', regex=True, inplace=True)
         df.replace(to_replace=['="'], value='', regex=True, inplace=True)  # ="和"不可以放在一起清洗, 因为有: id=86785565
         df.replace(to_replace=['"'], value='', regex=True, inplace=True)
@@ -88,7 +88,7 @@ class DataFrameConverter(object):
             new_col = re.sub(r'_{2,}', '_', new_col)
             new_col = re.sub(r'_+$', '', new_col)
             df.rename(columns={col: new_col}, inplace=True)
-        # df.fillna(0, inplace=True)
+        df.fillna(0, inplace=True)
         return df
 
 

mdbq/mysql/mysql.py

@@ -127,7 +127,7 @@ class MysqlUpload:
         return wrapper
 
     @try_except
-    def dict_to_mysql(self, db_name, table_name, dict_data, icm_update=None, main_key=None, unique_main_key=None, index_length=100, set_typ=None, default=True):
+    def dict_to_mysql(self, db_name, table_name, dict_data, icm_update=None, main_key=None, unique_main_key=None, index_length=100, set_typ=None):
         """
         插入字典数据
         dict_data： 字典
@@ -186,22 +186,7 @@ class MysqlUpload:
             if col_not_exist:  # 数据表中不存在的列
                 for col in col_not_exist:
                     #  创建列，需转义
-                    if default:
-                        if dtypes[col] == 'date':
-                            default = '2000-01-01'
-                        elif dtypes[col] == 'datetime' or dtypes[col] == 'timestamp':
-                            default = '2000-01-01 10:00:00'
-                        elif 'decimal' in dtypes[col]:
-                            default = 0.0
-                        elif 'int' in dtypes[col]:
-                            default = 0
-                        elif 'varchar' in dtypes[col] or 'text' in dtypes[col]:
-                            default = ''
-                        elif 'year' in dtypes[col]:
-                            default = '2000'
-                        sql = f"ALTER TABLE `{table_name}` ADD COLUMN `{col}` {dtypes[col]} NOT NULL DEFAULT '{default}';"
-                    else:
-                        sql = f"ALTER TABLE `{table_name}` ADD COLUMN `{col}` {dtypes[col]} NOT NULL;"
+                    sql = f"ALTER TABLE `{table_name}` ADD COLUMN `{col}` {dtypes[col]} NOT NULL;"
                     cursor.execute(sql)
                     print(f"添加列: {col}({dtypes[col]})")  # 添加列并指定数据类型
 
@@ -377,8 +362,8 @@ class MysqlUpload:
 
     def cover_df(self, df):
         """ 清理 df 的值和列名 """
-        df.replace([np.inf, -np.inf], '', inplace=True)  # 清理一些非法值
-        df.replace(to_replace=['\\N', '-', '--', '', 'nan', 'NAN'], value='', regex=False, inplace=True)  # 替换掉特殊字符
+        df.replace([np.inf, -np.inf], '0', inplace=True)  # 清理一些非法值
+        df.replace(to_replace=['\\N', '-', '--', '', 'nan', 'NAN'], value='0', regex=False, inplace=True)  # 替换掉特殊字符
         df.replace(to_replace=[','], value='', regex=True, inplace=True)
         df.replace(to_replace=['="'], value='', regex=True, inplace=True)  # ="和"不可以放在一起清洗, 因为有: id=86785565
         df.replace(to_replace=['"'], value='', regex=True, inplace=True)
@@ -402,7 +387,7 @@ class MysqlUpload:
             new_col = re.sub(r'_{2,}', '_', new_col)
             new_col = re.sub(r'_+$', '', new_col)
             df.rename(columns={col: new_col}, inplace=True)
-        # df.fillna(0, inplace=True)
+        df.fillna(0, inplace=True)
         return df
 
     def convert_df_dtypes(self, df: pd.DataFrame):
@@ -443,7 +428,7 @@ class MysqlUpload:
 
     # @try_except
     def df_to_mysql(self, df, db_name, table_name, set_typ=None, icm_update=[], move_insert=False, df_sql=False, drop_duplicates=False,
-                    filename=None, count=None, reset_id=False, default=None):
+                    filename=None, count=None, reset_id=False):
         """
         db_name: 数据库名
         table_name: 表名
@@ -514,22 +499,7 @@ class MysqlUpload:
             if col_not_exist:  # 数据表中不存在的列
                 for col in col_not_exist:
                     #  创建列，需转义
-                    if default:
-                        if dtypes[col] == 'date':
-                            default = '2000-01-01'
-                        elif dtypes[col] == 'datetime' or dtypes[col] == 'timestamp':
-                            default = '2000-01-01 10:00:00'
-                        elif 'decimal' in dtypes[col]:
-                            default = 0.0
-                        elif 'int' in dtypes[col]:
-                            default = 0
-                        elif 'varchar' in dtypes[col] or 'text' in dtypes[col]:
-                            default = ''
-                        elif 'year' in dtypes[col]:
-                            default = '2000'
-                        sql = f"ALTER TABLE `{table_name}` ADD COLUMN `{col}` {dtypes[col]} NOT NULL DEFAULT '{default}';"
-                    else:
-                        sql = f"ALTER TABLE `{table_name}` ADD COLUMN `{col}` {dtypes[col]} NOT NULL;"
+                    sql = f"ALTER TABLE `{table_name}` ADD COLUMN `{col}` {dtypes[col]} NOT NULL;"
                     cursor.execute(sql)
                     print(f"添加列: {col}({dtypes[col]})")  # 添加列并指定数据类型
 

{mdbq-3.0.2.dist-info → mdbq-3.0.4.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 3.0.2
+Version: 3.0.4
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-3.0.2.dist-info → mdbq-3.0.4.dist-info}/RECORD

@@ -1,11 +1,11 @@
 mdbq/__init__.py,sha256=Il5Q9ATdX8yXqVxtP_nYqUhExzxPC_qk_WXQ_4h0exg,16
 mdbq/__version__.py,sha256=y9Mp_8x0BCZSHsdLT_q5tX9wZwd5QgqrSIENLrb6vXA,62
 mdbq/aggregation/__init__.py,sha256=EeDqX2Aml6SPx8363J-v1lz0EcZtgwIBYyCJV6CcEDU,40
-mdbq/aggregation/aggregation.py,sha256=RQkV_2iba7X-3ykmnVA7kO7DMHGP92QxwpfQwlbhBc4,73143
+mdbq/aggregation/aggregation.py,sha256=mAa4JDFsFRzsM_dFZAkNr_madBB4Ct27-5hDU-21pHM,72861
 mdbq/aggregation/df_types.py,sha256=U9i3q2eRPTDY8qAPTw7irzu-Tlg4CIySW9uYro81wdk,8125
 mdbq/aggregation/mysql_types.py,sha256=YTGyrF9vcRgfkQbpT-e-JdJ7c7VF1dDHgyx9YZRES8w,10934
 mdbq/aggregation/optimize_data.py,sha256=79uwiM2WqNNFxGpE2wKz742PRq-ZGgFjdOV0vgptHdY,3513
-mdbq/aggregation/query_data.py,sha256=iBrvXtqSL_YIGk_xVcXQwXKkiGNNrq5I47Crp-Nl9ZI,131198
+mdbq/aggregation/query_data.py,sha256=I62eYJRf2sc_V1ZM8XApEtDmzLSLqqzIyZFnbJ5ZES4,132690
 mdbq/aggregation/query_data_bak.py,sha256=r1FU0C4zjXln7oVSrRkElh4Ehl-9mYhGcq57jLbViUA,104071
 mdbq/bdup/__init__.py,sha256=AkhsGk81SkG1c8FqDH5tRq-8MZmFobVbN60DTyukYTY,28
 mdbq/bdup/bdup.py,sha256=LAV0TgnQpc-LB-YuJthxb0U42_VkPidzQzAagan46lU,4234
@@ -21,13 +21,13 @@ mdbq/config/products.py,sha256=1W8FBXnnvTC29pBLI8Yp8UwTMhBvoppcJqmniT8rBGU,6295
 mdbq/config/set_support.py,sha256=xkZCX6y9Bq1ppBpJAofld4B2YtchA7fl0eT3dx3CrSI,777
 mdbq/config/update_conf.py,sha256=taL3ZqKgiVWwUrDFuaYhim9a72Hm4BHRhhDscJTziR8,4535
 mdbq/dataframe/__init__.py,sha256=2HtCN8AdRj53teXDqzysC1h8aPL-mMFy561ESmhehGQ,22
-mdbq/dataframe/converter.py,sha256=X0W6IJP5ouA8W7PiZAUViCYW52OHC0-tzbmDCdSmmag,4604
+mdbq/dataframe/converter.py,sha256=iNzgQOJjjoHb_wYozUh8a0qNvWA3o-u6lW3NWa7Kdps,4604
 mdbq/log/__init__.py,sha256=Mpbrav0s0ifLL7lVDAuePEi1hJKiSHhxcv1byBKDl5E,15
 mdbq/log/mylogger.py,sha256=oaT7Bp-Hb9jZt52seP3ISUuxVcI19s4UiqTeouScBO0,3258
 mdbq/mongo/__init__.py,sha256=SILt7xMtQIQl_m-ik9WLtJSXIVf424iYgCfE_tnQFbw,13
 mdbq/mongo/mongo.py,sha256=v9qvrp6p1ZRWuPpbSilqveiE0FEcZF7U5xUPI0RN4xs,31880
 mdbq/mysql/__init__.py,sha256=A_DPJyAoEvTSFojiI2e94zP0FKtCkkwKP1kYUCSyQzo,11
-mdbq/mysql/mysql.py,sha256=WEtCZlXiAeBgJNpGidw4fGbQoK9yiBgmDgr3-t1TkvI,61625
+mdbq/mysql/mysql.py,sha256=_6czRjVkAccKykQswv890JEQQ8Mu-FxD9Rg3GOUz-C4,59921
 mdbq/mysql/recheck_mysql.py,sha256=rgTpvDMWYTyEn7UQdlig-pdXDluTgiU8JG6lkMh8DV0,8665
 mdbq/mysql/s_query.py,sha256=fnXncwSmA7CB0ELn1a-YxYZDrYkC2Bcgnj2J4dcQ8X8,8481
 mdbq/mysql/year_month_day.py,sha256=VgewoE2pJxK7ErjfviL_SMTN77ki8GVbTUcao3vFUCE,1523
@@ -44,7 +44,7 @@ mdbq/req_post/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
 mdbq/req_post/req_tb.py,sha256=qg7pet73IgKGmCwxaeUyImJIoeK_pBQT9BBKD7fkBNg,36160
 mdbq/spider/__init__.py,sha256=RBMFXGy_jd1HXZhngB2T2XTvJqki8P_Fr-pBcwijnew,18
 mdbq/spider/aikucun.py,sha256=01qJo_Di5Kmi2lG5_HKb0OI283b1-Pgqh-nnA0pX4TY,19038
-mdbq-3.0.2.dist-info/METADATA,sha256=_QGZJqXI2BKSifv6C7MXuUxkmH_L3c_mC60_s3FWEtM,243
-mdbq-3.0.2.dist-info/WHEEL,sha256=eOLhNAGa2EW3wWl_TU484h7q1UNgy0JXjjoqKoxAAQc,92
-mdbq-3.0.2.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
-mdbq-3.0.2.dist-info/RECORD,,
+mdbq-3.0.4.dist-info/METADATA,sha256=9j8lsr7Coxk9TRjKt2MiyEs9rlg6QPV80eZWfYwzOMU,243
+mdbq-3.0.4.dist-info/WHEEL,sha256=eOLhNAGa2EW3wWl_TU484h7q1UNgy0JXjjoqKoxAAQc,92
+mdbq-3.0.4.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
+mdbq-3.0.4.dist-info/RECORD,,