mdbq 3.0.2__tar.gz → 3.0.4__tar.gz

{mdbq-3.0.2 → mdbq-3.0.4}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 3.0.2
+Version: 3.0.4
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-3.0.2 → mdbq-3.0.4}/mdbq/aggregation/aggregation.py

@@ -1239,12 +1239,6 @@ def test():
                 # os.remove(os.path.join(root, name))
                 # results.append(df)
 
-def test2():
-    file = '/Users/xigua/Downloads/商品素材中心.xlsx'
-    df = pd.read_excel(file, engine='openpyxl')
-    df.replace(to_replace=['0'], value='', regex=False, inplace=True)
-    # print(df.head())
-    df.to_excel(file, index=False, header=True, engine='openpyxl')
 
 if __name__ == '__main__':
     # username = 'root'
@@ -1259,7 +1253,7 @@ if __name__ == '__main__':
     #     table_name='dmp人群报表',
     # )
 
-    test2()
+    test()
     # col = 0
     # if col:
     #     # 上传一个目录到指定数据库

{mdbq-3.0.2 → mdbq-3.0.4}/mdbq/aggregation/query_data.py

@@ -172,15 +172,15 @@ class MysqlDatasQuery:
             df=df,
             db_name=db_name,
             table_name=table_name,
-            icm_update=['日期', '推广渠道', '营销场景', '商品id', '花费'],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=False,  # 先删除，再插入
+            # icm_update=['日期', '推广渠道', '营销场景', '商品id', '花费'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
             df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
 
         # df_pic：商品排序索引表, 给 powerbi 中的主推款排序用的,(从上月1号到今天的总花费进行排序)
@@ -229,7 +229,7 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -309,15 +309,15 @@ class MysqlDatasQuery:
             df=df,
             db_name=db_name,
             table_name=table_name,
-            icm_update=['日期', '宝贝id'],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=False,  # 先删除，再插入
+            # icm_update=['日期', '宝贝id'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
             df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -353,7 +353,7 @@ class MysqlDatasQuery:
             '总成交笔数': '成交笔数',
             '总成交金额': '成交金额'
         }, inplace=True)
-        # df.fillna(0, inplace=True)
+        df.fillna(0, inplace=True)
         df = df.astype({
             '商品id': str,
             '花费': float,
@@ -493,15 +493,15 @@ class MysqlDatasQuery:
             df=df,
             db_name=db_name,
             table_name=table_name,
-            icm_update=['日期', '推广渠道', '营销场景', '商品id', '花费', '人群名字'],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=False,  # 先删除，再插入
+            # icm_update=['日期', '推广渠道', '营销场景', '商品id', '花费', '人群名字'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
             df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -538,7 +538,7 @@ class MysqlDatasQuery:
             '总成交笔数': '成交笔数',
             '总成交金额': '成交金额'
         }, inplace=True)
-        # df.fillna(0, inplace=True)
+        df.fillna(0, inplace=True)
         df = df.astype({
             '商品id': str,
             '花费': float,
@@ -623,15 +623,15 @@ class MysqlDatasQuery:
             df=df,
             db_name=db_name,
             table_name=table_name,
-            icm_update=['日期', '推广渠道', '营销场景', '商品id', '花费', '词类型', '词名字_词包名字',],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=False,  # 先删除，再插入
+            # icm_update=['日期', '推广渠道', '营销场景', '商品id', '花费', '词类型', '词名字_词包名字',],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
             df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -670,7 +670,7 @@ class MysqlDatasQuery:
             '场景名字': '营销场景',
         }, inplace=True)
         df['营销场景'] = '超级直播'
-        # df.fillna(0, inplace=True)
+        df.fillna(0, inplace=True)
         df = df.astype({
             '花费': float,
             # '点击量': int,
@@ -742,15 +742,15 @@ class MysqlDatasQuery:
             df=df,
             db_name=db_name,
             table_name=table_name,
-            icm_update=['日期', '推广渠道', '营销场景', '花费'],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=False,  # 先删除，再插入
+            # icm_update=['日期', '推广渠道', '营销场景', '花费'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
             df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -780,7 +780,7 @@ class MysqlDatasQuery:
             projection=projection,
         )
         df = df[df['报表类型'] == '账户']
-        # df.fillna(value=0, inplace=True)
+        df.fillna(value=0, inplace=True)
         df.rename(columns={
             '消耗': '花费',
             '宝贝加购数': '加购量',
@@ -850,15 +850,15 @@ class MysqlDatasQuery:
             df=df,
             db_name=db_name,
             table_name=table_name,
-            icm_update=['日期', '报表类型', '推广渠道', '营销场景', '花费'],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=False,  # 先删除，再插入
+            # icm_update=['日期', '报表类型', '推广渠道', '营销场景', '花费'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
             df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -913,7 +913,7 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -971,7 +971,7 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -1045,15 +1045,15 @@ class MysqlDatasQuery:
             df=df,
             db_name=db_name,
             table_name=table_name,
-            icm_update=['日期', '一级来源', '二级来源', '三级来源', '访客数'],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=False,  # 先删除，再插入
+            # icm_update=['日期', '一级来源', '二级来源', '三级来源', '访客数'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
             df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -1101,7 +1101,7 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -1177,15 +1177,15 @@ class MysqlDatasQuery:
             df=df,
             db_name=db_name,
             table_name=table_name,
-            icm_update=['日期', '产品线', '触发sku_id', '跟单sku_id', '花费', ],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=False,  # 先删除，再插入
+            # icm_update=['日期', '产品线', '触发sku_id', '跟单sku_id', '花费', ],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
             df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -1244,15 +1244,15 @@ class MysqlDatasQuery:
             df=df,
             db_name=db_name,
             table_name=table_name,
-            icm_update=['日期', '产品线', '花费'],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=False,  # 先删除，再插入
+            # icm_update=['日期', '产品线', '花费'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
             df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -1342,15 +1342,15 @@ class MysqlDatasQuery:
             df=df,
             db_name=db_name,
             table_name=table_name,
-            icm_update=['日期', '产品线', '搜索词',  '关键词', '展现数', '花费'],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=False,  # 先删除，再插入
+            # icm_update=['日期', '产品线', '搜索词',  '关键词', '展现数', '花费'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
             df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -1412,15 +1412,15 @@ class MysqlDatasQuery:
             df=df,
             db_name=db_name,
             table_name=table_name,
-            icm_update=['日期', '商品id', '成交单量'],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=False,  # 先删除，再插入
+            # icm_update=['日期', '商品id', '成交单量'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
             df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -1474,15 +1474,15 @@ class MysqlDatasQuery:
             df=df,
             db_name=db_name,
             table_name=table_name,
-            icm_update=['日期', '商品id', '成交单量'],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=False,  # 先删除，再插入
+            # icm_update=['日期', '商品id', '成交单量'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
             df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -1554,15 +1554,15 @@ class MysqlDatasQuery:
             df=df,
             db_name=db_name,
             table_name=table_name,
-            icm_update=['日期', '店铺名称', '词类型', '搜索词'],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=False,  # 先删除，再插入
+            # icm_update=['日期', '店铺名称', '词类型', '搜索词'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
             df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -1701,7 +1701,7 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -1710,6 +1710,14 @@ class MysqlDatasQuery:
         """
         汇总各个店铺的推广数据，按日汇总
         """
+        df_tm = pd.DataFrame()  # 天猫营销场景
+        df_tb = pd.DataFrame()  # 淘宝营销场景
+        df_tb_qzt = pd.DataFrame()  # 淘宝全站推广
+        df_tm_pxb = pd.DataFrame()  # 天猫品销宝
+        df_tm_living = pd.DataFrame()  # 天猫超级直播
+        df_jd = pd.DataFrame()  # 京东推广
+        df_jd_qzyx = pd.DataFrame()  # 京东全站推广
+
         start_date, end_date = self.months_data(num=self.months)
         projection = {
             '日期': 1,
@@ -1729,18 +1737,19 @@ class MysqlDatasQuery:
             end_date=end_date,
             projection=projection,
         )
-        df_tm.rename(columns={'场景名字': '营销场景'}, inplace=True)
-        df_tm = df_tm.groupby(
-            ['日期', '店铺名称', '营销场景', '花费'],
-            as_index=False).agg(
-            **{
-                '展现量': ('展现量', np.max),
-                '点击量': ('点击量', np.max),
-                '加购量': ('总购物车数', np.max),
-                '成交笔数': ('总成交笔数', np.max),
-                '成交金额': ('总成交金额', np.max)
-            }
-        )
+        if len(df_tm) > 0:
+            df_tm.rename(columns={'场景名字': '营销场景'}, inplace=True)
+            df_tm = df_tm.groupby(
+                ['日期', '店铺名称', '营销场景', '花费'],
+                as_index=False).agg(
+                **{
+                    '展现量': ('展现量', np.max),
+                    '点击量': ('点击量', np.max),
+                    '加购量': ('总购物车数', np.max),
+                    '成交笔数': ('总成交笔数', np.max),
+                    '成交金额': ('总成交金额', np.max)
+                }
+            )
 
         df_tb = self.download.data_to_df(
             db_name='推广数据_淘宝店',
@@ -1749,22 +1758,69 @@ class MysqlDatasQuery:
             end_date=end_date,
             projection=projection,
         )
-        # print(df_tb)
-        # df_tm.to_csv('/Users/xigua/Downloads/test2.csv', index=False, header=True, encoding='utf-8_sig')
-        # df_tb.to_csv('/Users/xigua/Downloads/test.csv', index=False, header=True, encoding='utf-8_sig')
-        df_tb.rename(columns={'场景名字': '营销场景'}, inplace=True)
-        df_tb = df_tb.groupby(
-            ['日期', '店铺名称', '营销场景', '花费'],
-            as_index=False).agg(
-            **{
-                '展现量': ('展现量', np.max),
-                '点击量': ('点击量', np.max),
-                '加购量': ('总购物车数', np.max),
-                '成交笔数': ('总成交笔数', np.max),
-                '成交金额': ('总成交金额', np.max)
+        if len(df_tb) > 0:
+            df_tb.rename(columns={'场景名字': '营销场景'}, inplace=True)
+            df_tb = df_tb.groupby(
+                ['日期', '店铺名称', '营销场景', '花费'],
+                as_index=False).agg(
+                **{
+                    '展现量': ('展现量', np.max),
+                    '点击量': ('点击量', np.max),
+                    '加购量': ('总购物车数', np.max),
+                    '成交笔数': ('总成交笔数', np.max),
+                    '成交金额': ('总成交金额', np.max)
+                }
+            )
+
+        #  天猫的全站推广包含在营销场景报表中，淘宝店不包含
+        df_tb_qzt = pd.DataFrame()
+        if '全站推广' not in df_tb['营销场景'].tolist():
+            projection = {
+                '日期': 1,
+                '主体id': 1,
+                '花费': 1,
+                '展现量': 1,
+                '点击量': 1,
+                '总购物车数': 1,
+                '总成交笔数': 1,
+                '总成交金额': 1,
+                '店铺名称': 1,
             }
-        )
+            df_tb_qzt = self.download.data_to_df(
+                db_name='推广数据_淘宝店',
+                table_name='全站推广报表',
+                start_date=start_date,
+                end_date=end_date,
+                projection=projection,
+            )
+            if len(df_tb_qzt) > 0:
+                # 这一步是排重
+                df_tb_qzt = df_tb_qzt.groupby(
+                    ['日期', '店铺名称', '主体id', '花费'],
+                    as_index=False).agg(
+                    **{
+                        '展现量': ('展现量', np.max),
+                        '点击量': ('点击量', np.max),
+                        '加购量': ('总购物车数', np.max),
+                        '成交笔数': ('总成交笔数', np.max),
+                        '成交金额': ('总成交金额', np.max)
+                    }
+                )
+                # 这一步是继续聚合，因为这个报表统计的是场景维度，不需要商品维度
+                df_tb_qzt = df_tb_qzt.groupby(
+                    ['日期', '店铺名称', '花费'],
+                    as_index=False).agg(
+                    **{
+                        '展现量': ('展现量', np.sum),
+                        '点击量': ('点击量', np.sum),
+                        '加购量': ('总购物车数', np.sum),
+                        '成交笔数': ('总成交笔数', np.sum),
+                        '成交金额': ('总成交金额', np.sum)
+                    }
+                )
+                df_tb_qzt['营销场景'] = '全站推广'
 
+        # 品销宝报表
         projection = {
             '日期': 1,
             '报表类型': 1,
@@ -1783,20 +1839,21 @@ class MysqlDatasQuery:
             end_date=end_date,
             projection=projection,
         )
-        df_tm_pxb = df_tm_pxb[df_tm_pxb['报表类型'] == '账户']
-        df_tm_pxb = df_tm_pxb.groupby(
-            ['日期', '店铺名称', '报表类型', '消耗'],
-            as_index=False).agg(
-            **{
-                '展现量': ('展现量', np.max),
-                '点击量': ('点击量', np.max),
-                '加购量': ('宝贝加购数', np.max),
-                '成交笔数': ('成交笔数', np.max),
-                '成交金额': ('成交金额', np.max)
-            }
-        )
-        df_tm_pxb.rename(columns={'报表类型': '营销场景', '消耗': '花费'}, inplace=True)
-        df_tm_pxb['营销场景'] = '品销宝'
+        if len(df_tm_pxb) > 0:
+            df_tm_pxb = df_tm_pxb[df_tm_pxb['报表类型'] == '账户']
+            df_tm_pxb = df_tm_pxb.groupby(
+                ['日期', '店铺名称', '报表类型', '消耗'],
+                as_index=False).agg(
+                **{
+                    '展现量': ('展现量', np.max),
+                    '点击量': ('点击量', np.max),
+                    '加购量': ('宝贝加购数', np.max),
+                    '成交笔数': ('成交笔数', np.max),
+                    '成交金额': ('成交金额', np.max)
+                }
+            )
+            df_tm_pxb.rename(columns={'报表类型': '营销场景', '消耗': '花费'}, inplace=True)
+            df_tm_pxb['营销场景'] = '品销宝'
 
         # 因为 2024.04.16及之前的营销场景报表不含超级直播，所以在此添加
         if start_date < pd.to_datetime('2024-04-17'):
@@ -1831,10 +1888,6 @@ class MysqlDatasQuery:
                         '成交金额': ('总成交金额', np.max)
                     }
                 )
-            else:
-                df_tm_living = pd.DataFrame()
-        else:
-            df_tm_living = pd.DataFrame()
 
         projection = {
             '日期': 1,
@@ -1860,19 +1913,20 @@ class MysqlDatasQuery:
             end_date=end_date,
             projection=projection,
         )
-        df_jd = df_jd.groupby(['日期', '店铺名称', '产品线', '触发sku_id', '跟单sku_id', 'spu_id', '花费', '展现数', '点击数'],
-                        as_index=False).agg(
-            **{'直接订单行': ('直接订单行', np.max),
-               '直接订单金额': ('直接订单金额', np.max),
-               '成交笔数': ('总订单行', np.max),
-               '成交金额': ('总订单金额', np.max),
-               '直接加购数': ('直接加购数', np.max),
-               '加购量': ('总加购数', np.max),
-               }
-        )
-        df_jd = df_jd[['日期', '店铺名称', '产品线', '花费', '展现数', '点击数', '加购量', '成交笔数', '成交金额']]
-        df_jd.rename(columns={'产品线': '营销场景', '展现数': '展现量', '点击数': '点击量'}, inplace=True)
-        df_jd = df_jd[df_jd['花费'] > 0]
+        if len(df_jd) > 0:
+            df_jd = df_jd.groupby(['日期', '店铺名称', '产品线', '触发sku_id', '跟单sku_id', 'spu_id', '花费', '展现数', '点击数'],
+                            as_index=False).agg(
+                **{'直接订单行': ('直接订单行', np.max),
+                   '直接订单金额': ('直接订单金额', np.max),
+                   '成交笔数': ('总订单行', np.max),
+                   '成交金额': ('总订单金额', np.max),
+                   '直接加购数': ('直接加购数', np.max),
+                   '加购量': ('总加购数', np.max),
+                   }
+            )
+            df_jd = df_jd[['日期', '店铺名称', '产品线', '花费', '展现数', '点击数', '加购量', '成交笔数', '成交金额']]
+            df_jd.rename(columns={'产品线': '营销场景', '展现数': '展现量', '点击数': '点击量'}, inplace=True)
+            df_jd = df_jd[df_jd['花费'] > 0]
 
         projection = {
             '日期': 1,
@@ -1909,7 +1963,7 @@ class MysqlDatasQuery:
             df_jd_qzyx = df_jd_qzyx[['日期', '店铺名称', '营销场景', '花费', '展现量', '点击量', '成交笔数', '成交金额']]
             df_jd_qzyx = df_jd_qzyx[df_jd_qzyx['花费'] > 0]
 
-        _datas = [item for item in  [df_tm, df_tb, df_tm_pxb, df_tm_living, df_jd, df_jd_qzyx] if len(item) > 0]  # 阻止空的 dataframe
+        _datas = [item for item in  [df_tm, df_tb, df_tb_qzt, df_tm_pxb, df_tm_living, df_jd, df_jd_qzyx] if len(item) > 0]  # 阻止空的 dataframe
         df = pd.concat(_datas, axis=0, ignore_index=True)
         df['日期'] = pd.to_datetime(df['日期'], format='%Y-%m-%d', errors='ignore')  # 转换日期列
         df = df.groupby(
@@ -1946,15 +2000,15 @@ class MysqlDatasQuery:
             df=df,
             db_name=db_name,
             table_name=table_name,
-            icm_update=[],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=False,  # 先删除，再插入
+            # icm_update=['日期', '店铺名称', '营销场景', '花费', '展现量', '点击量'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
             df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -2032,14 +2086,14 @@ class MysqlDatasQuery:
             db_name=db_name,
             table_name=table_name,
             icm_update=[],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=False,  # 先删除，再插入
+            move_insert=True,  # 先删除，再插入
             df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -2084,7 +2138,7 @@ class MysqlDatasQuery:
             df=df,
             db_name=db_name,
             table_name=table_name,
-            icm_update=['日期', '人群类型', '店铺名称', '人群规模', '广告投入金额'],  # 增量更新, 在聚合数据中使用，其他不要用
+            # icm_update=['日期', '人群类型', '店铺名称', '人群规模', '广告投入金额'],  # 增量更新, 在聚合数据中使用，其他不要用
             move_insert=True,  # 先删除，再插入
             df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
@@ -2092,7 +2146,7 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -2193,14 +2247,14 @@ class MysqlDatasQuery:
             db_name=db_name,
             table_name=table_name,
             icm_update=[],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=False,  # 先删除，再插入
+            move_insert=True,  # 先删除，再插入
             df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -2565,7 +2619,7 @@ class MysqlDatasQuery:
         df.drop(labels='宝贝id', axis=1, inplace=True)
 
         # df.drop_duplicates(subset=['日期', '店铺名称', '商品id', '花费', '销售额'], keep='last', inplace=True, ignore_index=True)
-        # df.fillna(0, inplace=True)
+        df.fillna(0, inplace=True)
         df['成本价'] = df['成本价'].astype('float64')
         df['销售额'] = df['销售额'].astype('float64')
         df['销售量'] = df['销售量'].astype('int64')
@@ -2611,7 +2665,7 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -2687,7 +2741,7 @@ class MysqlDatasQuery:
                 '自然流量曝光量': int,
         }
         )
-        # [df[col].apply(lambda x: '0' if str(x) == '' else x) for col in df.columns.tolist()]
+        [df[col].apply(lambda x: '0' if str(x) == '' else x) for col in df.columns.tolist()]
         set_typ = {
             '日期': 'date',
             '店铺名称': 'varchar(100)',
@@ -2722,7 +2776,7 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -2762,7 +2816,7 @@ class MysqlDatasQuery:
         df['毛利率'] = df.apply(
             lambda x: round((x['成交金额'] - x['商品成本']) / x['成交金额'], 4) if x['成交金额'] > 0 else 0, axis=1)
         df['盈亏'] = df.apply(lambda x: x['商品毛利'] - x['花费'], axis=1)
-        # [df[col].apply(lambda x: '0' if str(x) == '' else x) for col in df.columns.tolist()]
+        [df[col].apply(lambda x: '0' if str(x) == '' else x) for col in df.columns.tolist()]
         set_typ = {
             '日期': 'date',
             '跟单sku_id': 'bigint',
@@ -2794,7 +2848,7 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            default=True,  # 对于空值使用默认值
+            
         )
         return True
 
@@ -2853,7 +2907,7 @@ def date_table():
         count=None,
         filename=None,  # 用来追踪处理进度
         set_typ=set_typ,
-        default=True,  # 对于空值使用默认值
+        
     )
 
 
@@ -2931,7 +2985,7 @@ if __name__ == '__main__':
     # # 4. 清理聚合数据
     # optimize_data.op_data(
     #     db_name_lists=['聚合数据'],
-    #     days=300,
+    #     days=3650,
     #     is_mongo=False,
     #     is_mysql=True,
     # )

{mdbq-3.0.2 → mdbq-3.0.4}/mdbq/dataframe/converter.py

@@ -31,8 +31,8 @@ class DataFrameConverter(object):
             return longest_value
 
         # dtypes = df.dtypes.apply(str).to_dict()  # 将 dataframe 数据类型转为字典形式
-        df.replace([np.inf, -np.inf], '', inplace=True)  # 清理一些非法值
-        df.replace(to_replace=['\\N', '-', '--', '', 'nan', 'NAN'], value='', regex=False, inplace=True)  # 替换掉特殊字符
+        df.replace([np.inf, -np.inf], '0', inplace=True)  # 清理一些非法值
+        df.replace(to_replace=['\\N', '-', '--', '', 'nan', 'NAN'], value='0', regex=False, inplace=True)  # 替换掉特殊字符
         df.replace(to_replace=[','], value='', regex=True, inplace=True)
         df.replace(to_replace=['="'], value='', regex=True, inplace=True)  # ="和"不可以放在一起清洗, 因为有: id=86785565
         df.replace(to_replace=['"'], value='', regex=True, inplace=True)
@@ -88,7 +88,7 @@ class DataFrameConverter(object):
             new_col = re.sub(r'_{2,}', '_', new_col)
             new_col = re.sub(r'_+$', '', new_col)
             df.rename(columns={col: new_col}, inplace=True)
-        # df.fillna(0, inplace=True)
+        df.fillna(0, inplace=True)
         return df
 
 

{mdbq-3.0.2 → mdbq-3.0.4}/mdbq/mysql/mysql.py

@@ -127,7 +127,7 @@ class MysqlUpload:
         return wrapper
 
     @try_except
-    def dict_to_mysql(self, db_name, table_name, dict_data, icm_update=None, main_key=None, unique_main_key=None, index_length=100, set_typ=None, default=True):
+    def dict_to_mysql(self, db_name, table_name, dict_data, icm_update=None, main_key=None, unique_main_key=None, index_length=100, set_typ=None):
         """
         插入字典数据
         dict_data： 字典
@@ -186,22 +186,7 @@ class MysqlUpload:
             if col_not_exist:  # 数据表中不存在的列
                 for col in col_not_exist:
                     #  创建列，需转义
-                    if default:
-                        if dtypes[col] == 'date':
-                            default = '2000-01-01'
-                        elif dtypes[col] == 'datetime' or dtypes[col] == 'timestamp':
-                            default = '2000-01-01 10:00:00'
-                        elif 'decimal' in dtypes[col]:
-                            default = 0.0
-                        elif 'int' in dtypes[col]:
-                            default = 0
-                        elif 'varchar' in dtypes[col] or 'text' in dtypes[col]:
-                            default = ''
-                        elif 'year' in dtypes[col]:
-                            default = '2000'
-                        sql = f"ALTER TABLE `{table_name}` ADD COLUMN `{col}` {dtypes[col]} NOT NULL DEFAULT '{default}';"
-                    else:
-                        sql = f"ALTER TABLE `{table_name}` ADD COLUMN `{col}` {dtypes[col]} NOT NULL;"
+                    sql = f"ALTER TABLE `{table_name}` ADD COLUMN `{col}` {dtypes[col]} NOT NULL;"
                     cursor.execute(sql)
                     print(f"添加列: {col}({dtypes[col]})")  # 添加列并指定数据类型
 
@@ -377,8 +362,8 @@ class MysqlUpload:
 
     def cover_df(self, df):
         """ 清理 df 的值和列名 """
-        df.replace([np.inf, -np.inf], '', inplace=True)  # 清理一些非法值
-        df.replace(to_replace=['\\N', '-', '--', '', 'nan', 'NAN'], value='', regex=False, inplace=True)  # 替换掉特殊字符
+        df.replace([np.inf, -np.inf], '0', inplace=True)  # 清理一些非法值
+        df.replace(to_replace=['\\N', '-', '--', '', 'nan', 'NAN'], value='0', regex=False, inplace=True)  # 替换掉特殊字符
         df.replace(to_replace=[','], value='', regex=True, inplace=True)
         df.replace(to_replace=['="'], value='', regex=True, inplace=True)  # ="和"不可以放在一起清洗, 因为有: id=86785565
         df.replace(to_replace=['"'], value='', regex=True, inplace=True)
@@ -402,7 +387,7 @@ class MysqlUpload:
             new_col = re.sub(r'_{2,}', '_', new_col)
             new_col = re.sub(r'_+$', '', new_col)
             df.rename(columns={col: new_col}, inplace=True)
-        # df.fillna(0, inplace=True)
+        df.fillna(0, inplace=True)
         return df
 
     def convert_df_dtypes(self, df: pd.DataFrame):
@@ -443,7 +428,7 @@ class MysqlUpload:
 
     # @try_except
     def df_to_mysql(self, df, db_name, table_name, set_typ=None, icm_update=[], move_insert=False, df_sql=False, drop_duplicates=False,
-                    filename=None, count=None, reset_id=False, default=None):
+                    filename=None, count=None, reset_id=False):
         """
         db_name: 数据库名
         table_name: 表名
@@ -514,22 +499,7 @@ class MysqlUpload:
             if col_not_exist:  # 数据表中不存在的列
                 for col in col_not_exist:
                     #  创建列，需转义
-                    if default:
-                        if dtypes[col] == 'date':
-                            default = '2000-01-01'
-                        elif dtypes[col] == 'datetime' or dtypes[col] == 'timestamp':
-                            default = '2000-01-01 10:00:00'
-                        elif 'decimal' in dtypes[col]:
-                            default = 0.0
-                        elif 'int' in dtypes[col]:
-                            default = 0
-                        elif 'varchar' in dtypes[col] or 'text' in dtypes[col]:
-                            default = ''
-                        elif 'year' in dtypes[col]:
-                            default = '2000'
-                        sql = f"ALTER TABLE `{table_name}` ADD COLUMN `{col}` {dtypes[col]} NOT NULL DEFAULT '{default}';"
-                    else:
-                        sql = f"ALTER TABLE `{table_name}` ADD COLUMN `{col}` {dtypes[col]} NOT NULL;"
+                    sql = f"ALTER TABLE `{table_name}` ADD COLUMN `{col}` {dtypes[col]} NOT NULL;"
                     cursor.execute(sql)
                     print(f"添加列: {col}({dtypes[col]})")  # 添加列并指定数据类型
 

{mdbq-3.0.2 → mdbq-3.0.4}/mdbq.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 3.0.2
+Version: 3.0.4
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-3.0.2 → mdbq-3.0.4}/setup.py

@@ -3,7 +3,7 @@
 from setuptools import setup, find_packages
 
 setup(name='mdbq',
-      version='3.0.2',
+      version='3.0.4',
       author='xigua, ',
       author_email="2587125111@qq.com",
       url='https://pypi.org/project/mdbq',