mdbq 4.0.6__py3-none-any.whl → 4.0.8__py3-none-any.whl

mdbq/__version__.py

@@ -1 +1 @@
-VERSION = '4.0.6'
+VERSION = '4.0.8'

mdbq/aggregation/query_data.py

@@ -180,21 +180,18 @@ class MysqlDatasQuery:
     从数据库中下载数据
     """
     def __init__(self, download_manager):
-        # target_service 从哪个服务器下载数据
         self.months = 0  # 下载几个月数据, 0 表示当月, 1 是上月 1 号至今
         self.download_manager = download_manager
-        self.update_service = True  # 调试时加，true: 将数据写入 mysql 服务器
         self.pf_datas = []
-        self.pf_datas_jd = []  # 京东聚合销售表
 
     @staticmethod
-    def try_except(func):  # 在类内部定义一个异常处理方法
+    def try_except(func):
         @wraps(func)
         def wrapper(*args, **kwargs):
             try:
                 return func(*args, **kwargs)
             except Exception as e:
-                logger.info('函数执行错误', {'函数': func.__name__, '错误': str(e)})  # 将异常信息返回
+                logger.info('函数执行错误', {'函数': func.__name__, '错误': str(e), 'args': args, 'kwargs': kwargs})
 
         return wrapper
 
@@ -227,7 +224,6 @@ class MysqlDatasQuery:
             )
             __res.append(df)
         df = pd.concat(__res, ignore_index=True)
-        
         df.rename(columns={
             '场景名字': '营销场景',
             '主体id': '商品id',
@@ -235,7 +231,6 @@ class MysqlDatasQuery:
             '总成交笔数': '成交笔数',
             '总成交金额': '成交金额'
         }, inplace=True)
-
         df = df.astype({
             '商品id': str,
             '花费': 'float64',
@@ -273,7 +268,7 @@ class MysqlDatasQuery:
                     '直接成交金额': ('直接成交金额', np.max)
                 }
             )
-        df.insert(loc=1, column='推广渠道', value='万相台无界版')  # df中插入新列
+        df.insert(loc=1, column='推广渠道', value='万相台无界版')
         set_typ = {
             '日期': 'date',
             '推广渠道': 'varchar(100)',
@@ -290,7 +285,7 @@ class MysqlDatasQuery:
             '直接成交笔数': 'int',
             '直接成交金额': 'decimal(12,2)',
         }
-
+        # 制作其他聚合表
         self.pf_datas.append(
             {
                 '集合名称': '天猫汇总表调用',
@@ -298,7 +293,7 @@ class MysqlDatasQuery:
                     ['日期', '店铺名称', '推广渠道', '营销场景', '商品id', '花费', '展现量', '点击量', '加购量',
                      '成交笔数', '成交金额', '直接成交笔数', '直接成交金额', '自然流量曝光量']]
             }
-        )  # 制作其他聚合表
+        )
         logger.info('正在更新数据库', {'主机': f'{host}:{port}', '库': db_name, '表': table_name})
         uld.upload_data(
             db_name=db_name,
@@ -720,23 +715,11 @@ class MysqlDatasQuery:
             __res.append(df)
         df = pd.concat(__res, ignore_index=True)
         df['宝贝id'] = df['宝贝id'].astype(str)
-        # df = df.groupby(['日期', '店铺名称', '宝贝id', '行业类目'], as_index=False).agg(
-        #     **{
-        #         '销售额': ('销售额', np.min),
-        #         '销售量': ('销售量', np.min),
-        #         '订单数': ('订单数', np.min),
-        #         '退货量': ('退货量', np.max),
-        #         '退款额': ('退款额', np.max),
-        #         '退款额_发货后': ('退款额_发货后', np.max),
-        #         '退货量_发货后': ('退货量_发货后', np.max),
-        #        }
-        # )
         # 仅保留最新日期的数据
         idx = df.groupby(['日期', '店铺名称', '宝贝id'])['更新时间'].idxmax()
         df = df.loc[idx]
         df = df[['日期', '店铺名称', '宝贝id', '行业类目', '销售额', '销售量', '订单数', '退货量', '退款额', '退款额_发货后', '退货量_发货后']]
-        df['件均价'] = df.apply(lambda x: x['销售额'] / x['销售量'] if x['销售量'] > 0 else 0, axis=1).round(
-            0)  # 两列运算, 避免除以0
+        df['件均价'] = np.where(df['销售量'] > 0, df['销售额'] / df['销售量'], 0).round(0)
         df['价格带'] = df['件均价'].apply(
             lambda x: '2000+' if x >= 2000
             else '1000+' if x >= 1000
@@ -850,8 +833,7 @@ class MysqlDatasQuery:
                     '直接成交金额': ('直接成交金额', np.max)
                 }
             )
-        df.insert(loc=1, column='推广渠道', value='万相台无界版')  # df中插入新列
-
+        df.insert(loc=1, column='推广渠道', value='万相台无界版')
         # 开始处理用户特征
         df_sx = self.download_manager.data_to_df(
             db_name='达摩盘3',
@@ -860,7 +842,7 @@ class MysqlDatasQuery:
             end_date=end_date,
             projection={'人群名称': 1, '消费能力等级': 1, '用户年龄': 1},
         )
-        df_sx['人群名称'] = df_sx['人群名称'].apply(lambda x: f'达摩盘：{x}')
+        df_sx['人群名称'] = '达摩盘：' + df_sx['人群名称']
         df_sx.rename(columns={'消费能力等级': '消费力层级'}, inplace=True)
         df = pd.merge(df, df_sx, left_on=['人群名字'], right_on=['人群名称'], how='left')
         df.pop('人群名称')
@@ -869,10 +851,8 @@ class MysqlDatasQuery:
         df['用户年龄'] = df['用户年龄'].apply(
             lambda x: "~".join(re.findall(r'(\d{2})\D.*(\d{2})岁', str(x))[0])
             if str(x) != 'nan' and re.findall(r'(\d{2})\D.*(\d{2})岁', str(x)) else x)
-
         # 1. 匹配 L后面接 2 个或以上数字，不区分大小写，示例：L345
         # 2. 其余情况，L 后面接多个数字的都会被第一条 if 命中，不区分大小写
-
         df['消费力层级'] = df.apply(
             lambda x:
             ''.join(re.findall(r'(l\d+)', x['人群名字'].upper(), re.IGNORECASE))
@@ -883,12 +863,10 @@ class MysqlDatasQuery:
             else 'L2' if re.findall(r'(l\d*2)', x['人群名字'], re.IGNORECASE) and str(x['消费力层级']) == 'nan'
             else 'L1' if re.findall(r'(l\d*1)', x['人群名字'], re.IGNORECASE) and str(x['消费力层级']) == 'nan'
             else x['消费力层级'], axis=1)
-
         # 1. 匹配连续的 4 个数字且后面不能接数字或"元"或汉字，筛掉的人群示例：月均消费6000元｜受众20240729175213｜xxx2024真皮公文包
         # 2. 匹配 2数字_2数字且前面不能是数字，合法匹配：人群_30_50_促； 非法示例：L345_3040 避免识别出 35～20 岁用户的情况
         # pattern = r'(\d{4})(?!\d|[\u4e00-\u9fa5])'  # 匹配 4 个数字，后面不能接数字或汉字
         # pattern = r'(?<![\d\u4e00-\u9fa5])(\d{4})' # 匹配前面不是数字或汉字的 4 个连续数字
-
         # 匹配 4 个数字，前面和后面都不能是数字或汉字
         pattern1 = r'(?<![\d\u4e00-\u9fa5])(\d{4})(?!\d|[\u4e00-\u9fa5])'
         # 匹配指定字符，前面不能是数字或 l 或 L 开头
@@ -909,8 +887,7 @@ class MysqlDatasQuery:
             else x
         )
         # 年龄层不能是 0 开头
-        df['用户年龄'] = df['用户年龄'].apply(
-            lambda x: '' if str(x).startswith('0') else x)
+        df['用户年龄'] = np.where(df['用户年龄'].astype(str).str.startswith('0'), '', df['用户年龄'])
         df['用户年龄'] = df['用户年龄'].apply(
             lambda x:
             re.sub(f'~50', '~49' ,str(x)) if '~50' in str(x) else
@@ -919,10 +896,6 @@ class MysqlDatasQuery:
             re.sub(r'\d{4}~', '', str(x)) if str(x) != 'nan' else
             x
         )
-        # df = df.head(1000)
-        # df.to_csv('/Users/xigua/Downloads/test.csv', index=False, header=True, encoding='utf-8_sig')
-        # breakpoint()
-
         # 下面是添加人群 AIPL 分类
         dir_file = f'\\\\192.168.1.198\\时尚事业部\\01.运营部\\0-电商周报-每周五更新\\分类配置文件.xlsx'
         dir_file2 = '/Volumes/时尚事业部/01.运营部/0-电商周报-每周五更新/分类配置文件.xlsx'
@@ -1080,7 +1053,6 @@ class MysqlDatasQuery:
             dir_file = dir_file2
         if os.path.isfile(dir_file):
             df_fl = pd.read_excel(dir_file, sheet_name='关键词分类', header=0)
-            # df_fl.rename(columns={'分类1': '词分类'}, inplace=True)
             df_fl = df_fl[['关键词', '词分类']]
             # 合并并获取词分类信息
             df = pd.merge(df, df_fl, left_on=['词名字_词包名字'], right_on=['关键词'], how='left')
@@ -1159,7 +1131,6 @@ class MysqlDatasQuery:
             return pd.DataFrame()
         return df
 
-
     @try_except
     @upload_data_decorator()
     def tg_cjzb(self, db_name='聚合数据', table_name='天猫_超级直播', is_maximize=True):
@@ -1207,7 +1178,6 @@ class MysqlDatasQuery:
                 if col not in cjzb_qzt.columns.tolist():
                     cjzb_qzt[col] = 0
             df = pd.concat([df, cjzb_qzt], ignore_index=True)
-
         df.rename(columns={
             '观看次数': '观看次数',
             '总购物车数': '加购量',
@@ -1283,7 +1253,6 @@ class MysqlDatasQuery:
             '直接成交金额': 'decimal(12,2)',
         }
         logger.info('正在更新数据库', {'主机': f'{host}:{port}', '库': db_name, '表': table_name})
-
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -1406,57 +1375,7 @@ class MysqlDatasQuery:
             'partition_date_column': '日期',  # 用于分表的日期列名，默认为'日期'
             'indexes': [],  # 普通索引列
             'transaction_mode': 'batch',  # 事务模式
-            'unique_keys': [['日期', '推广渠道', '店铺名称', '营销场景', '报表类型']],  # 唯一约束列表
-        }
-
-    @try_except
-    @upload_data_decorator()
-    def idbm_bak(self, db_name='聚合数据', table_name='商品id编码表'):
-        """ 用生意经日数据制作商品 id 和编码对照表 """
-        year = datetime.datetime.today().year
-        data_values = []
-        for year in range(2022, year+1):
-            data_values += self.download_manager.columns_to_list(
-                db_name='生意经3',
-                table_name=f'宝贝指标_{year}',
-                columns_name=['宝贝id', '商家编码', '行业类目'],
-            )
-        df = pd.DataFrame(data=data_values)
-        df['宝贝id'] = df['宝贝id'].astype(str)
-        df.drop_duplicates(subset='宝贝id', keep='last', inplace=True, ignore_index=True)
-        # df['行业类目'] = df['行业类目'].apply(lambda x: re.sub(' ', '', x))
-        try:
-            df[['一级类目', '二级类目', '三级类目']] = df['行业类目'].str.split(' -> ', expand=True).loc[:, 0:2]
-        except:
-            try:
-                df[['一级类目', '二级类目']] = df['行业类目'].str.split(' -> ', expand=True).loc[:, 0:1]
-            except:
-                df['一级类目'] = df['行业类目']
-        df.drop('行业类目', axis=1, inplace=True)
-        df.sort_values('宝贝id', ascending=False, inplace=True)
-        df = df[(df['宝贝id'] != '973') & (df['宝贝id'] != 973) & (df['宝贝id'] != '0')]
-        set_typ = {
-            '宝贝id': 'bigint',
-            '商家编码': 'varchar(100)',
-            '一级类目': 'varchar(100)',
-            '二级类目': 'varchar(100)',
-            '三级类目': 'varchar(100)',
-        }
-        logger.info('正在更新数据库', {'主机': f'{host}:{port}', '库': db_name, '表': table_name})
-        return df, {
-            'db_name': db_name,
-            'table_name': table_name,
-            'set_typ': set_typ,
-            'primary_keys': [],  # 创建唯一主键
-            'check_duplicate': False,  # 检查重复数据
-            'duplicate_columns': [],  # 指定排重的组合键
-            'update_on_duplicate': True,  # 更新旧数据
-            'allow_null': False,  # 允许插入空值
-            'partition_by': None,  # 分表方式
-            'partition_date_column': '日期',  # 用于分表的日期列名，默认为'日期'
-            'indexes': [],  # 普通索引列
-            'transaction_mode': 'batch',  # 事务模式
-            'unique_keys': [['宝贝id']],  # 唯一约束列表
+            'unique_keys': [['日期', '推广渠道', '店铺名称', '营销场景', '报表类型', '花费', '展现量']],  # 唯一约束列表
         }
 
     @try_except
@@ -1650,9 +1569,6 @@ class MysqlDatasQuery:
             end_date=end_date,
             projection=projection,
         )
-        # df.drop_duplicates(
-        #     subset=['日期', '店铺名称', '商品id', '商品访客数'], keep='last',
-        #     inplace=True, ignore_index=True)
         # 保留最新日期的数据
         idx = df.groupby(['日期', '店铺名称', '商品id'])['更新时间'].idxmax()
         df = df.loc[idx]
@@ -1691,7 +1607,6 @@ class MysqlDatasQuery:
         df['上市季节'] = df['上市年月'].apply(lambda x: check_jijie(x))
         p = df.pop('上市季节')
         df.insert(loc=9, column='上市季节', value=p)
-
         set_typ = {
             '商品id': 'BIGINT',
             '店铺名称': 'varchar(100)',
@@ -1784,7 +1699,6 @@ class MysqlDatasQuery:
             )
             __res.append(df)
         df = pd.concat(__res, ignore_index=True)
-        # df['日期'] = pd.to_datetime(df['日期'], format='%Y-%m-%d', errors='ignore')  # 转换日期列
         df = df.astype({'访客数': 'int64'}, errors='ignore')
         df = df[df['访客数'] > 0]
         df.drop_duplicates(subset=['日期', '店铺名称', '类别', '来源构成', '一级来源', '二级来源', '三级来源', '访客数'], keep='last', inplace=True, ignore_index=True)
@@ -1800,7 +1714,6 @@ class MysqlDatasQuery:
         df_visitor3['index'] = df_visitor3['index'] + 100
         df_visitor3.rename(columns={'index': '三级来源索引'}, inplace=True)
         df_visitor3 = df_visitor3[['三级来源', '三级来源索引']]
-
         # 包含二级来源名称和预设索引值列
         df_visitor2 = df[df['日期'] >= pd.to_datetime(last_month)]
         df_visitor2 = df_visitor2[(df_visitor2['二级来源'] != '汇总') & (df_visitor2['二级来源'] != '0')]
@@ -1810,7 +1723,6 @@ class MysqlDatasQuery:
         df_visitor2['index'] = df_visitor2['index'] + 100
         df_visitor2.rename(columns={'index': '二级来源索引'}, inplace=True)
         df_visitor2 = df_visitor2[['二级来源', '二级来源索引']]
-
         # 包含一级来源名称和预设索引值列
         df_visitor1 = df[df['日期'] >= pd.to_datetime(last_month)]
         df_visitor1 = df_visitor1[(df_visitor1['一级来源'] != '汇总') & (df_visitor1['一级来源'] != '0')]
@@ -1939,7 +1851,6 @@ class MysqlDatasQuery:
                     projection=projection,
                 )
             __res.append(df)
-
         df = pd.concat(__res, ignore_index=True)
         df = df.groupby(
             ['日期', '店铺名称', '产品线', '触发sku_id', '跟单sku_id', 'spu_id', '花费', '展现数', '点击数'],
@@ -2201,13 +2112,6 @@ class MysqlDatasQuery:
             __res.append(df)
         df = pd.concat(__res, ignore_index=True)
         df = df[df['商品id'] != '合计']
-        # df = df.groupby(['日期', '店铺名称', '商品id', '货号', '访客数', '成交客户数', '加购商品件数', '加购人数'],
-        #                 as_index=False).agg(
-        #     **{
-        #         '成交单量': ('成交单量', np.max),
-        #         '成交金额': ('成交金额', np.max),
-        #     }
-        # )
         # 仅保留最新日期的数据
         idx = df.groupby(['日期', '店铺名称', '商品id', '货号', '访客数', '成交客户数', '加购商品件数', '加购人数'])['更新时间'].idxmax()
         df = df.loc[idx]
@@ -2271,13 +2175,6 @@ class MysqlDatasQuery:
             __res.append(df)
         df = pd.concat(__res, ignore_index=True)
         df = df[df['商品id'] != '合计']
-        # df = df.groupby(['日期', '店铺名称', '商品id', '货号', '访客数', '成交客户数', '加购商品件数', '加购人数'],
-        #                 as_index=False).agg(
-        #     **{
-        #         '成交单量': ('成交单量', np.max),
-        #         '成交金额': ('成交金额', np.max),
-        #     }
-        # )
         # 仅保留最新日期的数据
         idx = df.groupby(['日期', '店铺名称', '商品id', '货号', '访客数', '成交客户数', '加购商品件数', '加购人数'])['更新时间'].idxmax()
         df = df.loc[idx]
@@ -2544,7 +2441,6 @@ class MysqlDatasQuery:
         df_jd = pd.DataFrame()  # 京东推广
         df_jd_qzyx = pd.DataFrame()  # 京东全站推广
         df_jd_ziying = pd.DataFrame()  # 京东推广
-
         start_date, end_date = self.months_data(num=self.months)
         projection = {
             '日期': 1,
@@ -2659,7 +2555,6 @@ class MysqlDatasQuery:
                     '成交金额': ('总成交金额', np.max)
                 }
             )
-
         #  天猫的全站推广包含在营销场景报表中，淘宝店不包含
         df_tb_qzt = pd.DataFrame()
         if '全站推广' not in df_tb['营销场景'].tolist():
@@ -2711,7 +2606,6 @@ class MysqlDatasQuery:
                     }
                 )
                 df_tb_qzt['营销场景'] = '全站推广'
-
         # 品销宝报表
         projection = {
             '日期': 1,
@@ -2750,7 +2644,6 @@ class MysqlDatasQuery:
             )
             df_tm_pxb.rename(columns={'报表类型': '营销场景', '消耗': '花费'}, inplace=True)
             df_tm_pxb['营销场景'] = '品销宝'
-
         # 因为 2024.04.16及之前的营销场景报表不含超级直播，所以在此添加
         if start_date < pd.to_datetime('2024-04-17'):
             projection = {
@@ -2788,7 +2681,7 @@ class MysqlDatasQuery:
                         '成交金额': ('总成交金额', np.max)
                     }
                 )
-
+        # 京东数据
         projection = {
             '日期': 1,
             '产品线': 1,
@@ -2832,7 +2725,6 @@ class MysqlDatasQuery:
             df_jd = df_jd[['日期', '店铺名称', '产品线', '花费', '展现数', '点击数', '加购量', '成交笔数', '成交金额']]
             df_jd.rename(columns={'产品线': '营销场景', '展现数': '展现量', '点击数': '点击量'}, inplace=True)
             df_jd = df_jd[df_jd['花费'] > 0]
-
         projection = {
             '日期': 1,
             '产品线': 1,
@@ -2867,7 +2759,7 @@ class MysqlDatasQuery:
             df_jd_qzyx.rename(columns={'产品线': '营销场景'}, inplace=True)
             df_jd_qzyx = df_jd_qzyx[['日期', '店铺名称', '营销场景', '花费', '展现量', '点击量', '成交笔数', '成交金额']]
             df_jd_qzyx = df_jd_qzyx[df_jd_qzyx['花费'] > 0]
-
+        # 京东自营店数据
         projection = {
             '日期': 1,
             '产品线': 1,
@@ -3045,7 +2937,6 @@ class MysqlDatasQuery:
         )
         idx = df.groupby(['日期', '店铺名称', 'spuid'])['更新时间'].idxmax()
         df = df.loc[idx]
-
         # 调整列顺序, 定义需要前置的列
         cols_to_move = ['日期','平台','店铺名称','品牌名','商品名称', '商品款号','spuid', '一级类目名称', '二级类目名称', '三级类目名称']
         # 生成新的列顺序：前置列 + 剩余列（保持原顺序）
@@ -3146,7 +3037,6 @@ class MysqlDatasQuery:
             '消费能力等级': 1,
             '用户性别': 1,
         }
-        # projection = {}
         df_crowd = self.download_manager.data_to_df(
             db_name='达摩盘3',
             table_name='我的人群属性',
@@ -3158,7 +3048,6 @@ class MysqlDatasQuery:
         df_crowd.drop_duplicates(subset=['人群id',], keep='last', inplace=True, ignore_index=True)
         df_crowd.pop('日期')
         df_crowd = df_crowd.astype({'人群id': 'int64'}, errors='ignore')
-
         projection = {}
         __res = []
         for year in range(2024, datetime.datetime.today().year + 1):
@@ -3178,8 +3067,6 @@ class MysqlDatasQuery:
         # 清除一些不必要的字符
         df['用户年龄'] = df['用户年龄'].apply(lambda x: '~'.join(re.findall(r'^(\d+).*-(\d+)岁$', str(x))[0]) if '岁' in str(x) else x)
         df['消费能力等级'] = df['消费能力等级'].apply(lambda x: f'L{''.join(re.findall(r'(\d)', str(x)))}' if '购买力' in str(x) else x)
-        # df.to_csv('/Users/xigua/Downloads/test3.csv', index=False, header=True, encoding='utf-8_sig')
-        # breakpoint()
         df.rename(columns={'消耗_元': '消耗'}, inplace=True)
         set_typ = {
             '日期': 'date',
@@ -3242,7 +3129,7 @@ class MysqlDatasQuery:
             'partition_date_column': '日期',  # 用于分表的日期列名，默认为'日期'
             'indexes': [],  # 普通索引列
             'transaction_mode': 'batch',  # 事务模式
-            'unique_keys': [['日期', '店铺名称', '人群id', '营销渠道', '计划基础信息']],  # 唯一约束列表
+            'unique_keys': [['日期', '店铺名称', '人群id', '营销渠道', '计划基础信息', '推广单元信息']],  # 唯一约束列表
         }
 
     @try_except
@@ -3416,7 +3303,6 @@ class MysqlDatasQuery:
         result_i = re.findall('_i$|_i_|^i_', str(keyword), re.IGNORECASE)
         result_p = re.findall('_p$|_p_|_pl|^p_||^pl_', str(keyword), re.IGNORECASE)
         result_l = re.findall('_l$|_l_|^l_', str(keyword), re.IGNORECASE)
-
         datas = [
             {
                 '类别': 'A',
@@ -3435,7 +3321,6 @@ class MysqlDatasQuery:
                 '值': result_l,
             }
         ]
-
         is_res = False
         for data in datas:
             if data['值']:
@@ -3568,7 +3453,6 @@ class MysqlDatasQuery:
                 '成交金额': ('成交金额', np.sum)
             }
         )
-
         zb.rename(columns={
             '观看次数': '点击量',
         }, inplace=True)
@@ -3596,16 +3480,13 @@ class MysqlDatasQuery:
             '直接成交金额': 'float64',
             '自然流量曝光量': 'int64',
         }, errors='raise')
-
         df = pd.concat([tg, zb, pxb], axis=0, ignore_index=True)
         df.fillna(0, inplace=True)  # concat 之后要填充空值
-        df = df.astype(
-            {
-                '商品id': str,
-                '自然流量曝光量': 'int64',
-        }
-        )
-        [df[col].apply(lambda x: '0' if str(x) == '' else x) for col in df.columns.tolist()]
+        df = df.astype({
+            '商品id': str,
+            '自然流量曝光量': 'int64',
+            })
+        df.replace(to_replace='', value=0, inplace=True)
         set_typ = {
             '日期': 'date',
             '店铺名称': 'varchar(100)',
@@ -3650,7 +3531,6 @@ def get_day_of_month(num):
     _, _lastDay = calendar.monthrange(months_ago.year, months_ago.month)  # 返回月的第一天的星期和当月总天数
     _firstDay = datetime.date(months_ago.year, months_ago.month, day=1).strftime('%Y-%m-%d')
     _lastDay = datetime.date(months_ago.year, months_ago.month, day=_lastDay).strftime('%Y-%m-%d')
-
     return _firstDay, _lastDay
 
 
@@ -3690,9 +3570,7 @@ def date_table():
         group['第n周_new'] = f'第{num}周'
         num += 1
         __res.append(group.copy())
-        # break
     df = pd.concat(__res, ignore_index=True)
-    # df['日期'] = df['日期'].apply(lambda x: pd.to_datetime(x))
     df['weekname'] = df['日期'].dt.day_name()
     dict_dt = {
         'Monday': '星期一',
@@ -3746,7 +3624,6 @@ def date_table():
 def query1(months=1, download_manager=None):
     sdq = MysqlDatasQuery(download_manager=download_manager)  # 实例化数据处理类
     sdq.months = months  # 设置数据周期， 1 表示近 2 个月
-
     # 依赖表  -- >>
     sdq.tg_wxt(db_name='聚合数据', table_name='天猫_主体报表')
     sdq.tg_cjzb(db_name='聚合数据', table_name='天猫_超级直播')
@@ -3792,7 +3669,6 @@ def query3(months=1, download_manager=None):
 def main(months=3):
     # 1. 更新日期表  更新货品年份基准表， 属性设置 3 - 货品年份基准
     date_table()
-
     # 2. 数据聚合
     download_manager = s_query.QueryDatas(
         username=username, 
@@ -3807,6 +3683,5 @@ def main(months=3):
 
 
 if __name__ == '__main__':
-    # main(months=3)
-
+    main(months=3)
     pass

mdbq/log/mylogger.py

@@ -11,18 +11,13 @@ from typing import Optional, Dict, Any, List, Callable
 import atexit
 import traceback
 import inspect
+import psutil
 
-try:
-    import psutil
-    HAS_PSUTIL = True
-except ImportError:
-    HAS_PSUTIL = False
 
 def get_caller_filename(default='mylogger'):
     stack = inspect.stack()
     for frame_info in stack:
         filename = frame_info.filename
-        # 跳过本日志库自身
         if not filename.endswith('mylogger.py'):
             return os.path.splitext(os.path.basename(filename))[0]
     return default
@@ -102,7 +97,6 @@ class MyLogger:
         self.name = name
         self.logging_mode = logging_mode.lower()
         self.log_level = log_level.upper()
-        # log_file 自动为 name+'.log'
         if log_file is None:
             self.log_file = os.path.join(log_path, f"{self.name}.log")
         else:
@@ -117,7 +111,7 @@ class MyLogger:
         self.buffer_size = buffer_size
         self.sample_rate = max(0.0, min(1.0, sample_rate))
         self.filters = filters or []
-        self.enable_metrics = enable_metrics and HAS_PSUTIL
+        self.enable_metrics = enable_metrics
         self.metrics_interval = metrics_interval
         self.message_limited = message_limited
         self.flush_interval = flush_interval
@@ -167,17 +161,14 @@ class MyLogger:
             self.old_context = {}
 
         def __enter__(self):
-            # 保存旧上下文并设置新上下文
             self.old_context = getattr(self.logger._context, 'data', {}).copy()
             self.logger._context.data.update(self.context_vars)
             return self.logger
 
         def __exit__(self, exc_type, exc_val, exc_tb):
-            # 恢复旧上下文
             self.logger._context.data = self.old_context
             if exc_type is not None:
-                self.logger.error(f"上下文内异常2: {exc_val}",
-                                  extra={'类型': str(exc_type)})
+                self.logger.error(f"上下文内异常2: {exc_val}", extra={'类型': str(exc_type)})
             return False
 
     def _init_logging(self):
@@ -185,15 +176,10 @@ class MyLogger:
         valid_levels = ['DEBUG', 'INFO', 'WARNING', 'ERROR', 'CRITICAL']
         if self.log_level not in valid_levels:
             self.log_level = 'INFO'
-
         self.logger.setLevel(self.log_level)
-
-        # 防止重复添加handler
         if self.logger.handlers:
             for handler in self.logger.handlers[:]:
                 self.logger.removeHandler(handler)
-
-        # 定义日志格式
         if self.log_format.lower() == 'simple':
             class SimpleFormatter(logging.Formatter):
                 def format(self, record):
@@ -255,14 +241,12 @@ class MyLogger:
             )
             file_handler.setFormatter(formatter)
             self._handlers.append(file_handler)
-
         if not self.enable_async:
             for handler in self._handlers:
                 self.logger.addHandler(handler)
 
     def _setup_async_logging(self):
-        # 标准库异步日志实现
-        self._log_queue = queue.Queue(maxsize=self.buffer_size)  # 无限长度，绝不阻塞
+        self._log_queue = queue.Queue(maxsize=self.buffer_size)
         queue_handler = logging.handlers.QueueHandler(self._log_queue)
         self.logger.addHandler(queue_handler)
         self._queue_listener = logging.handlers.QueueListener(
@@ -274,7 +258,6 @@ class MyLogger:
         """获取系统资源使用指标"""
         if not self.enable_metrics:
             return {}
-
         try:
             return {
                 '内存': {
@@ -301,8 +284,7 @@ class MyLogger:
                 }
             }
         except Exception as e:
-            self.logger.warning(f"无法采集系统性能指标: {e}",
-                                extra={'extra_data': {'metrics_error': str(e)}})
+            self.logger.warning(f"无法采集系统性能指标: {e}", extra={'extra_data': {'metrics_error': str(e)}})
             return {}
 
     def _apply_filters(self, level: str, message: str, extra: Dict) -> bool:
@@ -310,11 +292,11 @@ class MyLogger:
         for filter_func in self.filters:
             try:
                 if not filter_func(level, message, extra):
-                    return False  # 如果过滤器返回 False，则丢弃该日志
+                    return False
             except Exception as e:
                 self.logger.warning(f"过滤失败: {e}",
                                     extra={'extra_data': {'filter_error': str(e)}})
-        return True  # 所有过滤器都返回 True，则记录该日志
+        return True
 
     def log_error_handler(retry_times=0, fallback_level='error'):
         """
@@ -334,11 +316,10 @@ class MyLogger:
                     except Exception as e:
                         last_exception = e
                         if attempt < retry_times:
-                            time.sleep(0.1 * (attempt + 1))  # 简单的退避策略
+                            time.sleep(0.1 * (attempt + 1))
                             continue
 
                         try:
-                            # 降级处理
                             logging.basicConfig()
                             fallback_logger = logging.getLogger(f"{getattr(self, 'name', 'mylogger')}_fallback")
                             fallback_msg = f"[降级处理] {message}"[:1000]
@@ -359,23 +340,15 @@ class MyLogger:
         """同步日志记录（兼容异步，直接走logger）"""
         if not hasattr(self.logger, level.lower()):
             return
-
-        # message 仅接收字符串类型
         if not isinstance(message, str):
             message = str(message)
-
-        # 简化日志内容，避免过长
         if len(message) > self.message_limited:
             message = message[:self.message_limited] + '...'
-
-        # 定期收集系统指标
         if self.enable_metrics:
             now = time.time()
             if now - self._last_metrics_time > self.metrics_interval:
                 self._metrics_cache = self._get_system_metrics()
                 self._last_metrics_time = now
-
-        # 准备日志额外数据
         log_extra = {}
         if self.enable_metrics:
             log_extra['性能指标'] = self._metrics_cache
@@ -470,11 +443,8 @@ class MyLogger:
         """记录异常信息"""
         if not extra:
             extra = {}
-
-        # 使用inspect获取调用栈
         frame = inspect.currentframe()
         try:
-            # 向上追溯2层（1层是exception方法本身，2层是实际调用位置）
             caller_frame = frame.f_back.f_back
             extra.update({
                 'module': caller_frame.f_globals.get('__name__', ''),
@@ -486,9 +456,7 @@ class MyLogger:
                 '堆栈': self._format_traceback(exc_info)
             })
         finally:
-            del frame  # 避免循环引用
-
-        # 直接使用logger的error方法记录，保留原始调用栈
+            del frame
         self.log('error', message, extra)
 
     def _format_traceback(self, exc_info):
@@ -556,7 +524,6 @@ class MyLogger:
         """关闭日志记录器，确保所有日志被刷新"""
         if self.enable_async and self._queue_listener:
             self._queue_listener.stop()
-        # 关闭所有handler
         for handler in self.logger.handlers:
             try:
                 handler.close()
@@ -569,7 +536,6 @@ class MyLogger:
                 pass
 
 def main():
-    # 创建日志记录器
     logger = MyLogger(
         name='my_app',
         logging_mode='both',
@@ -579,14 +545,11 @@ def main():
         max_log_size=50,
         backup_count=5,
         enable_async=False,  # 是否启用异步日志
-        sample_rate=1,  # 采样50%的DEBUG/INFO日志
+        sample_rate=1,  # 采样DEBUG/INFO日志
         sensitive_fields=[],  #  敏感字段列表
         enable_metrics=False,  # 是否启用性能指标
     )
-
     logger.info('123')
-
-    # 确保所有日志被刷新
     logger.shutdown()
 
 

mdbq/mysql/s_query.py

@@ -68,15 +68,12 @@ class QueryDatas:
         self.connect_timeout = connect_timeout
         self.read_timeout = read_timeout
         self.write_timeout = write_timeout
-        
-        # 连接池状态监控
         self._pool_stats = {
             'last_health_check': None,
             'health_check_interval': 300,  # 5分钟检查一次
             'consecutive_failures': 0,  # 连续失败次数
             'max_consecutive_failures': 3  # 最大连续失败次数
         }
-        
         self.base_config = {
             'host': self.host,
             'port': int(self.port),
@@ -90,8 +87,6 @@ class QueryDatas:
             'write_timeout': write_timeout,
             'autocommit': True
         }
-        
-        # 创建连接池
         self.pool = self._create_connection_pool(maxconnections, mincached, maxcached)
 
     def _create_connection_pool(self, maxconnections: int, mincached: int, maxcached: int) -> PooledDB:
@@ -111,10 +106,7 @@ class QueryDatas:
         """
         if hasattr(self, 'pool') and self.pool is not None and self._check_pool_health():
             return self.pool
-            
         self.pool = None
-        
-        # 连接参数 - 这些参数会传递给底层的连接创建函数
         connection_params = {
             'host': self.host,
             'port': int(self.port),
@@ -128,8 +120,6 @@ class QueryDatas:
             'write_timeout': self.write_timeout,
             'autocommit': True
         }
-        
-        # 连接池参数
         pool_params = {
             'creator': pymysql,
             'maxconnections': maxconnections,
@@ -140,9 +130,7 @@ class QueryDatas:
             'setsession': [],
             'ping': 7
         }
-        
         try:
-            # 创建连接池，将连接参数作为kwargs传递
             pool = PooledDB(**pool_params, **connection_params)
             logger.debug('连接池创建成功', {
                 '连接池大小': maxconnections,
@@ -170,17 +158,11 @@ class QueryDatas:
         """
         if not self.pool:
             return False
-            
         current_time = time.time()
-        # 检查是否需要执行健康检查
         if (self._pool_stats['last_health_check'] is None or 
             current_time - self._pool_stats['last_health_check'] > self._pool_stats['health_check_interval']):
-            
             try:
-                # 更新健康检查时间
                 self._pool_stats['last_health_check'] = current_time
-                
-                # 检查连接是否可用
                 with self.pool.connection() as conn:
                     with conn.cursor() as cursor:
                         cursor.execute('SELECT 1')
@@ -192,12 +174,9 @@ class QueryDatas:
                                     '连续失败次数': self._pool_stats['consecutive_failures']
                                 })
                             return False
-                
-                # 重置连续失败计数
                 self._pool_stats['consecutive_failures'] = 0
                 logger.debug('连接池健康检查通过')
                 return True
-                
             except Exception as e:
                 self._pool_stats['consecutive_failures'] += 1
                 if self._pool_stats['consecutive_failures'] >= self._pool_stats['max_consecutive_failures']:
@@ -207,7 +186,6 @@ class QueryDatas:
                         '连续失败次数': self._pool_stats['consecutive_failures']
                     })
                 return False
-                
         return True
 
     @staticmethod
@@ -292,28 +270,23 @@ class QueryDatas:
             if self._pool_stats['consecutive_failures'] >= self._pool_stats['max_consecutive_failures']:
                 if not self._check_pool_health():
                     logger.warning('连接池不健康，尝试重新创建')
-                    # 使用默认值重新创建连接池
                     self.pool = self._create_connection_pool(10, 2, 5)
-                    # 重置连续失败计数
                     self._pool_stats['consecutive_failures'] = 0
             
             conn = self.pool.connection()
             if db_name:
-                # 使用原生pymysql连接来选择数据库
                 with conn.cursor() as cursor:
                     cursor.execute(f"USE `{db_name}`")
             return conn
         except pymysql.OperationalError as e:
             error_code = e.args[0] if e.args else None
-            if error_code in (2003, 2006, 2013):  # 连接相关错误
+            if error_code in (2003, 2006, 2013):
                 logger.error('数据库连接错误', {
                     '错误代码': error_code,
                     '错误信息': str(e),
                     '数据库': db_name
                 })
-                # 使用默认值重新创建连接池
                 self.pool = self._create_connection_pool(10, 2, 5)
-                # 重置连续失败计数
                 self._pool_stats['consecutive_failures'] = 0
                 raise ConnectionError(f'数据库连接错误: {str(e)}')
             else:
@@ -389,18 +362,14 @@ class QueryDatas:
         """
         if not date_str:
             return default_date
-            
-        # 记录尝试的日期格式
         attempted_formats = []
         try:
-            # 尝试多种日期格式
             for fmt in ['%Y-%m-%d', '%Y/%m/%d', '%Y%m%d', '%Y.%m.%d']:
                 try:
                     attempted_formats.append(fmt)
                     return pd.to_datetime(date_str, format=fmt).strftime('%Y-%m-%d')
                 except ValueError:
                     continue
-                    
             # 如果所有格式都失败，使用pandas的自动解析
             attempted_formats.append('auto')
             return pd.to_datetime(date_str).strftime('%Y-%m-%d')
@@ -429,27 +398,18 @@ class QueryDatas:
             处理后的日期范围元组 (start_date, end_date)，如果处理失败返回 (None, None)
         """
         try:
-            # 如果两个日期都未提供，返回None表示不进行日期过滤
             if start_date is None and end_date is None:
                 return None, None
-            
-            # 如果只提供了开始日期，结束日期设为今天
             if start_date is not None and end_date is None:
                 end_date = datetime.datetime.today().strftime('%Y-%m-%d')
                 logger.debug('未提供结束日期，使用当前日期', {'库': db_name, '表': table_name, '结束日期': end_date})
-            
-            # 如果只提供了结束日期，开始日期设为1970年
             if start_date is None and end_date is not None:
                 start_date = '1970-01-01'
                 logger.debug('未提供开始日期，使用默认日期', {'库': db_name, '表': table_name, '开始日期': start_date})
-            
-            # 格式化日期
             original_start = start_date
             original_end = end_date
             start_date = self.validate_and_format_date(start_date, '1970-01-01')
             end_date = self.validate_and_format_date(end_date, datetime.datetime.today().strftime('%Y-%m-%d'))
-            
-            # 如果日期格式被修改，记录日志
             if original_start != start_date:
                 logger.debug('开始日期格式已调整', {
                     '库': db_name,
@@ -543,12 +503,8 @@ class QueryDatas:
         if not cols_exist:
             logger.warning('表没有可用列')
             return []
-            
-        # 如果 projection 为 None、空字典或空列表，返回所有列
         if projection is None or projection == {} or projection == []:
             return list(cols_exist)
-            
-        # 验证列名是否包含特殊字符
         invalid_chars = set('`\'"\\')
         selected_columns = []
         for col in projection:
@@ -557,11 +513,9 @@ class QueryDatas:
                 continue
             if col in cols_exist and projection[col]:
                 selected_columns.append(col)
-                
         if not selected_columns:
             logger.info('参数不匹配，返回所有列', {'参数': projection})
             return list(cols_exist)
-            
         return selected_columns
 
     def _build_query_sql(self, db_name: str, table_name: str, selected_columns: List[str], 
@@ -960,10 +914,7 @@ def main():
     username, password, host, port = my_cont['username'], my_cont['password'], my_cont['host'], int(my_cont['port'])
     host = 'localhost'
     
-    # 创建QueryDatas实例
     qd = QueryDatas(username=username, password=password, host=host, port=port)
-    
-    # 执行查询
     df = qd.data_to_df('聚合数据', '店铺流量来源构成', limit=10)
     print(df)
 

mdbq/mysql/unique_.py

@@ -321,14 +321,14 @@ def main():
             #     "sku榜单": [['日期', '平台', '店铺名称', '条码']],
             #     "spu榜单": [['日期', '平台', '店铺名称', '商品款号', '访客量']],
             # },
-            "生意参谋3": {
-                # "crm成交客户": [['客户id']],
-                # "商品排行": [['日期', '店铺名称', '商品id']],
-                "流量来源构成": [['日期', '店铺名称', '来源构成', '类别', '一级来源', '二级来源', '三级来源']],
-                # "手淘搜索": [['日期', '店铺名称', '搜索词', '词类型', '访客数']],
-                # "新品追踪": [['日期', '店铺名称', '商品id']],
-                # "直播分场次效果": [['场次id']],
-            },
+            # "生意参谋3": {
+            #     "crm成交客户": [['客户id']],
+            #     "商品排行": [['日期', '店铺名称', '商品id']],
+            #     "流量来源构成": [['日期', '店铺名称', '来源构成', '类别', '一级来源', '二级来源', '三级来源']],
+            #     "手淘搜索": [['日期', '店铺名称', '搜索词', '词类型', '访客数']],
+            #     "新品追踪": [['日期', '店铺名称', '商品id']],
+            #     "直播分场次效果": [['场次id']],
+            # },
             # "生意经3": {
             #     "sku销量_按名称": [['日期', '店铺名称', '宝贝id', 'sku名称', '销售额']],
             #     "sku销量_按商家编码": [['日期', '店铺名称', '宝贝id', 'sku编码', '销售额']],

mdbq/mysql/uploader.py

@@ -19,7 +19,7 @@ import math
 warnings.filterwarnings('ignore')
 logger = mylogger.MyLogger(
     logging_mode='file',
-    log_level='debug',
+    log_level='info',
     log_format='json',
     max_log_size=50,
     backup_count=5,
@@ -46,7 +46,7 @@ def count_decimal_places(num_str: str) -> Tuple[int, int]:
 
 
 class StatementCache(dict):
-    """简单LRU缓存实现，用于SQL语句缓存"""
+    """LRU缓存实现，用于SQL语句缓存"""
     def __init__(self, maxsize=100):
         super().__init__()
         self._maxsize = maxsize
@@ -71,10 +71,10 @@ class StatementCache(dict):
 
 class MySQLUploader:
     """
-    MySQL数据上传工具类
+    MySQL数据上传
     
-    提供了一系列方法用于将数据上传到MySQL数据库，支持自动建表、分表、数据验证等功能。
-    使用连接池管理数据库连接，提供错误重试机制。
+    用于将数据上传到MySQL数据库，支持自动建表、分表、数据验证等功能。
+    使用连接池管理数据库连接。
     """
     def __init__(
             self,
@@ -128,9 +128,7 @@ class MySQLUploader:
         self._max_cached_statements = 100  # 用于控制 StatementCache 类中缓存的 SQL 语句数量，最多缓存 100 条 SQL 语句
         self._table_metadata_cache = {}
         self.metadata_cache_ttl = 300  # 5分钟缓存时间
-
-        # 创建连接池
-        self.pool = self._create_connection_pool()
+        self.pool = self._create_connection_pool()  # 创建连接池
 
     def _create_connection_pool(self) -> PooledDB:
         """
@@ -1204,6 +1202,9 @@ class MySQLUploader:
                 '失败': total_failed
             })
 
+        # 更新索引
+        self._update_indexes(db_name, table_name, indexes)
+
     @_execute_with_retry
     def _insert_data(
             self,
@@ -1496,25 +1497,6 @@ class MySQLUploader:
                             logger.error('单行插入失败', {'库': db_name, '表': table_name, '错误': str(e)})
         return total_inserted, total_skipped, total_failed
 
-    def close(self) -> None:
-        """
-        关闭连接池并清理资源
-        这个方法会安全地关闭数据库连接池，并清理相关资源。
-        建议结束时手动调用此方法。
-        :raises: 可能抛出关闭连接时的异常
-        """
-        try:
-            if hasattr(self, 'pool') and self.pool is not None:
-                try:
-                    # self.pool.close()  # PooledDB 没有 close 方法
-                    self.pool = None
-                except Exception as e:
-                    logger.warning('关闭连接池时出错', {'error': str(e)})
-                logger.debug('finished', {'uploader.py': '连接池关闭'})
-        except Exception as e:
-            logger.error('关闭连接池失败', {'uploader.py': str(e)})
-            raise
-
     def _check_pool_health(self) -> bool:
         """
         检查连接池健康状态，防止连接泄露
@@ -1587,12 +1569,6 @@ class MySQLUploader:
             # pandas DataFrame
             return f"DataFrame shape={obj.shape}, head={obj.head(1).to_dict()}"
         return obj
-    
-    def __enter__(self):
-        return self
-
-    def __exit__(self, exc_type, exc_val, exc_tb):
-        self.close()
 
     def _normalize_col(self, col: str) -> str:
         """
@@ -1601,6 +1577,112 @@ class MySQLUploader:
         safe = self._validate_identifier(col)
         return safe if self.case_sensitive else safe.lower()
 
+    def _update_indexes(self, db_name: str, table_name: str, indexes: Optional[List[str]]):
+        """
+        更新索引，避免重复添加或更新，同时注意大小写一致性。
+
+        :param db_name: 数据库名
+        :param table_name: 表名
+        :param indexes: 需要更新的索引列列表
+        """
+        if not indexes:
+            return
+
+        # 规范化索引列名
+        normalized_indexes = [self._normalize_col(idx) for idx in indexes]
+
+        # 获取现有索引
+        try:
+            existing_indexes = self._get_existing_indexes(db_name, table_name)
+        except Exception as e:
+            logger.error('获取现有索引时发生错误', {'库': db_name, '表': table_name, '错误': str(e)})
+            raise
+
+        # 获取表中现有的列名
+        try:
+            existing_columns = self._get_existing_indexes(db_name, table_name)
+        except Exception as e:
+            logger.error('获取现有列时发生错误', {'库': db_name, '表': table_name, '错误': str(e)})
+            raise
+
+        # 找出需要添加的索引
+        indexes_to_add = [idx for idx in normalized_indexes if idx not in existing_indexes and idx in existing_columns]
+
+        # 添加新索引
+        for idx in indexes_to_add:
+            try:
+                self._add_index(db_name, table_name, idx)
+            except Exception as e:
+                logger.error('添加索引时发生错误', {'库': db_name, '表': table_name, '列': idx, '错误': str(e)})
+                raise
+
+    def _get_existing_indexes(self, db_name: str, table_name: str) -> Set[str]:
+        """
+        获取表中现有的索引列名。
+
+        :param db_name: 数据库名
+        :param table_name: 表名
+        :return: 现有索引列名的集合
+        """
+        sql = """
+        SELECT COLUMN_NAME
+        FROM INFORMATION_SCHEMA.STATISTICS
+        WHERE TABLE_SCHEMA = %s AND TABLE_NAME = %s
+        """
+        existing_indexes = set()
+        try:
+            with self._get_connection() as conn:
+                with conn.cursor() as cursor:
+                    cursor.execute(sql, (db_name, table_name))
+                    existing_indexes = {row['COLUMN_NAME'] for row in cursor.fetchall()}
+        except Exception as e:
+            logger.error('获取现有索引失败', {'库': db_name, '表': table_name, '错误': str(e)})
+            raise
+        return existing_indexes
+
+    def _add_index(self, db_name: str, table_name: str, column: str):
+        """
+        添加索引到指定列。
+
+        :param db_name: 数据库名
+        :param table_name: 表名
+        :param column: 需要添加索引的列名
+        """
+        sql = f'ALTER TABLE `{db_name}`.`{table_name}` ADD INDEX `idx_{column}` (`{column}`)'
+        try:
+            with self._get_connection() as conn:
+                with conn.cursor() as cursor:
+                    cursor.execute(sql)
+            conn.commit()
+            logger.debug('已为列创建索引', {'库': db_name, '表': table_name, '列': column})
+        except Exception as e:
+            logger.error('创建索引失败', {'库': db_name, '表': table_name, '列': column, '错误': str(e)})
+            raise
+    
+    def __enter__(self):
+        return self
+
+    def close(self) -> None:
+        """
+        关闭连接池并清理资源
+        这个方法会安全地关闭数据库连接池，并清理相关资源。
+        建议结束时手动调用此方法。
+        :raises: 可能抛出关闭连接时的异常
+        """
+        try:
+            if hasattr(self, 'pool') and self.pool is not None:
+                try:
+                    self.pool = None
+                except Exception as e:
+                    logger.warning('关闭连接池时出错', {'error': str(e)})
+                logger.debug('finished', {'uploader.py': '连接池关闭'})
+        except Exception as e:
+            logger.error('关闭连接池失败', {'uploader.py': str(e)})
+            raise
+
+    def __exit__(self, exc_type, exc_val, exc_tb):
+        self.close()
+
 
 def main():
     dir_path = os.path.expanduser("~")

mdbq/redis/getredis.py

@@ -9,7 +9,6 @@ from mdbq.log import mylogger
 from decimal import Decimal
 import orjson
 
-# 获取当前模块的日志记录器
 logger = mylogger.MyLogger(
     logging_mode='file',
     log_level='info',

{mdbq-4.0.6.dist-info → mdbq-4.0.8.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.2
 Name: mdbq
-Version: 4.0.6
+Version: 4.0.8
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-4.0.6.dist-info → mdbq-4.0.8.dist-info}/RECORD

@@ -1,18 +1,18 @@
 mdbq/__init__.py,sha256=Il5Q9ATdX8yXqVxtP_nYqUhExzxPC_qk_WXQ_4h0exg,16
-mdbq/__version__.py,sha256=adjsrsRXzbHhnLKbu4FqmL5_f_7VZD0LhjX_Vvr0yOc,17
+mdbq/__version__.py,sha256=ctSY0gLLZnr9k_avSjRnC3qI18wZwhq3iBz504pEU14,17
 mdbq/aggregation/__init__.py,sha256=EeDqX2Aml6SPx8363J-v1lz0EcZtgwIBYyCJV6CcEDU,40
-mdbq/aggregation/query_data.py,sha256=3GBdX0HWKvQ-B3NiZE_hzWbJ7sqClzCd8KTvXpVPnZ4,170452
+mdbq/aggregation/query_data.py,sha256=86S_Iy3NNTkn-tNNLxlnwqDnXv3x3aHD1cCe1mL7jdg,165423
 mdbq/config/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
 mdbq/config/config.py,sha256=eaTfrfXQ65xLqjr5I8-HkZd_jEY1JkGinEgv3TSLeoQ,3170
 mdbq/log/__init__.py,sha256=Mpbrav0s0ifLL7lVDAuePEi1hJKiSHhxcv1byBKDl5E,15
-mdbq/log/mylogger.py,sha256=qBOHJK_h6R_SpfQ1yC5fAlJIEm6uro810i-47uA9C_U,22872
+mdbq/log/mylogger.py,sha256=9w_o5mYB3FooIxobq_lSa6oCYTKIhPxDFox-jeLtUHI,21714
 mdbq/log/spider_logging.py,sha256=-ozWWEGm3HVv604ozs_OOvVwumjokmUPwbaodesUrPY,1664
 mdbq/mysql/__init__.py,sha256=A_DPJyAoEvTSFojiI2e94zP0FKtCkkwKP1kYUCSyQzo,11
 mdbq/mysql/deduplicator.py,sha256=8v3MC6TJ0YEiExWrTP9OXAxTYnL9XbpYL2vWaER1h2M,73099
 mdbq/mysql/mysql.py,sha256=pDg771xBugCMSTWeskIFTi3pFLgaqgyG3smzf-86Wn8,56772
-mdbq/mysql/s_query.py,sha256=RnVCwMQ_n9PcAimbMWbHe9k8eil8shtCfa3LwLBZi6c,41909
-mdbq/mysql/unique_.py,sha256=LZKa1LXQdy_aO78ekO1Ul2MNA-k3Sz4-4W5nF2gD8AM,21068
-mdbq/mysql/uploader.py,sha256=b3BZ4ElGekqpUuipEc-49TQzPO-q9WBRF17MHbzY0yQ,75044
+mdbq/mysql/s_query.py,sha256=FSFrFZE5yzEbnpLrN2AmlRZ_VvTvfpIWaQUjZfLIi9g,40342
+mdbq/mysql/unique_.py,sha256=Wgqq_PjAAD757JTa10wjYaJgssZ_C_ypU6DW56jbuyw,21074
+mdbq/mysql/uploader.py,sha256=OtLWoGflmndc7z0A1aK1Qj-XVkWtGyN4Y5YnLsRovJc,78215
 mdbq/other/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
 mdbq/other/download_sku_picture.py,sha256=YU8DxKMXbdeE1OOKEA848WVp62jYHw5O4tXTjUdq9H0,44832
 mdbq/other/otk.py,sha256=iclBIFbQbhlqzUbcMMoePXBpcP1eZ06ZtjnhcA_EbmE,7241
@@ -22,10 +22,10 @@ mdbq/pbix/__init__.py,sha256=Trtfaynu9RjoTyLLYBN2xdRxTvm_zhCniUkVTAYwcjo,24
 mdbq/pbix/pbix_refresh.py,sha256=JUjKW3bNEyoMVfVfo77UhguvS5AWkixvVhDbw4_MHco,2396
 mdbq/pbix/refresh_all.py,sha256=OBT9EewSZ0aRS9vL_FflVn74d4l2G00wzHiikCC4TC0,5926
 mdbq/redis/__init__.py,sha256=YtgBlVSMDphtpwYX248wGge1x-Ex_mMufz4-8W0XRmA,12
-mdbq/redis/getredis.py,sha256=l3zBK7wrZl0oO42-_UGylyatnIp_SBw8wDDvof9fht4,23534
+mdbq/redis/getredis.py,sha256=vpBuNc22uj9Vr-_Dh25_wpwWM1e-072EAAIBdB_IpL0,23494
 mdbq/spider/__init__.py,sha256=RBMFXGy_jd1HXZhngB2T2XTvJqki8P_Fr-pBcwijnew,18
 mdbq/spider/aikucun.py,sha256=hPRzLQvFIF4ibN8aP3Dg_ru5meac90faPyzOB22cj-o,20965
-mdbq-4.0.6.dist-info/METADATA,sha256=-KRATxP5UjeBL5WgMG2Knbwtw_816ptxsAau2S88pck,363
-mdbq-4.0.6.dist-info/WHEEL,sha256=jB7zZ3N9hIM9adW7qlTAyycLYW9npaWKLRzaoVcLKcM,91
-mdbq-4.0.6.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
-mdbq-4.0.6.dist-info/RECORD,,
+mdbq-4.0.8.dist-info/METADATA,sha256=zmc_fzk3uaGju9Nby1Xvta_2po8NNOG7CM0TvvDIiuU,363
+mdbq-4.0.8.dist-info/WHEEL,sha256=jB7zZ3N9hIM9adW7qlTAyycLYW9npaWKLRzaoVcLKcM,91
+mdbq-4.0.8.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
+mdbq-4.0.8.dist-info/RECORD,,