mdbq 3.2.7__py3-none-any.whl → 3.2.9__py3-none-any.whl

mdbq/aggregation/aggregation.py

@@ -1171,9 +1171,9 @@ def upload_dir(path, db_name, collection_name, json_path=None):
             for col in df.columns.tolist():
                 df[col] = df[col].apply(lambda x: 0 if str(x) == '' else x)
 
-            # if '更新时间' not in df.columns.tolist():
-            #     df['更新时间'] = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')
-            #
+            if '更新时间' not in df.columns.tolist():
+                df['更新时间'] = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')
+
             m.df_to_mysql(df=df, db_name=db_name, table_name=collection_name,
                           move_insert=False,  # 先删除，再插入
                           df_sql = True,
@@ -1272,7 +1272,7 @@ def cut_as_year_month(as_month=False):
 
 
 if __name__ == '__main__':
-    cut_as_year_month(as_month=False)
+    # cut_as_year_month(as_month=False)
 
     # username = 'root'
     # password = ''
@@ -1281,22 +1281,22 @@ if __name__ == '__main__':
     #
     # # 上传 1 个文件到数据库
     # one_file_to_mysql(
-    #     file=r'/Users/xigua/Downloads/批量SKU导出-批量任务.xlsx',
+    #     file=r'/Users/xigua/Downloads/城市等级.csv',
     #     db_name='属性设置3',
-    #     table_name='京东商品属性',
+    #     table_name='城市等级',
     # )
 
 
-    # col = 1
-    # if col:
-    #     # 上传一个目录到指定数据库
-    #     db_name = '京东数据3'
-    #     table_name = '推广数据_京准通'
-    #     upload_dir(
-    #         path=r'/Users/xigua/数据中心/原始文件3/京东报表/推广报表',
-    #         db_name=db_name,
-    #         collection_name=table_name,
-    #     )
+    col = 1
+    if col:
+        # 上传一个目录到指定数据库
+        db_name = '爱库存2'
+        table_name = '商品spu榜单'
+        upload_dir(
+            path=r'/Users/xigua/Downloads/数据上传中心',
+            db_name=db_name,
+            collection_name=table_name,
+        )
 
 
 

mdbq/aggregation/query_data.py

@@ -6,6 +6,7 @@ from mdbq.mysql import s_query
 from mdbq.aggregation import optimize_data
 from mdbq.config import myconfig
 from mdbq.config import products
+from mdbq.config import set_support
 import datetime
 from dateutil.relativedelta import relativedelta
 import pandas as pd
@@ -18,10 +19,12 @@ import os
 import time
 import calendar
 import concurrent.futures
+import traceback
 
 """
 
 """
+error_file = os.path.join(set_support.SetSupport(dirname='support').dirname, 'error.log')
 username, password, host, port, service_database = None, None, None, None, None,
 if socket.gethostname() in ['xigua_lx', 'xigua1', 'MacBookPro']:
     conf = myconfig.main()
@@ -65,6 +68,12 @@ class MysqlDatasQuery:
                 return func(*args, **kwargs)
             except Exception as e:
                 print(f'{func.__name__}, {e}')  # 将异常信息返回
+                with open(error_file, 'a') as f:
+                    now = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')
+                    f.write(f'\n{now}\n')
+                    # f.write(f'报错的文件:\n{e.__traceback__.tb_frame.f_globals["__file__"]}\n')  # 发生异常所在的文件
+                traceback.print_exc(file=open(error_file, 'a'))  # 返回完整的堆栈信息
+                print(f'更多信息请查看日志文件: {error_file}')
 
         return wrapper
 
@@ -1825,22 +1834,52 @@ class MysqlDatasQuery:
         }
         min_date = df['日期'].min()
         max_date = df['日期'].max()
+        new_dict = {
+            '日期': '',
+            '店铺名称': '',
+            '场次信息': '',
+            '场次id': '',
+            '直播开播时间': '',
+            '开播时长': '',
+            '封面图点击率': '',
+            '观看人数': '',
+            '观看次数': '',
+            '新增粉丝数': '',
+            '流量券消耗': '',
+            '观看总时长': '',
+            '人均观看时长': '',
+            '次均观看时长': '',
+            '商品点击人数': '',
+            '商品点击次数': '',
+            '商品点击率': '',
+            '加购人数': '',
+            '加购件数': '',
+            '加购次数': '',
+            '成交金额': '',
+            '成交人数': '',
+            '成交件数': '',
+            '成交笔数': '',
+            '成交转化率': '',
+            '退款人数': '',
+            '退款笔数': '',
+            '退款件数': '',
+            '退款金额': '',
+            '预售定金支付金额': '',
+            '预售预估总金额': '',
+        }
         now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
         print(f'{now} 正在更新: mysql ({host}:{port}) {db_name}/{table_name} -> {min_date}~{max_date}')
-        m_engine.df_to_mysql(
-            df=df,
-            db_name=db_name,
-            table_name=table_name,
-            icm_update=['场次id'],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=False,  # 先删除，再插入
-            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
-            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
-            count=None,
-            filename=None,  # 用来追踪处理进度
-            reset_id=False,  # 是否重置自增列
-            set_typ=set_typ,
-            
-        )
+        for dict_data in df.to_dict(orient='records'):
+            new_dict.update(dict_data)
+            m_engine.dict_to_mysql(
+                db_name=db_name,
+                table_name=table_name,
+                dict_data=new_dict,
+                unique_main_key=None,
+                icm_update=['场次id'],  # 唯一组合键
+                main_key=None,  # 指定索引列, 通常用日期列，默认会设置日期为索引
+                set_typ=set_typ,  # 指定数据类型
+            )
         return True
 
     # @try_except
@@ -2234,29 +2273,61 @@ class MysqlDatasQuery:
         set_typ = {
             '日期': 'date',
             '店铺名称': 'varchar(100)',
-            '序号': 'int',
             'spu_id': 'varchar(100)',
             '图片': 'varchar(255)',
+            '序号': 'smallint',
+            '商品名称': 'varchar(255)',
+            '商品款号': 'varchar(255)',
+            '一级类目名称': 'varchar(255)',
+            '二级类目名称': 'varchar(255)',
+            '三级类目名称': 'varchar(255)',
             '数据更新时间': 'timestamp',
+            '更新时间': 'timestamp',
         }
         min_date = df['日期'].min()
         max_date = df['日期'].max()
         now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
         print(f'{now} 正在更新: mysql ({host}:{port}) {db_name}/{table_name} -> {min_date}~{max_date}')
-        m_engine.df_to_mysql(
-            df=df,
-            db_name=db_name,
-            table_name=table_name,
-            icm_update=[],  # 增量更新, 在聚合数据中使用，其他不要用
-            move_insert=True,  # 先删除，再插入
-            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
-            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
-            count=None,
-            filename=None,  # 用来追踪处理进度
-            reset_id=False,  # 是否重置自增列
-            set_typ=set_typ,
-            
-        )
+        new_dict = {
+            '日期': '',
+            '店铺名称': '',
+            '序号': '',
+            '商品名称': '',
+            'spu_id': '',
+            '商品款号': '',
+            '一级类目名称': '',
+            '二级类目名称': '',
+            '三级类目名称': '',
+            '访客量': '',
+            '浏览量': '',
+            '下单gmv': '',
+            '成交gmv': '',
+            '支付人数_成交': '',
+        }
+        for dict_data in df.to_dict(orient='records'):
+            new_dict.update(dict_data)
+            m_engine.dict_to_mysql(
+                db_name='爱库存2',
+                table_name='商品spu榜单',
+                dict_data=new_dict,
+                icm_update=['日期', '店铺名称', 'spu_id', '商品款号'],
+                unique_main_key=None,
+                set_typ=set_typ,
+            )
+        # m_engine.df_to_mysql(
+        #     df=df,
+        #     db_name=db_name,
+        #     table_name=table_name,
+        #     icm_update=[],  # 增量更新, 在聚合数据中使用，其他不要用
+        #     move_insert=True,  # 先删除，再插入
+        #     df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+        #     drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+        #     count=None,
+        #     filename=None,  # 用来追踪处理进度
+        #     reset_id=False,  # 是否重置自增列
+        #     set_typ=set_typ,
+        #
+        # )
         return True
 
     def deeplink(self, db_name='聚合数据', table_name='达摩盘_deeplink人群洞察'):
@@ -3227,10 +3298,10 @@ def main(days=150, months=3):
 
 
 if __name__ == '__main__':
-    main(
-        days=150,  # 清理聚合数据的日期长度
-        months=3  # 生成聚合数据的长度
-    )
+    # main(
+    #     days=150,  # 清理聚合数据的日期长度
+    #     months=3  # 生成聚合数据的长度
+    # )
 
     # query_list = [query1, query2]
     # # 使用 ThreadPoolExecutor 来并行运行
@@ -3244,10 +3315,10 @@ if __name__ == '__main__':
     #             ),
     #         }
 
-    # # 3. 清理聚合数据
-    # optimize_data.op_data(
-    #     db_name_lists=['聚合数据'],
-    #     days=180,  # 清理聚合数据的日期长度
-    #     is_mongo=False,
-    #     is_mysql=True,
-    # )
+    # 3. 清理聚合数据
+    optimize_data.op_data(
+        db_name_lists=['聚合数据'],
+        days=3650,  # 清理聚合数据的日期长度
+        is_mongo=False,
+        is_mysql=True,
+    )

mdbq/mysql/mysql.py

@@ -12,7 +12,9 @@ import pandas as pd
 from sqlalchemy import create_engine
 import os
 import calendar
+from mdbq.config import set_support
 from mdbq.config import myconfig
+import traceback
 
 warnings.filterwarnings('ignore')
 """
@@ -25,6 +27,7 @@ warnings.filterwarnings('ignore')
 3. 小数必须使用 decimal, 禁止 float 和 double, 因为计算精度差异，后续需要聚合数据时会引发很多问题
 
 """
+error_file = os.path.join(set_support.SetSupport(dirname='support').dirname, 'error.log')
 
 
 def is_valid_date(date_string):
@@ -112,6 +115,12 @@ class MysqlUpload:
                 return func(*args, **kwargs)
             except Exception as e:
                 print(f'{func.__name__}, {e}')  # 将异常信息返回
+                with open(error_file, 'a') as f:
+                    now = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')
+                    f.write(f'\n{now}\n')
+                    # f.write(f'报错的文件:\n{e.__traceback__.tb_frame.f_globals["__file__"]}\n')  # 发生异常所在的文件
+                traceback.print_exc(file=open(error_file, 'a'))  # 返回完整的堆栈信息
+                print(f'更多信息请查看日志文件: {error_file}')
 
         return wrapper
 
@@ -127,6 +136,10 @@ class MysqlUpload:
         set_typ: {}
         allow_not_null: 创建允许插入空值的列，正常情况下不允许空值
         """
+        if icm_update:
+            if main_key or unique_main_key:
+                print(f'icm_update/unique_main_key/unique_main_key 参数不能同时设定')
+                return
         if not main_key:
             main_key = []
         if not unique_main_key:
@@ -196,6 +209,7 @@ class MysqlUpload:
                     else:
                         sql = f"ALTER TABLE `{table_name}` ADD COLUMN `{col}` {dtypes[col]} NOT NULL;"
                     # sql = f"ALTER TABLE `{table_name}` ADD COLUMN `{col}` {dtypes[col]} NOT NULL;"
+                    # print(sql)
                     cursor.execute(sql)
                     print(f"添加列: {col}({dtypes[col]})")  # 添加列并指定数据类型
 
@@ -458,6 +472,15 @@ class MysqlUpload:
         filename: 用来追踪处理进度，传这个参数是方便定位产生错误的文件
         allow_not_null: 创建允许插入空值的列，正常情况下不允许空值
         """
+        if icm_update:
+            if move_insert or df_sql or drop_duplicates:
+                print(f'icm_update/move_insert/df_sql/drop_duplicates 参数不能同时设定')
+                return
+        if move_insert:
+            if icm_update or df_sql or drop_duplicates:
+                print(f'icm_update/move_insert/df_sql/drop_duplicates 参数不能同时设定')
+                return
+
         self.filename = filename
         if isinstance(df, pd.DataFrame):
             if len(df) == 0:
@@ -861,6 +884,12 @@ class OptimizeDatas:
                 return func(*args, **kwargs)
             except Exception as e:
                 print(f'{func.__name__}, {e}')  # 将异常信息返回
+                with open(error_file, 'a') as f:
+                    now = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')
+                    f.write(f'\n{now}\n')
+                    # f.write(f'报错的文件:\n{e.__traceback__.tb_frame.f_globals["__file__"]}\n')  # 发生异常所在的文件
+                traceback.print_exc(file=open(error_file, 'a'))  # 返回完整的堆栈信息
+                print(f'更多信息请查看日志文件: {error_file}')
 
         return wrapper
 
@@ -1162,9 +1191,3 @@ if __name__ == '__main__':
     data = conf['Windows']['xigua_lx']['mysql']['local']
     username, password, host, port = data['username'], data['password'], data['host'], data['port']
     print(username, password, host, port)
-
-    df = pd.read_excel('/Users/xigua/Downloads/66563857.xlsx')
-    ss = MysqlUpload(username, password, host, port)
-    res, data = ss.convert_df_dtypes(df=df)
-    print(data)
-    print(res)

mdbq/spider/aikucun.py

@@ -108,7 +108,29 @@ def get_cookie_aikucun():
     time.sleep(0.1)
     _driver.maximize_window()  # 窗口最大化 方便后续加载数据
     print(f'请登录并切换到百宝箱，再保存 cookies: \n https://treasurebox.aikucun.com/dashboard/commodity/ranking/merchant?LS=true&shopId=1814114991487782914&from=menu&v=0.1936043279838604')
-    breakpoint()
+    wait = WebDriverWait(_driver, timeout=15)
+    input_box = wait.until(
+        EC.element_to_be_clickable(
+            (By.XPATH, '//input[@placeholder="请输入用户名"]')))  #
+    input_box.send_keys('广东万里马实业股份有限公司')
+    input_box = wait.until(
+        EC.element_to_be_clickable(
+            (By.XPATH, '//input[@placeholder="请输入密码"]')))  #
+    input_box.send_keys('wlm123$$$')
+    time.sleep(0.1)
+    elements = _driver.find_elements(
+        By.XPATH, '//button[@class="merchant_login_btn" and contains(text(), "登录")]')
+    _driver.execute_script("arguments[0].click();", elements[0])
+    for i in range(100):
+        try:
+            wait.until(
+                EC.element_to_be_clickable(
+                    (By.XPATH, '//div[@class="user-info nav-user-slider"]')))
+            _driver.get(' https://treasurebox.aikucun.com/dashboard/commodity/ranking/merchant?LS=true&shopId=1814114991487782914&from=menu&v=0.1936043279838604')
+            time.sleep(3)
+            break
+        except:
+            time.sleep(5)
 
     d_time = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')
     print(f'{d_time} 登录成功，正在获取cookie...')
@@ -116,13 +138,16 @@ def get_cookie_aikucun():
 
     # 将cookies保存为json格式
     cookies_list = _driver.get_cookies()
+    new_cookies_list = []
     for cookie in cookies_list:
         # 该字段有问题所以删除就可以
-        if 'expiry' in cookie:
-            del cookie['expiry']
+        if 'HWWAFSESTIME' in cookie:
+            continue
+        else:
+            new_cookies_list.append(cookie)
     json_file = os.path.join(cookie_path, filename_aikucun)
     with open(json_file, 'w', encoding='utf-8') as f:
-        json.dump(cookies_list, f, ensure_ascii=False, sort_keys=True, indent=4)
+        json.dump(new_cookies_list, f, ensure_ascii=False, sort_keys=True, indent=4)
     print(f'cookie已保存: {json_file}')
 
     # _file = os.path.join(cookie_path, filename_aikucun)
@@ -147,9 +172,10 @@ class AikuCun:
         self.sp_url = 'https://treasurebox.aikucun.com/dashboard/commodity/ranking/merchant?LS=true&shopId=1814114991487782914&from=menu&v=0.1936043279838604'
         self.cookie_path = os.path.join(set_support.SetSupport(dirname='support').dirname, 'cookies')
 
-    def login(self, shop_name='aikucun'):
+    def login(self, shop_name='aikucun', headless=False):
         option = webdriver.ChromeOptions()
-        option.add_argument("--headless")  # 设置无界面模式
+        if headless:
+            option.add_argument("--headless")  # 设置无界面模式
         # 调整chrome启动配置
         option.add_argument("--disable-gpu")
         option.add_argument("--no-sandbox")
@@ -224,13 +250,13 @@ class AikuCun:
         time.sleep(3)
         return _driver
 
-    def get_data(self, shop_name='aikucun', date_num=1):
+    def get_data(self, shop_name='aikucun', date_num=1, headless=True):
         """
         date_num: 获取最近 N 天数据，0表示今天
         所有数据都是逐日下载
         """
 
-        _driver = self.login(shop_name=shop_name)
+        _driver = self.login(shop_name=shop_name, headless=headless)
 
         _driver.get(self.sp_url)
         time.sleep(3)
@@ -239,7 +265,8 @@ class AikuCun:
         today = datetime.date.today()
         for date_s in range(date_num):
             new_date = today - datetime.timedelta(days=date_s)  # 会用作文件名
-            print(f'正在下载爱库存文件 {date_s+1}/{date_num}: {new_date}')
+            now = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')
+            print(f'{now} 正在下载爱库存文件 {date_s+1}/{date_num}: {new_date}')
             str_date = str(new_date)[2:]
             wait = WebDriverWait(_driver, timeout=15)  #
             elements = _driver.find_elements(
@@ -273,6 +300,15 @@ class AikuCun:
             wait.until(EC.presence_of_element_located(
                 (By.XPATH,
                  '//button[@class="el-button el-button--primary el-button--small is-plain"]/span[contains(text(), "下载数据")]')))
+
+            elements = _driver.find_elements(
+                By.XPATH,
+                '//div[@class="ak-page-list__table-empty" and contains(text(), "暂无数据")]')
+            if elements:
+                print(f'cookies 可能已过期，无法下载')
+                _driver.quit()
+                return
+
             elements = _driver.find_elements(
                 By.XPATH,
                 '//button[@class="el-button el-button--primary el-button--small is-plain"]/span[contains(text(), "下载数据")]')
@@ -283,10 +319,18 @@ class AikuCun:
 
     def clean_data(self, date):
         set_typ = {
+            '日期': 'date',
             '店铺名称': 'varchar(100)',
             'spu_id': 'varchar(100)',
             '图片': 'varchar(255)',
+            '序号': 'smallint',
+            '商品名称': 'varchar(255)',
+            '商品款号': 'varchar(255)',
+            '一级类目名称': 'varchar(255)',
+            '二级类目名称': 'varchar(255)',
+            '三级类目名称': 'varchar(255)',
             '数据更新时间': 'timestamp',
+            '更新时间': 'timestamp',
         }
         for root, dirs, files in os.walk(upload_path, topdown=False):
             for name in files:
@@ -307,33 +351,60 @@ class AikuCun:
                     df.insert(loc=0, column='日期', value=date)  # df中插入新列
                     df.insert(loc=1, column='店铺名称', value='爱库存平台')  # df中插入新列
                     df.rename(columns={'spuId': 'spu_id'}, inplace=True)
-                    df['数据更新时间'] = pd.to_datetime(df['数据更新时间'], format='%Y-%m-%d %H:%M:%S', errors='ignore')
+                    # df['数据更新时间'] = pd.to_datetime(df['数据更新时间'], format='%Y-%m-%d %H:%M:%S', errors='ignore')
                     # df['数据更新时间'] = df['数据更新时间'].apply(lambda x: re.sub('  ', ' ', str(x)) if x else x)
                     # print(df['数据更新时间'])
                     # breakpoint()
-
-                    m_engine.df_to_mysql(
-                        df=df,
-                        db_name='爱库存2',
-                        table_name='商品spu榜单',
-                        icm_update=[],  # 增量更新, 在聚合数据中使用，其他不要用
-                        move_insert=False,  # 先删除，再插入
-                        df_sql=True,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
-                        drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
-                        count=None,
-                        filename=None,  # 用来追踪处理进度
-                        reset_id=False,  # 是否重置自增列
-                        set_typ=set_typ,
-                    )
+                    new_dict = {
+                        '日期': '',
+                        '店铺名称': '',
+                        '序号': '',
+                        '商品名称': '',
+                        'spu_id': '',
+                        '商品款号': '',
+                        '一级类目名称': '',
+                        '二级类目名称': '',
+                        '三级类目名称': '',
+                        '访客量': '',
+                        '浏览量': '',
+                        '下单gmv': '',
+                        '成交gmv': '',
+                        '支付人数_成交': '',
+                    }
+                    for dict_data in df.to_dict(orient='records'):
+                        new_dict.update(dict_data)
+                        new_dict.update({'更新时间': datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')})
+                        m_engine.dict_to_mysql(
+                            db_name='爱库存2',
+                            table_name='商品spu榜单',
+                            dict_data=new_dict,
+                            icm_update=['日期', '店铺名称', 'spu_id', '商品款号'],
+                            unique_main_key=None,
+                            set_typ=set_typ,
+                        )
+
+                    # m_engine.df_to_mysql(
+                    #     df=df,
+                    #     db_name='爱库存2',
+                    #     table_name='商品spu榜单',
+                    #     icm_update=[],  # 增量更新, 在聚合数据中使用，其他不要用
+                    #     move_insert=False,  # 先删除，再插入
+                    #     df_sql=True,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+                    #     drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+                    #     count=None,
+                    #     filename=None,  # 用来追踪处理进度
+                    #     reset_id=False,  # 是否重置自增列
+                    #     set_typ=set_typ,
+                    # )
 
                     new_name = f'爱库存_商品榜单_spu_{date}_{date}.csv'
                     df.to_csv(os.path.join(root, new_name), encoding='utf-8_sig', index=False)
                     os.remove(os.path.join(root, name))
 
 
-def akucun():
+def akucun(headless=True, date_num=10):
     akc = AikuCun()
-    akc.get_data(shop_name='aikucun', date_num=10)  # 获取最近 N 天数据，0表示今天
+    akc.get_data(shop_name='aikucun', date_num=date_num, headless=headless)  # 获取最近 N 天数据，0表示今天
     # akc.clean_data()
 
     # # 新版 数据分类
@@ -404,9 +475,8 @@ class AikuCunNew:
 
 
 if __name__ == '__main__':
-    pass
-    get_cookie_aikucun()
-    akucun()
+    # get_cookie_aikucun()  # 登录并获取 cookies
+    akucun(date_num=100, headless=True)  # 下载数据
 
     # a = AikuCunNew(shop_name='aikucun')
     # a.akc()

{mdbq-3.2.7.dist-info → mdbq-3.2.9.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 3.2.7
+Version: 3.2.9
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-3.2.7.dist-info → mdbq-3.2.9.dist-info}/RECORD

@@ -1,11 +1,11 @@
 mdbq/__init__.py,sha256=Il5Q9ATdX8yXqVxtP_nYqUhExzxPC_qk_WXQ_4h0exg,16
 mdbq/__version__.py,sha256=y9Mp_8x0BCZSHsdLT_q5tX9wZwd5QgqrSIENLrb6vXA,62
 mdbq/aggregation/__init__.py,sha256=EeDqX2Aml6SPx8363J-v1lz0EcZtgwIBYyCJV6CcEDU,40
-mdbq/aggregation/aggregation.py,sha256=ltYntRjxeN9YX1uTR2_zoYEik2PVPD70xAF98d4TcAo,74732
+mdbq/aggregation/aggregation.py,sha256=ygQYYbxTn7utNPgwiz6MmBSWlq5JrXB-2NU0V75b6Us,74640
 mdbq/aggregation/df_types.py,sha256=U9i3q2eRPTDY8qAPTw7irzu-Tlg4CIySW9uYro81wdk,8125
 mdbq/aggregation/mysql_types.py,sha256=YTGyrF9vcRgfkQbpT-e-JdJ7c7VF1dDHgyx9YZRES8w,10934
 mdbq/aggregation/optimize_data.py,sha256=RXIv7cACCgYyehAxMjUYi_S7rVyjIwXKWMaM3nduGtA,3068
-mdbq/aggregation/query_data.py,sha256=Q7_brR_9BMc4HDluPmkvrApGFtUCnXReVYJnRQcSOLI,145414
+mdbq/aggregation/query_data.py,sha256=yU-PUMY5mTKAhGTH9yCe897MzSRme2toCJBqXaUrJUQ,148223
 mdbq/aggregation/query_data_bak.py,sha256=r1FU0C4zjXln7oVSrRkElh4Ehl-9mYhGcq57jLbViUA,104071
 mdbq/aggregation/query_data_bak20241124.py,sha256=oY95ZK3qt3Wx9pdZKZ5cvDh45Yi5yGj1kl8G6riumHA,144513
 mdbq/bdup/__init__.py,sha256=AkhsGk81SkG1c8FqDH5tRq-8MZmFobVbN60DTyukYTY,28
@@ -28,7 +28,7 @@ mdbq/log/mylogger.py,sha256=oaT7Bp-Hb9jZt52seP3ISUuxVcI19s4UiqTeouScBO0,3258
 mdbq/mongo/__init__.py,sha256=SILt7xMtQIQl_m-ik9WLtJSXIVf424iYgCfE_tnQFbw,13
 mdbq/mongo/mongo.py,sha256=v9qvrp6p1ZRWuPpbSilqveiE0FEcZF7U5xUPI0RN4xs,31880
 mdbq/mysql/__init__.py,sha256=A_DPJyAoEvTSFojiI2e94zP0FKtCkkwKP1kYUCSyQzo,11
-mdbq/mysql/mysql.py,sha256=shsMl3B9dJqIyztekHt0L01XP7_nLEEY1jsEkCm9FMc,62855
+mdbq/mysql/mysql.py,sha256=z3RXzPiVQzJzPBoyLr1XL5QXAtXehjbkxWVoBCQBaqY,64373
 mdbq/mysql/recheck_mysql.py,sha256=rgTpvDMWYTyEn7UQdlig-pdXDluTgiU8JG6lkMh8DV0,8665
 mdbq/mysql/s_query.py,sha256=MbIprZ4yJDAZ9AahZPzl7hqS695Vs0P-AJNwAtA_EEc,9287
 mdbq/mysql/year_month_day.py,sha256=VgewoE2pJxK7ErjfviL_SMTN77ki8GVbTUcao3vFUCE,1523
@@ -45,8 +45,8 @@ mdbq/pbix/refresh_all_old.py,sha256=_pq3WSQ728GPtEG5pfsZI2uTJhU8D6ra-htIk1JXYzw,
 mdbq/req_post/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
 mdbq/req_post/req_tb.py,sha256=qg7pet73IgKGmCwxaeUyImJIoeK_pBQT9BBKD7fkBNg,36160
 mdbq/spider/__init__.py,sha256=RBMFXGy_jd1HXZhngB2T2XTvJqki8P_Fr-pBcwijnew,18
-mdbq/spider/aikucun.py,sha256=48isoL6nEi_uniV-ja2HwYAI7O8D1i1goO4SzBwDGSU,19036
-mdbq-3.2.7.dist-info/METADATA,sha256=_PvMX_qrt7C5VTFsKDLiS169BwcfwP3-MZgBQEp9SA0,243
-mdbq-3.2.7.dist-info/WHEEL,sha256=eOLhNAGa2EW3wWl_TU484h7q1UNgy0JXjjoqKoxAAQc,92
-mdbq-3.2.7.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
-mdbq-3.2.7.dist-info/RECORD,,
+mdbq/spider/aikucun.py,sha256=nIKKZOZbemKqcrikcrMmtksLgJjjzeU0I99teBgU1jE,22439
+mdbq-3.2.9.dist-info/METADATA,sha256=VVlPtpTiP4PO4M02keRDAf3m98dzf8_noBXsu_TV-L0,243
+mdbq-3.2.9.dist-info/WHEEL,sha256=eOLhNAGa2EW3wWl_TU484h7q1UNgy0JXjjoqKoxAAQc,92
+mdbq-3.2.9.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
+mdbq-3.2.9.dist-info/RECORD,,