mdbq 4.2.18__py3-none-any.whl → 4.2.20__py3-none-any.whl

mdbq/__version__.py

@@ -1 +1 @@
-VERSION = '4.2.18'
+VERSION = '4.2.20'

mdbq/redis/redis_cache.py

@@ -914,16 +914,23 @@ def flask_redis_cache(cache_key_func=None, ttl=1200, namespace="default",
         def wrapper(*args, **kwargs):
             # 导入Flask相关模块（延迟导入避免依赖问题）
             try:
-                from flask import request, jsonify
+                from flask import request, jsonify, g
             except ImportError:
                 # 如果没有Flask环境，直接执行原函数
                 return func(*args, **kwargs)
             
+            # 初始化数据源标记（默认为 none）
+            g.data_source = 'none'
+            g.cache_hit = False
+            
             # 获取缓存系统
             cache_system = cache_manager.get_cache()
             
             # 如果缓存系统不可用，直接执行原函数
             if not cache_system:
+                # 标记为直接查询数据库（无缓存系统）
+                g.data_source = 'mysql'
+                g.cache_hit = False
                 return func(*args, **kwargs)
             
             try:
@@ -952,12 +959,18 @@ def flask_redis_cache(cache_key_func=None, ttl=1200, namespace="default",
                 try:
                     cached_result = cache_system.get(cache_key, namespace)
                     if cached_result is not None:
+                        # 缓存命中：标记为 redis
+                        g.data_source = 'redis'
+                        g.cache_hit = True
                         return jsonify(cached_result)
                 except Exception as e:
                     if not skip_cache_on_error:
                         raise
                 
-                # 缓存未命中，执行原函数
+                # 缓存未命中，执行原函数（会查询数据库）
+                # 标记为 mysql 查询
+                g.data_source = 'mysql'
+                g.cache_hit = False
                 result = func(*args, **kwargs)
                 
                 # 如果结果是Flask Response对象，提取JSON数据进行缓存

mdbq/route/monitor.py

@@ -176,6 +176,8 @@ class RouteMonitor:
                             `客户端ip` VARCHAR(45) NOT NULL COMMENT '客户端 ip 地址（支持 IPv6）',
                             `状态码` SMALLINT COMMENT 'HTTP 状态码',
                             `响应耗时` DECIMAL(10,3) COMMENT '请求处理耗时（毫秒）',
+                            `数据源` VARCHAR(20) COMMENT '数据源类型：redis/mysql/hybrid/none',
+                            `缓存命中` TINYINT(1) DEFAULT 0 COMMENT '是否命中缓存：1-命中，0-未命中',
                             `用户标识` VARCHAR(64) COMMENT '用户id或标识（如有）',
                             `用户代理` VARCHAR(500) COMMENT '浏览器 User-Agent（精简版）',
                             `请求参数` TEXT COMMENT '请求参数（JSON格式，可选记录）',
@@ -188,8 +190,11 @@ class RouteMonitor:
                             INDEX `idx_路由地址` (`路由地址`(191)),
                             INDEX `idx_客户端ip` (`客户端ip`),
                             INDEX `idx_状态码` (`状态码`),
+                            INDEX `idx_数据源` (`数据源`),
+                            INDEX `idx_缓存命中` (`缓存命中`),
                             INDEX `idx_用户标识` (`用户标识`),
-                            INDEX `idx_时间_接口` (`请求时间`, `路由地址`(191))
+                            INDEX `idx_时间_接口` (`请求时间`, `路由地址`(191)),
+                            INDEX `idx_时间_数据源` (`请求时间`, `数据源`)
                         ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci 
                         COMMENT='API 访问日志表 - 记录每次请求的核心信息'
                         ROW_FORMAT=COMPRESSED;
@@ -207,6 +212,8 @@ class RouteMonitor:
                             `请求总数` INT UNSIGNED DEFAULT 0 COMMENT '总请求次数',
                             `成功次数` INT UNSIGNED DEFAULT 0 COMMENT '成功响应次数（状态码 < 400）',
                             `失败次数` INT UNSIGNED DEFAULT 0 COMMENT '失败响应次数（状态码 >= 400）',
+                            `缓存命中次数` INT UNSIGNED DEFAULT 0 COMMENT '缓存命中次数',
+                            `数据库查询次数` INT UNSIGNED DEFAULT 0 COMMENT '没有命中缓存，直接查询数据库的次数',
                             `平均耗时` DECIMAL(10,3) DEFAULT 0 COMMENT '平均响应耗时（毫秒）',
                             `最大耗时` DECIMAL(10,3) DEFAULT 0 COMMENT '最大响应耗时（毫秒）',
                             `最小耗时` DECIMAL(10,3) DEFAULT NULL COMMENT '最小响应耗时（毫秒）',
@@ -499,6 +506,10 @@ class RouteMonitor:
         if params_dict:
             request_params = self.sanitize_params(params_dict)
         
+        # 获取数据源信息（从 g 对象中读取，由缓存装饰器设置）
+        data_source = getattr(g, 'data_source', 'none')
+        cache_hit = getattr(g, 'cache_hit', False)
+        
         # 构建请求数据字典
         request_data = {
             '请求id': request_id,
@@ -506,6 +517,8 @@ class RouteMonitor:
             '请求方法': request.method,
             '路由地址': request.endpoint or request.path,
             '客户端ip': client_ip,
+            '数据源': data_source,
+            '缓存命中': 1 if cache_hit else 0,
             '用户标识': user_id,
             '用户代理': user_agent,
             '请求参数': request_params,
@@ -539,9 +552,10 @@ class RouteMonitor:
                     sql = """
                         INSERT INTO `api_访问日志` (
                             `请求id`, `请求时间`, `请求方法`, `路由地址`, `客户端ip`,
-                            `状态码`, `响应耗时`, `用户标识`, `用户代理`, `请求参数`, `错误信息`
+                            `状态码`, `响应耗时`, `数据源`, `缓存命中`,
+                            `用户标识`, `用户代理`, `请求参数`, `错误信息`
                         ) VALUES (
-                            %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s
+                            %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s
                         )
                     """
                     
@@ -553,6 +567,8 @@ class RouteMonitor:
                         request_data.get('客户端ip'),
                         request_data.get('状态码'),
                         request_data.get('响应耗时'),
+                        request_data.get('数据源', 'none'),
+                        request_data.get('缓存命中', 0),
                         request_data.get('用户标识'),
                         request_data.get('用户代理'),
                         request_data.get('请求参数'),
@@ -597,18 +613,27 @@ class RouteMonitor:
                     is_error = 1 if status_code >= 400 else 0
                     response_time = request_data.get('响应耗时', 0)
                     
+                    # 获取数据源信息
+                    cache_hit = request_data.get('缓存命中', 0)
+                    data_source = request_data.get('数据源', 'none')
+                    is_cache_hit = 1 if cache_hit else 0
+                    is_db_query = 1 if data_source in ['mysql', 'hybrid'] else 0
+                    
                     # 1. 更新接口统计表
                     cursor.execute("""
                         INSERT INTO `api_接口统计` (
                             `统计日期`, `统计小时`, `路由地址`, `请求方法`,
                             `请求总数`, `成功次数`, `失败次数`,
+                            `缓存命中次数`, `数据库查询次数`,
                             `平均耗时`, `最大耗时`, `最小耗时`
                         ) VALUES (
-                            %s, %s, %s, %s, 1, %s, %s, %s, %s, %s
+                            %s, %s, %s, %s, 1, %s, %s, %s, %s, %s, %s, %s
                         ) ON DUPLICATE KEY UPDATE
                         `请求总数` = `请求总数` + 1,
                         `成功次数` = `成功次数` + %s,
                         `失败次数` = `失败次数` + %s,
+                        `缓存命中次数` = `缓存命中次数` + %s,
+                        `数据库查询次数` = `数据库查询次数` + %s,
                         `平均耗时` = (
                             (`平均耗时` * `请求总数` + %s) / (`请求总数` + 1)
                         ),
@@ -623,13 +648,13 @@ class RouteMonitor:
                         date, hour, 
                         request_data.get('路由地址', ''),
                         request_data.get('请求方法', ''),
-                        is_success, is_error,
+                        is_success, is_error, is_cache_hit, is_db_query,
                         response_time, response_time, response_time,
-                        is_success, is_error,
-                    response_time,
-                    response_time,
-                    response_time,
-                    response_time
+                        is_success, is_error, is_cache_hit, is_db_query,
+                        response_time,
+                        response_time,
+                        response_time,
+                        response_time
                     ))
                     
                     # 2. 更新 IP 统计表
@@ -700,10 +725,6 @@ class RouteMonitor:
             start_time = time.time()
             g.request_start_time = start_time
             
-            # 收集请求数据
-            request_data = self.collect_request_data(request)
-            request_id = request_data.get('请求id', 'unknown')
-            
             # 统计总请求数（线程安全）
             with self._stats_lock:
                 self._stats['total_requests'] += 1
@@ -730,6 +751,9 @@ class RouteMonitor:
                     except Exception:
                         response_status = 200
                 
+                # 在函数执行完成后收集请求数据（此时缓存装饰器已经设置了 g.data_source）
+                request_data = self.collect_request_data(request)
+                
                 # 更新响应数据
                 response_data = {
                     '状态码': response_status,
@@ -739,7 +763,7 @@ class RouteMonitor:
                 # 合并数据
                 request_data.update(response_data)
                 
-                # 【改进】优先使用 Redis 队列（非阻塞）
+                # 优先使用 Redis 队列（非阻塞）
                 queued = self._push_to_queue({
                     'type': 'request_log',
                     'data': request_data,
@@ -760,6 +784,9 @@ class RouteMonitor:
                 end_time = time.time()
                 process_time = round((end_time - start_time) * 1000, 3)
                 
+                # 在异常发生后收集请求数据
+                request_data = self.collect_request_data(request)
+                
                 # 构建错误数据
                 error_data = {
                     '状态码': 500,
@@ -770,7 +797,7 @@ class RouteMonitor:
                 # 合并数据
                 request_data.update(error_data)
                 
-                # 【改进】优先使用 Redis 队列（非阻塞）
+                # 优先使用 Redis 队列（非阻塞）
                 queued = self._push_to_queue({
                     'type': 'request_log',
                     'data': request_data,

{mdbq-4.2.18.dist-info → mdbq-4.2.20.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.2
 Name: mdbq
-Version: 4.2.18
+Version: 4.2.20
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-4.2.18.dist-info → mdbq-4.2.20.dist-info}/RECORD

@@ -1,5 +1,5 @@
 mdbq/__init__.py,sha256=Il5Q9ATdX8yXqVxtP_nYqUhExzxPC_qk_WXQ_4h0exg,16
-mdbq/__version__.py,sha256=2tQxy-1_HWm0n0hYutPndg9tCuA5LXYgZhUUGDKlL_E,18
+mdbq/__version__.py,sha256=X_j81Gq9SeQpEJv_kZutBzAPQKhSJKyCC7_znXcAdc0,18
 mdbq/auth/__init__.py,sha256=pnPMAt63sh1B6kEvmutUuro46zVf2v2YDAG7q-jV_To,24
 mdbq/auth/auth_backend.py,sha256=iLN7AqiSq7fQgFtNtge_TIlVOR1hrCSZXH6oId6uGX4,116924
 mdbq/auth/crypto.py,sha256=M0i4dRljJuE30WH_13ythA2QGKPXZm6TgpnYp6aHOzw,17431
@@ -27,15 +27,15 @@ mdbq/pbix/pbix_refresh.py,sha256=JUjKW3bNEyoMVfVfo77UhguvS5AWkixvVhDbw4_MHco,239
 mdbq/pbix/refresh_all.py,sha256=OBT9EewSZ0aRS9vL_FflVn74d4l2G00wzHiikCC4TC0,5926
 mdbq/redis/__init__.py,sha256=YtgBlVSMDphtpwYX248wGge1x-Ex_mMufz4-8W0XRmA,12
 mdbq/redis/getredis.py,sha256=vdg7YQEjhoMp5QzxygNGx5DQKRnePrcwPYgUrDypA6g,23672
-mdbq/redis/redis_cache.py,sha256=JWarX_l7LvdKyxtUNPANAqd-y20Jg5uqmllCbT-fyv8,45752
+mdbq/redis/redis_cache.py,sha256=CGNkc0kf-BCyAgakpQj4OtdPE2GIsIdQktnD00jcGCs,46329
 mdbq/route/__init__.py,sha256=BT_dAY7V-U2o72bevq1B9Mq9QA7GodwtkxyLNdGaoE8,22
 mdbq/route/analytics.py,sha256=dngj5hVwKddEUy59nSYbOoJ9C7OVrtCmCkvW6Uj9RYM,28097
-mdbq/route/monitor.py,sha256=GE6lJ1fVP47xkZCsr6kwZv_Fq7RepJubcrOrWTDkXZk,41438
+mdbq/route/monitor.py,sha256=ZYXTW5ucwWw4v6TLOXr1pi8oBBsKetUodtAhzwA1zbc,43397
 mdbq/route/routes.py,sha256=QVGfTvDgu0CpcKCvk1ra74H8uojgqTLUav1fnVAqLEA,29433
 mdbq/selenium/__init__.py,sha256=AKzeEceqZyvqn2dEDoJSzDQnbuENkJSHAlbHAD0u0ZI,10
 mdbq/selenium/get_driver.py,sha256=1NTlVUE6QsyjTrVVVqTO2LOnYf578ccFWlWnvIXGtic,20903
 mdbq/spider/__init__.py,sha256=RBMFXGy_jd1HXZhngB2T2XTvJqki8P_Fr-pBcwijnew,18
-mdbq-4.2.18.dist-info/METADATA,sha256=Q9D0fa9o6ntrfBB3ainng32katjWm5ocyIKBwzu2wd0,364
-mdbq-4.2.18.dist-info/WHEEL,sha256=jB7zZ3N9hIM9adW7qlTAyycLYW9npaWKLRzaoVcLKcM,91
-mdbq-4.2.18.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
-mdbq-4.2.18.dist-info/RECORD,,
+mdbq-4.2.20.dist-info/METADATA,sha256=zCEl6HgjPXYsBMk74u5mTM4ycXmmVB5LlFSLt94dE1o,364
+mdbq-4.2.20.dist-info/WHEEL,sha256=jB7zZ3N9hIM9adW7qlTAyycLYW9npaWKLRzaoVcLKcM,91
+mdbq-4.2.20.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
+mdbq-4.2.20.dist-info/RECORD,,