mdbq 4.0.109__py3-none-any.whl → 4.0.111__py3-none-any.whl

mdbq/__version__.py

@@ -1 +1 @@
-VERSION = '4.0.109'
+VERSION = '4.0.111'

mdbq/redis/redis_cache.py

@@ -16,6 +16,8 @@ import time
 import threading
 import socket
 from datetime import datetime, date
+from decimal import Decimal
+from uuid import UUID
 from typing import Optional, Dict, Any, List, Union
 import redis
 from mdbq.log import mylogger
@@ -32,16 +34,103 @@ logger = mylogger.MyLogger(
 )
 
 
-class DateTimeEncoder(json.JSONEncoder):
-    """自定义JSON编码器，支持datetime和date对象"""
+class MySQLDataEncoder(json.JSONEncoder):
+    """自定义JSON编码器，支持MySQL常见数据类型"""
     def default(self, obj):
-        if isinstance(obj, datetime):
-            return obj.isoformat()
-        elif isinstance(obj, date):
-            return obj.isoformat()
+        try:
+            if isinstance(obj, datetime):
+                return obj.isoformat()
+            elif isinstance(obj, date):
+                return obj.isoformat()
+            elif isinstance(obj, Decimal):
+                # Decimal转换为字符串保持精度
+                return str(obj)
+            elif isinstance(obj, UUID):
+                return str(obj)
+            elif isinstance(obj, bytes):
+                # 二进制数据转换为base64
+                import base64
+                return base64.b64encode(obj).decode('utf-8')
+            elif isinstance(obj, (set, frozenset)):
+                # 集合类型转换为列表
+                return list(obj)
+            elif hasattr(obj, 'isoformat'):
+                # 其他日期时间类型
+                return obj.isoformat()
+            elif hasattr(obj, '__float__'):
+                # 数值类型
+                return float(obj)
+            elif hasattr(obj, '__str__'):
+                # 其他有字符串表示的对象
+                return str(obj)
+            elif hasattr(obj, '__dict__'):
+                # 处理其他对象，转换为字典
+                return obj.__dict__
+        except Exception as e:
+            # 如果所有方法都失败，返回对象的字符串表示
+            return f"<{type(obj).__name__}: {str(obj)[:100]}>"
+        
         return super().default(obj)
 
 
+class SmartTTLConfig:
+    """智能TTL配置策略"""
+    
+    # TTL策略映射表（秒）
+    TTL_STRATEGIES = {
+        # 数据库相关缓存
+        'sycm_database': 1800,      # 数据库列表：30分钟
+        'sycm_tables': 1200,        # 表列表：20分钟  
+        'sycm_table_data': 300,     # 表数据：5分钟
+        
+        # 用户会话相关
+        'user_session': 3600,       # 用户会话：1小时
+        'user_info': 1800,          # 用户信息：30分钟
+        
+        # 静态配置
+        'static_config': 86400,     # 静态配置：24小时
+        'system_config': 43200,     # 系统配置：12小时
+        
+        # API相关
+        'api_response': 600,        # API响应：10分钟
+        'api_cache': 900,           # API缓存：15分钟
+        
+        # 临时数据
+        'temp_data': 300,           # 临时数据：5分钟
+        'short_cache': 60,          # 短期缓存：1分钟
+    }
+    
+    @classmethod
+    def get_ttl(cls, namespace: str, default: int = 3600) -> int:
+        """
+        根据命名空间获取对应的TTL值
+        
+        Args:
+            namespace: 缓存命名空间
+            default: 默认TTL值（秒）
+            
+        Returns:
+            int: TTL值（秒）
+        """
+        return cls.TTL_STRATEGIES.get(namespace, default)
+    
+    @classmethod
+    def add_strategy(cls, namespace: str, ttl: int):
+        """
+        添加新的TTL策略
+        
+        Args:
+            namespace: 命名空间
+            ttl: TTL值（秒）
+        """
+        cls.TTL_STRATEGIES[namespace] = ttl
+    
+    @classmethod
+    def get_all_strategies(cls) -> Dict[str, int]:
+        """获取所有TTL策略"""
+        return cls.TTL_STRATEGIES.copy()
+
+
 class CacheConfig:
     """缓存系统配置类"""
     
@@ -67,6 +156,10 @@ class CacheConfig:
         self.max_value_size = 1024 * 1024  # 1MB
         self.batch_size = 100
         
+        # 热点键配置
+        self.max_hot_keys = 1000    # 最大热点键数量
+        self.hot_keys_cleanup_threshold = 800  # 热点键清理阈值
+        
         # MySQL数据库配置
         self.db_name = db_name
         self.table_name = table_name
@@ -223,6 +316,20 @@ class SmartCacheSystem:
         """记录热点键"""
         cache_key = self._generate_cache_key(key, namespace)
         with self.hot_keys_lock:
+            # 检查是否需要清理热点键（防止内存泄漏）
+            if len(self.hot_keys) >= self.config.hot_keys_cleanup_threshold:
+                # 保留访问次数最高的键，移除访问次数最少的键
+                sorted_keys = sorted(self.hot_keys.items(), key=lambda x: x[1], reverse=True)
+                # 保留前600个热点键，为新键留出空间
+                self.hot_keys = dict(sorted_keys[:600])
+                
+                self.logger.info("热点键内存清理", {
+                    '清理前数量': len(sorted_keys),
+                    '清理后数量': len(self.hot_keys),
+                    '清理阈值': self.config.hot_keys_cleanup_threshold
+                })
+            
+            # 记录或更新热点键访问次数
             self.hot_keys[cache_key] = self.hot_keys.get(cache_key, 0) + 1
     
     def get(self, key: str, namespace: str = "", default=None) -> Any:
@@ -259,16 +366,19 @@ class SmartCacheSystem:
             return default
     
     def set(self, key: str, value: Any, ttl: int = None, namespace: str = "") -> bool:
-        """设置缓存值"""
+        """设置缓存值 - 支持智能TTL策略"""
         start_time = time.time()
         
         try:
             cache_key = self._generate_cache_key(key, namespace)
-            ttl = ttl or self.config.default_ttl
+            
+            # 使用智能TTL策略
+            if ttl is None:
+                ttl = SmartTTLConfig.get_ttl(namespace, self.config.default_ttl)
             
             # 序列化值
             if isinstance(value, (dict, list, tuple)):
-                serialized_value = json.dumps(value, ensure_ascii=False, sort_keys=True, cls=DateTimeEncoder)
+                serialized_value = json.dumps(value, ensure_ascii=False, sort_keys=True, cls=MySQLDataEncoder)
             else:
                 serialized_value = str(value)
             
@@ -282,6 +392,15 @@ class SmartCacheSystem:
             response_time = (time.time() - start_time) * 1000
             
             self._record_operation('sets', response_time)
+            
+            # 记录TTL策略使用情况
+            if namespace and ttl != self.config.default_ttl:
+                self.logger.debug("使用智能TTL策略", {
+                    'namespace': namespace,
+                    'ttl': ttl,
+                    'key': key[:50] + "..." if len(key) > 50 else key
+                })
+            
             return bool(result)
             
         except Exception as e:
@@ -481,7 +600,7 @@ class SmartCacheSystem:
                         stats_data['ops_per_second'],
                         stats_data['unique_keys_count'],
                         stats_data['uptime_seconds'],
-                        json.dumps(stats_data['hot_keys'], ensure_ascii=False, cls=DateTimeEncoder),
+                        json.dumps(stats_data['hot_keys'], ensure_ascii=False, cls=MySQLDataEncoder),
                         socket.gethostname(),
                         self.instance_name
                     ))
@@ -501,12 +620,23 @@ class SmartCacheSystem:
             self.logger.error(f"提交统计数据到MySQL失败: {e}")
     
     def _cleanup_hot_keys(self):
-        """清理热点键统计（保留访问次数最高的1000个）"""
+        """清理热点键统计 """
         with self.hot_keys_lock:
-            if len(self.hot_keys) > 1000:
-                # 保留访问次数最高的1000个键
+            current_count = len(self.hot_keys)
+            
+            # 如果热点键数量超过最大限制，进行清理
+            if current_count > self.config.max_hot_keys:
+                # 保留访问次数最高的键
                 sorted_keys = sorted(self.hot_keys.items(), key=lambda x: x[1], reverse=True)
-                self.hot_keys = dict(sorted_keys[:1000])
+                # 保留80%的热点键
+                keep_count = int(self.config.max_hot_keys * 0.8)
+                self.hot_keys = dict(sorted_keys[:keep_count])
+                
+                self.logger.info("定期热点键清理", {
+                    '清理前数量': current_count,
+                    '清理后数量': len(self.hot_keys),
+                    '保留比例': '80%'
+                })
     
     def _cleanup_expired_mysql_data(self):
         """清理过期的MySQL统计数据"""

{mdbq-4.0.109.dist-info → mdbq-4.0.111.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.2
 Name: mdbq
-Version: 4.0.109
+Version: 4.0.111
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-4.0.109.dist-info → mdbq-4.0.111.dist-info}/RECORD

@@ -1,5 +1,5 @@
 mdbq/__init__.py,sha256=Il5Q9ATdX8yXqVxtP_nYqUhExzxPC_qk_WXQ_4h0exg,16
-mdbq/__version__.py,sha256=isMXV0CRhxtt0uFUp2iQA8kCLhOxtlSnZABiy7X6FW8,19
+mdbq/__version__.py,sha256=nKcO0o5cZBWmqPghn8vvDzV6hZj4cC8f1ESFBAKaOmA,19
 mdbq/auth/__init__.py,sha256=pnPMAt63sh1B6kEvmutUuro46zVf2v2YDAG7q-jV_To,24
 mdbq/auth/auth_backend.py,sha256=ZxKRXPXa2t9ngRZEXKM72MzcMvN-0OtiVDOhZRTrm3w,85948
 mdbq/auth/rate_limiter.py,sha256=1m_Paxp8pDNpmyoFGRpFMVOJpbmeIvfVcfiQ2oH72qM,32850
@@ -26,7 +26,7 @@ mdbq/pbix/pbix_refresh.py,sha256=JUjKW3bNEyoMVfVfo77UhguvS5AWkixvVhDbw4_MHco,239
 mdbq/pbix/refresh_all.py,sha256=OBT9EewSZ0aRS9vL_FflVn74d4l2G00wzHiikCC4TC0,5926
 mdbq/redis/__init__.py,sha256=YtgBlVSMDphtpwYX248wGge1x-Ex_mMufz4-8W0XRmA,12
 mdbq/redis/getredis.py,sha256=vpBuNc22uj9Vr-_Dh25_wpwWM1e-072EAAIBdB_IpL0,23494
-mdbq/redis/redis_cache.py,sha256=C1AsTi0oaQeq4t-hSx11b-1ZN7NXmRLsTlrjZ8KuhOw,25772
+mdbq/redis/redis_cache.py,sha256=OxtbqHDRO2ko8VS6KkwtqJgPuOFsWvnzIyMIWasnmps,30719
 mdbq/route/__init__.py,sha256=BT_dAY7V-U2o72bevq1B9Mq9QA7GodwtkxyLNdGaoE8,22
 mdbq/route/analytics.py,sha256=dngj5hVwKddEUy59nSYbOoJ9C7OVrtCmCkvW6Uj9RYM,28097
 mdbq/route/monitor.py,sha256=7gLyeq7TqnbhPwhUw0dg-hw9-0OWeKoMdMhcANSDGVs,42255
@@ -34,7 +34,7 @@ mdbq/route/routes.py,sha256=QVGfTvDgu0CpcKCvk1ra74H8uojgqTLUav1fnVAqLEA,29433
 mdbq/selenium/__init__.py,sha256=AKzeEceqZyvqn2dEDoJSzDQnbuENkJSHAlbHAD0u0ZI,10
 mdbq/selenium/get_driver.py,sha256=1NTlVUE6QsyjTrVVVqTO2LOnYf578ccFWlWnvIXGtic,20903
 mdbq/spider/__init__.py,sha256=RBMFXGy_jd1HXZhngB2T2XTvJqki8P_Fr-pBcwijnew,18
-mdbq-4.0.109.dist-info/METADATA,sha256=lQkQNnJ-hH1d8H6y4RDz0tmbzH41ZH0J8qWNEa_YZCk,365
-mdbq-4.0.109.dist-info/WHEEL,sha256=jB7zZ3N9hIM9adW7qlTAyycLYW9npaWKLRzaoVcLKcM,91
-mdbq-4.0.109.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
-mdbq-4.0.109.dist-info/RECORD,,
+mdbq-4.0.111.dist-info/METADATA,sha256=fyVLMYRQ4ArdtViITdjLvQtRlQLtT_lWomGcFhMYzAo,365
+mdbq-4.0.111.dist-info/WHEEL,sha256=jB7zZ3N9hIM9adW7qlTAyycLYW9npaWKLRzaoVcLKcM,91
+mdbq-4.0.111.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
+mdbq-4.0.111.dist-info/RECORD,,