mdbq 4.0.110__tar.gz → 4.0.111__tar.gz

{mdbq-4.0.110 → mdbq-4.0.111}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.2
 Name: mdbq
-Version: 4.0.110
+Version: 4.0.111
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

mdbq-4.0.111/mdbq/__version__.py

@@ -0,0 +1 @@
+VERSION = '4.0.111'

{mdbq-4.0.110 → mdbq-4.0.111}/mdbq/redis/redis_cache.py

@@ -73,6 +73,64 @@ class MySQLDataEncoder(json.JSONEncoder):
         return super().default(obj)
 
 
+class SmartTTLConfig:
+    """智能TTL配置策略"""
+    
+    # TTL策略映射表（秒）
+    TTL_STRATEGIES = {
+        # 数据库相关缓存
+        'sycm_database': 1800,      # 数据库列表：30分钟
+        'sycm_tables': 1200,        # 表列表：20分钟  
+        'sycm_table_data': 300,     # 表数据：5分钟
+        
+        # 用户会话相关
+        'user_session': 3600,       # 用户会话：1小时
+        'user_info': 1800,          # 用户信息：30分钟
+        
+        # 静态配置
+        'static_config': 86400,     # 静态配置：24小时
+        'system_config': 43200,     # 系统配置：12小时
+        
+        # API相关
+        'api_response': 600,        # API响应：10分钟
+        'api_cache': 900,           # API缓存：15分钟
+        
+        # 临时数据
+        'temp_data': 300,           # 临时数据：5分钟
+        'short_cache': 60,          # 短期缓存：1分钟
+    }
+    
+    @classmethod
+    def get_ttl(cls, namespace: str, default: int = 3600) -> int:
+        """
+        根据命名空间获取对应的TTL值
+        
+        Args:
+            namespace: 缓存命名空间
+            default: 默认TTL值（秒）
+            
+        Returns:
+            int: TTL值（秒）
+        """
+        return cls.TTL_STRATEGIES.get(namespace, default)
+    
+    @classmethod
+    def add_strategy(cls, namespace: str, ttl: int):
+        """
+        添加新的TTL策略
+        
+        Args:
+            namespace: 命名空间
+            ttl: TTL值（秒）
+        """
+        cls.TTL_STRATEGIES[namespace] = ttl
+    
+    @classmethod
+    def get_all_strategies(cls) -> Dict[str, int]:
+        """获取所有TTL策略"""
+        return cls.TTL_STRATEGIES.copy()
+
+
 class CacheConfig:
     """缓存系统配置类"""
     
@@ -98,6 +156,10 @@ class CacheConfig:
         self.max_value_size = 1024 * 1024  # 1MB
         self.batch_size = 100
         
+        # 热点键配置
+        self.max_hot_keys = 1000    # 最大热点键数量
+        self.hot_keys_cleanup_threshold = 800  # 热点键清理阈值
+        
         # MySQL数据库配置
         self.db_name = db_name
         self.table_name = table_name
@@ -254,6 +316,20 @@ class SmartCacheSystem:
         """记录热点键"""
         cache_key = self._generate_cache_key(key, namespace)
         with self.hot_keys_lock:
+            # 检查是否需要清理热点键（防止内存泄漏）
+            if len(self.hot_keys) >= self.config.hot_keys_cleanup_threshold:
+                # 保留访问次数最高的键，移除访问次数最少的键
+                sorted_keys = sorted(self.hot_keys.items(), key=lambda x: x[1], reverse=True)
+                # 保留前600个热点键，为新键留出空间
+                self.hot_keys = dict(sorted_keys[:600])
+                
+                self.logger.info("热点键内存清理", {
+                    '清理前数量': len(sorted_keys),
+                    '清理后数量': len(self.hot_keys),
+                    '清理阈值': self.config.hot_keys_cleanup_threshold
+                })
+            
+            # 记录或更新热点键访问次数
             self.hot_keys[cache_key] = self.hot_keys.get(cache_key, 0) + 1
     
     def get(self, key: str, namespace: str = "", default=None) -> Any:
@@ -290,12 +366,15 @@ class SmartCacheSystem:
             return default
     
     def set(self, key: str, value: Any, ttl: int = None, namespace: str = "") -> bool:
-        """设置缓存值"""
+        """设置缓存值 - 支持智能TTL策略"""
         start_time = time.time()
         
         try:
             cache_key = self._generate_cache_key(key, namespace)
-            ttl = ttl or self.config.default_ttl
+            
+            # 使用智能TTL策略
+            if ttl is None:
+                ttl = SmartTTLConfig.get_ttl(namespace, self.config.default_ttl)
             
             # 序列化值
             if isinstance(value, (dict, list, tuple)):
@@ -313,6 +392,15 @@ class SmartCacheSystem:
             response_time = (time.time() - start_time) * 1000
             
             self._record_operation('sets', response_time)
+            
+            # 记录TTL策略使用情况
+            if namespace and ttl != self.config.default_ttl:
+                self.logger.debug("使用智能TTL策略", {
+                    'namespace': namespace,
+                    'ttl': ttl,
+                    'key': key[:50] + "..." if len(key) > 50 else key
+                })
+            
             return bool(result)
             
         except Exception as e:
@@ -532,12 +620,23 @@ class SmartCacheSystem:
             self.logger.error(f"提交统计数据到MySQL失败: {e}")
     
     def _cleanup_hot_keys(self):
-        """清理热点键统计（保留访问次数最高的1000个）"""
+        """清理热点键统计 """
         with self.hot_keys_lock:
-            if len(self.hot_keys) > 1000:
-                # 保留访问次数最高的1000个键
+            current_count = len(self.hot_keys)
+            
+            # 如果热点键数量超过最大限制，进行清理
+            if current_count > self.config.max_hot_keys:
+                # 保留访问次数最高的键
                 sorted_keys = sorted(self.hot_keys.items(), key=lambda x: x[1], reverse=True)
-                self.hot_keys = dict(sorted_keys[:1000])
+                # 保留80%的热点键
+                keep_count = int(self.config.max_hot_keys * 0.8)
+                self.hot_keys = dict(sorted_keys[:keep_count])
+                
+                self.logger.info("定期热点键清理", {
+                    '清理前数量': current_count,
+                    '清理后数量': len(self.hot_keys),
+                    '保留比例': '80%'
+                })
     
     def _cleanup_expired_mysql_data(self):
         """清理过期的MySQL统计数据"""

{mdbq-4.0.110 → mdbq-4.0.111}/mdbq.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.2
 Name: mdbq
-Version: 4.0.110
+Version: 4.0.111
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

mdbq-4.0.110/mdbq/__version__.py

@@ -1 +0,0 @@
-VERSION = '4.0.110'