jettask 0.2.19__py3-none-any.whl → 0.2.23__py3-none-any.whl

jettask/config/lua_scripts.py

@@ -0,0 +1,158 @@
+"""
+Redis Lua 脚本定义
+
+集中管理所有的 Redis Lua 脚本，用于原子操作和性能优化
+"""
+
+# Lua脚本：批量处理延迟任务
+# 用于批量添加延迟任务到Redis Stream和ZSET
+LUA_SCRIPT_DELAYED_TASKS = """
+local prefix = ARGV[1]
+local current_time = tonumber(ARGV[2])
+local results = {}
+
+-- 从ARGV[3]开始，每5个参数为一组任务信息
+-- [stream_key, stream_data, execute_at, delay_seconds, queue]
+for i = 3, #ARGV, 5 do
+    local stream_key = ARGV[i]
+    local stream_data = ARGV[i+1]
+    local execute_at = tonumber(ARGV[i+2])
+    local delay_seconds = tonumber(ARGV[i+3])
+    local queue = ARGV[i+4]
+
+    -- 使用Hash存储所有队列的offset
+    local offsets_hash = prefix .. ':QUEUE_OFFSETS'
+    -- 使用HINCRBY原子递增offset
+    local offset = redis.call('HINCRBY', offsets_hash, queue, 1)
+
+    -- 1. 添加消息到Stream（包含offset字段）
+    local stream_id = redis.call('XADD', stream_key, '*',
+        'data', stream_data,
+        'offset', offset)
+
+    -- 2. 添加到延迟队列ZSET
+    local delayed_queue_key = prefix .. ':DELAYED_QUEUE:' .. queue
+    redis.call('ZADD', delayed_queue_key, execute_at, stream_id)
+
+    -- 3. 保存 stream_key 到共享Hash（所有延迟任务共享一个Hash）
+    local stream_key_hash = prefix .. ':TASK:STREAM_KEY'
+    redis.call('HSET', stream_key_hash, stream_id, stream_key)
+
+    -- 保存stream_id到结果
+    table.insert(results, stream_id)
+end
+
+return results
+"""
+
+# Lua脚本：批量处理普通任务
+# 用于批量添加普通任务到Redis Stream
+LUA_SCRIPT_NORMAL_TASKS = """
+local prefix = ARGV[1]
+local current_time = ARGV[2]
+local results = {}
+
+-- 从ARGV[3]开始，每2个参数为一组任务信息
+-- [stream_key, stream_data]
+for i = 3, #ARGV, 2 do
+    local stream_key = ARGV[i]
+    local stream_data = ARGV[i+1]
+
+    -- 从stream_key中提取队列名（格式: prefix:STREAM:queue_name）
+    local queue_name = string.match(stream_key, prefix .. ':STREAM:(.*)')
+
+    -- 获取并递增offset
+    local offset_key = prefix .. ':STREAM:' .. queue_name .. ':next_offset'
+    local offset = redis.call('INCR', offset_key)
+
+    -- 1. 添加消息到Stream（包含offset字段）
+    local stream_id = redis.call('XADD', stream_key, '*',
+        'data', stream_data,
+        'offset', offset)
+
+    -- 2. 设置任务状态Hash（只存储status）
+    local task_key = prefix .. ':TASK:' .. stream_id
+    redis.call('HSET', task_key, 'status', 'pending')
+
+    -- 3. 设置过期时间（1小时）
+    redis.call('EXPIRE', task_key, 3600)
+
+    -- 保存stream_id到结果
+    table.insert(results, stream_id)
+end
+
+return results
+"""
+
+# Lua脚本：原子获取并删除结果
+# 用于获取任务结果后立即删除，避免多次读取
+LUA_SCRIPT_GET_AND_DELETE = """
+local key = KEYS[1]
+local value = redis.call('GET', key)
+if value then
+    redis.call('DEL', key)
+end
+return value
+"""
+
+# Lua脚本：批量发送任务（简化版，已被LUA_SCRIPT_NORMAL_TASKS替代）
+# 保留用于兼容性
+LUA_SCRIPT_BATCH_SEND = """
+local stream_key = KEYS[1]
+local task_name = ARGV[1]
+local count = 0
+
+for i = 2, #ARGV do
+    redis.call('XADD', stream_key, '*', 'task_name', task_name, 'message', ARGV[i])
+    count = count + 1
+end
+
+return count
+"""
+
+# Lua脚本：发送延迟任务（_send_delayed_tasks方法专用）
+# 用于异步发送单个队列的延迟任务
+LUA_SCRIPT_SEND_DELAYED_TASKS = """
+local prefix = ARGV[1]
+local results = {}
+
+-- 从ARGV[2]开始，每3个参数为一组任务信息
+-- [stream_key, stream_data, execute_at]
+-- 延迟队列key直接从stream_key推导，保持队列名一致（包括优先级）
+for i = 2, #ARGV, 3 do
+    local stream_key = ARGV[i]
+    local stream_data = ARGV[i+1]
+    local execute_at = tonumber(ARGV[i+2])
+
+    -- 使用Hash存储所有队列的offset
+    local offsets_hash = prefix .. ':QUEUE_OFFSETS'
+
+    -- 从stream_key中提取完整队列名（包含优先级）
+    local full_queue_name = string.gsub(stream_key, '^' .. prefix .. ':QUEUE:', '')
+
+    -- 使用HINCRBY原子递增offset
+    local current_offset = redis.call('HINCRBY', offsets_hash, full_queue_name, 1)
+
+    -- 1. 添加消息到Stream（包含offset字段）
+    local stream_id = redis.call('XADD', stream_key, '*',
+        'data', stream_data,
+        'offset', current_offset)
+
+    -- 2. 添加到延迟队列ZSET（延迟队列名和Stream名完全对应）
+    local delayed_queue_key = prefix .. ':DELAYED_QUEUE:' .. full_queue_name
+    redis.call('ZADD', delayed_queue_key, execute_at, stream_id)
+
+    -- 保存stream_id到结果
+    table.insert(results, stream_id)
+end
+
+return results
+"""
+
+__all__ = [
+    'LUA_SCRIPT_DELAYED_TASKS',
+    'LUA_SCRIPT_NORMAL_TASKS',
+    'LUA_SCRIPT_GET_AND_DELETE',
+    'LUA_SCRIPT_BATCH_SEND',
+    'LUA_SCRIPT_SEND_DELAYED_TASKS',
+]

jettask/config/nacos_config.py

@@ -10,18 +10,24 @@ import json
 import yaml
 import threading
 from datetime import datetime
-from typing import Dict, Any, Callable, List
+from typing import Dict, Any, Callable, List, Optional
 from dotenv import load_dotenv
 from nacos import NacosClient
 import logging
+try:
+    from urllib.request import Request, urlopen
+    from urllib.parse import urlencode
+except ImportError:
+    from urllib2 import Request, urlopen
+    from urllib import urlencode
 
 
 
 logger = logging.getLogger(__name__)
 
 
-class Config:
-    """配置管理类，支持定时刷新和配置监听"""
+class NacosConfigLoader:
+    """Nacos 配置加载器类，支持定时刷新和配置监听"""
     
     def __init__(self, refresh_interval: int = 30):
         """初始化配置管理器
@@ -275,7 +281,6 @@ class Config:
             redis_url = f"redis://:{redis_password}@{redis_host}:{redis_port}/{redis_db}"
         else:
             redis_url = f"redis://{redis_host}:{redis_port}/{redis_db}"
-        print(f'{redis_url=}')
         return redis_url
     
     def get(self, key, default=None):
@@ -396,6 +401,128 @@ class Config:
             'local_dev_mode': self.local_dev_mode,
             'config_items_count': len(self._config) if self._config else 0
         }
+
+    def get_namespaces(self) -> Optional[List[Dict[str, Any]]]:
+        """从 Nacos 获取所有命名空间列表
+
+        Returns:
+            命名空间列表，每个元素包含:
+            - namespace: 命名空间ID
+            - namespaceShowName: 命名空间显示名称
+            - namespaceDesc: 命名空间描述
+            - quota: 配额
+            - configCount: 配置数量
+            - type: 类型 (0: Global, 1: Default Private, 2: Custom)
+
+            如果获取失败返回 None
+
+        Example:
+            >>> config = Config()
+            >>> namespaces = config.get_namespaces()
+            >>> for ns in namespaces:
+            ...     print(f"{ns['namespaceShowName']} ({ns['namespace']})")
+        """
+        if not self.nacos_config:
+            logger.error("Nacos配置未初始化")
+            return None
+
+        try:
+            # 构建请求URL
+            server_addr = self.nacos_config['server_addresses']
+            if not server_addr.startswith('http'):
+                server_addr = f'http://{server_addr}'
+
+            # 使用 Nacos v2 API
+            url = f"{server_addr}/nacos/v2/console/namespace/list"
+
+            logger.info(f"正在从 Nacos 获取命名空间列表: {url}")
+
+            # 构建认证参数
+            params = {}
+            if self.nacos_config.get('username') and self.nacos_config.get('password'):
+                # 注意：某些 Nacos 版本可能需要先获取 accessToken
+                # 这里使用基本认证
+                params['username'] = self.nacos_config['username']
+                params['password'] = self.nacos_config['password']
+
+            # 添加参数到URL
+            if params:
+                url = f"{url}?{urlencode(params)}"
+
+            # 发送HTTP请求
+            req = Request(url)
+            req.add_header('User-Agent', 'JetTask-NacosClient/1.0')
+
+            with urlopen(req, timeout=10) as response:
+                response_data = response.read().decode('utf-8')
+                result = json.loads(response_data)
+
+            # 检查响应
+            if result.get('code') == 0 or result.get('code') == 200:
+                namespaces = result.get('data', [])
+                logger.info(f"成功获取 {len(namespaces)} 个命名空间")
+                logger.debug(f"命名空间列表: {namespaces}")
+                return namespaces
+            else:
+                logger.error(f"获取命名空间失败: {result.get('message', 'Unknown error')}")
+                return None
+
+        except Exception as e:
+            logger.error(f"获取命名空间列表异常: {e}", exc_info=True)
+            return None
+
+    def get_namespace_configs(self, namespace_id: str, group: str = None) -> Optional[Dict[str, Any]]:
+        """获取指定命名空间的配置
+
+        Args:
+            namespace_id: 命名空间ID
+            group: 配置组，默认使用当前配置的group
+
+        Returns:
+            配置字典，失败返回 None
+        """
+        if not self.nacos_config:
+            logger.error("Nacos配置未初始化")
+            return None
+
+        try:
+            # 创建临时客户端连接到指定命名空间
+            temp_client = NacosClient(
+                self.nacos_config['server_addresses'],
+                namespace=namespace_id,
+                username=self.nacos_config['username'],
+                password=self.nacos_config['password']
+            )
+
+            # 使用指定的group或默认group
+            target_group = group or self.nacos_group
+
+            # 获取配置
+            config_str = temp_client.get_config(self.nacos_data_id, target_group)
+
+            if not config_str:
+                logger.warning(f"命名空间 {namespace_id} 的配置为空")
+                return {}
+
+            # 解析配置（支持 Properties、YAML 和 JSON）
+            if self._is_properties_format(config_str):
+                config = self._parse_properties(config_str)
+            else:
+                try:
+                    config = yaml.safe_load(config_str)
+                except:
+                    try:
+                        config = json.loads(config_str)
+                    except:
+                        logger.error(f"无法解析命名空间 {namespace_id} 的配置格式")
+                        return None
+
+            logger.info(f"成功获取命名空间 {namespace_id} 的配置，包含 {len(config)} 个配置项")
+            return config
+
+        except Exception as e:
+            logger.error(f"获取命名空间 {namespace_id} 配置异常: {e}", exc_info=True)
+            return None
     
     def __del__(self):
         """析构函数，确保线程正确关闭"""
@@ -403,4 +530,4 @@ class Config:
 
 
 # 创建全局配置实例（默认30秒刷新一次）
-config = Config(refresh_interval=30)
+config = NacosConfigLoader(refresh_interval=30)

jettask/core/__init__.py

@@ -1,5 +1,5 @@
 from .app import Jettask
 from .task import Task, Request, ExecuteResponse
-from .event_pool import EventPool
+from jettask.messaging.event_pool import EventPool
 
 __all__ = ["Jettask", "Task", "Request", "ExecuteResponse", "EventPool"]