jettask 0.2.20__py3-none-any.whl → 0.2.24__py3-none-any.whl

jettask/__init__.py

@@ -9,8 +9,10 @@ import inspect
 # Core class imports
 from jettask.core.app import Jettask
 from jettask.core.message import TaskMessage
+from jettask.core.context import TaskContext
 from jettask.task.task_center.client import TaskCenter
 from jettask.task.router import TaskRouter
+from jettask.scheduler.schedule import Schedule
 
 # Rate limit config imports
 from jettask.utils.rate_limit.config import QPSLimit, ConcurrencyLimit
@@ -68,10 +70,12 @@ def get_task_logger(name: str = None) -> logging.Logger:
 __all__ = [
     "Jettask",
     "TaskMessage",
+    "Schedule",
     "TaskCenter",
     "TaskRouter",
     "QPSLimit",
     "ConcurrencyLimit",
     "get_task_logger",
     "LogContext",
+    "TaskContext"
 ]

jettask/cli.py

@@ -473,11 +473,14 @@ def worker(ctx, app_str, queues, concurrency, prefetch, reload):
 @click.option('--task-center', '-tc', envvar='JETTASK_CENTER_URL', required=True,
               help='任务中心URL，如: http://localhost:8001 或 http://localhost:8001/api/namespaces/default')
 @click.option('--check-interval', type=int, default=30,
-              help='命名空间检测间隔（秒），默认30秒')
+              help='命名空间检测间隔（秒），仅多命名空间模式使用，默认30秒')
+@click.option('--concurrency', '-c', type=int, default=4,
+              help='并发数（每个命名空间的 worker 进程数），默认4')
 @click.option('--debug', is_flag=True, help='启用调试模式')
-def webui_consumer(task_center, check_interval, debug):
-    """启动数据消费者（自动识别单/多命名空间）
+def webui_consumer(task_center, check_interval, concurrency, debug):
+    """启动 PostgreSQL 数据消费者（自动识别单/多命名空间）
 
+    从 Redis 队列消费任务并持久化到 PostgreSQL 数据库。
     根据URL格式自动判断运行模式:
     - 单命名空间: http://localhost:8001/api/namespaces/{name}
     - 多命名空间: http://localhost:8001 或 http://localhost:8001/api
@@ -491,7 +494,7 @@ def webui_consumer(task_center, check_interval, debug):
       # 为单个命名空间启动消费者
       jettask webui-consumer --task-center http://localhost:8001/api/namespaces/default
 
-      # 自定义检测间隔
+      # 自定义配置
       jettask webui-consumer --task-center http://localhost:8001 --check-interval 60
 
       # 使用环境变量
@@ -499,7 +502,7 @@ def webui_consumer(task_center, check_interval, debug):
       jettask webui-consumer
     """
     import asyncio
-    from jettask.webui.namespace_manager.unified import UnifiedConsumerManager
+    from jettask.persistence.manager import UnifiedConsumerManager
 
     # 运行消费者管理器
     async def run_manager():
@@ -507,6 +510,7 @@ def webui_consumer(task_center, check_interval, debug):
         manager = UnifiedConsumerManager(
             task_center_url=task_center,
             check_interval=check_interval,
+            concurrency=concurrency,
             debug=debug
         )
         await manager.run()
@@ -514,7 +518,7 @@ def webui_consumer(task_center, check_interval, debug):
     try:
         asyncio.run(run_manager())
     except KeyboardInterrupt:
-        click.echo("\nShutdown complete")
+        click.echo("\n✓ 消费者已关闭")
 
 # @cli.command()
 # def monitor():
@@ -565,7 +569,7 @@ def status():
     
     # 检查 Redis 连接
     try:
-        from jettask.utils.db_connector import get_sync_redis_client
+        from jettask.db.connector import get_sync_redis_client
         r = get_sync_redis_client('redis://localhost:6379/0', decode_responses=True)
         r.ping()
         click.echo("✓ Redis: Connected")
@@ -623,7 +627,7 @@ def scheduler(task_center, interval, batch_size, check_interval, debug):
       jettask scheduler
     """
     import asyncio
-    from jettask.scheduler.scheduler_coordinator import UnifiedSchedulerManager
+    from jettask.scheduler.manager import UnifiedSchedulerManager
 
     # 运行调度器管理器
     async def run_manager():

jettask/config/lua_scripts.py

@@ -149,10 +149,47 @@ end
 return results
 """
 
+# Lua脚本：批量发送事件
+# 用于 _batch_send_event 和 _batch_send_event_sync 方法
+# 批量发送消息到Stream并自动生成offset，同时注册队列
+LUA_SCRIPT_BATCH_SEND_EVENT = """
+local stream_key = KEYS[1]
+local prefix = ARGV[1]
+local results = {}
+
+-- 使用Hash存储所有队列的offset
+local offsets_hash = prefix .. ':QUEUE_OFFSETS'
+
+-- 从stream_key中提取队列名（去掉prefix:QUEUE:前缀）
+local queue_name = string.gsub(stream_key, '^' .. prefix .. ':QUEUE:', '')
+
+-- 将队列添加到全局队列注册表（包括所有队列，包括优先级队列）
+local queues_registry_key = prefix .. ':REGISTRY:QUEUES'
+redis.call('SADD', queues_registry_key, queue_name)
+
+-- 从ARGV[2]开始，每个参数是一个消息的data
+for i = 2, #ARGV do
+    local data = ARGV[i]
+
+    -- 使用HINCRBY原子递增offset（如果不存在会自动创建并设为1）
+    local current_offset = redis.call('HINCRBY', offsets_hash, queue_name, 1)
+
+    -- 添加消息到Stream（包含offset字段）
+    local stream_id = redis.call('XADD', stream_key, '*',
+        'data', data,
+        'offset', current_offset)
+
+    table.insert(results, stream_id)
+end
+
+return results
+"""
+
 __all__ = [
     'LUA_SCRIPT_DELAYED_TASKS',
     'LUA_SCRIPT_NORMAL_TASKS',
     'LUA_SCRIPT_GET_AND_DELETE',
     'LUA_SCRIPT_BATCH_SEND',
     'LUA_SCRIPT_SEND_DELAYED_TASKS',
+    'LUA_SCRIPT_BATCH_SEND_EVENT',
 ]

jettask/config/nacos_config.py

@@ -530,4 +530,4 @@ class NacosConfigLoader:
 
 
 # 创建全局配置实例（默认30秒刷新一次）
-config = NacosConfigLoader(refresh_interval=30)
+config = NacosConfigLoader(refresh_interval=1)