sycommon-python-lib 0.2.7a30__tar.gz → 0.2.7a31__tar.gz

{sycommon_python_lib-0.2.7a30 → sycommon_python_lib-0.2.7a31}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: sycommon-python-lib
-Version: 0.2.7a30
+Version: 0.2.7a31
 Summary: Add your description here
 Requires-Python: >=3.11
 Description-Content-Type: text/markdown

{sycommon_python_lib-0.2.7a30 → sycommon_python_lib-0.2.7a31}/pyproject.toml

@@ -1,6 +1,6 @@
 [project]
 name = "sycommon-python-lib"
-version = "0.2.7a30"
+version = "0.2.7a31"
 description = "Add your description here"
 readme = "README.md"
 requires-python = ">=3.11"

{sycommon_python_lib-0.2.7a30 → sycommon_python_lib-0.2.7a31}/src/sycommon/agent/mcp/tool_loader.py

@@ -350,15 +350,11 @@ async def _load_one_server(
                 pass
         return []
     except asyncio.CancelledError:
-        # 单飞失败透传的哨兵（_discover_with_cache 失败时唤醒等待者用），按失败处理
-        SYLogger.warning(
-            f"[MCP] 服务器 '{config.name}' ({config.server_url}) 发现失败，跳过")
-        if on_server_failure:
-            try:
-                await on_server_failure(config.id, "发现失败")
-            except Exception:
-                pass
-        return []
+        # 外层取消（如会话重置 cancel 后台 _mcp_task）→ 必须向上传播，不能吞。
+        # 吞掉会让 load_mcp_tools_background 的 `except CancelledError: raise` 守卫失效、
+        # 任务被标记为正常完成而非已取消。单飞失败的哨兵是 RuntimeError(走下方 except Exception)，
+        # 不会进这个分支，故这里只需 raise。
+        raise
     except Exception as e:
         SYLogger.warning(
             f"[MCP] 服务器 '{config.name}' ({config.server_url}) 连接失败，跳过: {e}")

{sycommon_python_lib-0.2.7a30 → sycommon_python_lib-0.2.7a31}/src/sycommon/agent/sandbox/minio_sync.py

@@ -24,9 +24,24 @@ from sycommon.logging.kafka_log import SYLogger
 # 日期快照功能预留，当前暂不启用
 _SNAPSHOT_ENABLED = False
 
-# restore_from_minio 的 MinIO 下载并发度（同时下载的文件数上限）。
-# 与 _sync_batch(sync→minio 方向)的 batch_size 对齐为 5，避免压垮 MinIO/网络。
-_RESTORE_CONCURRENCY = 5
+# restore_from_minio 的 MinIO 下载并发度。
+# 两层信号量：
+#   - 单用户层 _RESTORE_PER_USER：每个用户恢复时最多 5 路并发下载（单用户恢复够快）；
+#   - 全局层   _RESTORE_GLOBAL_CAP：全进程最多 15 路下载，防 N 个用户同时恢复时
+#     N×5 路把默认线程池(≈min(32,cpu+4)=12)打满、挤占主请求路径的沙箱操作。
+# 单用户独享 5 槽 + 全局封顶 15，兼顾「单用户快」与「多用户不互相压垮」。
+_RESTORE_PER_USER = 5
+_RESTORE_GLOBAL_CAP = 15
+# 全局信号量惰性创建（绑定到首次调用时的 event loop；单 loop 部署下不变）。
+_RESTORE_DOWNLOAD_SEM: "asyncio.Semaphore | None" = None
+
+
+def _get_restore_download_sem() -> "asyncio.Semaphore":
+    """惰性创建全局下载信号量。"""
+    global _RESTORE_DOWNLOAD_SEM
+    if _RESTORE_DOWNLOAD_SEM is None:
+        _RESTORE_DOWNLOAD_SEM = asyncio.Semaphore(_RESTORE_GLOBAL_CAP)
+    return _RESTORE_DOWNLOAD_SEM
 
 
 class MinioSyncService(metaclass=SingletonMeta):
@@ -763,15 +778,18 @@ class MinioSyncService(metaclass=SingletonMeta):
 
         SYLogger.info(f"[MinIO] 需恢复 {len(to_restore)} 个文件到沙箱: user={user_id}")
 
-        # 4. 并发恢复：MinIO 下载用全局 Semaphore(5) 限流并发，沙箱上传仍按批 batch_upload。
-        # 旧实现是「批内串行下载 + 批间串行」，N 个文件 ≈ N 次串行 MinIO GET，27 个文件要数十秒。
-        # 改为 Semaphore(5) 后下载并发，总耗时 ≈ ceil(N/5) 次串行往返，对齐 _sync_batch 的并发度。
+        # 4. 并发恢复：两层限流。
+        #   - per_user_sem（每次 restore 新建，本用户独享 5 槽）：单用户恢复够快；
+        #   - global_sem（进程级 15 槽）：多用户同时恢复时全局封顶，防 N×5 路下载
+        #     打满线程池、挤占主请求路径的沙箱操作。
+        # 下载协程先抢本用户 5 槽、再抢全局 15 槽，故实际并发 = min(本用户待下载, 全局剩余)。
         restored = 0
-        download_sem = asyncio.Semaphore(_RESTORE_CONCURRENCY)
+        global_sem = _get_restore_download_sem()
+        per_user_sem = asyncio.Semaphore(_RESTORE_PER_USER)
 
         async def _download_one(rel_path: str):
             """下载单个 MinIO 对象到内存，返回 (沙箱绝对路径, 内容) 或 None。"""
-            async with download_sem:
+            async with per_user_sem, global_sem:
                 try:
                     def _download_object(bucket, key):
                         resp = self._client.get_object(bucket, key)
@@ -786,18 +804,18 @@ class MinioSyncService(metaclass=SingletonMeta):
                     )
                     return (f"/{rel_path}", content)
                 except Exception as e:
-                    SYLogger.warning(f"[MinIO] 下载文件失败: {rel_path}, error={e}")
+                    SYLogger.warning(f"[MinIO] 下载文件失败: {rel_path}, error: {e}")
                     return None
 
-        # 全量并发下载(受 Semaphore 限流)，比按批串行快得多
+        # 全量并发下载(受两层 Semaphore 限流)，比按批串行快得多
         download_results = await asyncio.gather(
             *[_download_one(rp) for rp in to_restore]
         )
         downloaded = [r for r in download_results if r is not None]
 
         # 上传仍走 batch_upload(服务端并发)，按 5 个一批发(沙箱端点对超大批量可能限流)
-        for i in range(0, len(downloaded), _RESTORE_CONCURRENCY):
-            batch = downloaded[i:i + _RESTORE_CONCURRENCY]
+        for i in range(0, len(downloaded), _RESTORE_PER_USER):
+            batch = downloaded[i:i + _RESTORE_PER_USER]
             if not batch:
                 continue
             try:

{sycommon_python_lib-0.2.7a30 → sycommon_python_lib-0.2.7a31}/src/sycommon_python_lib.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: sycommon-python-lib
-Version: 0.2.7a30
+Version: 0.2.7a31
 Summary: Add your description here
 Requires-Python: >=3.11
 Description-Content-Type: text/markdown