sycommon-python-lib 0.2.7a29__tar.gz → 0.2.7a31__tar.gz

{sycommon_python_lib-0.2.7a29 → sycommon_python_lib-0.2.7a31}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: sycommon-python-lib
-Version: 0.2.7a29
+Version: 0.2.7a31
 Summary: Add your description here
 Requires-Python: >=3.11
 Description-Content-Type: text/markdown

{sycommon_python_lib-0.2.7a29 → sycommon_python_lib-0.2.7a31}/pyproject.toml

@@ -1,6 +1,6 @@
 [project]
 name = "sycommon-python-lib"
-version = "0.2.7a29"
+version = "0.2.7a31"
 description = "Add your description here"
 readme = "README.md"
 requires-python = ">=3.11"

{sycommon_python_lib-0.2.7a29 → sycommon_python_lib-0.2.7a31}/src/sycommon/agent/deep_agent.py

@@ -35,6 +35,7 @@
 """
 
 import asyncio
+import hashlib
 import json
 import os
 import re
@@ -1366,6 +1367,79 @@ def _parse_skill_version(content: str) -> str:
     return ""
 
 
+def _decode_remote_skillmd(content: str) -> str:
+    """把沙箱 /read 返回的 SKILL.md 内容统一解成明文。
+
+    沙箱 /read 对大文件（如 skill-creator 的 34KB SKILL.md）返回 base64，
+    且 encoding 标志位可能漏标/误标。判断策略（不依赖 encoding 字段）：
+    - 明文 SKILL.md 一定含 frontmatter 标志 `---`；含则当明文直接返回。
+    - 不含 `---` 则当作 base64，解码后返回；解码失败或解码后仍无 `---` 返回原值。
+    """
+    if not content:
+        return content
+    if "---" in content:
+        return content  # 明文
+    try:
+        import base64 as _b64
+        decoded = _b64.b64decode(content).decode("utf-8", errors="replace")
+        return decoded
+    except Exception:
+        return content
+
+
+def _skill_signature(content: str) -> str:
+    """计算 SKILL.md 正文内容的指纹，用于检测「版本号一致但正文未同步」的脏数据。
+
+    取正文（去掉 frontmatter）的前 N 行规范化后的拼接 + md5，作为轻量指纹。
+    版本号相同时若指纹不同，说明沙箱里的正文是旧的，需强制重传。
+    frontmatter 跳过逻辑与 _parse_skill_version 一致（逐行数 ---）。
+    """
+    lines = content.split("\n")
+    in_frontmatter = False
+    body_start = 0
+    for i, line in enumerate(lines):
+        if line.strip() == "---":
+            if not in_frontmatter:
+                in_frontmatter = True  # 进入 frontmatter
+            else:
+                body_start = i + 1  # 离开 frontmatter，正文从这里开始
+                break
+    body = "\n".join(lines[body_start:])
+    # 规范化：去掉空白行和首尾空格，只取前 40 行做指纹（足够区分新旧大改）
+    norm_lines = [l.rstrip() for l in body.split("\n") if l.strip()]
+    head = "\n".join(norm_lines[:40])
+    return f"{len(norm_lines)}:{hashlib.md5(head.encode('utf-8')).hexdigest()[:12]}"
+
+
+async def _verify_skill_content_fresh(
+    backend, sandbox_dest: str, skill_name: str, local_src: str
+) -> bool:
+    """版本一致时，再校验沙箱 SKILL.md 正文指纹是否与本地一致。
+    一致返回 True（可跳过同步）；不一致返回 False（需强制重传）。
+    任何读取异常返回 False（保守起见触发重传，宁可多传不可漏传）。"""
+    local_md = os.path.join(local_src, "SKILL.md")
+    if not os.path.isfile(local_md):
+        return True  # 本地没 SKILL.md，无法校验，交给版本逻辑
+    try:
+        with open(local_md, "r", encoding="utf-8") as f:
+            local_sig = _skill_signature(f.read())
+    except Exception:
+        return True
+
+    try:
+        remote = await backend.aread(
+            f"{sandbox_dest}/{skill_name}/SKILL.md", _skip_lazy_sync=True)
+        if not remote or not remote.file_data:
+            return False  # 读不到 → 当作不一致，触发重传
+        raw = remote.file_data.get("content", "") or ""
+        # 统一用 _decode_remote_skillmd 处理明文/base64 两种返回
+        content = _decode_remote_skillmd(raw)
+        remote_sig = _skill_signature(content)
+        return bool(remote_sig) and local_sig == remote_sig
+    except Exception:
+        return False
+
+
 async def _sync_skills_to_sandbox(
     skills_dir: str,
     backend: HTTPSandboxBackend,
@@ -1424,21 +1498,11 @@ async def _sync_skills_to_sandbox(
                 if remote_content and remote_content.file_data:
                     # FileData 是 TypedDict(dict), 用键访问而非属性
                     content = remote_content.file_data.get("content", "") or ""
-                    # 优先直接解 version(明文小文件最快);
-                    # 解不出再兜底解码 base64——沙箱 /read 对大文件(如 skill-creator 的
-                    # 34KB SKILL.md)返回 base64, 但 encoding 标志位可能漏标/误标,
-                    # 若依赖该标志位,漏标时会因找不到 "version:" 行误判为"无版本"
-                    # → 每次新建 Agent 都全量重传。改为「先解 → 解不出再 b64 兜底」,
-                    # 不依赖 encoding 字段, 对明文/base64 两种返回都正确。
-                    version = _parse_skill_version(content)
-                    if version:
-                        return version
-                    try:
-                        import base64 as _b64
-                        decoded = _b64.b64decode(content).decode("utf-8", errors="replace")
-                        return _parse_skill_version(decoded)
-                    except Exception:
-                        return ""
+                    # 沙箱 /read 对大文件(如 skill-creator 的 34KB SKILL.md)返回 base64,
+                    # 且 encoding 标志位可能漏标/误标。统一用 _decode_remote_skillmd
+                    # 处理明文/base64 两种返回（不依赖 encoding 字段），再解 version。
+                    plain = _decode_remote_skillmd(content)
+                    return _parse_skill_version(plain)
             except Exception:
                 pass
             return ""
@@ -1456,25 +1520,45 @@ async def _sync_skills_to_sandbox(
             remote_version = remote_version_map.get(skill_name, "")
 
             if remote_version and remote_version == local_version:
-                SYLogger.debug(
-                    f"[DeepAgent] 技能版本一致,跳过: {skill_name} v{local_version}")
-                backend._synced_skills.add(skill_name)
-                skip_count += 1
-                continue
+                # 版本一致仍校验正文关键内容，防止"version 字段已更新但正文未同步"
+                # （历史上出现过沙箱 SKILL.md 版本号新、正文旧的脏数据，导致 agent
+                # 永远读不到新版指令）。校验失败则强制走删除+重传。
+                if not await _verify_skill_content_fresh(
+                    backend, sandbox_dest, skill_name, src
+                ):
+                    SYLogger.warning(
+                        f"[DeepAgent] 技能版本一致但正文不一致，强制重传: {skill_name} "
+                        f"v{local_version}")
+                    # 落到下方的删除+重传分支
+                else:
+                    SYLogger.debug(
+                        f"[DeepAgent] 技能版本一致,跳过: {skill_name} v{local_version}")
+                    backend._synced_skills.add(skill_name)
+                    skip_count += 1
+                    continue
 
-            # 版本不一致或无版本,删除旧目录(走 /delete,跳过懒同步,毫秒级)
+            # 版本不一致或无版本（或正文校验失败），删除旧目录(走 /delete,跳过懒同步,毫秒级)
             if skill_name in existing_dirs:
-                try:
-                    await backend.adelete(
-                        f"{sandbox_dest}/{skill_name}",
-                        recursive=True,
-                        _skip_lazy_sync=True)
+                deleted_ok = False
+                for _attempt in range(2):  # 最多重试一次，确保旧内容真删掉
+                    try:
+                        await backend.adelete(
+                            f"{sandbox_dest}/{skill_name}",
+                            recursive=True,
+                            _skip_lazy_sync=True)
+                        deleted_ok = True
+                        break
+                    except Exception as e:
+                        SYLogger.warning(
+                            f"[DeepAgent] 删除旧版技能失败(尝试{_attempt+1}): "
+                            f"{skill_name}, {e}")
+                if deleted_ok:
                     SYLogger.info(
-                        f"[DeepAgent] 技能版本不一致,覆盖: {skill_name} "
+                        f"[DeepAgent] 技能版本不一致,已删除旧目录: {skill_name} "
                         f"({remote_version or '无版本'} → {local_version})")
-                except Exception as e:
-                    SYLogger.warning(
-                        f"[DeepAgent] 删除旧版技能失败: {skill_name}, {e}")
+                else:
+                    SYLogger.error(
+                        f"[DeepAgent] 删除旧版技能彻底失败，本次跳过: {skill_name}")
 
             # 全量上传整个技能目录到沙箱(batch_upload 服务端无条件覆盖)
             await backend.async_sync_dirs([(src, f"{sandbox_dest}/{skill_name}")])

{sycommon_python_lib-0.2.7a29 → sycommon_python_lib-0.2.7a31}/src/sycommon/agent/mcp/tool_loader.py

@@ -350,15 +350,11 @@ async def _load_one_server(
                 pass
         return []
     except asyncio.CancelledError:
-        # 单飞失败透传的哨兵（_discover_with_cache 失败时唤醒等待者用），按失败处理
-        SYLogger.warning(
-            f"[MCP] 服务器 '{config.name}' ({config.server_url}) 发现失败，跳过")
-        if on_server_failure:
-            try:
-                await on_server_failure(config.id, "发现失败")
-            except Exception:
-                pass
-        return []
+        # 外层取消（如会话重置 cancel 后台 _mcp_task）→ 必须向上传播，不能吞。
+        # 吞掉会让 load_mcp_tools_background 的 `except CancelledError: raise` 守卫失效、
+        # 任务被标记为正常完成而非已取消。单飞失败的哨兵是 RuntimeError(走下方 except Exception)，
+        # 不会进这个分支，故这里只需 raise。
+        raise
     except Exception as e:
         SYLogger.warning(
             f"[MCP] 服务器 '{config.name}' ({config.server_url}) 连接失败，跳过: {e}")

{sycommon_python_lib-0.2.7a29 → sycommon_python_lib-0.2.7a31}/src/sycommon/agent/sandbox/minio_sync.py

@@ -24,9 +24,24 @@ from sycommon.logging.kafka_log import SYLogger
 # 日期快照功能预留，当前暂不启用
 _SNAPSHOT_ENABLED = False
 
-# restore_from_minio 的 MinIO 下载并发度（同时下载的文件数上限）。
-# 与 _sync_batch(sync→minio 方向)的 batch_size 对齐为 5，避免压垮 MinIO/网络。
-_RESTORE_CONCURRENCY = 5
+# restore_from_minio 的 MinIO 下载并发度。
+# 两层信号量：
+#   - 单用户层 _RESTORE_PER_USER：每个用户恢复时最多 5 路并发下载（单用户恢复够快）；
+#   - 全局层   _RESTORE_GLOBAL_CAP：全进程最多 15 路下载，防 N 个用户同时恢复时
+#     N×5 路把默认线程池(≈min(32,cpu+4)=12)打满、挤占主请求路径的沙箱操作。
+# 单用户独享 5 槽 + 全局封顶 15，兼顾「单用户快」与「多用户不互相压垮」。
+_RESTORE_PER_USER = 5
+_RESTORE_GLOBAL_CAP = 15
+# 全局信号量惰性创建（绑定到首次调用时的 event loop；单 loop 部署下不变）。
+_RESTORE_DOWNLOAD_SEM: "asyncio.Semaphore | None" = None
+
+
+def _get_restore_download_sem() -> "asyncio.Semaphore":
+    """惰性创建全局下载信号量。"""
+    global _RESTORE_DOWNLOAD_SEM
+    if _RESTORE_DOWNLOAD_SEM is None:
+        _RESTORE_DOWNLOAD_SEM = asyncio.Semaphore(_RESTORE_GLOBAL_CAP)
+    return _RESTORE_DOWNLOAD_SEM
 
 
 class MinioSyncService(metaclass=SingletonMeta):
@@ -763,15 +778,18 @@ class MinioSyncService(metaclass=SingletonMeta):
 
         SYLogger.info(f"[MinIO] 需恢复 {len(to_restore)} 个文件到沙箱: user={user_id}")
 
-        # 4. 并发恢复：MinIO 下载用全局 Semaphore(5) 限流并发，沙箱上传仍按批 batch_upload。
-        # 旧实现是「批内串行下载 + 批间串行」，N 个文件 ≈ N 次串行 MinIO GET，27 个文件要数十秒。
-        # 改为 Semaphore(5) 后下载并发，总耗时 ≈ ceil(N/5) 次串行往返，对齐 _sync_batch 的并发度。
+        # 4. 并发恢复：两层限流。
+        #   - per_user_sem（每次 restore 新建，本用户独享 5 槽）：单用户恢复够快；
+        #   - global_sem（进程级 15 槽）：多用户同时恢复时全局封顶，防 N×5 路下载
+        #     打满线程池、挤占主请求路径的沙箱操作。
+        # 下载协程先抢本用户 5 槽、再抢全局 15 槽，故实际并发 = min(本用户待下载, 全局剩余)。
         restored = 0
-        download_sem = asyncio.Semaphore(_RESTORE_CONCURRENCY)
+        global_sem = _get_restore_download_sem()
+        per_user_sem = asyncio.Semaphore(_RESTORE_PER_USER)
 
         async def _download_one(rel_path: str):
             """下载单个 MinIO 对象到内存，返回 (沙箱绝对路径, 内容) 或 None。"""
-            async with download_sem:
+            async with per_user_sem, global_sem:
                 try:
                     def _download_object(bucket, key):
                         resp = self._client.get_object(bucket, key)
@@ -786,18 +804,18 @@ class MinioSyncService(metaclass=SingletonMeta):
                     )
                     return (f"/{rel_path}", content)
                 except Exception as e:
-                    SYLogger.warning(f"[MinIO] 下载文件失败: {rel_path}, error={e}")
+                    SYLogger.warning(f"[MinIO] 下载文件失败: {rel_path}, error: {e}")
                     return None
 
-        # 全量并发下载(受 Semaphore 限流)，比按批串行快得多
+        # 全量并发下载(受两层 Semaphore 限流)，比按批串行快得多
         download_results = await asyncio.gather(
             *[_download_one(rp) for rp in to_restore]
         )
         downloaded = [r for r in download_results if r is not None]
 
         # 上传仍走 batch_upload(服务端并发)，按 5 个一批发(沙箱端点对超大批量可能限流)
-        for i in range(0, len(downloaded), _RESTORE_CONCURRENCY):
-            batch = downloaded[i:i + _RESTORE_CONCURRENCY]
+        for i in range(0, len(downloaded), _RESTORE_PER_USER):
+            batch = downloaded[i:i + _RESTORE_PER_USER]
             if not batch:
                 continue
             try:

{sycommon_python_lib-0.2.7a29 → sycommon_python_lib-0.2.7a31}/src/sycommon_python_lib.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: sycommon-python-lib
-Version: 0.2.7a29
+Version: 0.2.7a31
 Summary: Add your description here
 Requires-Python: >=3.11
 Description-Content-Type: text/markdown