sycommon-python-lib 0.2.8a4__tar.gz → 0.2.8a6__tar.gz

{sycommon_python_lib-0.2.8a4 → sycommon_python_lib-0.2.8a6}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: sycommon-python-lib
-Version: 0.2.8a4
+Version: 0.2.8a6
 Summary: Add your description here
 Requires-Python: >=3.11
 Description-Content-Type: text/markdown

{sycommon_python_lib-0.2.8a4 → sycommon_python_lib-0.2.8a6}/pyproject.toml

@@ -1,6 +1,6 @@
 [project]
 name = "sycommon-python-lib"
-version = "0.2.8a4"
+version = "0.2.8a6"
 description = "Add your description here"
 readme = "README.md"
 requires-python = ">=3.11"

{sycommon_python_lib-0.2.8a4 → sycommon_python_lib-0.2.8a6}/src/sycommon/agent/deep_agent.py

@@ -1274,21 +1274,6 @@ async def create_deep_agent(
             on_evaluation=rubric_eval_collector.on_evaluation,
         ))
 
-    # SkillApiWhitelistMiddleware(旧管控层)：已被出网收口取代——
-    # 沙箱网关(egress gateway)做 path 白名单+凭据注入,iptables 硬墙(egress_wall)
-    # 在内核层挡 node/裸socket。旧的 .wl 推送/sitecustomize monkeypatch/shell-guard
-    # 不再注册(子进程 env 零密钥后 sitecustomize 的 SYT_API_AUTHZ 注入也已由网关承接)。
-    # 回滚开关: 环境变量 SANDBOX_LEGACY_WHITELIST=1 时恢复注册(应急用)。
-    if sandbox_backend and os.environ.get("SANDBOX_LEGACY_WHITELIST", "") == "1":
-        try:
-            from sycommon.agent.middleware.skill_api_whitelist import (
-                SkillApiWhitelistMiddleware)
-            middleware_list.append(
-                SkillApiWhitelistMiddleware(sandbox_backend))
-            SYLogger.warning("[DeepAgent] 旧白名单中间件已启用(SANDBOX_LEGACY_WHITELIST=1 应急模式)")
-        except Exception as _wl_err:
-            SYLogger.warning(f"[DeepAgent] 技能接口白名单中间件加载失败(忽略): {_wl_err}")
-
     agent_kwargs = {
         "model": raw_model,
         "tools": config.tools or [get_current_date],

{sycommon_python_lib-0.2.8a4 → sycommon_python_lib-0.2.8a6}/src/sycommon/middleware/egress_wall.py

@@ -13,8 +13,8 @@ EgressPolicy 来自沙箱自己的 Nacos dataId(shengye-platform-sandbox)的
 EgressPolicy 段(见 sycommon/config/EgressPolicyConfig.py),Nacos 热更新后
 调 refresh_egress_wall() 重配。
 
-这是 L3/L4 内核级硬墙，语言无关、绕不过——比应用层 hook（sitecustomize/
-LD_PRELOAD/HTTPS_PROXY）强且无盲区。
+这是 L3/L4 内核级硬墙，语言无关、绕不过——比旧应用层 hook（已删的 
+monkeypatch/LD_PRELOAD 等）强且无盲区。
 
 设计要点：
   - owner-match（-m owner --uid-owner）：只锁 child uid，沙箱服务进程（root/其它 uid）

{sycommon_python_lib-0.2.8a4 → sycommon_python_lib-0.2.8a6}/src/sycommon/middleware/sandbox.py

@@ -971,6 +971,20 @@ def setup_sandbox_handler(app: FastAPI, config: dict = None):
         env["TEMP"] = os.path.join(workspace, "tmp")
         env["TMP"] = os.path.join(workspace, "tmp")
         env["SANDBOX_ROOT"] = workspace
+        # 签名型凭据豁免(企微文档机器人):WECOM_DOC_BOT_* 用于【本地 HMAC 签名】
+        # (sign=sha256(secret+bot_id+t+nonce)),签名必须在发起方算,网关无法代注
+        # ——这是收口「零密钥」的已知例外。流量仍走网关(URL 指网关+X-Upstream-Host,
+        # 受白名单/审计管制),只是 secret 必须到脚本手里。仅当凭据包里有才注入。
+        try:
+            from sycommon.middleware.sandbox_gateway import credential_store
+            _c = credential_store().any_user()
+            _creds = credential_store().get(_c) if _c else None
+            for _k in ("WECOM_DOC_BOT_ID", "WECOM_DOC_BOT_SECRET"):
+                _v = (_creds or {}).get(_k)
+                if _v:
+                    env[_k] = str(_v)
+        except Exception:
+            pass
         # 出网网关：子进程 SYT_BASE_URL 指向网关（http://127.0.0.1:port），
         # HTTPS_PROXY 让 requests/httpx/curl/wget 自动走网关。node/裸 socket 不读
         # proxy 的运行时，由后续 seccomp 硬墙兜底（只放行网关 host:port）。

{sycommon_python_lib-0.2.8a4 → sycommon_python_lib-0.2.8a6}/src/sycommon/middleware/sandbox_gateway.py

@@ -6,7 +6,7 @@
   1. 按「目标 host → 凭据形态」注入正确凭据（SYT 用 Authorization Bearer +
      X-Sy-Api-Authz；OA 系用 SYU-Token + SYU-Url 改写；企微 gettoken 用
      URL query 的 corpid/corpsecret；内网服务无鉴权透传）。
-  2. 复用 skill_wl_check.match 做 path 白名单校验，不在白名单 → 403。
+  2. host/path 白名单校验（EgressPolicy 驱动），不在名单 → 403。
   3. 删子进程自带的凭据头（Authorization/SYU-Token/X-Sy-Api-Authz），由网关
      重新注入正确值（防子进程塞脏值/旧值）。
   4. 审计：每个请求记录 user/host/path/状态码/字节量。
@@ -116,15 +116,22 @@ def _strip_cred_headers(headers) -> dict:
 
 
 def _apply_credentials(method: str, target_url: str, headers: dict,
-                       creds: dict) -> tuple[str, dict]:
+                       creds: dict, upstream_host: str = "") -> tuple[str, dict]:
     """按目标 host/path 改写 URL（query 注入）+ 注入凭据头。返回 (url, headers)。
 
     网关→真上游的请求构造在此完成。host 路由表见模块 docstring。
+    upstream_host: 请求头 X-Upstream-Host 的值(网关 origin 模式下 URL host 是
+    网关自身,真实目标在该头里)——凭据路由优先按它判定,其次按 URL host。
     """
     host = (urlparse(target_url).hostname or "").lower()
+    # 网关 origin 模式:URL host 是 127.0.0.1(网关),真实目标在 X-Upstream-Host;
+    # 凭据路由按真实目标判定(取两者中非网关地址的那个)。
+    route_host = host
+    if upstream_host:
+        route_host = (urlparse(f"https://{upstream_host}").hostname or "").lower()
 
     # --- SYT 网关：Bearer + X-Sy-Api-Authz + X-Host-Name ---
-    if _match_syt_upstream(host, creds.get("SYT_BASE_URL", "")):
+    if _match_syt_upstream(route_host, creds.get("SYT_BASE_URL", "")):
         token = creds.get("SYT_TOKEN", "")
         if token:
             headers["Authorization"] = f"Bearer {token}"
@@ -137,7 +144,7 @@ def _apply_credentials(method: str, target_url: str, headers: dict,
         return target_url, headers
 
     # --- 企微 gettoken：corpid/corpsecret 在 URL query ---
-    if _is_wecom(host):
+    if _is_wecom(route_host):
         corp_id = creds.get("WECOM_CORP_ID", "")
         corp_secret = creds.get("WECOM_CORP_SECRET", "")
         if corp_id and corp_secret and "/cgi-bin/gettoken" in target_url:
@@ -146,10 +153,12 @@ def _apply_credentials(method: str, target_url: str, headers: dict,
             q.setdefault("corpid", corp_id)
             q.setdefault("corpsecret", corp_secret)
             target_url = urlunparse(parsed._replace(query=urlencode(q)))
+        # 企微文档机器人(wecom.py 的 MCP 网关)用 DOC_BOT 凭据签名——不在此注入
+        # (wecom.py 本地算签名),只保证 gettoken 的 corp 凭据注入。
         return target_url, headers
 
     # --- OA MCP 后端：SYU-Token + SYU-Url（改写为真上游 base）---
-    if _is_oa_backend(host):
+    if _is_oa_backend(route_host):
         token = creds.get("SYT_TOKEN", "")
         syt_base = (creds.get("SYT_BASE_URL") or "").rstrip("/")
         if token:
@@ -231,7 +240,7 @@ def _check_allowlist(target_url: str, creds: dict,
 
 
 def _url_allowed(url: str, allowlist: list[str]) -> bool:
-    """与 skill_wl_check._is_allowed 同构的 path 级前缀匹配（不依赖 env）。"""
+    """path 级前缀匹配（斜杠边界）。"""
     try:
         p = urlparse(url if "://" in url else "http://" + str(url))
     except Exception:
@@ -412,9 +421,23 @@ class EgressGateway:
         syt_base = (creds.get("SYT_BASE_URL") or "").rstrip("/")
         if upstream_host:
             # SSRF 防护:上游 host 禁止指向回环/本机/私有网段(本机服务含沙箱
-            # 自身 API,免鉴权,打穿即跨用户任意执行)。非回环的 10.x/172.16-31.x/
-            # 192.168.x 内网目标按 EgressPolicy 判定(directAllow 命中才放)。
-            if _is_loopback_or_private(upstream_host):
+            # 自身 API,免鉴权,打穿即跨用户任意执行)。例外:EgressPolicy 里
+            # viaGateway/directAllow 显式登记的【信任内网上游】(如 OA MCP
+            # ai.syitservice.com→10.10.1.171)——它们是内网服务但有意经营,
+            # 不属于 SSRF 攻击面(策略由 _check_allowlist 继续管)。
+            policy = None
+            try:
+                from sycommon.config.EgressPolicyConfig import EgressPolicyConfig
+                policy = EgressPolicyConfig.from_config()
+            except Exception:
+                policy = None
+            trusted = []
+            if policy is not None:
+                trusted = list(policy.viaGateway) + list(policy.directAllow)
+            uh_hostname = upstream_host.split(":")[0] if upstream_host.count(":") <= 1 \
+                else upstream_host
+            if (_is_loopback_or_private(upstream_host)
+                    and not EgressPolicyConfig._host_match(uh_hostname.lower(), trusted)):
                 SYLogger.warning(
                     f"[EgressGateway] 拒绝内网/回环上游(SSRF 防护): {upstream_host}")
                 return web.Response(status=403, text="gateway: upstream host not allowed")
@@ -446,9 +469,11 @@ class EgressGateway:
                 continue
             fwd_headers[k] = v
 
-        # 注入凭据头 / 改写 URL（query 注入）
+        # 注入凭据头 / 改写 URL（query 注入）。
+        # upstream_host 透传给凭据路由:网关 origin 模式下 URL host 是网关自身,
+        # 真实目标在 X-Upstream-Host——OA(ai.sy)/企微按它判路由。
         target_url, fwd_headers = _apply_credentials(
-            request.method, target_url, fwd_headers, creds)
+            request.method, target_url, fwd_headers, creds, upstream_host)
 
         # 读请求体（上传场景）
         body = await request.read() if request.can_read_body else None

{sycommon_python_lib-0.2.8a4 → sycommon_python_lib-0.2.8a6}/src/sycommon_python_lib.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: sycommon-python-lib
-Version: 0.2.8a4
+Version: 0.2.8a6
 Summary: Add your description here
 Requires-Python: >=3.11
 Description-Content-Type: text/markdown

{sycommon_python_lib-0.2.8a4 → sycommon_python_lib-0.2.8a6}/src/sycommon_python_lib.egg-info/SOURCES.txt

@@ -154,9 +154,6 @@ src/sycommon/agent/mcp/tool_loader.py
 src/sycommon/agent/middleware/model_request_prep.py
 src/sycommon/agent/middleware/sandbox_path_guard.py
 src/sycommon/agent/middleware/sensitive_guard.py
-src/sycommon/agent/middleware/sitecustomize.py
-src/sycommon/agent/middleware/skill_api_whitelist.py
-src/sycommon/agent/middleware/skill_wl_check.py
 src/sycommon/agent/middleware/skill_write_guard.py
 src/sycommon/agent/sandbox/__init__.py
 src/sycommon/agent/sandbox/consistent_hash.py
@@ -185,7 +182,6 @@ src/sycommon/config/PgConfig.py
 src/sycommon/config/RedisConfig.py
 src/sycommon/config/RerankerConfig.py
 src/sycommon/config/SentryConfig.py
-src/sycommon/config/SkillApiWhitelistConfig.py
 src/sycommon/config/XxlJobConfig.py
 src/sycommon/config/__init__.py
 src/sycommon/config/config_change_notifier.py

sycommon_python_lib-0.2.8a4/src/sycommon/agent/middleware/sitecustomize.py

@@ -1,300 +0,0 @@
-"""技能接口白名单客户端注入脚本（部署到沙箱 site-packages）。
-
-Python 解释器启动时（未传 -S）自动 import 本模块。它负责 Python HTTP 库的
-请求拦截：
-
-  1. 读环境变量 SKILL_API_WHITELIST（JSON）。无此 env → 不管控（全放行，fail-open）。
-  2. monkeypatch urllib / httpx / requests / aiohttp，发请求前做 path 级前缀匹配，
-     未命中抛 PermissionError（LLM 能看到清晰错误）。
-
-  ⚠️ shell 命令（curl/wget 等）的拦截【不】在本文件处理——sitecustomize 只在
-     `python` 启动时执行，纯 shell 命令不会触发它。shell 拦截由主进程中间件把
-     curl/wget 包装函数【内联】到每条 execute 命令前缀实现（见 skill_api_whitelist.py）。
-
-URL 匹配核心逻辑复用同目录 skill_wl_check.py。
-
-另外提供【独立于白名单】的 header 注入：当环境变量 SYT_API_AUTHZ 非空时，
-对 host 命中 SYT_BASE_URL 的请求自动补 X-Sy-Api-Authz 头。这是云平台网关的
-鉴权要求，对所有沙箱技能请求生效（不门控白名单），由中间件无条件 export
-SYT_API_AUTHZ + 推送本 sitecustomize 触发。
-
-注意：本模块在沙箱子进程里运行，不依赖主进程内存。配置全部来自环境变量。
-"""
-
-import json
-import os
-import sys
-from urllib.parse import urlparse
-
-# SKILL_API_WHITELIST 存在即「启用管控」；allowlist 为空时「全拦截」。
-_ENABLED = "SKILL_API_WHITELIST" in os.environ
-
-# 把沙箱 site-packages 里存放本模块的目录加入 sys.path，以便 import skill_wl_check。
-_HERE = os.path.dirname(os.path.abspath(__file__))
-if _HERE not in sys.path:
-    sys.path.insert(0, _HERE)
-
-
-def _load_check():
-    """加载同目录 skill_wl_check，返回其 match 函数；失败返回 None。"""
-    try:
-        import skill_wl_check  # type: ignore
-        return skill_wl_check
-    except Exception as e:  # pragma: no cover
-        sys.stderr.write("[sitecustomize] 加载 skill_wl_check 失败，白名单禁用: %s\n" % e)
-        return None
-
-
-def _patch_urllib(match):
-    import urllib.request
-
-    _orig = urllib.request.urlopen
-
-    def _urlopen(url, *args, **kwargs):
-        actual = url.full_url if isinstance(url, urllib.request.Request) else url
-        if actual and not match(str(actual)):
-            raise PermissionError(
-                "[SkillApiWhitelist] 拦截: URL 不在白名单内 (urlopen, %s)" % actual)
-        return _orig(url, *args, **kwargs)
-
-    urllib.request.urlopen = _urlopen
-
-
-def _patch_httpx(match):
-    try:
-        import httpx
-    except ImportError:
-        return
-
-    _orig_sync = httpx.Client.send
-
-    def _send(self, request, **kwargs):
-        if not match(str(request.url)):
-            raise PermissionError(
-                "[SkillApiWhitelist] 拦截: URL 不在白名单内 (httpx, %s)" % request.url)
-        return _orig_sync(self, request, **kwargs)
-
-    httpx.Client.send = _send
-
-    if hasattr(httpx, "AsyncClient"):
-        _orig_async = httpx.AsyncClient.send
-
-        async def _asend(self, request, **kwargs):
-            if not match(str(request.url)):
-                raise PermissionError(
-                    "[SkillApiWhitelist] 拦截: URL 不在白名单内 (httpx.async, %s)" % request.url)
-            return await _orig_async(self, request, **kwargs)
-
-        httpx.AsyncClient.send = _asend
-
-
-def _patch_requests(match):
-    try:
-        import requests
-    except ImportError:
-        return
-
-    _orig = requests.Session.request
-
-    def _request(self, method, url, *args, **kwargs):
-        if not match(str(url)):
-            raise PermissionError(
-                "[SkillApiWhitelist] 拦截: URL 不在白名单内 (requests %s, %s)"
-                % (method.upper(), url))
-        return _orig(self, method, url, *args, **kwargs)
-
-    requests.Session.request = _request
-
-
-def _patch_aiohttp(match):
-    try:
-        import aiohttp
-    except ImportError:
-        return
-    if not hasattr(aiohttp.ClientSession, "_request"):
-        return
-
-    _orig = aiohttp.ClientSession._request
-
-    async def _request(self, method, str_or_url, **kwargs):
-        if not match(str(str_or_url)):
-            raise PermissionError(
-                "[SkillApiWhitelist] 拦截: URL 不在白名单内 (aiohttp %s, %s)"
-                % (method, str_or_url))
-        return await _orig(self, method, str_or_url, **kwargs)
-
-    aiohttp.ClientSession._request = _request
-
-
-# =============== header 注入（独立于白名单）===============
-# 云平台网关要求请求带 X-Sy-Api-Authz 头。仅当 host 命中 SYT_BASE_URL 的 host
-# 才补该头，其它域名（内网 OCR / 企微 / 合同比对内网 / MCP 后端等）不注入。
-# 门控：环境变量 SYT_API_AUTHZ 非空。调用方已显式设过同名头则不覆盖。
-
-_AUTHZ_HEADER = "X-Sy-Api-Authz"
-
-
-def _syt_host():
-    """解析 SYT_BASE_URL 的 host（小写）。失败返回 None。"""
-    base = os.environ.get("SYT_BASE_URL", "").strip()
-    if not base:
-        return None
-    try:
-        return (urlparse(base).hostname or "").lower() or None
-    except Exception:
-        return None
-
-
-def _host_matches_syt(url) -> bool:
-    """请求 URL 的 host 是否等于 SYT_BASE_URL 的 host。"""
-    host = _syt_host()
-    if not host:
-        return False
-    try:
-        return (urlparse(str(url)).hostname or "").lower() == host
-    except Exception:
-        return False
-
-
-def _patch_urllib_hdr():
-    import urllib.request
-
-    _orig = urllib.request.urlopen
-
-    def _urlopen(url, *args, **kwargs):
-        # 只能给 Request 对象补头；裸 str URL 在 urlopen 层无 headers 概念，跳过
-        if isinstance(url, urllib.request.Request) and _host_matches_syt(url.full_url):
-            url.add_header(_AUTHZ_HEADER, os.environ["SYT_API_AUTHZ"])
-        return _orig(url, *args, **kwargs)
-
-    urllib.request.urlopen = _urlopen
-
-
-def _patch_requests_hdr():
-    try:
-        import requests
-    except ImportError:
-        return
-
-    _orig = requests.Session.request
-
-    def _request(self, method, url, *args, **kwargs):
-        if _host_matches_syt(url):
-            headers = kwargs.get("headers")
-            if headers is None:
-                headers = {}
-            if isinstance(headers, dict):
-                if _AUTHZ_HEADER not in headers:
-                    headers[_AUTHZ_HEADER] = os.environ["SYT_API_AUTHZ"]
-                kwargs["headers"] = headers
-            else:
-                # list / 其它形态：保守起见交给底层，避免破坏既有结构
-                pass
-        return _orig(self, method, url, *args, **kwargs)
-
-    requests.Session.request = _request
-
-
-def _patch_httpx_hdr():
-    try:
-        import httpx
-    except ImportError:
-        return
-
-    def _apply(request):
-        if request is not None and _host_matches_syt(request.url):
-            request.headers.setdefault(_AUTHZ_HEADER, os.environ["SYT_API_AUTHZ"])
-
-    _orig_sync = httpx.Client.send
-
-    def _send(self, request, **kwargs):
-        _apply(request)
-        return _orig_sync(self, request, **kwargs)
-
-    httpx.Client.send = _send
-
-    if hasattr(httpx, "AsyncClient"):
-        _orig_async = httpx.AsyncClient.send
-
-        async def _asend(self, request, **kwargs):
-            _apply(request)
-            return await _orig_async(self, request, **kwargs)
-
-        httpx.AsyncClient.send = _asend
-
-
-def _patch_aiohttp_hdr():
-    try:
-        import aiohttp
-    except ImportError:
-        return
-    if not hasattr(aiohttp.ClientSession, "_request"):
-        return
-
-    _orig = aiohttp.ClientSession._request
-
-    async def _request(self, method, str_or_url, **kwargs):
-        if _host_matches_syt(str_or_url):
-            headers = kwargs.get("headers")
-            if isinstance(headers, dict):
-                if _AUTHZ_HEADER not in headers:
-                    headers[_AUTHZ_HEADER] = os.environ["SYT_API_AUTHZ"]
-            elif headers is None:
-                kwargs["headers"] = {_AUTHZ_HEADER: os.environ["SYT_API_AUTHZ"]}
-            else:
-                # list / CIMultiDict 等其它形态：跳过，避免破坏结构
-                pass
-        return await _orig(self, method, str_or_url, **kwargs)
-
-    aiohttp.ClientSession._request = _request
-
-
-def _install_header_injection():
-    """装 header 注入 patch（独立于白名单）。
-
-    门控：环境变量 SYT_API_AUTHZ 非空。任一库 import 失败都不阻断。
-    """
-    val = os.environ.get("SYT_API_AUTHZ", "").strip()
-    if not val:
-        return
-    if not _syt_host():
-        sys.stderr.write(
-            "[sitecustomize] SYT_API_AUTHZ 已设置但 SYT_BASE_URL 无法解析 host，"
-            "跳过 header 注入\n")
-        return
-    _patch_urllib_hdr()
-    _patch_requests_hdr()
-    _patch_httpx_hdr()
-    _patch_aiohttp_hdr()
-
-
-def _install():
-    if not _ENABLED:
-        return
-    check = _load_check()
-    if check is None:
-        return
-    # allowlist 为空（明确禁止）时也走校验——match 必然 False，从而全拦截。
-    match = check.match
-    _patch_urllib(match)
-    _patch_httpx(match)
-    _patch_requests(match)
-    _patch_aiohttp(match)
-
-
-# 保留解析结果（供排查）
-try:
-    _WHITELIST_RAW = json.loads(os.environ.get("SKILL_API_WHITELIST", "{}"))
-except Exception:
-    _WHITELIST_RAW = {}
-
-try:
-    _install()
-except Exception as _e:  # 任何 patch 失败都不能阻断进程启动
-    sys.stderr.write("[sitecustomize] 白名单安装失败（fail-open）: %s\n" % _e)
-
-# header 注入独立于白名单，单独 try/except，互不影响
-try:
-    _install_header_injection()
-except Exception as _e:
-    sys.stderr.write("[sitecustomize] header 注入安装失败（fail-open）: %s\n" % _e)