sycommon-python-lib 0.2.8a5__tar.gz → 0.2.8a6__tar.gz

{sycommon_python_lib-0.2.8a5 → sycommon_python_lib-0.2.8a6}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: sycommon-python-lib
-Version: 0.2.8a5
+Version: 0.2.8a6
 Summary: Add your description here
 Requires-Python: >=3.11
 Description-Content-Type: text/markdown

{sycommon_python_lib-0.2.8a5 → sycommon_python_lib-0.2.8a6}/pyproject.toml

@@ -1,6 +1,6 @@
 [project]
 name = "sycommon-python-lib"
-version = "0.2.8a5"
+version = "0.2.8a6"
 description = "Add your description here"
 readme = "README.md"
 requires-python = ">=3.11"

{sycommon_python_lib-0.2.8a5 → sycommon_python_lib-0.2.8a6}/src/sycommon/agent/deep_agent.py

@@ -1274,21 +1274,6 @@ async def create_deep_agent(
             on_evaluation=rubric_eval_collector.on_evaluation,
         ))
 
-    # SkillApiWhitelistMiddleware(旧管控层)：已被出网收口取代——
-    # 沙箱网关(egress gateway)做 path 白名单+凭据注入,iptables 硬墙(egress_wall)
-    # 在内核层挡 node/裸socket。旧的 .wl 推送/sitecustomize monkeypatch/shell-guard
-    # 不再注册(子进程 env 零密钥后 sitecustomize 的 SYT_API_AUTHZ 注入也已由网关承接)。
-    # 回滚开关: 环境变量 SANDBOX_LEGACY_WHITELIST=1 时恢复注册(应急用)。
-    if sandbox_backend and os.environ.get("SANDBOX_LEGACY_WHITELIST", "") == "1":
-        try:
-            from sycommon.agent.middleware.skill_api_whitelist import (
-                SkillApiWhitelistMiddleware)
-            middleware_list.append(
-                SkillApiWhitelistMiddleware(sandbox_backend))
-            SYLogger.warning("[DeepAgent] 旧白名单中间件已启用(SANDBOX_LEGACY_WHITELIST=1 应急模式)")
-        except Exception as _wl_err:
-            SYLogger.warning(f"[DeepAgent] 技能接口白名单中间件加载失败(忽略): {_wl_err}")
-
     agent_kwargs = {
         "model": raw_model,
         "tools": config.tools or [get_current_date],

{sycommon_python_lib-0.2.8a5 → sycommon_python_lib-0.2.8a6}/src/sycommon/middleware/egress_wall.py

@@ -13,8 +13,8 @@ EgressPolicy 来自沙箱自己的 Nacos dataId(shengye-platform-sandbox)的
 EgressPolicy 段(见 sycommon/config/EgressPolicyConfig.py),Nacos 热更新后
 调 refresh_egress_wall() 重配。
 
-这是 L3/L4 内核级硬墙，语言无关、绕不过——比应用层 hook（sitecustomize/
-LD_PRELOAD/HTTPS_PROXY）强且无盲区。
+这是 L3/L4 内核级硬墙，语言无关、绕不过——比旧应用层 hook（已删的 
+monkeypatch/LD_PRELOAD 等）强且无盲区。
 
 设计要点：
   - owner-match（-m owner --uid-owner）：只锁 child uid，沙箱服务进程（root/其它 uid）

{sycommon_python_lib-0.2.8a5 → sycommon_python_lib-0.2.8a6}/src/sycommon/middleware/sandbox_gateway.py

@@ -6,7 +6,7 @@
   1. 按「目标 host → 凭据形态」注入正确凭据（SYT 用 Authorization Bearer +
      X-Sy-Api-Authz；OA 系用 SYU-Token + SYU-Url 改写；企微 gettoken 用
      URL query 的 corpid/corpsecret；内网服务无鉴权透传）。
-  2. 复用 skill_wl_check.match 做 path 白名单校验，不在白名单 → 403。
+  2. host/path 白名单校验（EgressPolicy 驱动），不在名单 → 403。
   3. 删子进程自带的凭据头（Authorization/SYU-Token/X-Sy-Api-Authz），由网关
      重新注入正确值（防子进程塞脏值/旧值）。
   4. 审计：每个请求记录 user/host/path/状态码/字节量。
@@ -240,7 +240,7 @@ def _check_allowlist(target_url: str, creds: dict,
 
 
 def _url_allowed(url: str, allowlist: list[str]) -> bool:
-    """与 skill_wl_check._is_allowed 同构的 path 级前缀匹配（不依赖 env）。"""
+    """path 级前缀匹配（斜杠边界）。"""
     try:
         p = urlparse(url if "://" in url else "http://" + str(url))
     except Exception:

{sycommon_python_lib-0.2.8a5 → sycommon_python_lib-0.2.8a6}/src/sycommon_python_lib.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: sycommon-python-lib
-Version: 0.2.8a5
+Version: 0.2.8a6
 Summary: Add your description here
 Requires-Python: >=3.11
 Description-Content-Type: text/markdown

{sycommon_python_lib-0.2.8a5 → sycommon_python_lib-0.2.8a6}/src/sycommon_python_lib.egg-info/SOURCES.txt

@@ -154,9 +154,6 @@ src/sycommon/agent/mcp/tool_loader.py
 src/sycommon/agent/middleware/model_request_prep.py
 src/sycommon/agent/middleware/sandbox_path_guard.py
 src/sycommon/agent/middleware/sensitive_guard.py
-src/sycommon/agent/middleware/sitecustomize.py
-src/sycommon/agent/middleware/skill_api_whitelist.py
-src/sycommon/agent/middleware/skill_wl_check.py
 src/sycommon/agent/middleware/skill_write_guard.py
 src/sycommon/agent/sandbox/__init__.py
 src/sycommon/agent/sandbox/consistent_hash.py
@@ -185,7 +182,6 @@ src/sycommon/config/PgConfig.py
 src/sycommon/config/RedisConfig.py
 src/sycommon/config/RerankerConfig.py
 src/sycommon/config/SentryConfig.py
-src/sycommon/config/SkillApiWhitelistConfig.py
 src/sycommon/config/XxlJobConfig.py
 src/sycommon/config/__init__.py
 src/sycommon/config/config_change_notifier.py

sycommon_python_lib-0.2.8a5/src/sycommon/agent/middleware/sitecustomize.py

@@ -1,300 +0,0 @@
-"""技能接口白名单客户端注入脚本（部署到沙箱 site-packages）。
-
-Python 解释器启动时（未传 -S）自动 import 本模块。它负责 Python HTTP 库的
-请求拦截：
-
-  1. 读环境变量 SKILL_API_WHITELIST（JSON）。无此 env → 不管控（全放行，fail-open）。
-  2. monkeypatch urllib / httpx / requests / aiohttp，发请求前做 path 级前缀匹配，
-     未命中抛 PermissionError（LLM 能看到清晰错误）。
-
-  ⚠️ shell 命令（curl/wget 等）的拦截【不】在本文件处理——sitecustomize 只在
-     `python` 启动时执行，纯 shell 命令不会触发它。shell 拦截由主进程中间件把
-     curl/wget 包装函数【内联】到每条 execute 命令前缀实现（见 skill_api_whitelist.py）。
-
-URL 匹配核心逻辑复用同目录 skill_wl_check.py。
-
-另外提供【独立于白名单】的 header 注入：当环境变量 SYT_API_AUTHZ 非空时，
-对 host 命中 SYT_BASE_URL 的请求自动补 X-Sy-Api-Authz 头。这是云平台网关的
-鉴权要求，对所有沙箱技能请求生效（不门控白名单），由中间件无条件 export
-SYT_API_AUTHZ + 推送本 sitecustomize 触发。
-
-注意：本模块在沙箱子进程里运行，不依赖主进程内存。配置全部来自环境变量。
-"""
-
-import json
-import os
-import sys
-from urllib.parse import urlparse
-
-# SKILL_API_WHITELIST 存在即「启用管控」；allowlist 为空时「全拦截」。
-_ENABLED = "SKILL_API_WHITELIST" in os.environ
-
-# 把沙箱 site-packages 里存放本模块的目录加入 sys.path，以便 import skill_wl_check。
-_HERE = os.path.dirname(os.path.abspath(__file__))
-if _HERE not in sys.path:
-    sys.path.insert(0, _HERE)
-
-
-def _load_check():
-    """加载同目录 skill_wl_check，返回其 match 函数；失败返回 None。"""
-    try:
-        import skill_wl_check  # type: ignore
-        return skill_wl_check
-    except Exception as e:  # pragma: no cover
-        sys.stderr.write("[sitecustomize] 加载 skill_wl_check 失败，白名单禁用: %s\n" % e)
-        return None
-
-
-def _patch_urllib(match):
-    import urllib.request
-
-    _orig = urllib.request.urlopen
-
-    def _urlopen(url, *args, **kwargs):
-        actual = url.full_url if isinstance(url, urllib.request.Request) else url
-        if actual and not match(str(actual)):
-            raise PermissionError(
-                "[SkillApiWhitelist] 拦截: URL 不在白名单内 (urlopen, %s)" % actual)
-        return _orig(url, *args, **kwargs)
-
-    urllib.request.urlopen = _urlopen
-
-
-def _patch_httpx(match):
-    try:
-        import httpx
-    except ImportError:
-        return
-
-    _orig_sync = httpx.Client.send
-
-    def _send(self, request, **kwargs):
-        if not match(str(request.url)):
-            raise PermissionError(
-                "[SkillApiWhitelist] 拦截: URL 不在白名单内 (httpx, %s)" % request.url)
-        return _orig_sync(self, request, **kwargs)
-
-    httpx.Client.send = _send
-
-    if hasattr(httpx, "AsyncClient"):
-        _orig_async = httpx.AsyncClient.send
-
-        async def _asend(self, request, **kwargs):
-            if not match(str(request.url)):
-                raise PermissionError(
-                    "[SkillApiWhitelist] 拦截: URL 不在白名单内 (httpx.async, %s)" % request.url)
-            return await _orig_async(self, request, **kwargs)
-
-        httpx.AsyncClient.send = _asend
-
-
-def _patch_requests(match):
-    try:
-        import requests
-    except ImportError:
-        return
-
-    _orig = requests.Session.request
-
-    def _request(self, method, url, *args, **kwargs):
-        if not match(str(url)):
-            raise PermissionError(
-                "[SkillApiWhitelist] 拦截: URL 不在白名单内 (requests %s, %s)"
-                % (method.upper(), url))
-        return _orig(self, method, url, *args, **kwargs)
-
-    requests.Session.request = _request
-
-
-def _patch_aiohttp(match):
-    try:
-        import aiohttp
-    except ImportError:
-        return
-    if not hasattr(aiohttp.ClientSession, "_request"):
-        return
-
-    _orig = aiohttp.ClientSession._request
-
-    async def _request(self, method, str_or_url, **kwargs):
-        if not match(str(str_or_url)):
-            raise PermissionError(
-                "[SkillApiWhitelist] 拦截: URL 不在白名单内 (aiohttp %s, %s)"
-                % (method, str_or_url))
-        return await _orig(self, method, str_or_url, **kwargs)
-
-    aiohttp.ClientSession._request = _request
-
-
-# =============== header 注入（独立于白名单）===============
-# 云平台网关要求请求带 X-Sy-Api-Authz 头。仅当 host 命中 SYT_BASE_URL 的 host
-# 才补该头，其它域名（内网 OCR / 企微 / 合同比对内网 / MCP 后端等）不注入。
-# 门控：环境变量 SYT_API_AUTHZ 非空。调用方已显式设过同名头则不覆盖。
-
-_AUTHZ_HEADER = "X-Sy-Api-Authz"
-
-
-def _syt_host():
-    """解析 SYT_BASE_URL 的 host（小写）。失败返回 None。"""
-    base = os.environ.get("SYT_BASE_URL", "").strip()
-    if not base:
-        return None
-    try:
-        return (urlparse(base).hostname or "").lower() or None
-    except Exception:
-        return None
-
-
-def _host_matches_syt(url) -> bool:
-    """请求 URL 的 host 是否等于 SYT_BASE_URL 的 host。"""
-    host = _syt_host()
-    if not host:
-        return False
-    try:
-        return (urlparse(str(url)).hostname or "").lower() == host
-    except Exception:
-        return False
-
-
-def _patch_urllib_hdr():
-    import urllib.request
-
-    _orig = urllib.request.urlopen
-
-    def _urlopen(url, *args, **kwargs):
-        # 只能给 Request 对象补头；裸 str URL 在 urlopen 层无 headers 概念，跳过
-        if isinstance(url, urllib.request.Request) and _host_matches_syt(url.full_url):
-            url.add_header(_AUTHZ_HEADER, os.environ["SYT_API_AUTHZ"])
-        return _orig(url, *args, **kwargs)
-
-    urllib.request.urlopen = _urlopen
-
-
-def _patch_requests_hdr():
-    try:
-        import requests
-    except ImportError:
-        return
-
-    _orig = requests.Session.request
-
-    def _request(self, method, url, *args, **kwargs):
-        if _host_matches_syt(url):
-            headers = kwargs.get("headers")
-            if headers is None:
-                headers = {}
-            if isinstance(headers, dict):
-                if _AUTHZ_HEADER not in headers:
-                    headers[_AUTHZ_HEADER] = os.environ["SYT_API_AUTHZ"]
-                kwargs["headers"] = headers
-            else:
-                # list / 其它形态：保守起见交给底层，避免破坏既有结构
-                pass
-        return _orig(self, method, url, *args, **kwargs)
-
-    requests.Session.request = _request
-
-
-def _patch_httpx_hdr():
-    try:
-        import httpx
-    except ImportError:
-        return
-
-    def _apply(request):
-        if request is not None and _host_matches_syt(request.url):
-            request.headers.setdefault(_AUTHZ_HEADER, os.environ["SYT_API_AUTHZ"])
-
-    _orig_sync = httpx.Client.send
-
-    def _send(self, request, **kwargs):
-        _apply(request)
-        return _orig_sync(self, request, **kwargs)
-
-    httpx.Client.send = _send
-
-    if hasattr(httpx, "AsyncClient"):
-        _orig_async = httpx.AsyncClient.send
-
-        async def _asend(self, request, **kwargs):
-            _apply(request)
-            return await _orig_async(self, request, **kwargs)
-
-        httpx.AsyncClient.send = _asend
-
-
-def _patch_aiohttp_hdr():
-    try:
-        import aiohttp
-    except ImportError:
-        return
-    if not hasattr(aiohttp.ClientSession, "_request"):
-        return
-
-    _orig = aiohttp.ClientSession._request
-
-    async def _request(self, method, str_or_url, **kwargs):
-        if _host_matches_syt(str_or_url):
-            headers = kwargs.get("headers")
-            if isinstance(headers, dict):
-                if _AUTHZ_HEADER not in headers:
-                    headers[_AUTHZ_HEADER] = os.environ["SYT_API_AUTHZ"]
-            elif headers is None:
-                kwargs["headers"] = {_AUTHZ_HEADER: os.environ["SYT_API_AUTHZ"]}
-            else:
-                # list / CIMultiDict 等其它形态：跳过，避免破坏结构
-                pass
-        return await _orig(self, method, str_or_url, **kwargs)
-
-    aiohttp.ClientSession._request = _request
-
-
-def _install_header_injection():
-    """装 header 注入 patch（独立于白名单）。
-
-    门控：环境变量 SYT_API_AUTHZ 非空。任一库 import 失败都不阻断。
-    """
-    val = os.environ.get("SYT_API_AUTHZ", "").strip()
-    if not val:
-        return
-    if not _syt_host():
-        sys.stderr.write(
-            "[sitecustomize] SYT_API_AUTHZ 已设置但 SYT_BASE_URL 无法解析 host，"
-            "跳过 header 注入\n")
-        return
-    _patch_urllib_hdr()
-    _patch_requests_hdr()
-    _patch_httpx_hdr()
-    _patch_aiohttp_hdr()
-
-
-def _install():
-    if not _ENABLED:
-        return
-    check = _load_check()
-    if check is None:
-        return
-    # allowlist 为空（明确禁止）时也走校验——match 必然 False，从而全拦截。
-    match = check.match
-    _patch_urllib(match)
-    _patch_httpx(match)
-    _patch_requests(match)
-    _patch_aiohttp(match)
-
-
-# 保留解析结果（供排查）
-try:
-    _WHITELIST_RAW = json.loads(os.environ.get("SKILL_API_WHITELIST", "{}"))
-except Exception:
-    _WHITELIST_RAW = {}
-
-try:
-    _install()
-except Exception as _e:  # 任何 patch 失败都不能阻断进程启动
-    sys.stderr.write("[sitecustomize] 白名单安装失败（fail-open）: %s\n" % _e)
-
-# header 注入独立于白名单，单独 try/except，互不影响
-try:
-    _install_header_injection()
-except Exception as _e:
-    sys.stderr.write("[sitecustomize] header 注入安装失败（fail-open）: %s\n" % _e)