sycommon-python-lib 0.2.7a56__tar.gz → 0.2.8a0__tar.gz

{sycommon_python_lib-0.2.7a56 → sycommon_python_lib-0.2.8a0}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: sycommon-python-lib
-Version: 0.2.7a56
+Version: 0.2.8a0
 Summary: Add your description here
 Requires-Python: >=3.11
 Description-Content-Type: text/markdown
@@ -9,11 +9,11 @@ Requires-Dist: aiohttp==3.14.3
 Requires-Dist: aiomysql==0.3.2
 Requires-Dist: anyio==4.14.2
 Requires-Dist: decorator==5.3.1
-Requires-Dist: deepagents==0.7.1
-Requires-Dist: elasticsearch==9.4.1
+Requires-Dist: deepagents==0.7.4
+Requires-Dist: elasticsearch==9.5.0
 Requires-Dist: fastapi==0.141.1
 Requires-Dist: jinja2==3.1.6
-Requires-Dist: kafka-python==3.0.9
+Requires-Dist: kafka-python==3.0.10
 Requires-Dist: langchain==1.3.14
 Requires-Dist: langchain-core==1.5.3
 Requires-Dist: langchain-openai==1.4.1

{sycommon_python_lib-0.2.7a56 → sycommon_python_lib-0.2.8a0}/pyproject.toml

@@ -1,6 +1,6 @@
 [project]
 name = "sycommon-python-lib"
-version = "0.2.7a56"
+version = "0.2.8a0"
 description = "Add your description here"
 readme = "README.md"
 requires-python = ">=3.11"
@@ -10,11 +10,11 @@ dependencies = [
     "aiomysql==0.3.2",
     "anyio==4.14.2",
     "decorator==5.3.1",
-    "deepagents==0.7.1",
-    "elasticsearch==9.4.1",
+    "deepagents==0.7.4",
+    "elasticsearch==9.5.0",
     "fastapi==0.141.1",
     "jinja2==3.1.6",
-    "kafka-python==3.0.9",
+    "kafka-python==3.0.10",
     "langchain==1.3.14",
     "langchain-core==1.5.3",
     "langchain-openai==1.4.1",

{sycommon_python_lib-0.2.7a56 → sycommon_python_lib-0.2.8a0}/src/sycommon/agent/sandbox/file_ops.py

@@ -389,13 +389,15 @@ class FileOperationsMixin:
             )
             # 对齐 deepagents 0.7.1 ReadResult 分页字段：服务端按行切片后回传
             # start_line/end_line/total_lines/next_offset，框架据此渲染分页提示。
-            # no_lines_requested（limit<=0 早退）：服务端返回空 content 且无分页字段。
+            # no_lines_requested（limit<=0 早退）：服务端返回空 content + 该标志；
+            # 透传给 ReadResult，让 FilesystemMiddleware 区分「零行窗口」与「空文件」。
             return ReadResult(
                 file_data=file_data,
                 start_line=result.get("start_line"),
                 end_line=result.get("end_line"),
                 total_lines=result.get("total_lines"),
                 next_offset=result.get("next_offset"),
+                no_lines_requested=bool(result.get("no_lines_requested")),
             )
         except Exception as e:
             SYLogger.error(f"[Sandbox] 读取文件异常: {e}")
@@ -471,12 +473,14 @@ class FileOperationsMixin:
                 encoding=encoding,
             )
             # 对齐 deepagents 0.7.1 ReadResult 分页字段（与同步 read 一致）。
+            # no_lines_requested 透传：区分零行窗口与空文件（见同步版注释）。
             return ReadResult(
                 file_data=file_data,
                 start_line=result.get("start_line"),
                 end_line=result.get("end_line"),
                 total_lines=result.get("total_lines"),
                 next_offset=result.get("next_offset"),
+                no_lines_requested=bool(result.get("no_lines_requested")),
             )
         except Exception as e:
             SYLogger.error(f"[Sandbox] 异步读取文件异常: {e}")

{sycommon_python_lib-0.2.7a56 → sycommon_python_lib-0.2.8a0}/src/sycommon/agent/sandbox/http_sandbox_backend.py

@@ -60,8 +60,8 @@ class FileDownloadResult:
 from sycommon.logging.kafka_log import SYLogger
 from sycommon.agent.sandbox.file_ops import FileOperationsMixin, SANDBOX_API_PREFIX
 
+from deepagents.backends.sandbox import BaseSandbox
 from deepagents.backends.protocol import (
-    SandboxBackendProtocol,
     ExecuteResponse,
     FileDownloadResponse,
     FileUploadResponse,
@@ -219,10 +219,24 @@ def filter_instances_by_owner(instances: list, user_id: str, timeout: float = 3.
     return filtered
 
 
-class HTTPSandboxBackend(FileOperationsMixin, SandboxBackendProtocol):
+class HTTPSandboxBackend(FileOperationsMixin, BaseSandbox):
     """
     通过 HTTP API 连接远程沙箱容器
 
+    继承 BaseSandbox（而非 SandboxBackendProtocol）以解锁 deepagents
+    capture-at-source offload：execute 大输出在沙箱源端截成 head/tail 预览，
+    完整结果落盘 /large_tool_results/<tool_call_id>，模型可经 read_file 翻页恢复，
+    不必重跑命令。落盘目录由 SandboxRecoveryManager/minio_sync cleanup 兜底清理。
+    FileOperationsMixin 在 MRO 最前，read/ls/grep/edit/delete 等仍走本类自定义
+    实现（HTTP 远程调用），BaseSandbox 的 shell 默认实现不会被触发。
+    """
+
+    # capture-at-source offload：opt-in，依赖沙箱镜像含 POSIX sh + head/tail/wc/cat。
+    # 生产 Linux 沙箱走 bash heredoc 执行命令（见 _build_execute_command），必然满足。
+    enable_capture_offload = True
+
+    """
+
     支持两种模式:
     1. 直接 URL: 直接指定沙箱服务地址
     2. Nacos 服务发现: 通过服务名从 Nacos 获取实例（支持自动故障转移）

{sycommon_python_lib-0.2.7a56 → sycommon_python_lib-0.2.8a0}/src/sycommon/middleware/sandbox.py

@@ -340,6 +340,10 @@ _GREP_TIMEOUT = 60
 # read 文本路径服务端字节上限（对齐 deepagents _READ_COMMAND_TEMPLATE 的
 # MAX_OUTPUT_BYTES=500KiB）：超大文本文件不会把整包塞进 HTTP 响应/内存。
 _READ_MAX_OUTPUT_BYTES = 500 * 1024
+# read 提前停止后补数 total_lines 的文件大小闸门（对齐 deepagents sandbox.py:499
+# MAX_LINE_COUNT_BYTES=1MiB）：超过此大小的文件不数总行数（total_lines=None），
+# 避免 GB 级文件的逐行计数把 read 拖成慢操作。
+_READ_TOTAL_LINE_MAX_BYTES = 1024 * 1024
 # 默认工作目录配置
 # - Linux: /data/sycommon_sandbox (固定路径，自动创建)
 # - macOS/Windows: 使用系统临时目录
@@ -1027,8 +1031,10 @@ def setup_sandbox_handler(app: FastAPI, config: dict = None):
 
                 # limit<=0：协议 no_lines_requested —— 不读文件，返回空内容 + 标志位，
                 # 不带任何分页字段（客户端填 ReadResult.no_lines_requested=True）。
+                # 对齐 deepagents _build_read_cmd 的 limit<=0 早退分支。区别于空文件
+                # （空文件走上面的 "File exists but has empty contents" 提示）。
                 if limit is not None and limit <= 0:
-                    return ReadResponse(content="", error=None, encoding="utf-8")
+                    return ReadResponse(content="", error=None, encoding="utf-8", no_lines_requested=True)
 
                 lines = []
                 lines_read = 0
@@ -1082,12 +1088,18 @@ def setup_sandbox_handler(app: FastAPI, config: dict = None):
                     next_offset = None
                 else:
                     # 提前停止（limit 到顶 / 字节截断）：需要 total_lines 才能算「剩余」。
-                    # 大文件全量计数代价高，这里只在截断时补一次剩余行数扫描
-                    # （对齐 deepagents「total_lines 已知时才报」的做法）。
-                    try:
-                        with open(file_path, 'r', encoding='utf-8', newline=None) as f:
-                            total_lines = sum(1 for _ in f)
-                    except OSError:
+                    # 大文件全量计数代价高——先比 st_size 与 _READ_TOTAL_LINE_MAX_BYTES
+                    # （对齐 deepagents sandbox.py:499 的 MAX_LINE_COUNT_BYTES=1MiB 闸门），
+                    # 超过则不数（返回 None，next_offset 退化为 end_line），避免无界扫描
+                    # 把 read 变成对 GB 级文件的逐行计数慢操作。
+                    file_size = os.path.getsize(file_path)
+                    if file_size <= _READ_TOTAL_LINE_MAX_BYTES:
+                        try:
+                            with open(file_path, 'r', encoding='utf-8', newline=None) as f:
+                                total_lines = sum(1 for _ in f)
+                        except OSError:
+                            total_lines = None
+                    else:
                         total_lines = None
                     # next_offset = end_line（0-indexed 下一行 = 1-indexed 末行号），
                     # 仅当确实还有后续行时设置；否则视为读到末尾。
@@ -1724,19 +1736,65 @@ def setup_sandbox_handler(app: FastAPI, config: dict = None):
         grep_opts = "-rHnFZ" if use_null_separator else "-rHnF"
 
         # 安全处理 glob_pattern，使用 shlex.quote 防止命令注入
-        glob_pattern = f"--include={shlex.quote(req.glob)}" if req.glob else ""
         pattern_escaped = shlex.quote(req.pattern)
 
-        # 注意：不再用 2>/dev/null || true，以便捕获 stderr 用于错误诊断
-        cmd = f"grep {grep_opts} {glob_pattern} -e {pattern_escaped} {quoted_path}"
+        # glob 含 '/'（如 src/**/*.py）时，GNU grep --include 只匹配 basename，
+        # 会静默返回 0 条（对齐 deepagents sandbox.py:684 _build_grep_cmd 的判定）。
+        # 这种路径 glob 改走 Python glob 预筛文件清单 + grep -F 逐文件/批量，
+        # 避免「带路径 glob 搜不到东西」的隐蔽 bug。
+        path_glob = req.glob
+        use_path_glob = bool(path_glob and "/" in path_glob)
+        if not use_path_glob:
+            glob_pattern = f"--include={shlex.quote(req.glob)}" if req.glob else ""
+            # 注意：不再用 2>/dev/null || true，以便捕获 stderr 用于错误诊断
+            cmd = f"grep {grep_opts} {glob_pattern} -e {pattern_escaped} {quoted_path}"
+        else:
+            glob_pattern = ""  # 不用 --include；文件清单由 Python glob 预筛后喂给 grep
+
         # 对齐 deepagents 0.7.1 max_count：服务端用 head 早停，多取 1 条用于判断是否截断。
         # （grep -r 没有真正的全局计数上限，head -n N+1 截 stdout 后，客户端按 N 裁剪、
         #  超过即 truncated=True。与 deepagents BaseSandbox._build_grep_cmd 同款思路。）
         max_count = req.max_count
-        if max_count is not None and max_count >= 0:
+        if not use_path_glob and max_count is not None and max_count >= 0:
             # || true 兜底 SIGPIPE（head 读够后关闭管道，grep 收到 SIGPIPE 退出码非 0）
             cmd = f"{cmd} | head -n {int(max_count) + 1} || true"
 
+        # 含路径 glob 的分支：Python glob 预筛出匹配文件清单（仅文件，递归），
+        # 经 xargs 批量喂给 grep -F。沿用 -Z/-Hn 与正文相同的 NUL/冒号解析，故
+        # 下游 _parse_grep_results 无需改动。文件清单为空时直接返回 0 条，避免起
+        # `grep -e pat`（无文件参数）误把 stdin 当搜索源。
+        def _resolve_path_glob_files():
+            import glob as glob_module
+            full_pattern = os.path.join(search_path, path_glob)
+            try:
+                files = sorted(glob_module.glob(full_pattern, recursive=True))
+            except (FileNotFoundError, NotADirectoryError, PermissionError) as e:
+                SYLogger.warning(f"[Sandbox Server] grep 路径 glob 异常: {e}")
+                return []
+            workspace_resolved_g = os.path.realpath(workspace)
+            safe = []
+            for m in files:
+                if os.path.isdir(m):
+                    continue  # grep 按文件搜，目录跳过
+                try:
+                    if not _is_path_within(m, workspace_resolved_g):
+                        continue
+                except OSError:
+                    continue
+                safe.append(m)
+            return safe
+
+        if use_path_glob:
+            path_glob_files = await asyncio.to_thread(_resolve_path_glob_files)
+            if not path_glob_files:
+                return GrepResponse(matches=[])
+            # xargs -0：文件名以 NUL 分隔喂入，文件名含空格/引号/换行也安全。
+            # find ... -print0 | grep -FZne pattern --files-from=... 也行，但 xargs 最 portable。
+            files_argv = " ".join(shlex.quote(f) for f in path_glob_files)
+            # 不加 -r（已显式给文件清单，无需递归）；保留 -H(始终带文件名) -n(行号) -F(字面量) -Z(NUL)。
+            path_glob_grep_opts = "-HnFZ" if use_null_separator else "-HnF"
+            cmd = f"printf '%s\\0' {files_argv} | xargs -0 grep {path_glob_grep_opts} -e {pattern_escaped}"
+
         # 使用 asyncio.create_subprocess_shell 异步执行
         proc = await asyncio.create_subprocess_shell(
             cmd,
@@ -1831,6 +1889,7 @@ def setup_sandbox_handler(app: FastAPI, config: dict = None):
 
         matches = await asyncio.to_thread(_parse_grep_results)
         # 对齐 deepagents 0.7.1：超出 max_count 即置 truncated（多取的 1 条在这里裁掉）。
+        # 路径 glob 分支没在服务端 head 早停（直接 grep 文件清单），这里统一兜底裁剪。
         truncated = False
         if max_count is not None and len(matches) > max_count:
             matches = matches[:max_count]

{sycommon_python_lib-0.2.7a56 → sycommon_python_lib-0.2.8a0}/src/sycommon/models/sandbox.py

@@ -143,6 +143,11 @@ class ReadResponse(BaseModel):
     end_line: Optional[int] = None
     total_lines: Optional[int] = None
     next_offset: Optional[int] = None
+    # limit<=0 早退标志（对齐 deepagents ReadResult.no_lines_requested）：
+    # True 表示「文件未检视、零行窗口」，与「空文件」区分开。客户端据此
+    # 填 ReadResult.no_lines_requested，让 FilesystemMiddleware 给出与框架
+    # 合成实现一致的分页提示（NO_LINES_REQUESTED_WARNING）而非空文件提示。
+    no_lines_requested: bool = False
 
 
 class WriteRequest(BaseModel):

{sycommon_python_lib-0.2.7a56 → sycommon_python_lib-0.2.8a0}/src/sycommon_python_lib.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: sycommon-python-lib
-Version: 0.2.7a56
+Version: 0.2.8a0
 Summary: Add your description here
 Requires-Python: >=3.11
 Description-Content-Type: text/markdown
@@ -9,11 +9,11 @@ Requires-Dist: aiohttp==3.14.3
 Requires-Dist: aiomysql==0.3.2
 Requires-Dist: anyio==4.14.2
 Requires-Dist: decorator==5.3.1
-Requires-Dist: deepagents==0.7.1
-Requires-Dist: elasticsearch==9.4.1
+Requires-Dist: deepagents==0.7.4
+Requires-Dist: elasticsearch==9.5.0
 Requires-Dist: fastapi==0.141.1
 Requires-Dist: jinja2==3.1.6
-Requires-Dist: kafka-python==3.0.9
+Requires-Dist: kafka-python==3.0.10
 Requires-Dist: langchain==1.3.14
 Requires-Dist: langchain-core==1.5.3
 Requires-Dist: langchain-openai==1.4.1

{sycommon_python_lib-0.2.7a56 → sycommon_python_lib-0.2.8a0}/src/sycommon_python_lib.egg-info/requires.txt

@@ -3,11 +3,11 @@ aiohttp==3.14.3
 aiomysql==0.3.2
 anyio==4.14.2
 decorator==5.3.1
-deepagents==0.7.1
-elasticsearch==9.4.1
+deepagents==0.7.4
+elasticsearch==9.5.0
 fastapi==0.141.1
 jinja2==3.1.6
-kafka-python==3.0.9
+kafka-python==3.0.10
 langchain==1.3.14
 langchain-core==1.5.3
 langchain-openai==1.4.1