dsh-eval-guard 0.2.3 → 0.3.1

package/README.md

@@ -5,27 +5,104 @@
 - 只能读写会话工作区；工作区外（包括 /tmp）不可访问。
 - 禁止联网、子代理、Agent Team/跨 agent 通信、读取其它工作区。
 - 工具黑名单可配置；未知工具默认放行，但 DSH 内置与 dsh-ops 的工具会做参数路径审计。
-- 每个用户消息后的单轮有可配置的最长时长（默认 90 分钟）；到点只终止当前轮次，并递归清理子代理与后台任务。
-- 设置页可安装五个任务包：**第 6 集 · 坦克大战**、**第 5 集 · 仓储调度**、**第 1 集 · 圈地**、**第 2 集 · 炸弹人**、**第 3 集 · 夺旗**：空工作区 → 放入打包好的 `workspace.zip` → 新会话填入提示词（由用户发送）。
 
-插件默认关闭；关闭时不做任何行为。所有 run 记录、usage、violations 写入
-$DSH_HOME/eval-guard/runs/<run-id>/，供独立的 ../tank-eval 与 ../warehouse-eval 评测程序读取。
+## 时间限制
+
+- 每条用户消息发送时，用**当时的** timeLimitEnabled 和 timeLimitMinutes 为本会话创建或清除 deadline。
+- 开启限时时：deadline = 当前时刻 + 当时的分钟数；之后修改分钟数、选择任务、关闭或重新打开限时，都**不会**改动已存在的 deadline。
+- 关闭限时后再次给已有 deadline 的会话发送消息，会清空该会话自己的 deadline；其它会话不受影响。
+- 重新打开限时后，已有会话不会自动恢复 deadline；下一次用户消息才会重新计时。
+- 每个会话独立计时；可以同时运行多个不同时长、有的开启限时有的不开启的会话。
+- deadline 到点只终止对应会话及其子代理/后台任务，不影响其它会话。
+- 关闭「评测守护」总开关会清空全部 deadline 并停止约束；总开关与单轮限时开关是两套状态。
+
+设置页选择任务时会自动把「最长时长 + 限时开关」写成该任务默认值并立即显示，用户可以随后手动修改：
+
+| 任务类型 | 默认限时 |
+|---|---|
+| 原 5 个 meow-ai-arena 任务 | 90 分钟，默认打开 |
+| Commit0 单库 | 480 分钟，默认关闭 |
+| SWE-Bench Pro 单任务 | 1440 分钟，默认关闭 |
+| FeatureBench 单 feature | 1440 分钟，默认关闭 |
+
+## 任务与安装
+
+设置页可安装八个任务包：
+
+- 原 5 个比赛任务：坦克大战、仓储调度、圈地、炸弹人、夺旗。
+- 3 个长时单任务：Commit0 单库实现、SWE-Bench Pro 单任务、FeatureBench 单 feature。
+
+原 5 个任务直接放入打包好的 workspace.zip。后 3 个任务在安装时由 host 侧 setup 脚本按固定 commit clone 仓库、创建 .venv 并安装依赖；agent 运行时仍然禁网，使用工作区内的 .venv 跑测试。
+
+安装是后台任务：
+
+- 可分别选择 clone 远端、pip 镜像、Git 代理和 pip 代理。
+- 进度和日志持久化在 $DSH_HOME/eval-guard/jobs/<job-id>/。
+- 离开设置页不会停止；重新进入继续显示；可以取消。
+- 安装成功后显示提示词，可点「填入新会话」。
+
+### 已验证的 Git 远端
+
+只有验证过包含任务固定 commit 的远端才会显示在对应任务下：
+
+- Commit0 · tinydb：GitHub。
+- SWE-Bench Pro · ansible：GitHub、Gitee。
+- FeatureBench · seaborn：GitHub、Gitee、GitCode。
+
+Gitee/GitCode 都使用 git fetch --depth 1 origin <任务 commit> 验证。GitLab 和 ghfast 未通过验证，已移除。另保留「自定义 URL」。
+
+### pip 镜像
+
+提供 PyPI、清华 TUNA、阿里云、腾讯云、北外、上海交大，并保留自定义地址。
+
+### 两个独立代理
+
+- Git 代理：只用于 git clone/fetch。
+- pip 代理：只用于 pip install。
+
+地址可以写成 127.0.0.1:7897，会自动补 http:// 前缀。留空会清掉继承来的同名代理变量，不误用宿主机代理。
+
+## 单工作区评测
+
+设置页安装/评测共用一组任务和工作区选择；「评测当前工作区」只评测一个结果，不生成排行。
+
+插件 eval/ 目录内置全部 8 个任务的单结果评测脚本：
+
+- Commit0：单元测试通过率。
+- SWE-Bench Pro / FeatureBench：隐藏 F2P/P2P 测试；全部通过才 resolved，同时返回 passRate。
+- Tank / Warehouse / Land / Bomberman / CTF：运行官方引擎/裁判，只返回当前工作区候选者结果，不生成排名。
+
+评测也是后台任务，日志和结果实时显示，持久化在 jobs 目录。
 
 ## 任务来源
 
-安装的评测任务来自开源项目 **meow-ai-arena**（MIT License，commit `6bd738b`，2026-10-16）：
+原 5 个任务来自 **meow-ai-arena**（MIT License，commit 6bd738b，2026-10-16）：
 
-- 第 1 集 · 圈地：<https://github.com/chen-006/meow-ai-arena/tree/main/land>，素材 `land/workspace/`
-- 第 2 集 · 炸弹人：<https://github.com/chen-006/meow-ai-arena/tree/main/bomberman>，素材 `bomberman/workspace/`
-- 第 3 集 · 夺旗：<https://github.com/chen-006/meow-ai-arena/tree/main/ctf>，素材 `ctf/workspace/`
-- 第 5 集 · 仓储调度：<https://github.com/chen-006/meow-ai-arena/tree/main/warehouse>，素材 `warehouse/workspace/` 的第 1 轮主程包，改编为单人单次 90 分钟
-- 第 6 集 · 坦克大战：<https://github.com/chen-006/meow-ai-arena/tree/main/tank>，素材 `tank/workspace/`
+- 第 1 集 · 圈地：<https://github.com/chen-006/meow-ai-arena/tree/main/land>，素材 land/workspace/
+- 第 2 集 · 炸弹人：<https://github.com/chen-006/meow-ai-arena/tree/main/bomberman>，素材 bomberman/workspace/
+- 第 3 集 · 夺旗：<https://github.com/chen-006/meow-ai-arena/tree/main/ctf>，素材 ctf/workspace/
+- 第 5 集 · 仓储调度：<https://github.com/chen-006/meow-ai-arena/tree/main/warehouse>，素材 warehouse/workspace/ 第 1 轮主程包，改编为单人单次 90 分钟
+- 第 6 集 · 坦克大战：<https://github.com/chen-006/meow-ai-arena/tree/main/tank>，素材 tank/workspace/
 
 仓库：<https://github.com/chen-006/meow-ai-arena>
 
-本插件打包的 Linux 版 `workspace.zip` 在原素材基础上做了三处适配：把 `baseline.cpp` 编译为 Linux ELF 可执行文件并移出源码，文件名改为 `baseline`（不带 `.exe`）；把 `clock.py` 改为单次 90 分钟版本；`README.md` 中对应的 baseline 示例同步改名。规则、引擎、本地裁判、模板等其余文件保持原样。安装任务时只把 `workspace.zip` 放入工作区，不再散装解压。
+长时单任务来源：
+
+- Commit0 单库实现：<https://arxiv.org/abs/2412.01769>，数据集 <https://huggingface.co/datasets/wentingzhao/commit0_combined>，实例 commit-0/tinydb
+- SWE-Bench Pro 单任务：<https://arxiv.org/abs/2509.16941>，数据集 <https://huggingface.co/datasets/ScaleAI/SWE-bench_Pro>，实例 ansible vars
+- FeatureBench 单 feature：<https://arxiv.org/abs/2602.10975>，数据集 <https://huggingface.co/datasets/LiberCoders/FeatureBench>，实例 seaborn regression
+
+### 远端验证记录
+
+- msiemens/tinydb @ ed761a72：GitHub 通过；Gitee mirrors/tinydb、GitCode gh_mirrors/ti/tinydb、GitLab 均无法 fetch 该 commit，未加入。
+- ansible/ansible @ f7234968：GitHub、Gitee mirrors/ansible 通过；GitCode、GitLab 未通过，未加入。
+- mwaskom/seaborn @ 7001ebe7：GitHub、Gitee mirrors/seaborn、GitCode gh_mirrors/se/seaborn 通过；GitLab 未通过，未加入。
+
+## 打包适配
+
+本插件打包的 Linux 版 workspace.zip 在原素材基础上做了适配：把 baseline.cpp 编译为 Linux ELF 可执行文件并移出源码，文件名改为 baseline（不带 .exe）；把 clock.py 改为单次 90 分钟版本；README.md 中对应的 baseline 示例同步改名。规则、引擎、本地裁判、模板等其余文件保持原样。安装任务时只把 workspace.zip 放入工作区，不再散装解压。
 
-仓储调度任务包同样只放 `workspace.zip`；包内 `TASK.md` 已改写成单人单次 90 分钟版本，保留了原 `baseline/`、`src/`、`workloads/` 和 `tools/`。
+仓储调度任务包同样只放 workspace.zip；包内 TASK.md 已改写成单人单次 90 分钟版本，保留了原 baseline/、src/、workloads/ 和 tools/。
 
 ## 构建
 
@@ -49,10 +126,11 @@ DSH_CHECKOUT=/path/to/deepseek-harness scripts/install.sh web
 - bubblewrap (bwrap)
 - gcc（构建 native supervisor 时）
 - unzip（安装任务素材时）
+- Python 3（长任务 setup 与评测）
 
 ## 已知边界
 
 - 只支持 Linux。
 - seccomp 用户通知的路径检查与 open 之间存在极小的 TOCTOU 窗口；bwrap 只读/无网络挂载是第二层内核边界。
 - 进程审计只覆盖被拦截的文件/网络 syscall；正常 syscall 不记录。
-- 当前设置页使用内联样式，不依赖额外 CSS 构建链。
+- 设置页使用内联样式，不依赖额外 CSS 构建链。

package/assets/commit0/instance.json

@@ -0,0 +1,30 @@
+{
+ "instance_id": "commit-0/tinydb",
+ "repo": "commit-0/tinydb",
+ "original_repo": "msiemens/tinydb",
+ "base_commit": "ed761a72c8c1e1cb24ca4dbcc089f35c5264d357",
+ "reference_commit": "429b27a513f0ad301632379e55667dd99865fb16",
+ "setup": {
+  "install": "pip install -e .",
+  "packages": null,
+  "pip_packages": [
+   "pytest>=7.2.0,<8.0.0",
+   "pytest-pycodestyle>=2.3.1,<3.0.0",
+   "pytest-cov>=4.0.0,<5.0.0",
+   "pycodestyle>=2.10.0,<3.0.0",
+   "sphinx>=7.0.0,<8.0.0",
+   "coveralls>=3.3.1,<4.0.0",
+   "pyyaml>=6.0,<7.0",
+   "types-PyYAML>=6.0.0,<7.0.0",
+   "typing-extensions>=4.4.0,<5.0.0"
+  ],
+  "pre_install": null,
+  "python": "3.10",
+  "specification": "https://tinydb.readthedocs.io/_/downloads/en/v4.8.0/pdf/"
+ },
+ "test": {
+  "test_cmd": "pytest",
+  "test_dir": "tests/"
+ },
+ "src_dir": "tinydb/"
+}