@runweave/server-linux-x64 0.1.8 → 0.1.9

package/payload/plugins/toolkit/skills/review-with-runtime-evidence/SKILL.md

@@ -0,0 +1,134 @@
+---
+name: review-with-runtime-evidence
+description: 仅当用户在当前请求中显式指定 $toolkit:review-with-runtime-evidence 时使用；对给定变更或评审 Case 先由 gpt-5.6-sol、traex/gpt-5.4、traex/openrouter-3o 三模型独立静态审查，再对多数命中的严重候选执行真实运行时干净版/目标版对照，裁决为自动阻塞、驳回、未裁决或需要辩论。不要因普通代码审查、Bug 修复、测试、复现或“多模型审查”等相似请求自动触发。
+---
+
+# 运行时证据评审
+
+把静态审查当作候选生成器，把真实运行时对照当作裁决器。静态词汇、模型置信度和严重级别都不能直接阻塞。
+
+## 调用边界
+
+- 仅当用户在当前请求中精确点名 `$toolkit:review-with-runtime-evidence` 时使用。
+- 显式调用只对当前请求有效，不跨请求或后续轮次延续。
+- 普通代码审查、PR review、Bug 修复、测试、真实复现、多模型审查等措辞都不能隐式触发。
+- 本技能只产出裁决，不自动修复实现、不提交代码、不改变 PR/CI 状态。需要修复或外部阻塞动作时，另行取得用户授权。
+
+## 固定模型与独立性
+
+固定使用：
+
+1. `codex` + `gpt-5.6-sol`
+2. `traex` + `gpt-5.4`
+3. `traex` + `openrouter-3o`
+
+三个模型必须接收完全相同的需求与 diff，在隔离、只读、无插件、无仓库访问的上下文中独立审查；不得看到其他模型输出。不要静默替换模型。
+
+模型不可用或输出协议连续失败时：
+
+- 不把失败当作“未发现问题”；
+- 已有至少两个独立严重票的候选仍可进入运行时复现；
+- 少于两个严重票且存在缺失模型时，标记静态阶段未完成，不能宣称“没有问题”。
+
+执行静态阶段前读取 [references/contracts.md](references/contracts.md)，使用 `scripts/run-static-review.mjs`。脚本只输出候选，不执行旧式文字 evidence gate。
+
+## 执行流程
+
+### 1. 固定评审边界
+
+记录：
+
+- source root、base revision 和目标 diff；
+- 稳定 requirement ID 与可观察需求；
+- 本次已有改动和用户无关改动；
+- 每个 Case 的 target 版本与 clean control。
+
+真实变更评审中，target 是待评 patch，clean control 是不含该 patch 的基线。流程实验中，可以使用故障变异版和对应干净版。不得在用户工作区原地切换或覆盖代码；需要两个 source root 时使用精确的隔离 Worktree，并遵守最近的 `AGENTS.md`。
+
+### 2. 三模型只产生静态候选
+
+要求每个模型只报告具有具体执行路径的 P0/P1；P2/P3 不进入阻塞候选。
+
+按同一 requirement 或同一可执行行为不变量聚类，不按措辞相似度机械计票：
+
+- 两个或三个模型独立命中同一严重问题：进入真实运行时复现；
+- 只有一个模型命中：记录为 singleton，不阻塞，不启动辩论；
+- 没有多数候选：结束运行时阶段，但保留协议失败和 singleton。
+
+脚本会自动聚合带 requirement ID 的 finding。对 `unmappedSevere`，必须人工按生产入口、触发条件和失败结果判断是否属于同一不变量；无法可靠聚类时不凑票。
+
+### 3. 为每个多数候选选择最低成本的真实执行层
+
+不要把所有 Case 生硬塞进 Dev Session。
+
+| 候选类型                  | 真实证据层                                                                                                     |
+| ------------------------- | -------------------------------------------------------------------------------------------------------------- |
+| UI、Electron、页面交互    | 真实 Electron + `$toolkit:playwright-cli`；实际执行 Dev Session 命令时同时使用 `$toolkit:runweave-dev-session` |
+| tmux、pane、terminal hook | 真实 tmux session/pane + 生产 processor/service                                                                |
+| Backend 启动、服务装配    | 真实 `createRuntimeServices()` 或当前生产启动入口                                                              |
+| 纯策略、决策函数          | 直接执行生产函数                                                                                               |
+| API、Git、存储、事件流    | 生产 Router/service/adapter + 真实临时资源                                                                     |
+| 平台或设备专属行为        | 对应真实平台或设备；缺失时标记未裁决                                                                           |
+
+fixture 可以建立受控输入和资源生命周期，但最终现象必须来自生产函数、生产服务或真实子系统。mock、stub、伪造响应、代码阅读和静态检查不能单独形成裁决证据。
+
+### 4. 执行 target 与 clean control 对照
+
+两版必须保持相同：
+
+- 触发入口、用户步骤和输入；
+- 数据、环境、权限和关键时序；
+- 观察点和判定阈值。
+
+唯一允许变化的是被评 patch。分别记录：
+
+- 前置条件是否真实建立；
+- target 的可观察结果；
+- clean control 的可观察结果；
+- 命令、日志、DOM、接口、Git、存储或事件证据；
+- 资源身份和清理结果。
+
+静态检查、typecheck 和 lint 只证明样本可执行，不替代行为结果。偶发路径要按风险与成本重复，直到能区分行为与噪声。
+
+### 5. 使用固定真值表裁决
+
+把每个候选的结构化证据写成 [references/contracts.md](references/contracts.md) 定义的 runtime input，并执行 `scripts/classify-runtime-verdict.mjs`。
+
+| 条件                                   | 裁决              |
+| -------------------------------------- | ----------------- |
+| 严重静态票少于 2                       | `not_candidate`   |
+| 前置条件无法建立                       | `inconclusive`    |
+| target 失败、clean 通过                | `automatic_block` |
+| 有效触发已执行，target 与 clean 都通过 | `dismissed`       |
+| clean 失败、任一版本未执行或对照被污染 | `inconclusive`    |
+| 模型仍对运行时证据存在严重分歧         | `debate_required` |
+
+`automatic_block` 只是本技能的机器裁决，不代表已修改外部 PR、CI 或任务状态。
+
+### 6. 只在运行时证据严重分歧时辩论
+
+以下情况不启动辩论：
+
+- 静态模型意见不一致；
+- 单模型 finding；
+- 模型输出格式错误；
+- 缺少平台、权限、数据或服务；
+- target/clean 对照被污染。
+
+只有在有效触发、target 和 clean 都已真实执行后，模型仍严重分歧于“观察结果是否构成需求失败”时，才把同一份不可变运行时证据交给模型辩论。不得重新用文字推测覆盖原始证据。辩论仍无法消除分歧时，最终标记 `inconclusive`。
+
+### 7. 清理并交付
+
+停止本次拥有的 session、pane、进程和临时资源，移除本次创建的隔离 Worktree；不得影响共享服务、用户已有 tab、pane 或无关改动。
+
+最终报告至少包含：
+
+- 三模型逐一结果、协议失败和多数候选；
+- 每个候选的真实执行层与触发条件；
+- target/clean 并列证据；
+- `automatic_block`、`dismissed`、`inconclusive`、`debate_required` 数量；
+- 实际辩论次数；
+- 未执行项和环境前置条件；
+- 资源清理结果。
+
+不要把 `inconclusive` 统计为通过、驳回或没问题。

package/payload/plugins/toolkit/skills/review-with-runtime-evidence/agents/openai.yaml

@@ -0,0 +1,7 @@
+interface:
+  display_name: "Runtime-Evidence Review"
+  short_description: "三模型只提候选，用真实运行时对照决定阻塞、驳回或未裁决"
+  default_prompt: "使用 $toolkit:review-with-runtime-evidence 对给定变更执行三模型静态候选筛选，并以真实运行时对照完成裁决。"
+
+policy:
+  allow_implicit_invocation: false

package/payload/plugins/toolkit/skills/review-with-runtime-evidence/references/contracts.md

@@ -0,0 +1,114 @@
+# 输入与裁决合同
+
+## 静态审查 Manifest
+
+`run-static-review.mjs` 接收一个 JSON manifest：
+
+```json
+{
+  "cases": [
+    {
+      "id": "checkpoint-env-safety",
+      "requirements": [
+        {
+          "id": "REQ-CHECKPOINT-SECRET",
+          "text": "Review checkpoint must reject every .env.* path before staging."
+        }
+      ],
+      "patchPath": "./patches/checkpoint-env-safety.diff"
+    }
+  ]
+}
+```
+
+约束：
+
+- `id` 在 manifest 内唯一；
+- 每个 Case 至少包含一个稳定 requirement ID；
+- `patchPath` 相对 manifest 所在目录解析；
+- diff 是三个 Reviewer 唯一可见的代码边界。
+
+执行：
+
+```bash
+node <skill-dir>/scripts/run-static-review.mjs \
+  --manifest=<manifest.json> \
+  --output=<artifact-dir>
+```
+
+只生成 prompt、schema 和哈希而不调用模型：
+
+```bash
+node <skill-dir>/scripts/run-static-review.mjs \
+  --manifest=<manifest.json> \
+  --output=<artifact-dir> \
+  --prepare-only
+```
+
+主要输出：
+
+- `prepared.json`：模型、Case、需求、patch 路径与 SHA-256；
+- `prompts/`：三个模型收到的相同 prompt；
+- `raw/`：逐模型、逐次尝试的 stdout、stderr 和结构化结果；
+- `result.json`：
+  - `majorityCandidates`：同一 requirement 获得至少两个独立 P0/P1；
+  - `singletonCandidates`：只有一个独立 P0/P1；
+  - `unmappedSevere`：未绑定 requirement 的严重 finding，必须人工按行为不变量聚类；
+  - `protocolFailures`：连续两次仍失败的模型调用。
+
+`protocolFailures` 不得计作反对票或“未发现问题”。
+
+## 运行时裁决输入
+
+每个多数候选写一个 JSON：
+
+```json
+{
+  "candidateId": "checkpoint-env-safety:REQ-CHECKPOINT-SECRET",
+  "staticSevereVotes": 3,
+  "trigger": "established",
+  "targetObservation": "fail",
+  "cleanObservation": "pass",
+  "runtimeEvidenceDisagreement": "none",
+  "evidenceRefs": [
+    "artifact://runtime/checkpoint-target.json",
+    "artifact://runtime/checkpoint-clean.json"
+  ]
+}
+```
+
+字段枚举：
+
+- `staticSevereVotes`：`0` 到 `3`；
+- `trigger`：`established`、`not_established`；
+- `targetObservation`：`pass`、`fail`、`not_run`；
+- `cleanObservation`：`pass`、`fail`、`not_run`；
+- `runtimeEvidenceDisagreement`：`none`、`severe`；
+- `evidenceRefs`：至少一条可回查的真实运行时证据。
+
+执行：
+
+```bash
+node <skill-dir>/scripts/classify-runtime-verdict.mjs \
+  --input=<runtime-input.json> \
+  --output=<runtime-verdict.json>
+```
+
+裁决器只实现固定真值表，不判断日志、DOM 或业务含义。调用技能的 Agent 必须先确认：
+
+1. 触发条件来自受支持的生产入口；
+2. target 和 clean 除 patch 外保持一致；
+3. `fail` / `pass` 与 requirement 的可观察结果一致；
+4. evidence ref 可以回查；
+5. 资源已经清理或明确记录清理阻塞。
+
+## 辩论输入
+
+只有裁决器返回 `debate_required` 时才构造辩论包。三个模型必须收到同一份：
+
+- candidate ID、requirement 和原始静态 proposals；
+- target/clean 的命令、环境和身份；
+- 不可变原始证据；
+- 双方对证据含义的精确分歧。
+
+辩论不得新增伪造状态、修改实验条件或用静态推测替代运行时事实。

package/payload/plugins/toolkit/skills/review-with-runtime-evidence/scripts/classify-runtime-verdict.mjs

@@ -0,0 +1,140 @@
+#!/usr/bin/env node
+
+import { readFile, writeFile } from "node:fs/promises";
+import path from "node:path";
+import process from "node:process";
+
+const OBSERVATIONS = new Set(["pass", "fail", "not_run"]);
+
+function usage() {
+  return [
+    "Usage:",
+    "  node classify-runtime-verdict.mjs --input=<file> [--output=<file>]",
+    "",
+    "The input contract is documented in references/contracts.md.",
+  ].join("\n");
+}
+
+function parseArgs(argv) {
+  const options = { input: null, output: null };
+  for (const arg of argv) {
+    if (arg === "--help" || arg === "-h") {
+      process.stdout.write(`${usage()}\n`);
+      process.exit(0);
+    }
+    if (arg.startsWith("--input=")) {
+      options.input = path.resolve(arg.slice("--input=".length));
+    } else if (arg.startsWith("--output=")) {
+      options.output = path.resolve(arg.slice("--output=".length));
+    } else {
+      throw new Error(`unknown argument: ${arg}`);
+    }
+  }
+  if (!options.input) {
+    throw new Error("--input is required");
+  }
+  return options;
+}
+
+function validateInput(input) {
+  if (!input || typeof input !== "object" || Array.isArray(input)) {
+    throw new Error("input must be a JSON object");
+  }
+  if (typeof input.candidateId !== "string" || !input.candidateId.trim()) {
+    throw new Error("candidateId must be a non-empty string");
+  }
+  if (
+    !Number.isInteger(input.staticSevereVotes) ||
+    input.staticSevereVotes < 0 ||
+    input.staticSevereVotes > 3
+  ) {
+    throw new Error("staticSevereVotes must be an integer from 0 to 3");
+  }
+  if (!["established", "not_established"].includes(input.trigger)) {
+    throw new Error("trigger must be established or not_established");
+  }
+  if (
+    !OBSERVATIONS.has(input.targetObservation) ||
+    !OBSERVATIONS.has(input.cleanObservation)
+  ) {
+    throw new Error(
+      "targetObservation and cleanObservation must be pass, fail, or not_run",
+    );
+  }
+  if (!["none", "severe"].includes(input.runtimeEvidenceDisagreement)) {
+    throw new Error("runtimeEvidenceDisagreement must be none or severe");
+  }
+  if (
+    !Array.isArray(input.evidenceRefs) ||
+    input.evidenceRefs.length === 0 ||
+    input.evidenceRefs.some((item) => typeof item !== "string" || !item.trim())
+  ) {
+    throw new Error("evidenceRefs must be an array of non-empty strings");
+  }
+}
+
+function classify(input) {
+  if (input.staticSevereVotes < 2) {
+    return {
+      verdict: "not_candidate",
+      reason: "fewer than two independent severe static votes",
+    };
+  }
+  if (input.trigger !== "established") {
+    return {
+      verdict: "inconclusive",
+      reason: "the production trigger precondition could not be established",
+    };
+  }
+  if (
+    input.targetObservation === "not_run" ||
+    input.cleanObservation === "not_run"
+  ) {
+    return {
+      verdict: "inconclusive",
+      reason: "the target and clean control were not both executed",
+    };
+  }
+  if (input.runtimeEvidenceDisagreement === "severe") {
+    return {
+      verdict: "debate_required",
+      reason: "models still seriously disagree about the runtime evidence",
+    };
+  }
+  if (input.targetObservation === "fail" && input.cleanObservation === "pass") {
+    return {
+      verdict: "automatic_block",
+      reason: "the target failed while the clean control passed",
+    };
+  }
+  if (input.targetObservation === "pass" && input.cleanObservation === "pass") {
+    return {
+      verdict: "dismissed",
+      reason:
+        "a valid production trigger was executed and the target did not reproduce the candidate",
+    };
+  }
+  return {
+    verdict: "inconclusive",
+    reason:
+      "the clean control failed or the comparison was otherwise confounded",
+  };
+}
+
+async function main() {
+  const options = parseArgs(process.argv.slice(2));
+  const input = JSON.parse(await readFile(options.input, "utf8"));
+  validateInput(input);
+  const result = {
+    ...input,
+    ...classify(input),
+    classifiedAt: new Date().toISOString(),
+  };
+  const output = `${JSON.stringify(result, null, 2)}\n`;
+  if (options.output) {
+    await writeFile(options.output, output);
+  }
+  process.stdout.write(output);
+}
+
+await main();