@feng0531/dsh-code-review 0.57.0 → 0.58.0

package/CHANGELOG.md

@@ -2,9 +2,13 @@
 
 本文件介绍对使用者有意义的变化。安装与参数见 [README](README.md)，本次发布正文见 [发布说明](RELEASE-NOTES.md)。历史提交和安装包保留在 [GitHub Releases](https://github.com/f-e-n-g-0531/dsh-code-review/releases)；本文不把开发日志当作功能介绍。
 
+## 0.58.0 — 本地评测入口可靠性整理
+
+新增无需 Docker 的实验性 ReviewBench 本地入口与使用说明。要求显式本地仓库、模型与端点；复用严格 JSON 校验，拒绝截断和夹杂文本。未完成审查、不可映射的旧侧发现及超限结果明确失败并保存原报告，不伪装为空发现；同一行的不同问题不再误合并。mock 输出与可评分候选隔离，运行结果不覆盖。正常 DSH 工具行为、权限与预算不变；不代表真实模型质量已得到验证。
+
 ## 0.57.0 — 对齐结论与边界收尾
 
-完成组合场景整体一致性验收与完整语义导航的源码对照收尾：范围内已对齐项清空「仍需补齐」；参考独有的会话存储、断点续跑、豁免与 token 预估记为有意不同；完整语义调用方、别名与跨目录实例上下文明确为需语义解析器的范围外。不改变审查行为或参数。
+完成组合场景整体一致性验收与完整语义导航的源码对照收尾：范围内已对齐项清空「仍需补齐」；参考独有的会话存储、断点续跑、豁免与 token 预估记为有意不同；完整语义调用方、别名与跨目录实例上下文明确为需语义解析器的范围外。不改变审查行为或参数。449 项完整回归与四组 CI 通过；npm、Release 与原产物 108,451 字节一致，双哈希和清单通过。
 
 ## 0.56.0 — 依赖清单与配置文件专用指导
 

package/CORE-ALIGNMENT-TASKS.md

@@ -33,6 +33,7 @@
 ## 当前验证结论
 
 - 最近完整回归：449 项通过。
+- v0.57.0 已正式交付对齐结论与边界收尾。449 项回归与四组 CI 通过；npm、Release 与原包 108,451 字节一致，SHA-256、SHA-512、清单与发布说明核验通过；不改变审查行为或参数。
 - v0.56.0 已正式交付依赖清单与配置文件专用指导。449 项回归、实际宿主、隔离安装与四组 CI 通过；npm、Release 与原包 108,081 字节一致，SHA-256、SHA-512、清单与发布说明核验通过；不改变审查行为或参数。
 - v0.55.0 已正式交付模板引擎与基础设施即代码专用指导。446 项回归、实际宿主、隔离安装与四组 CI 通过；npm、Release 与原包 106,969 字节一致，SHA-256、SHA-512、清单与发布说明核验通过；不改变审查行为或参数。
 - v0.54.0 已正式交付对齐结论与边界收尾。443 项回归、实际宿主与四组 CI 通过；npm、Release 与原包 104,761 字节一致，SHA-256、SHA-512、清单与发布说明核验通过；不改变审查行为或参数。

package/RELEASE-NOTES.md

@@ -1,12 +1,16 @@
-# v0.57.0 发布说明
+# v0.58.0 发布说明
 
-## 对齐结论与边界收尾
+## 本地评测入口可靠性整理
 
-本轮完成最后两类差距的源码对照收尾：组合场景整体一致性验收在保守范围内已对齐（分组阈值、预算组合、覆盖终态与失败分类均已验收），参考独有但超出范围的只有会话存储、断点续跑、豁免与 token 预估；完整语义调用方、别名与跨目录实例上下文需要语义解析器，超出保守语法绑定边界。对照表相应「仍需补齐」项清空，「有意不同」按证据补记。
+新增无需 Docker 的实验性 ReviewBench 本地评测入口和说明，复用现有审查核心。配置、模型调用、结果映射分开测试；模型和端点显式指定，不改变 DSH 宿主配置。
 
-## 限制
+- 复用严格 JSON 校验，拒绝截断响应和夹杂文字；HTTP 错误不输出正文。
+- 未完成审查、无法表达为 head 行号的发现以及超限结果明确失败，保存完整原报告，不静默丢弃或假装成功。
+- 同一行的不同问题保留，只去除完全相同的导出记录；旧结果不会被覆盖。
+- mock 只生成冒烟文件，不生成可评分候选。
 
-- 只读批准快照，不新增读取、不放宽预算、不改变审查行为或参数。
-- 不使用版本或测试数量表示对齐百分比。
+## 使用与边界
 
-使用方法见 [README](README.md)。
+正常 DSH 插件工具、权限和预算保持不变。实验入口采用单次直审，不启用检索、复核或业务分组；其结果不能代表完整插件配置。尚未完成真实模型、真实基准 PR 或 judge 评分验证。
+
+本地入口说明见 [本地评测指南](evaluation/REVIEWBENCH-LOCAL.md)，插件日常使用见 [README](README.md)。

package/evaluation/README.md

@@ -0,0 +1,24 @@
+# 评测说明
+
+这个目录用于复现已知行为、检查模型输入和整理少量试跑观察，不进入 npm 安装包。
+
+## 样本
+
+- [资源生命周期](lifecycle/README.md)：异常后是否释放资源，有缺陷输入和保留保护的对照。
+- [请求乱序](stale-result/README.md)：旧请求晚完成是否覆盖最新选择。
+- [历史规则检查](history-rule-extension/README.md)：本项目曾经错误接受不合法文件后缀的真实模块级复现。
+
+样本测试通过表示“预期行为已被复现”，包括缺陷行为；不表示模型已经找到缺陷或样本已经修复。
+
+## 离线运行
+
+	node --test test/evaluation-*.test.mjs
+	node evaluation/preview.mjs
+
+第二条命令只读取固定合成输入，校验内容指纹并计算初始输入大小，不调用模型。输出不含源码或答案标签；它也不是宿主执行授权。
+
+## 真实模型观察
+
+已有六次小规模观察见 [试跑结果](PILOT-RESULTS.md)。其中一次证据复核未完成，其他结果也不能外推成质量指标。新评测仍后置，开始条件见 [运行条件](PILOT-GATE.md)。
+
+运行真实评测时，只提供单组源码和必要契约，不发送答案说明、测试断言或其他组实现。保留原始输出，并由人工分别裁决候选生成和复核。

package/evaluation/REVIEWBENCH-LOCAL.md

@@ -0,0 +1,47 @@
+# ReviewBench 本地评测入口（实验）
+
+无需 Docker，不提交公开排行榜，也不改变 DSH 宿主的模型配置。此入口直接调用审查核心，采用 **single-pass-direct**：一次审查，不启用检索、复核或业务分组。因此它的成绩不能代表 DSH 插件完整配置的质量。
+
+## 前置条件
+
+- Node.js ≥22、Git、已安装本仓库依赖。
+- 本地已有基准 PR 的仓库及完整 base/head 提交对象。
+- 正式运行显式设置 OpenAI-compatible Chat Completions 端点和模型。只支持该协议，不能直接用 Anthropic Messages 的密钥或端点。
+- 模型密钥通过环境变量提供，不要粘贴到会话、命令历史或提交到仓库。
+
+## PowerShell 示例
+
+```powershell
+$env:RB_REPO_DIR = 'G:\benchmark-repo'
+$env:RB_BASE = '<40位base SHA>'
+$env:RB_HEAD = '<40位head SHA>'
+$env:RB_NWO = 'owner/repo'
+$env:RB_PR_NUMBER = '123'
+$env:RB_AGENT = 'dsh-code-review-local'
+$env:RB_OUT = 'G:\benchmark-output\fresh-run\findings.json'
+$env:RB_CONFIG_MODEL = '<模型名>'
+$env:RB_MODEL_BASE_URL = 'https://<可信端点>/v1'
+# 在安全环境中预先设置 RB_CONFIG_API_KEY、OPENAI_API_KEY 或 DEEPSEEK_API_KEY。
+node scripts/review-bench-adapter.mjs
+```
+
+输出父目录须存在，每次使用新的运行目录；已有结果不会被覆盖。读取 base/head 的唯一 merge-base，审查 merge-base 到 head 的固定对象；不修改被审查仓库，不读取黄金标注。
+
+## 输出与失败规则
+
+- `RB_OUT.report.json` 保存完整原报告、mock 标志、配置档与 merge-base，便于追溯覆盖与限制。
+- 正式候选只在报告 completed 且所有选中文件 completed 时生成。partial/failed/cancelled、未完成文件不冒充空发现或成功。
+- 旧侧行、文件级/属性级锚点无法无损表达成基准要求的 head 行号；当前明确失败并保留原报告，不静默丢弃或猜测位置。
+- 不按行号合并不同问题；只去掉完全相同的导出记录。超过 200 条报错，不裁剪。
+- 单次请求沿用 120 秒生命周期；整次运行另有 14 分钟截止，不放宽核心输入/调用预算。
+- HTTP 错误不输出响应正文；完整 JSON 或单个完整 JSON fence 使用项目现有严格解析，截断和夹杂文本被拒绝。
+
+## 离线冒烟
+
+设置 `RB_MOCK=1` 后运行。只生成 `.report.json` 与 `.smoke.json`，不生成可评分候选 `RB_OUT`，避免离线结果误入正式评分。mock 不调用真实模型，也不证明检出质量。
+
+## 验证边界
+
+这里提供入口和局部回归，不包含下载全部 PR 的调度器，也不包含真实模型或 LLM judge 的评分结果。使用 ReviewBench 的独立 judge 前，需确认候选 PR 身份与基准语料一致，保持失败样本在总数中，并人工核验模型裁决。正式成绩、数据集完整性与生产配置效果仍需单独验证。
+
+来源：[agent 契约](https://github.com/review-bench/ReviewBench/blob/main/AGENT_CONTRACT.md)、[评分输入](https://github.com/review-bench/ReviewBench/blob/main/docs/JUDGING_INPUT.md)。

package/package.json

@@ -1,12 +1,12 @@
 {
   "name": "@feng0531/dsh-code-review",
-  "version": "0.57.0",
+  "version": "0.58.0",
   "private": false,
   "license": "SEE LICENSE IN LICENSE",
   "publishConfig": { "access": "public", "registry": "https://registry.npmjs.org/" },
   "main": "./index.mjs",
   "exports": { ".": "./index.mjs", "./package.json": "./package.json", "./locale/*.json": "./locale/*.json" },
-  "files": ["index.mjs", "cordis.patch.yml", "src/", "locale/", "README.md", "CHANGELOG.md", "RELEASE-NOTES.md", "DEVELOPMENT.md", "CORE-ALIGNMENT-TASKS.md", "CORE-SOURCE-INVENTORY.md", "LICENSE", "LICENSES/"],
+  "files": ["scripts/review-bench-adapter.mjs", "evaluation/REVIEWBENCH-LOCAL.md", "index.mjs", "cordis.patch.yml", "src/", "locale/", "README.md", "CHANGELOG.md", "RELEASE-NOTES.md", "DEVELOPMENT.md", "CORE-ALIGNMENT-TASKS.md", "CORE-SOURCE-INVENTORY.md", "LICENSE", "LICENSES/"],
   "dsh": { "bundle": { "patch": "./cordis.patch.yml" } },
   "repository": { "type": "git", "url": "https://github.com/f-e-n-g-0531/dsh-code-review.git" },
   "type": "module",

package/scripts/review-bench-adapter.mjs

@@ -0,0 +1,125 @@
+// Local-only benchmark entrypoint; does not load or change DSH host settings.
+import { checked } from '../src/process.mjs';
+import { captureSnapshot } from '../src/snapshot.mjs';
+import { reviewSnapshot } from '../src/review.mjs';
+import { modelJson } from '../src/model-json.mjs';
+import { writeFile } from 'node:fs/promises';
+import path from 'node:path';
+import { pathToFileURL } from 'node:url';
+
+const RESPONSE_BYTES = 1024 * 1024;
+
+export function benchmarkConfig(env) {
+  const base = env.RB_BASE, head = env.RB_HEAD;
+  if (![base, head].every(value => typeof value === 'string' && /^[0-9a-f]{40}$/.test(value))) throw new Error('RB_BASE/RB_HEAD must be full lowercase Git SHAs');
+  if (!/^[A-Za-z0-9_.-]+\/[A-Za-z0-9_.-]+$/.test(env.RB_NWO ?? '') || env.RB_NWO.split('/').some(part => part === '.' || part === '..')) throw new Error('Invalid RB_NWO');
+  if (!/^[1-9][0-9]*$/.test(env.RB_PR_NUMBER ?? '') || !Number.isSafeInteger(Number(env.RB_PR_NUMBER))) throw new Error('Invalid RB_PR_NUMBER');
+  if (!env.RB_REPO_DIR || !env.RB_OUT) throw new Error('Set RB_REPO_DIR and RB_OUT for local evaluation');
+  const mock = env.RB_MOCK === '1';
+  if (env.RB_MOCK !== undefined && !['0', '1'].includes(env.RB_MOCK)) throw new Error('Invalid RB_MOCK');
+  if (!mock && (!env.RB_CONFIG_MODEL || !env.RB_MODEL_BASE_URL)) throw new Error('Set an explicit RB_CONFIG_MODEL and RB_MODEL_BASE_URL');
+  let endpoint;
+  if (!mock) {
+    const url = new URL(env.RB_MODEL_BASE_URL);
+    if (url.username || url.password || url.search || url.hash || (url.protocol !== 'https:' && !(url.protocol === 'http:' && ['localhost', '127.0.0.1', '[::1]'].includes(url.hostname)))) throw new Error('Invalid model endpoint; use HTTPS or local HTTP without URL credentials');
+    endpoint = url.href.replace(/\/+$/, '') + '/chat/completions';
+  }
+  return {
+    repo: path.resolve(env.RB_REPO_DIR), out: path.resolve(env.RB_OUT), base, head,
+    nwo: env.RB_NWO, prNumber: Number(env.RB_PR_NUMBER),
+    agent: env.RB_AGENT || 'dsh-code-review', mock, endpoint,
+    model: env.RB_CONFIG_MODEL,
+    apiKey: env.RB_CONFIG_API_KEY || env.OPENAI_API_KEY || env.DEEPSEEK_API_KEY || '',
+  };
+}
+
+async function responseJson(response) {
+  if (!response.body) throw new Error('Model response has no body');
+  const reader = response.body.getReader(), chunks = [];
+  let size = 0;
+  try {
+    for (;;) {
+      const { done, value } = await reader.read();
+      if (done) break;
+      size += value.byteLength;
+      if (size > RESPONSE_BYTES) throw new Error('Model response exceeds byte limit');
+      chunks.push(Buffer.from(value));
+    }
+    return JSON.parse(Buffer.concat(chunks).toString('utf8'));
+  } finally {
+    await reader.cancel().catch(() => {});
+    reader.releaseLock();
+  }
+}
+
+export function benchmarkExecutor(config, fetchImpl = fetch) {
+  return async request => {
+    const response = await fetchImpl(config.endpoint, {
+      method: 'POST', redirect: 'error', signal: request.signal,
+      headers: { 'Content-Type': 'application/json', ...(config.apiKey ? { Authorization: 'Bearer ' + config.apiKey } : {}) },
+      body: JSON.stringify({ model: config.model, messages: [
+        { role: 'system', content: request.instructions },
+        { role: 'user', content: request.input },
+      ], temperature: 0, max_tokens: 4096 }),
+    });
+    // Error bodies can contain credentials or source; never echo them.
+    if (!response.ok) {
+      await response.body?.cancel().catch(() => {});
+      throw new Error('Model HTTP status ' + response.status);
+    }
+    const data = await responseJson(response);
+    if (data?.choices?.length !== 1 || data.choices[0]?.finish_reason !== 'stop') throw new Error('Model response incomplete or ambiguous');
+    const content = data.choices[0]?.message?.content;
+    if (typeof content !== 'string' || !content) throw new Error('Model returned no text');
+    return JSON.parse(modelJson(content));
+  };
+}
+
+export function benchmarkFindings(snapshot, report, agent) {
+  if (report.status !== 'completed' || !report.files?.length || report.files.some(file => file.status !== 'completed')) throw new Error('Benchmark review incomplete; see saved report');
+  const paths = new Map(snapshot.files.map(file => [file.id, file.path]));
+  const seen = new Set(), findings = [];
+  for (const finding of report.findings) {
+    const anchor = finding.anchor, file = paths.get(finding.fileId);
+    if (!file || file.startsWith('/') || file.includes('\\') || file.split('/').some(part => ['', '.', '..'].includes(part))) throw new Error('Unrepresentable finding path');
+    // Do not invent target coordinates or silently remove a valid old-side issue.
+    if (anchor?.kind !== 'line' || anchor.side !== 'new' || !Number.isSafeInteger(anchor.start) || !Number.isSafeInteger(anchor.end) || anchor.start < 1 || anchor.end < anchor.start) throw new Error('Finding has no valid head-side line range; see saved report');
+    if (finding.verification && (finding.verification.status !== 'completed' || finding.verification.verdict !== 'supported')) throw new Error('Finding requires explicit adjudication; see saved report');
+    const message = [finding.title, finding.evidence, finding.trigger, finding.impact, finding.suggestion].filter(value => typeof value === 'string' && value.trim()).join(' ');
+    if (!message) throw new Error('Empty finding message');
+    const mapped = { file, start_line: anchor.start, end_line: anchor.end, message, producer: agent };
+    const identity = JSON.stringify(mapped);
+    if (!seen.has(identity)) { seen.add(identity); findings.push(mapped); }
+  }
+  if (findings.length > 200) throw new Error('Benchmark finding limit exceeded; no clipping performed');
+  return findings;
+}
+
+export async function runBenchmark(env = process.env) {
+  const config = benchmarkConfig(env);
+  const signal = AbortSignal.timeout(14 * 60 * 1000), started = Date.now();
+  const bases = (await checked('git', ['merge-base', '--all', config.base, config.head], { cwd: config.repo, signal })).toString('utf8').trim().split(/\r?\n/);
+  if (bases.length !== 1 || !/^[0-9a-f]{40}$/.test(bases[0])) throw new Error('Expected a unique merge base; no arbitrary base selected');
+  const snapshot = await captureSnapshot(config.repo, { baseRevision: bases[0], targetRevision: config.head, signal });
+  const executor = config.mock ? async () => ({ findings: [], limitations: [] }) : benchmarkExecutor(config);
+  console.log('profile=single-pass-direct mock=' + config.mock + ' model=' + (config.model || 'none'));
+  const report = await reviewSnapshot(snapshot, executor, { signal, reviewRounds: 1, maxCalls: 100, timeoutMs: 120_000 });
+  signal.throwIfAborted();
+  // Each run owns fresh output paths; never mix attempts or overwrite prior results.
+  await writeFile(config.out + '.report.json', JSON.stringify({ mock: config.mock, profile: 'single-pass-direct', mergeBase: bases[0], report }, null, 2) + '\n', { flag: 'wx' });
+  const findings = benchmarkFindings(snapshot, report, config.agent);
+  const output = {
+    pr: { repo: 'https://github.com/' + config.nwo, pr_number: config.prNumber, base: config.base, head: config.head },
+    agent: config.agent, findings, usage: { time_in_ms: Date.now() - started },
+  };
+  // Smoke output is intentionally not a scoreable candidate file.
+  await writeFile(config.mock ? config.out + '.smoke.json' : config.out, JSON.stringify(output, null, 2) + '\n', { flag: 'wx' });
+  return output;
+}
+
+if (process.argv[1] && import.meta.url === pathToFileURL(path.resolve(process.argv[1])).href) {
+  runBenchmark().catch(() => {
+    console.error('Benchmark adapter failed; no successful result implied. Check configuration and any saved report.');
+    process.exitCode = 1;
+  });
+}