@feng0531/dsh-code-review 0.85.8 → 0.85.9

package/CHANGELOG.md

@@ -2,6 +2,11 @@
 
 本文件介绍对使用者有意义的变化。安装与参数见 [README](README.md)，本次发布正文见 [发布说明](RELEASE-NOTES.md)。历史提交和安装包保留在 [GitHub Releases](https://github.com/f-e-n-g-0531/dsh-code-review/releases)；本文不把开发日志当作功能介绍。
 
+## 0.85.9 — UTF-8 与 GBK 源码兼容
+
+- 源码读取增加严格 GBK/CP936 回退，支持同一批准快照中混用 UTF-8 与 GBK 文件；沿用 UTF-8 优先和 BOM 声明，保留原始字节哈希、行号与换行，不转码写回。
+- 原有带 BOM 的 UTF-16 兼容不变；非法字节、GB18030 四字节序列及二进制保护不放宽，规则文件和 VCS 元数据仍遵循原编码协议。
+
 ## 0.85.8 — 变更审查重复工作与调度修复
 
 - 变更模式独立文件链默认两路受控并发（可配置 1～4），分组只初始化一次，交互综合等待相关前置主审；报告按原顺序归并，取消和致命检查点错误排空在途任务。

package/DEVELOPMENT.md

@@ -50,6 +50,12 @@
 
 执行 `node --test test/model-diagnostics.test.mjs test/model-json-correction.test.mjs test/model-protocol-diagnostics.test.mjs test/dsh-model.test.mjs` 可验证本地纠正、失败归类和脱敏；宿主检查另覆盖真实 ToolRuntime 的纠正和服务失败事件，均为受控离线模型，不证明真实服务失败率下降。
 
+## 源码编码
+
+统一 `content.decode/readLocal` 支持 UTF-8 与 GBK/CP936：BOM 是权威声明，原有 UTF-16 LE/BE BOM 保持兼容；无 BOM 时严格 UTF-8 优先，失败才校验完整 GBK 单／双字节结构再用 fatal 解码，防止原生 `gbk` 别名意外接受 GB18030 四字节序列。不能确定原作者对合法歧义字节的编码意图，不按单行拼接或修复乱码；已存在的 U+FFFD 不猜测还原。返回的 `encoding` 如实为 `gbk`，`hash/bytes` 属于原始源字节；reader／证据文本哈希仍属解码文本，两者不能互换。CRLF 和代码文件从不转码写回，原始文件限制与解码后 UTF-8 输入／内存预算均保持。
+
+Git 路径和索引、SVN XML、规则文件与 SVN 链接记录仍按各自 UTF-8 协议校验，不因源码兼容而放宽；固定宽度关键字映射仍须独立核验，不支持的混杂编码或映射会明确阻断。
+
 ## 审查预算
 
 除 README 中的文件和输入上限外：

package/README.md

@@ -313,6 +313,7 @@ Git / SVN 历史审查也能使用这些参数；依赖和调用方按对应版
 - Git 支持工作区净变化、暂存区/未暂存范围、单提交、两版本比较。SVN 支持工作副本和固定历史端点；**尚未完整支持所有 SVN 状态**。
 - SVN 根目录属性可预览；同仓库复制新增以空目标旧侧审查，复制来源只作信息；移动的新增/删除分别覆盖。目录后代须逐项纳入，选择父目录不自动批准所有后代。
 - SVN 标准、固定宽度和受支持的复合关键字展开，以及工作副本变更/自动依赖/命中调用方、固定历史变更及上下文的换行元数据保留原文证据；不以规范化结果证明行为等价。自定义/固定宽度关键字、未提交替换、冲突、特殊节点、切换/外部工作副本及跨仓库比较等仍有限制。同仓库跨分支与独立基线替换需要下文列出的显式参数。已提交固定历史替换与未提交替换的支持不同，详见 [SVN 支持矩阵](SVN-SUPPORT-MATRIX.md)。
+- 源码可混用 UTF-8（含 BOM）与 GBK/CP936；无 BOM 时优先严格 UTF-8，失败才尝试完整合法 GBK 字节序列，原有带 BOM 的 UTF-16 仍支持。BOM 声明损坏不回退；不支持 GB18030 四字节扩展或单文件混杂编码。两种编码都合法的无 BOM 字节优先按 UTF-8 解释，自动识别不保证还原原作者意图；不转码写回，原始字节哈希、换行与证据行号保留，规则文件仍限 UTF-8。
 - 二进制、不能解码的文件、普通源码路径中的链接和超限内容会明确阻断；已跟踪的 SVN 链接只审查 `link 目标` 记录，不读取目标正文，不静默截断后声称完成。文本导航不证明语义绑定、执行可达或完整调用覆盖。
 
 ## 规模限制

package/RELEASE-NOTES.md

@@ -1,19 +1,17 @@
-# v0.85.8 发布说明
+# v0.85.9 发布说明
 
 使用方式见 [README](README.md)，详细变化见 [变更记录](CHANGELOG.md)，发布门禁见 [开发说明](DEVELOPMENT.md)。
 
-## 减少重复往返，保留独立复核
+## 同时审查 UTF-8 与 GBK 源码
 
-- 变更模式的独立文件链默认两路并行；`changesConcurrency` 可设 1～4，1 回退串行。跨文件综合等待相关前置链结束，结果按原输入顺序归并；取消或致命检查点错误先等待在途清理，再释放会话锁。所有文件仍共享原批准快照的读取与模型调用预算。
-- 复核首轮可预置本次批准快照中候选同侧锚点附近的原文和新鲜凭据，减少“先请求锚点、再返回结论”的往返。不复用主审判断或外部凭据；反证、旧侧及调用方仍可继续读取，最终证据仍精确回读校验并计入共享预算。无检索模式不预取，无法安全预取时回退普通检索。
-- 完整变更元数据能容纳时，每文件只生成一次全范围风险计划，再分发到窗口；不能容纳时保留原分窗口路径，不以首窗口冒充全文件。每次主审的来源读取覆盖仍独立计算，不合并其他窗口、规划或复核的读取作为主审证明。
-- `maxRetrievalRounds` 默认 3、范围 0～50，变更与项目模式的配置、预览和执行保持一致。到限只允许最终答复，仍明确 partial/uncertain 和未完成范围，不把限额耗尽视为审核通过。
-- 增加提供方实际调用的阶段、时长和字节统计，不记录源码或推理正文；明确最终源码复核阶段，修复终态耗时继续增长及 blocked 状态被暂时显示为 pending 的问题。
+- 同一批准快照可混用 UTF-8（含 BOM）与 GBK/CP936 文件。统一源码解码入口覆盖 Git/SVN 工作副本、历史版本、项目审查及所选上下文；中文检索、主审与独立复核使用同一解码文本。原有带 BOM 的 UTF-16 LE/BE 兼容不变。
+- 无 BOM 时优先严格 UTF-8，失败才尝试完整合法 GBK 字节序列；BOM 是权威声明，损坏的 Unicode 不降级为 GBK。严格拒绝 GB18030 四字节扩展、残缺 GBK 序列及原有二进制控制字符，不用替换字符掩盖解码失败。
+- 不转码写回，不规范化换行；原始源字节哈希和长度保留，检索／证据哈希仍属于解码文本，两者明确区分。相同文本由 GBK 转为 UTF-8 仍使快照身份变化，旧快照凭据不可继续使用。
 
 ## 验证与边界
 
-本地 Windows 完整测试 824 项：820 通过、4 项平台限定跳过、0 失败；隔离安装入口、本地化导出和新增执行模块包内容验证通过。另有独立差异复核及共享预算、取消清理、交互依赖、零轮输入边界和回调预算权限回归。正式发布须通过冻结标签同一提交的 Ubuntu/Windows × Node.js 22/24 四组 CI、隔离安装，以及原始 Actions 包、npm 与 GitHub Release 工件一致性门禁；远端结果以对应 CI 与发布工作流为准。
+本地 Windows 完整测试 840 项：836 通过、4 项平台限定跳过、0 失败。新增 16 项编码、真实本地 Git/SVN 和审查证据回归，覆盖暂存区／未暂存范围、工作副本／固定历史／项目模式、中文、CRLF、原始字节身份、不写回及同文本转码后的授权失效。正式发布须通过冻结标签同一提交的 Ubuntu/Windows × Node.js 22/24 四组 CI、版本化隔离安装，以及原始 Actions 包、npm 与 GitHub Release 工件一致性门禁；远端结果以对应 CI 与发布工作流为准。
 
-受控对照采用生产审查开关、8 文件 SVN 候选/反驳夹具和每次模型响应 20ms 模拟延迟：旧版 25 次模型调用，修复版 17 次；峰值并发由 1 到 2，单次样例墙钟从 755ms 到 330ms。夹具中的结论和精确原文证据一致。这不是实际提供方速度、token 成本或审查质量保证，也不表示真实审核必然从 45 分钟降到某个时间。
+UTF-8 优先是确定性策略，不保证识别原作者意图：两种编码都合法的无 BOM 字节按 UTF-8 解释；单文件混杂编码不受支持，也不猜测修复已存在的乱码或 U+FFFD。原始文件大小和解码后 UTF-8 输入／内存预算均保持，内容可能因展开后超限而阻断。
 
-并发上限不是全宿主 RPM/TPM 限流器；遇到提供方限流应降低并发。预算不足时任务完成顺序可能改变未完成范围，不保证与串行逐项结果相同。本版不重构快照重复采集或串行检查点持久化，不新增跨批次全程序语义覆盖。发布不自动安装、升级或重启 DSH；更新并重新加载插件后生效。
+Git 路径／索引、SVN XML、规则文件、SVN 链接记录仍遵循各自原编码协议，不因源码兼容而放宽；不支持的关键字／混杂编码映射仍明确阻断。发布不自动安装、升级或重启 DSH；更新并重新加载插件后生效。

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@feng0531/dsh-code-review",
-  "version": "0.85.8",
+  "version": "0.85.9",
   "private": false,
   "license": "SEE LICENSE IN LICENSE",
   "publishConfig": { "access": "public", "registry": "https://registry.npmjs.org/" },

package/src/content.mjs

@@ -9,11 +9,31 @@ export function relativePath(value) {
   if (typeof value !== 'string' || !value || /[\\:\0]/.test(value) || path.posix.isAbsolute(value) || value.split('/').some(p => !p || p === '.' || p === '..' || p.toLowerCase() === '.git' || p.toLowerCase() === '.svn')) throw new Error('Unsafe repository path');
   return value;
 }
+// Native WHATWG gbk decoders may also accept GB18030 four-byte sequences.
+// Constrain fallback to GBK/CP936 bytes rather than silently broadening support.
+function isGbk(bytes) {
+  for (let i = 0; i < bytes.length; i++) {
+    const lead = bytes[i];
+    if (lead <= 0x80) continue; // ASCII plus CP936's single-byte euro sign.
+    const trail = bytes[++i];
+    if (lead < 0x81 || lead > 0xfe || trail === undefined || trail < 0x40 || trail > 0xfe || trail === 0x7f) return false;
+  }
+  return true;
+}
+
 export function decode(bytes) {
-  let encoding = 'utf-8', body = bytes;
+  let encoding = 'utf-8', body = bytes, text;
+  const utf8Bom = bytes[0] === 0xef && bytes[1] === 0xbb && bytes[2] === 0xbf;
   if (bytes[0] === 255 && bytes[1] === 254) { encoding = 'utf-16le'; body = bytes.subarray(2); }
   else if (bytes[0] === 254 && bytes[1] === 255) { encoding = 'utf-16be'; body = bytes.subarray(2); }
-  const text = new TextDecoder(encoding, { fatal: true }).decode(body);
+  try { text = new TextDecoder(encoding, { fatal: true }).decode(body); }
+  catch (error) {
+    // A declared BOM is authoritative; corrupt Unicode must not be reinterpreted.
+    // BOM-less valid UTF-8 wins ambiguous byte sequences. No replacement decoding.
+    if (encoding !== 'utf-8' || utf8Bom || !isGbk(bytes)) throw error;
+    encoding = 'gbk';
+    text = new TextDecoder(encoding, { fatal: true }).decode(bytes);
+  }
   if (/[\x00-\x08\x0e-\x1f]/.test(text)) throw new Error('Binary content');
   return { text, hash: hash(bytes), encoding, bytes: bytes.length };
 }