dsh-tiddlywiki 0.19.1 → 0.19.2

package/README.md

@@ -291,7 +291,8 @@ lib/                    # 预构建产物（发布含 lib/**，提交入库；
 
 > 最近几个主要版本的一句话记录（完整变更见 [Releases](https://github.com/bbqisbbq/dsh-tiddlywiki/releases) / git log）。
 
-- **v0.19.1**（2026-09-11）：**第二轮代码审计的修复版 + 让 CI 重新变绿**。**CI 其实是红的**：`lib/index.js.map` 内嵌源文件原文（sourcemap 的 `sourcesContent`），Windows 工作区是 CRLF、GitHub runner 检出是 LF，Linux 上重建出的 map 与提交版必然不同 → `static` 作业的 `git diff --exit-code -- lib/` 每次失败，而它一挂，另外三个 job（`needs: static`）**根本不会跑**（v0.19.0 声称的四档守门实际停摆）。修法：新增 **`.gitattributes`（`* text=auto eol=lf`）** 把工作区钉成 LF 并重建提交 lib/；顺带补上 **send-to-agent 的「bundle ↔ seed 逐字节」守门**（render 早就有，缺这条时「跑了 build 忘跑 gen」会 CI 全绿却发旧按钮）、`prepublishOnly` 预检、CI 失败时能看懂的错误提示。**安全（存储型 XSS）**：回复流卡片与会话汇总把 TW 片段 `dangerouslySetInnerHTML` 进 DSH 页面，而 TW 的解析器只剥 `on*`——实测 `<iframe src="javascript:…">`、`<a href="javascript:…">`、`<form action="javascript:…">` 全部原样通过（任何写进 wiki 的正文——agent 笔记、剪藏、导入——都能在 DSH 同源页面执行脚本并调用未鉴权的 `/dsh-tiddlywiki/*` 路由）。新增 **host 侧片段净化器**（`src/host/sanitize.ts`：丢 script/style/iframe/object/embed/form/svg/math…、丢 `on*`/`srcdoc`/`srcset`、URL 属性只放行 http(s)/mailto/tel/相对路径/栅格 `data:image/*`，并先做实体解码挡 `&#106;avascript:` 这类混淆），新增 **`POST /dsh-tiddlywiki/render`** 作为客户端唯一渲染入口（客户端不再直连 TW 的未净化 `/tw/render`，因此**老 wiki 也立刻受保护**）；配套 payload 回归 `scripts/verify-render-sanitizer.mjs`（已进 CI）。**数据安全**：`/note` 与 `/edit` 此前不读旧条目就整体 PUT，用同名标题保存会**清掉人类笔记的标签与自定义字段**——现在两条人类路径与 agent 工具共用新的 **`src/host/write-policy.ts`**（先读后写、保留字段、`agent-written` 只给 agent 新建的条目）；快速笔记卡片对「🕘 最近」载入的笔记回传 **`expectedRevision`**，人类在 TW 里的并发修改会让保存得到 **409** 而不是被覆盖；**重启 TW 前先排干 syncer**（`/sync` 与工具 `git_sync` 此前漏了 flush 哨兵——刚保存的笔记可能被重启吞掉）；`WikiServer.restart()` 改为**内部单飞**（admin 路由不受 routes 层互斥保护，并发重启会留下孤儿 TW 进程）；启动任务是 fire-and-forget，teardown 现在**先置 `disposed` 并等它收尾**（插件热更新/禁用时不再「disposer 先跑完、startup 后 spawn」留下孤儿进程与泄漏监听）。**工具层**：`tiddlywiki_get` 的自定义字段此前渲染成 `fields=[object Object]`（单条 GET 的 `fields` 嵌套没摊平）——`q`/`due`/`clip-url` 对模型完全不可见，已修；`tiddlywiki_lint` 的死链检查把**每一条指向图片/附件的链接**都误报成死链（标题集合取自排除二进制的列表），`missing-type` 则**永远不触发**（TW 服务端会给无 type 的条目补 `text/vnd.tiddlywiki`，改用 `[!has[type]]` 过滤器判定），描述与 `checks` 里的 `large-binary` 从未实现，已删除；`tw-api` 的瘦列表（`/tags`、lint 用）加短 TTL 缓存。**客户端**：TW 就绪重试的 40×150ms 定时器、`sync-button` 卸载后的迟到回调、`injectStyles` 的共享 `<style>` 被旧 disposer 删掉、渲染阶段改模块级缓存（改到 effect 阶段）、`tiddlywiki_list_tags` 卡片不截断（现最多 60 个 + 提示余量）；快速笔记「在 TW 中编辑」成功后不再把同一份内容重新写成「未保存草稿」。**工程**：工具层 E2E 从 10 个工具补齐到 **15 个**（并断言一个都不能少）、selftest 新增「人类写路径保留字段 / 409 冲突」与「host /render 净化」端到端断言、`package-lock.json` 版本与 npm 描述同步。
+- **v0.19.2**（2026-09-11）：**v0.19.1 的内容 + 让 flush 哨兵真正生效**。v0.19.1 在 npm 上只是被 **staged**（未确认），而那份 tarball 少了下面这个修复，所以补一个版本号（**请以 0.19.2 为准，0.19.1 可以取消掉**）。修复内容：`flushPendingWrites`（「重启 TW 前把 syncer 队列排干」的哨兵）**从来没成功过**——① 它写 `type: 'text/plain'` 却去等 `.tid` 文件，而 TW 的文件系统适配器按内容类型决定扩展名（`text/plain` 实际落 `.txt` + `.txt.meta`）；② 它用 `mtime >= startedAt` 判定，而哨兵是紧接在等待之前写的，Windows 上新文件的 mtime 可能落在同一/前一个时钟刻，条件永不成立。两者叠加 → 每次调用都超时返回 false，而**所有调用方只把它当 warning**：`/sync`、工具 `git_sync`、seed 重启与启动路径的「排干 syncer」全部静默失效（启动路径还白等 8 秒）。现在按「文件名含 `dsh-tiddlywiki_flush-probe` + 文件内容含本次随机戳」判定（与扩展名/时钟无关），实测 <1.2s 返回；selftest 加了断言，另修掉一处「轮询结果被忽略就重启」的测试竞态（首轮 GitHub CI selftest 抓到的 404）。**其余同 v0.19.1**：CI 复活（`.gitattributes` LF + sourcemap 可复现）、渲染片段净化（存储型 XSS）、`/note` `/edit` 共享写策略（不再清掉人类笔记的标签/自定义字段）、重启单飞与启动/teardown 握手、`tiddlywiki_get` 字段摊平、`lint` 两个坏检查、客户端泄漏与草稿回写等。
+- **v0.19.1**（2026-09-11）：**第二轮代码审计的修复版 + 让 CI 重新变绿**。**顺带抓出一个"静默失效"的哨兵**：`flushPendingWrites` 一直用 `type: 'text/plain'` 写哨兵、却去等 `.tid` 文件（TW 的文件系统适配器按内容类型决定扩展名，`text/plain` 实际落 `.txt` + `.txt.meta`），叠加 `mtime >= startedAt` 的判定在新写入的同一时钟刻可能永不成立 → 每次调用都超时返回 false，而所有调用方只把它当 warning。也就是说 v0.19.0 声称的「重启前排干 syncer」**其实一直没生效**（`/sync`、工具 `git_sync`、seed 重启与启动路径全都受影响，启动路径还会白等 8 秒）。现在改成**按内容随机戳匹配**（不依赖扩展名、不依赖文件时间），实测 <1.2s 返回，并有 selftest 断言守门。**CI 其实是红的**：`lib/index.js.map` 内嵌源文件原文（sourcemap 的 `sourcesContent`），Windows 工作区是 CRLF、GitHub runner 检出是 LF，Linux 上重建出的 map 与提交版必然不同 → `static` 作业的 `git diff --exit-code -- lib/` 每次失败，而它一挂，另外三个 job（`needs: static`）**根本不会跑**（v0.19.0 声称的四档守门实际停摆）。修法：新增 **`.gitattributes`（`* text=auto eol=lf`）** 把工作区钉成 LF 并重建提交 lib/；顺带补上 **send-to-agent 的「bundle ↔ seed 逐字节」守门**（render 早就有，缺这条时「跑了 build 忘跑 gen」会 CI 全绿却发旧按钮）、`prepublishOnly` 预检、CI 失败时能看懂的错误提示。**安全（存储型 XSS）**：回复流卡片与会话汇总把 TW 片段 `dangerouslySetInnerHTML` 进 DSH 页面，而 TW 的解析器只剥 `on*`——实测 `<iframe src="javascript:…">`、`<a href="javascript:…">`、`<form action="javascript:…">` 全部原样通过（任何写进 wiki 的正文——agent 笔记、剪藏、导入——都能在 DSH 同源页面执行脚本并调用未鉴权的 `/dsh-tiddlywiki/*` 路由）。新增 **host 侧片段净化器**（`src/host/sanitize.ts`：丢 script/style/iframe/object/embed/form/svg/math…、丢 `on*`/`srcdoc`/`srcset`、URL 属性只放行 http(s)/mailto/tel/相对路径/栅格 `data:image/*`，并先做实体解码挡 `&#106;avascript:` 这类混淆），新增 **`POST /dsh-tiddlywiki/render`** 作为客户端唯一渲染入口（客户端不再直连 TW 的未净化 `/tw/render`，因此**老 wiki 也立刻受保护**）；配套 payload 回归 `scripts/verify-render-sanitizer.mjs`（已进 CI）。**数据安全**：`/note` 与 `/edit` 此前不读旧条目就整体 PUT，用同名标题保存会**清掉人类笔记的标签与自定义字段**——现在两条人类路径与 agent 工具共用新的 **`src/host/write-policy.ts`**（先读后写、保留字段、`agent-written` 只给 agent 新建的条目）；快速笔记卡片对「🕘 最近」载入的笔记回传 **`expectedRevision`**，人类在 TW 里的并发修改会让保存得到 **409** 而不是被覆盖；**重启 TW 前先排干 syncer**（`/sync` 与工具 `git_sync` 此前漏了 flush 哨兵——刚保存的笔记可能被重启吞掉）；`WikiServer.restart()` 改为**内部单飞**（admin 路由不受 routes 层互斥保护，并发重启会留下孤儿 TW 进程）；启动任务是 fire-and-forget，teardown 现在**先置 `disposed` 并等它收尾**（插件热更新/禁用时不再「disposer 先跑完、startup 后 spawn」留下孤儿进程与泄漏监听）。**工具层**：`tiddlywiki_get` 的自定义字段此前渲染成 `fields=[object Object]`（单条 GET 的 `fields` 嵌套没摊平）——`q`/`due`/`clip-url` 对模型完全不可见，已修；`tiddlywiki_lint` 的死链检查把**每一条指向图片/附件的链接**都误报成死链（标题集合取自排除二进制的列表），`missing-type` 则**永远不触发**（TW 服务端会给无 type 的条目补 `text/vnd.tiddlywiki`，改用 `[!has[type]]` 过滤器判定），描述与 `checks` 里的 `large-binary` 从未实现，已删除；`tw-api` 的瘦列表（`/tags`、lint 用）加短 TTL 缓存。**客户端**：TW 就绪重试的 40×150ms 定时器、`sync-button` 卸载后的迟到回调、`injectStyles` 的共享 `<style>` 被旧 disposer 删掉、渲染阶段改模块级缓存（改到 effect 阶段）、`tiddlywiki_list_tags` 卡片不截断（现最多 60 个 + 提示余量）；快速笔记「在 TW 中编辑」成功后不再把同一份内容重新写成「未保存草稿」。**工程**：工具层 E2E 从 10 个工具补齐到 **15 个**（并断言一个都不能少）、selftest 新增「人类写路径保留字段 / 409 冲突」与「host /render 净化」端到端断言、`package-lock.json` 版本与 npm 描述同步。
 
 - **v0.19.0**（2026-09-11）：**按代码审计结论做的全量修复 + 一批新能力**（安全 / 数据安全 / 工具层 / 客户端 / 工程）。**安全**：① 每个路由现在**校验 HTTP 方法**（此前 `http.ts` 主动放行 GET、宿主按 pathname 分发，于是 `GET /dsh-tiddlywiki/sync` 会 pull+commit+**push**、`GET /restart` 重启 TW、`GET /upload` 落文件——任意网页一张 `<img>` 即可触发；实测复现，现已一律 405 且无副作用）；② 剪藏桥 SSRF 守卫的 IPv6 判定改为**按字节解析**（此前 `::ffff:7f00:1`、`0:0:0:0:0:0:0:1`、`::0:1` 等回环写法全部放行——实测复现）；图片下载改为**逐跳 pin 住已校验的 IP**（堵 DNS rebinding TOCTOU）、**流式限长**（不再先全量缓冲再判 15MB）、禁用透明解压；③ TW 子进程的 spawn 日志**不再写明文口令**（该日志经无需认证的 `GET /status` 返回），`/status` 还会脱敏 git remote 里的 token、剪藏桥健康接口不再回显 port/tag/tokenSet、`/get` 不再暴露插件配置 tiddler、`/agent/sessions` 补上 token 守卫、token 比较改常数时间、`/tw` 代理改为**流式转发**（大附件不再整包进内存）、上传拒绝 html/svg 等可在同源执行的文件、`/note`/`/edit` 拒绝 `$:/` 标题。**数据安全**：④ 新增 `tiddlywiki/markdown` **插件自举**——全新 wiki 是用 `--init server` 建的，不含 markdown 插件，而插件默认把每篇笔记写成 `text/markdown`，此前新用户开箱即见 Markdown 源码；⑤ `tiddlywiki_put` 覆盖已有笔记时**不再丢掉原有的标签与自定义字段**（PUT 是整体替换，旧实现只发 title+text；单条 GET 的自定义字段还嵌套在 `fields` 里，一并修掉）；⑥ 新增**乐观并发**：`expectedRevision`/`expectedModified` + `force`，人类在 TW 编辑器里的改动不再被静默覆盖；⑦ `tiddlywiki_delete` 默认**软删除进回收站**（`tiddlywiki_trash` 可 list/restore/empty）；⑧ `readWikiInfo` 只把 ENOENT 当「没有配置」（此前读失败=空配置，设置页保存会整文件覆盖 `tiddlywiki.info`），写入改为备份 + 原子替换；seed 的 `tw-web-host` check 不再吞错；重启 TW 前用**flush 哨兵**排出 syncer 队列（force 重新初始化曾随机丢掉 `tw-web-host`）。**工具层（10 → 15 个）**：新增 `tiddlywiki_append`（增量追加 / 段落定位）、`tiddlywiki_backlinks`、`tiddlywiki_attach`（本机文件或公网 URL → 二进制附件）、`tiddlywiki_lint`（垃圾标签 / 死链 / 空笔记 / 缺内容类型）、`tiddlywiki_trash`；`search` 改为**相关度排序 + 命中处上下文片段 + 字段过滤 + limit 上限 + TW 紧凑日期解析**（此前 `since` 过滤恒为空）、`list_tags` 不再统计只挂在二进制附件上的标签、`batch_put` 的单条失败不再被参数预校验整批打断、列表加短 TTL 缓存。**客户端**：草稿卸载/刷新前落盘、草稿按窗口分键（不再跨标签页互相覆盖）、`session-summary` 自愈循环与卸载后 setState 修复、中央面板 `hidden` 状态修正、三个常驻定时器加上停止条件、wiki 链接不再吞掉 Ctrl/中键、编辑器弹窗补 `role=dialog` 与焦点、列表项键盘可达、21 处 `:focus-visible`、移动端 `touch-action`、`numField` 的 `0` 不再被吞。**工程**：新增 **GitHub Actions CI**（静态检查 + 自测 + 单元 + E2E 四档，含 `git diff --exit-code -- lib/` 抓「改了 src 忘了 build」）、9 个新验收脚本（auth 模式此前零覆盖、工具层、seed 读失败反例、git 冲突、崩溃自愈、大 wiki、render bundle 逐字节、发布包内容、版本一致性）、`npm run verify:*` 方便本地一键跑、`lib/client.bundle.js` 不再入库、AGENTS 的 `grep @deepseek-ai` 检查修正为「真实 import」。**升级提示**：重启 dsh web 后新会话生效；客户端改动需刷新页面。
 - **v0.18.0**（2026-09-10）：**一轮全量代码审计后的修复版**（数据安全 / 安全面 / 前端稳定性 / 工程卫生，共 40+ 项）。**数据不再静默丢失**：① seed 只在**真的 404** 时才认为条目缺失（此前任何读取错误都被当「不存在」，瞬时故障会让非 force 的启动 seed 覆盖你改过的同名笔记、`$:/DefaultTiddlers`、send-to-agent / render bundle）；② `wiki/.gitignore` 不再每次启动被整份重写（用户自定规则改前会被冲掉）；③ 配置 tiddler 读失败不再清空内存覆盖层（随后在设置页保存一项配置会丢掉其余全部覆盖）；④ 只有 **render-route 真的重写后**才重启 TW，且要等它落盘（否则重启会丢掉未 flush 的写入——这条是本版新引入又被测试抓出的回归）。**正确性**：`/render` 现在按 tiddler 自己的 `type` 渲染——**Markdown 笔记在回复流卡片/汇总里终于按 Markdown 渲染**（此前硬编码 wikitext，`## 现象` 会被当成 wikitext 列表，实测复现）。**安全**：所有写路由（`/admin/*`、`/note`、`/edit`、`/upload`、`/sync`、`/restart`、`/api`、`/tw` 的写方法）加**同源/CSRF 守卫**（跨站写请求 403，跨站 GET 不受影响）；剪藏桥图片下载加 **SSRF 守卫**（仅公网 http(s)，逐跳校验重定向，拒绝回环/内网/云元数据地址）；`bridge.port` 设置页改动现在**真的生效**（此前只读 cordis 基座）；`auth.username/password` 从此**可用**（内置 REST 客户端与就绪探测带 Basic 认证，代理转发 `WWW-Authenticate` 让浏览器弹登录框，此前配置了用户名会让插件 20s 后启动失败）。**前端**：编辑器弹窗不再因同草稿重开而整机重载、并纳入面板互斥；中央面板自愈列元素重建；右栏 Tab 重新可见会重新探测状态；侧边栏入口插入不再抛 `NotFoundError` 连带拖垮 FAB/面板；同步中不再被 30s 轮询覆盖状态；`injectStyles` 可卸载（热重载拿到新样式）；每处 mount 独立 try/catch；面板的 DOM 观察/滚动测量合并到 requestAnimationFrame（流式输出时不再每帧强制样式重算）。**工具与仓库**：`put`/`batch_put` 不再把读取失败当新条目而误打 `agent-written`，`fields` 不能覆盖 `title/text/tags`，`batch_put` 逐条报告失败；git 的 commit 与 pull 串行化（不再争 `.git/index.lock`）；`/status` 的 git 摘要加 2s 缓存（每次调用少跑 5 个 git 进程）；请求中途断开不再挂住路由；自动端口被占时会重新探测；`tiddlywiki.info` 损坏不再让后台 500；会话汇总对后代会话/条目数设上限。**工程卫生**：bundle 版本单一来源（`scripts/bundle/versions.mjs`，渲染路由 0.2.0）、生成器从 bundle 读版本（外层 0.3.2 漂移修正为 0.3.4）、发布包不再带 `client.bundle.js` 中间产物、`verify-*` 假阳性修复（未 await 的用例、被当成断言的 console.log）、selftest 失败也会回收 TW 子进程、`gen-seed-home` 默认剥离私有人口、`verify-menubar-theme` 不再默认打作者本机端口。

package/lib/index.js

@@ -1,5 +1,5 @@
 import { createRequire } from "node:module";
-import { existsSync, statSync, watch } from "node:fs";
+import { existsSync, readFileSync, readdirSync, statSync, watch } from "node:fs";
 import { access, mkdir, readFile, readdir, rename, stat, writeFile } from "node:fs/promises";
 import { basename, dirname, extname, isAbsolute, join, resolve } from "node:path";
 import { execFile, spawn } from "node:child_process";
@@ -3056,21 +3056,30 @@ const RESTART_REQUIRED_SEED_IDS = ["render-route"];
 * order.
 */
 const FLUSH_PROBE_TITLE = "$:/plugins/dsh-tiddlywiki/flush-probe";
-const FLUSH_PROBE_FILE = "$__plugins_dsh_tiddlywiki_flush-probe.tid";
-/** Write the flush sentinel and wait for its file; true when the queue drained. */
+/** Write the flush sentinel and wait for ITS CONTENT to reach the file. */
 async function flushPendingWrites(client, tiddlersDir, timeoutMs = 8e3) {
-	const startedAt = Date.now();
+	const stamp = `flush ${Date.now()} ${Math.random().toString(36).slice(2)}`;
 	try {
 		await client.put({
 			title: FLUSH_PROBE_TITLE,
-			text: (/* @__PURE__ */ new Date()).toISOString(),
-			type: "text/plain",
-			tags: []
+			text: stamp
 		});
 	} catch {
 		return false;
 	}
-	return waitForFileWrite(join(tiddlersDir, FLUSH_PROBE_FILE), timeoutMs, 150, startedAt);
+	const deadline = Date.now() + timeoutMs;
+	for (;;) {
+		try {
+			for (const name of readdirSync(tiddlersDir)) {
+				if (!name.includes("dsh-tiddlywiki_flush-probe")) continue;
+				try {
+					if (readFileSync(join(tiddlersDir, name), "utf8").includes(stamp)) return true;
+				} catch {}
+			}
+		} catch {}
+		if (Date.now() >= deadline) return false;
+		await new Promise((r) => setTimeout(r, 150));
+	}
 }
 /** Did one of the RESTART_REQUIRED seeds actually write something? */
 function needsRestartAfterSeeds(results) {
@@ -7902,7 +7911,10 @@ const MANAGED_GITIGNORE_LINES = [
 	"tiddlers/$__temp_*",
 	"tiddlers/$__StoryList*",
 	"tiddlers/$__HistoryList*",
-	"*.meta.tmp"
+	"*.meta.tmp",
+	"tiddlers/$__plugins_dsh-tiddlywiki_flush-probe.tid",
+	"tiddlers/$__plugins_dsh-tiddlywiki_flush-probe.txt",
+	"tiddlers/$__plugins_dsh-tiddlywiki_flush-probe.txt.meta"
 ];
 async function writeGitignore(wikiPath) {
 	const file = join(wikiPath, ".gitignore");