@cloud411716/fancy-webnovel 1.0.45 → 2.2.0

package/lib/safe-rm.js

@@ -0,0 +1,94 @@
+/**
+ * 沙箱下 `rm` 挂死的一次性提示（bundle 级，所有子插件共用）。
+ *
+ * ## 为什么要有这段提示
+ *
+ * 实测（2026-10-23，DSH web + Landlock 沙箱）：
+ *
+ *   1. 本机的 `/bin/rm` 和 `/usr/bin/rm` 都被替换成了 trash-cli 的 `trash-put`
+ *      （`ls -l /bin/rm` → `/usr/bin/trash-put`）—— 删除不是真删，是移入回收站，
+ *      同时要在 `~/.local/share/Trash/info/` 写一份 `.trashinfo` 元数据。
+ *   2. DSH 的 bash 跑在 Landlock 沙箱里，可写白名单只有
+ *      `/dev/null`、`/tmp` 和会话工作目录
+ *      （`@deepseek-ai/dsh-sandbox-local/lib/index.js` 的 `landlockProfileArgs`）。
+ *      回收站 `~/.local/share/Trash` 不在其中。
+ *   3. trash-cli 写 `.trashinfo` 拿到 EACCES 后**不会报错退出**，而是换一个
+ *      递增后缀继续重试（`trashcli/put/janitor_tools/info_file_persister.py`
+ *      的 `while True` + `NeedsMoreAttempts`，只对 ENAMETOOLONG 特判）。
+ *      → `rm` 永不返回 → 用 `&&` 串起来的整条命令挂到超时（默认 600 秒）。
+ *
+ * 复现（`landlock-run --ro / --rw /dev/null --rw /tmp --rw <cwd> -- rm -f <f>`）：
+ * rc=124（被 timeout 杀）；同一环境下 `node -e "fs.unlinkSync(...)"` rc=0。
+ *
+ * 把 `XDG_DATA_HOME` 指到 `/tmp`，回收站就落在沙箱允许写的目录里，`rm` 立刻返回。
+ *
+ * ## 为什么放在 bundle 入口，而不是各子插件自己的提示词
+ *
+ * fancy-webnovel 下每个子插件都可能让模型去删临时文件（骨架构建、拆书、
+ * 拆解结果清理……），逐个加提示词必然漏，而且以后新增子插件还会再漏。
+ * 这里注册成 DSH 的 `systemPrompt` section：**一次注册，对整个 bundle 的
+ * 所有会话、所有子插件生效**，模型不需要知道当前是哪个子插件。
+ *
+ * ## 顺带澄清一件事：这段文本不是 400 的元凶
+ *
+ * 曾经出现过 provider 报
+ *   400 messages: Validation error: message content cannot be empty
+ * 且报错里**含有本段文本**，很容易被误判成"是这段提示词导致的"。
+ * 不是。真实原因是插件往会话里塞了一条**空 content 的 user/message**：
+ * 它抢走了 transcript 的第一条位置，于是系统提示词（含本段文本）被降级成
+ * user 轮，跟空消息一起出现在报错里 —— 本段文本出现在报错里恰恰是**症状**。
+ * 详见 tests/cases/conversation-view.test.js 与 lib/infra.js 的文件头说明。
+ *
+ * @module @cloud411716/fancy-webnovel/safe-rm
+ */
+
+/** section 名。DSH 里 section 按名去重，重名会抛错。 */
+export const SAFE_RM_SECTION_NAME = 'fancy-webnovel:safe-rm';
+
+/**
+ * 排序位。DSH 的 `systemPrompt.section()` 要求 order 是有限数字；
+ * 外部贡献可以用任意有限值，这里紧跟在 `tool:bash`（1000）之后，
+ * 让模型在读完 bash 工具说明后紧接着看到这条约束。
+ */
+export const SAFE_RM_SECTION_ORDER = 1005;
+
+/** section 正文。措辞要短、要把"为什么"讲透，否则模型会当成风格偏好而忽略。 */
+export const SAFE_RM_SECTION_TEXT = [
+  '本机的 rm 是 trash-cli 的 trash-put：删除即移入回收站，并非真删。',
+  'DSH 的文件沙箱（workspace-write）只允许写 /dev/null、/tmp 和会话工作目录，',
+  '回收站目录 ~/.local/share/Trash 不在其中；trash-cli 写 .trashinfo 失败后会不断换名重试，',
+  'rm 永不返回，整条命令会挂到超时（默认 600 秒）。',
+  '删除任何文件或目录（含临时文件）时，一律给 rm 加 XDG_DATA_HOME=/tmp 前缀，',
+  '让回收站落在沙箱允许写的 /tmp 下，rm 才会立刻返回：',
+  'XDG_DATA_HOME=/tmp rm -rf <路径>',
+].join('\n');
+
+/**
+ * 注册这条提示。
+ *
+ * 用 `ctx.inject(['systemPrompt'], ...)` 惰性注册而不是直接摸 `ctx.systemPrompt`：
+ * 精简部署（没装 systemPrompt 服务）和单元测试的假 ctx 都不会因此炸，
+ * 而且 HMR 重载时 cordis 会自动 dispose / 重建。
+ *
+ * @param {object} ctx - 插件上下文
+ * @returns {boolean} 是否真的注册了（false = 环境里没有 systemPrompt）
+ */
+export function registerSafeRmPrompt(ctx) {
+  // 没有 inject 的假 ctx（单元测试用的最小 mock）直接跳过 ——
+  // 一条提示词不该把整个 bundle 拖挂。
+  if (!ctx || typeof ctx.inject !== 'function') return false;
+  try {
+    // 不 await：systemPrompt 还没就绪时这只是挂一个待启动的子插件，
+    // 不能让 bundle 的加载卡在这儿。
+    ctx.inject(['systemPrompt'], (scope) => {
+      scope.systemPrompt.section({
+        name: SAFE_RM_SECTION_NAME,
+        order: SAFE_RM_SECTION_ORDER,
+        text: SAFE_RM_SECTION_TEXT,
+      });
+    });
+    return true;
+  } catch {
+    return false;
+  }
+}

package/lib/scraper-utils.js

@@ -0,0 +1,165 @@
+/**
+ * scraper-utils.js — 采集脚本公共工具
+ *
+ * 提供各平台 scraper 公用的纯函数，无外部依赖。
+ */
+
+export function getArg(args, name) {
+  const i = args.indexOf(name);
+  if (i >= 0) return i + 1 < args.length ? args[i + 1] : null;
+  const prefix = `${name}=`;
+  const inline = args.find((arg) => String(arg).startsWith(prefix));
+  // 显式空值（--name=）返回 ''，让调用方决定兜底
+  return inline === undefined ? null : String(inline).slice(prefix.length);
+}
+
+// ---------------------------------------------------------------------------
+// 扫描方式（取数路径）
+// ---------------------------------------------------------------------------
+
+/**
+ * 番茄的两种扫描方式。
+ *
+ *   api —— 书名/作者/简介取自番茄自家明文接口 /api/book/info。
+ *           实测该接口返回与榜单页完全相同的文本（明文），零识别误差，
+ *           整榜耗时约为 OCR 路径的 1/5。
+ *   ocr —— 渲染后截图 + tesseract 识别。不依赖番茄内部接口，接口失效时
+ *           仍能采到，但存在认字误差（实测简介字符错误率 8%~17%）。
+ *
+ * 这是插件层（templates/index）、编排层（run-scan）与 scraper 层之间的契约，
+ * 三处必须用同一套 id —— 不能各写各的字面量。
+ */
+export const SCAN_MODE_API = 'api';
+export const SCAN_MODE_OCR = 'ocr';
+export const SCAN_MODES = [SCAN_MODE_API, SCAN_MODE_OCR];
+export const DEFAULT_SCAN_MODE = SCAN_MODE_API;
+
+/**
+ * 把外部传入的扫描方式规整成合法值。
+ *
+ * 非法值 / 缺失一律回落到默认（api）：不能把未知值透传给 scraper ——
+ * scraper 遇到不认识的 mode 若既不截图也不取接口，会产出"只有排名没有
+ * 任何文本"的空采集，而这种失败在 receipt 上看不出来。
+ */
+export function normalizeScanMode(raw) {
+  const s = String(raw == null ? '' : raw).trim().toLowerCase();
+  return SCAN_MODES.includes(s) ? s : DEFAULT_SCAN_MODE;
+}
+
+/**
+ * 归一化作品简介文本。
+ *
+ * 起点移动端详情页的 bookInfo.desc 是"文本 + 内嵌 HTML"的混合体
+ * （实测 25 本：56% 用 <br> 分行、36% 用 \n 分段、段首带全角缩进 U+3000），
+ * 部分作品末尾带【书籍标签：…】这类标签块（实测新书榜 20 本中 1 本）。
+ * 这里统一转成纯文本：
+ *   - <br> 转成换行（行分隔）
+ *   - 段落标签转成空行（段分隔）
+ *   - 其余 HTML 标签去掉，常见实体反转义
+ *   - 去掉行首全角缩进与行尾空白，压缩多余空行
+ */
+export function normalizeBookIntro(raw) {
+  if (raw === null || raw === undefined) return '';
+  return String(raw)
+    .replace(/<br\s*\/?>/gi, '\n')
+    .replace(/<\/?(p|div|li|h[1-6])\b[^>]*>/gi, '\n\n')
+    .replace(/<[^>]+>/g, '')
+    .replace(/&nbsp;/gi, ' ')
+    .replace(/&amp;/gi, '&')
+    .replace(/&lt;/gi, '<')
+    .replace(/&gt;/gi, '>')
+    .replace(/&quot;/gi, '"')
+    .replace(/&#39;|&apos;/gi, "'")
+    .replace(/&#(\d+);/g, (_m, d) => String.fromCodePoint(Number(d)))
+    .replace(/[ \t　]+$/gm, '')
+    .replace(/^[ \t　]+/gm, '')
+    .replace(/\n{3,}/g, '\n\n')
+    .trim();
+}
+
+/**
+ * 本地日期戳 YYYYMMDD（本地时区，非 UTC）。
+ *
+ * 全仓唯一的日期实现：run-scan.js 与 fancy-scan/index.js 都用它，
+ * 避免同一份 topic_decision_<date>.md 在不同时区口径下算出两个名字。
+ */
+export function localDateStamp() {
+  const d = new Date();
+  return `${d.getFullYear()}${String(d.getMonth() + 1).padStart(2, '0')}${String(d.getDate()).padStart(2, '0')}`;
+}
+
+/**
+ * @typedef {Object} CliOutcome
+ * @property {number} planned      计划处理的项数
+ * @property {number} written      成功处理的项数
+ * @property {number} failed       失败的项数
+ * @property {boolean} partial     是否部分成功
+ * @property {string[]} partialReasons  失败原因列表
+ * @property {string[]} [files]    生成的文件路径
+ */
+
+/**
+ * CLI 收尾：在所有 scraper 共享的 finally 关闭 browser 资源，
+ * 然后用结构化 JSON 写出结果。保证进程不会因为孤儿 chromium 堆积。
+ *
+ * @param {Promise<number|CliOutcome>} promise - main() 返回的 promise
+ * @param {string} label - scraper 名称
+ * @param {Object} [opts]
+ * @param {() => Promise<void>} [opts.beforeExit] - 退出前的清理 hook（关 browser 等）
+ */
+export function runCli(promise, label, opts = {}) {
+  const { beforeExit } = opts;
+  Promise.resolve()
+    .then(() => promise)
+    .then(async (result) => {
+      const outcome = Number.isInteger(result)
+        ? { planned: result, written: result, failed: 0, partial: false, partialReasons: [] }
+        : result;
+
+      if (!outcome || !Number.isInteger(outcome.written)) {
+        throw new Error("no output was written");
+      }
+      if (outcome.written < 1) {
+        throw new Error("no output was written");
+      }
+
+      // 写结构化 receipt 到 stdout
+      console.log(JSON.stringify(outcome));
+
+      const failed = Number.isInteger(outcome.failed) ? outcome.failed : 0;
+      if (outcome.partial || failed > 0) {
+        console.error(
+          `${label} partial: wrote ${outcome.written}/${outcome.planned || outcome.written + failed}`
+        );
+      }
+
+      // 先清理再退出（关键：避免进程被强制 kill 导致孤儿 chromium）
+      if (typeof beforeExit === 'function') {
+        try {
+          await Promise.race([
+            beforeExit(),
+            new Promise((_, reject) => setTimeout(() => reject(new Error('cleanup timeout')), 5000)),
+          ]);
+        } catch (e) {
+          console.error(`${label} cleanup warning: ${e.message}`);
+        }
+      }
+      process.exit(outcome.partial || failed > 0 ? 2 : 0);
+    })
+    .catch(async (error) => {
+      const msg = error && error.message ? error.message : String(error);
+      // 关键：即使 msg === "no output was written" 也要写出错误，否则 OOM 时一无所知
+      console.error(`${label} failed: ${msg}`);
+      process.stdout.write(JSON.stringify({ ok: false, error: msg }) + '\n');
+      // 清理资源
+      if (typeof beforeExit === 'function') {
+        try {
+          await Promise.race([
+            beforeExit(),
+            new Promise((_, reject) => setTimeout(() => reject(new Error('cleanup timeout')), 5000)),
+          ]);
+        } catch (_) { /* 兜底 */ }
+      }
+      process.exit(1);
+    });
+}

package/package.json

@@ -1,23 +1,55 @@
 {
   "name": "@cloud411716/fancy-webnovel",
-  "version": "1.0.45",
+  "version": "2.2.0",
   "type": "module",
   "main": "index.js",
   "exports": {
-    ".": "./index.js"
+    ".": "./index.js",
+    "./client": "./client.js"
+  },
+  "imports": {
+    "#infra": "./lib/infra.js",
+    "#scraper-utils": "./lib/scraper-utils.js",
+    "#error-codes": "./lib/error-codes.js",
+    "#llm-wiki": "./lib/llm-wiki.js",
+    "#deployed-state": "./lib/deployed-state.js",
+    "#chinese-num": "./lib/chinese-num.js",
+    "#story-builder/*": "./plugins/fancy-story-builder/*"
+  },
+  "engines": {
+    "node": ">=18.0.0"
+  },
+  "scripts": {
+    "test": "node tests/run.js"
   },
   "files": [
     "index.js",
-    "infra.js",
+    "lib/",
+    "templates.js",
     "cordis.patch.yml",
-    "commands/"
+    "README.md",
+    "plugins/",
+    "client.js"
   ],
   "dependencies": {
-    "playwright-core": "1.48.0"
+    "graphology": "^0.26.0",
+    "playwright-core": "^1.48.0",
+    "tesseract.js": "^7.0.0"
+  },
+  "peerDependencies": {
+    "@deepseek-ai/dsh-llm": "^0.1.1-rc.2"
+  },
+  "peerDependenciesMeta": {
+    "@deepseek-ai/dsh-llm": {
+      "optional": true
+    }
   },
   "dsh": {
     "bundle": {
       "patch": "./cordis.patch.yml"
+    },
+    "client": {
+      "platform": "web"
     }
   }
 }

package/plugins/fancy-analyze/command-input.js

@@ -0,0 +1,65 @@
+/**
+ * fancy-analyze/command-input.js —— 命令输入的归一化与子命令识别。
+ *
+ * ## 为什么需要它
+ *
+ * 用户在输入框里粘进来的内容常带零宽字符：U+200B（零宽空格）最常见，
+ * 还有 U+200C/U+200D（零宽连接符）、U+2060（单词连接符）、U+FEFF（BOM）、
+ * U+00A0（不换行空格）。
+ *
+ * 这些字符 `trim()` 不会去掉（它们不是空白字符），所以精确比较必然落空。
+ * 实测用户输入过 `summary-status␣summary`（中间粘了 U+200B），
+ * 旧代码 `lowerInput === 'summary-status'` 判不出来，
+ * 于是这条命令**掉进了"普通模式"（按书名拆书）** ——
+ * 而拆书会调 llm_wiki 的 `sources/ingest` 接口，那条路**有破坏性**。
+ *
+ * 子命令判断失败时默认掉进一个有破坏性的分支，是很糟的默认行为。
+ * 所以这里做两件事：
+ *   1. 剥掉不可见字符；
+ *   2. 用**前缀匹配**认子命令 —— 用户手滑多打了几个字，意图明显是那个
+ *      子命令，不该被当成书名去拆书。真正认不出来的仍然按书名处理
+ *      （那才是默认用法）。
+ */
+
+/** 零宽空格 / 零宽连接符 / 单词连接符 / BOM / 不换行空格。 */
+const INVISIBLE_CHARS = /[\u200B-\u200D\u2060\u00A0\uFEFF]/g;
+
+/**
+ * 剥掉命令输入里的不可见字符，并去首尾空白。
+ *
+ * @param {string} input - 原始输入
+ * @returns {string} 归一化后的输入
+ */
+export function normalizeCommandInput(input) {
+  if (typeof input !== 'string') return '';
+  return input.replace(INVISIBLE_CHARS, '').trim();
+}
+
+/**
+ * 可识别的子命令。顺序有意义：前缀匹配时长的排前面，
+ * 否则 `summary` 会先于 `summary-status` 命中。
+ */
+const SUBCOMMANDS = ['summary-status', 'summary', 'resummary', 'status', 'fix'];
+
+/**
+ * 认子命令：归一化后按前缀匹配。
+ *
+ * @param {string} normalized - 已归一化的命令输入（小写）
+ * @returns {string|null} 子命令名；不是子命令时返回 null
+ */
+export function matchSubcommand(normalized) {
+  if (typeof normalized !== 'string' || normalized.length === 0) return null;
+  // 空格当连字符：`summary status` 与 `summary-status` 是同一个命令
+  const flat = normalized.replace(/\s+/g, '-');
+  for (const name of SUBCOMMANDS) {
+    if (flat === name) return name;
+  }
+  // 前缀匹配是**刻意设计**（手滑多打的字也认）：
+  // "summary-statussummary" 要能认出是 summary-status。
+  // 2026-10-27 复核后确认：这是有意的容错，不改
+  // （收紧成"必须带分隔符"会把这份容错一起收掉）。
+  for (const name of SUBCOMMANDS) {
+    if (flat.startsWith(name)) return name;
+  }
+  return null;
+}