@cloud411716/fancy-webnovel 2.2.0 → 3.0.0

package/plugins/fancy-analyze/ingest-coverage.js

@@ -0,0 +1,107 @@
+/**
+ * ingest-coverage.js —— 检查"拆解产物有没有落地"
+ *
+ * ## 背景
+ *
+ * /fancy-analyze status 的另外两项检查（"列表未找到"、"缺失检测"）都是
+ * **在"文件已经存在于 来源/ 里"的前提下**做的：
+ *
+ *   · "列表未找到" —— 文件在，但内容里没有 ### 列表 段；
+ *   · "缺失检测"   —— 文件在，列表说某技法"有"，但技法文件没落地。
+ *
+ * 但还有一种更靠前的情况压根没被检查到：**分片在 raw/sources/ 里，
+ * 而 来源/ 和 来源摘要/ 里连对应的章节文件都没有** —— 这一章根本没被
+ * 拆解，或者拆了但没落盘。
+ *
+ * 举例：raw/sources/全球高武/第9章-气血标准.txt 存在，但
+ * wiki/来源/ 里没有 全球高武-第9章-气血标准.md → 整章没产物。
+ *
+ * 服务端的 missingFiles 只反映它自己的队列状态 —— "拆解跑完了"
+ * 但产物没落盘这种情况它不知道，所以要本地查这一份。
+ *
+ * ## 命名约定
+ *
+ *   raw/sources/<书名>/第9章-气血标准.txt
+ *        ↓ 对应
+ *   wiki/来源/<书名>-第9章-气血标准.md       （或 wiki/来源摘要/ 下的同名文件）
+ *
+ * 两个目录**有一个**命中就算有产物。
+ *
+ * ## 超长章
+ *
+ * split_source.js 会把超长章切成 第N章-xxx-1.txt / -2.txt。llm_wiki 那边
+ * 若是合并成一个文件，逐个精确匹配就会误报。所以先看"这一章有没有
+ * 任何产物"：有 → 只是这个分片单独缺；没有 → 整章缺。
+ */
+import { existsSync, readdirSync, statSync } from 'fs';
+import { join } from 'path';
+
+/**
+ * @param {object} args
+ * @param {string} args.rawSourcesDir - 对标/raw/sources 目录
+ * @param {Set<string>|string[]} args.sourceFileNames - 来源/来源摘要 里已有的 .md 文件名
+ * @returns {Array<{bookName: string, chapter: string|null, base: string,
+ *                  wholeChapterMissing: boolean, report: string}>}
+ */
+export function findMissingIngestOutputs({ rawSourcesDir, sourceFileNames }) {
+  const known = sourceFileNames instanceof Set
+    ? sourceFileNames
+    : new Set(sourceFileNames || []);
+  const knownList = [...known];
+  const out = [];
+
+  if (!rawSourcesDir || !existsSync(rawSourcesDir)) return out;
+
+  let bookDirs = [];
+  try {
+    bookDirs = readdirSync(rawSourcesDir);
+  } catch {
+    return out;
+  }
+
+  for (const bookName of bookDirs) {
+    const bookDir = join(rawSourcesDir, bookName);
+    try {
+      if (!statSync(bookDir).isDirectory()) continue;
+    } catch {
+      continue;
+    }
+
+    let splitFiles = [];
+    try {
+      splitFiles = readdirSync(bookDir);
+    } catch {
+      continue;
+    }
+
+    for (const file of splitFiles) {
+      if (!file.endsWith('.txt')) continue;
+
+      const base = file.slice(0, -'.txt'.length);
+      // 第9章-气血标准.txt → 全球高武-第9章-气血标准.md
+      const expected = `${bookName}-${base}.md`;
+      if (known.has(expected)) continue;
+
+      const chapterMatch = base.match(/^(第\d+章)/);
+      const chapter = chapterMatch ? chapterMatch[1] : null;
+
+      // 这一章有没有任何别的产物？
+      const chapterPrefix = chapter ? `${bookName}-${chapter}-` : null;
+      const wholeChapterMissing = chapterPrefix
+        ? !knownList.some(n => n.startsWith(chapterPrefix))
+        : true;
+
+      out.push({
+        bookName,
+        chapter,
+        base,
+        wholeChapterMissing,
+        report: wholeChapterMissing
+          ? `${bookName}${base}.txt 缺少对应的拆解产物（来源、来源摘要 里都没有这一章）`
+          : `${bookName}${base}.txt 缺少对应的拆解产物`,
+      });
+    }
+  }
+
+  return out;
+}