@cloud411716/fancy-webnovel 0.2.12 → 0.2.14

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@cloud411716/fancy-webnovel",
-  "version": "0.2.12",
+  "version": "0.2.14",
   "type": "module",
   "main": "index.js",
   "exports": {

package/plugins/fancy-scan/scripts/scan-output-format.md

@@ -3,110 +3,99 @@
 
 ---
 
-## 起点
+## 字段规范（所有平台通用）
 
-### 起点采集说明
+每本书单独输出以下四个字段，不得合并为一行：
 
-榜单清单与 URL 见 SKILL.md「起点采集目标」表。
+```
+书名：{书名}
+题材：{题材}
+作者：{作者}
+作品页：{URL}
+```
 
-优先使用 `scripts/qidian-rank-scraper.js` 的默认 `--mode auto`。脚本先读取 `https://m.qidian.com` 移动端 SSR pageContext JSON，规避 PC 站风控页；移动端不可用时才回退到 CDP/PC 页面。输出头部会标注 `抓取方式：mobile-ssr` 或 `cdp-pc`。
+---
 
+## 番茄小说
 
-### 字段
+### 题材 cat_id
 
-排名 | 书名 | 作者 | 题材 | 状态 | 签约 | 收费模式 | 字数(万字) | 总推荐 | 标签(详情页) | 最新更新(详情页) | 作品页链接 | 简介(详情页，截断100字)
+男频19个：西方奇幻(1141) / 东方仙侠(1140) / 科幻末世(8) / 都市日常(261) / 都市修真(124) / 都市高武(1014) / 历史古代(273) / 战神赘婿(27) / 都市种田(263) / 传统玄幻(258) / 历史脑洞(272) / 悬疑脑洞(539) / 都市脑洞(262) / 玄幻脑洞(257) / 悬疑灵异(751) / 抗战谍战(504) / 游戏体育(746) / 动漫衍生(718) / 男频衍生(1016)
+
+女频18个：古风世情(1139) / 科幻末世(8) / 游戏体育(746) / 女频衍生(1015) / 玄幻言情(248) / 种田(23) / 年代(79) / 现言脑洞(267) / 宫斗宅斗(246) / 悬疑脑洞(539) / 古言脑洞(253) / 快穿(24) / 青春甜宠(749) / 星光璀璨(745) / 女频悬疑(747) / 职场婚恋(750) / 豪门总裁(748) / 民国言情(1017)
 
 ### 输出模板
 
 ```markdown
-# qidian · {榜单名称}
-- 来源：{榜单URL}
+# 番茄 · {频道}{榜单名} · 全 {N} 题材
+- 频道参数：channel={0女频/1男频}，type={1新书榜/2阅读榜}
 - 抓取时间：{ISO 8601}
 - 条目数：{N}
 
 ---
 
-## #{排名} {书名}
-*{作者} · {题材} · {状态} · {签约} · {免费/VIP} · {字数}万字 · {推荐数}总推荐*
-**标签：** {标签}
-**最新更新：** {YYYY-MM-DD HH:MM:SS} · {章节标题}
+## {题材名称}
 
-[作品页]({URL})
+书名：{书名}
+题材：{题材}
+作者：{作者}
+作品页：{URL}
 
-**简介**
-{简介原文}
+书名：{书名}
+题材：{题材}
+作者：{作者}
+作品页：{URL}
 ```
 
-### 采集要点
-
-榜单页含：排名/书名/作者/题材/字数/推荐/签约/免费VIP。详情页需：标签/最新更新/简介。三江按周分组。
+> 番茄字体反爬：详情页 HTML 里有明文 bookName/author，列表页 innerText 被自定义字体混淆需详情页解码。
 
 ---
 
-## 番茄小说
-
-榜单 URL 格式与参数说明见 SKILL.md「番茄采集目标」表。
-
-### 题材cat_id
-
-男频19个：西方奇幻(1141) / 东方仙侠(1140) / 科幻末世(8) / 都市日常(261) / 都市修真(124) / 都市高武(1014) / 历史古代(273) / 战神赘婿(27) / 都市种田(263) / 传统玄幻(258) / 历史脑洞(272) / 悬疑脑洞(539) / 都市脑洞(262) / 玄幻脑洞(257) / 悬疑灵异(751) / 抗战谍战(504) / 游戏体育(746) / 动漫衍生(718) / 男频衍生(1016)
-
-女频18个：古风世情(1139) / 科幻末世(8) / 游戏体育(746) / 女频衍生(1015) / 玄幻言情(248) / 种田(23) / 年代(79) / 现言脑洞(267) / 宫斗宅斗(246) / 悬疑脑洞(539) / 古言脑洞(253) / 快穿(24) / 青春甜宠(749) / 星光璀璨(745) / 女频悬疑(747) / 职场婚恋(750) / 豪门总裁(748) / 民国言情(1017)
+## 晋江文学城
 
-### 字段
+### 榜单 URL
 
-排名 | 书名(需详情页解码) | 作者(需详情页解码) | 题材(详情页 categoryV2) | 状态 | 在读(核心指标) | 字数 | 标签(简介内【】) | 最新更新 | bookId | 作品页链接 | 简介(截断100字)
+`jjwxc.net/topten.php?orderstr={榜单ID}&t={频道ID}`
 
-> 番茄 SSR 详情页**没有数字评分**，故不输出评分。题材取详情页 `categoryV2`（转义 JSON 的首个 `Name`，如「西方奇幻」）；标签取简介开头的 `【tag+tag+...】`（如「种田、慢热、西幻」），是题材细分的真实信号。
+| 榜单 | orderstr |
+|------|----------|
+| 收入金榜 | 12 |
+| 月榜 | 7 |
+| 季度榜 | 8 |
+| 完结金榜 | 14 |
+| 新手金榜 | 15 |
+| 千字金榜 | 17 |
 
 ### 输出模板
 
 ```markdown
-# 番茄 · {频道}{榜单名} · 全 {N} 题材
-- 频道参数：channel={0女频/1男频}，type={1新书榜/2阅读榜}
+# 晋江 · {榜单名}
+- 来源：{topten URL}
 - 抓取时间：{ISO 8601}
-- 标题解析：成功 {X} / 共 {Y}
-- 数据质量：[OK / 标题解析异常 / 无数据]
-- 每题材上限 ≈ {N}（cap≈20）
+- 条目数：{N}
 
 ---
 
-## {题材名称} — {N} 本
-
-### #{排名} {书名}
-*{作者} · {题材} · {状态} · {在读数} 在读 · {字数}字*
-**标签：** {标签1、标签2}
-**最新更新：** {章节}
-**bookId：** {bookId}
+书名：{书名}
+题材：{频道名}
+作者：{作者}
+作品页：https://www.jjwxc.net/onebook.php?novelid={id}
 
-[作品页]({URL})
-
-**简介**
-{简介原文}
+书名：{书名}
+题材：{频道名}
+作者：{作者}
+作品页：https://www.jjwxc.net/onebook.php?novelid={id}
 ```
 
-> 标题/作者/题材/标签/简介均为可选字段：详情页拿到才输出。书名解码失败时书名显示 `（标题待解析）`，但 bookId 与作品页链接始终保留，便于人工回查。
-
-### 采集要点
-
-字体反爬：列表页 innerText 被自定义字体混淆，`scripts/fanqie-rank-scraper.js` 改从详情页 HTML（内嵌 JSON `bookName`/`author`/`abstract`/`categoryV2` + `<title>` + og:meta）多策略解码明文，规避字体反爬。流程：访问品类页 → 提取品类链接 → 逐品类取 `__INITIAL_STATE__` 列表 → 分批（每 5 本）请求详情页解码。单页上限约 20 本需滚动加载；`--top N` 可调每题材上限。
-
-**故障排查（书名全是 `bookId:xxx` / `（标题待解析）`）**：
-- 看文件头 `数据质量`：标 `[标题解析异常]` 说明详情页解码失败率高。
-- 多为详情页结构变动或被登录/验证页拦截。在已登录的 Chrome 里手动打开任一 `https://fanqienovel.com/page/{bookId}` 确认页面正常、非验证页。
-- 控制台若报 ` playwright-core 无法启动浏览器`，说明系统缺少 Chrome/Edge 或浏览器路径不对，用 `--login-wait` 等待手动登录后重试。
+> 编码：详情页必须 `fetch+arrayBuffer+TextDecoder('gb18030')` 解码。
 
 ---
 
-## 七猫
+## 七猫小说
 
 ### 榜单
 
-入口：qimao.com/paihang，男生榜/女生榜tab切换。类型：大热榜(日/月) / 新书榜 / 完结榜 / 收藏榜 / 更新榜
-
-### 字段
-
-排名 | 书名 | 作者 | 题材 | 分类标签 | 状态 | 字数(万字) | 热度(核心指标) | 最新更新 | 作品页链接 | 简介(截断100字)
+入口：qimao.com/paihang，男生榜/女生榜 tab 切换。类型：大热榜(日/月) / 新书榜 / 完结榜 / 收藏榜 / 更新榜
 
 ### 输出模板
 
@@ -118,90 +107,79 @@
 
 ---
 
-### #{排名} {书名}
-*{作者} · {题材} · {分类标签} · {状态} · {字数}万字 · {热度}万热度*
-**最新更新：** {时间} · {章节}
-
-[作品页]({URL})
+书名：{书名}
+题材：{题材}
+作者：{作者}
+作品页：{URL}
 
-**简介**
-{简介原文}
+书名：{书名}
+题材：{题材}
+作者：{作者}
+作品页：{URL}
 ```
 
-### 采集要点
-
-无明显反爬需滚动加载。男生榜/女生榜tab切换，大热榜有日/月切换。
-
 ---
 
-## 晋江
-
-### 榜单URL
-
-`jjwxc.net/topten.php?orderstr={榜单ID}&t={频道ID}`（t=0全站，各频道ID从页面获取）
-
-| 榜单 | orderstr |
-|------|----------|
-| 收入金榜 | 12 |
-| 月榜 | 7 |
-| 季度榜 | 8 |
-| 完结金榜 | 14 |
-| 新手金榜 | 15 |
-| 千字金榜 | 17 |
+## 起点中文网
 
-### 字段
+### 榜单
 
-频道 | 排名 | 书名 | 作者 | novelid | 收藏数(核心) | 营养液 | 积分 | 字数 | 状态 | 作品页链接
+见 SKILL.md「起点采集目标」表。优先使用移动端 SSR pageContext JSON，规避 PC 站风控。
 
 ### 输出模板
 
 ```markdown
-# 晋江 · {榜单名}
-- 来源：{topten URL}
+# 起点 · {榜单名称}
+- 来源：{榜单URL}
 - 抓取时间：{ISO 8601}
-- 频道数：{N} / 总条目数：{M}
-- 详情采集：{命中收藏数} / {计划数}（每频道前 {top}，上限 {limit}）
-- 数据质量：[OK / 详情解析异常·登录态缺失 / 仅列表-无核心指标]
+- 条目数：{N}
 
 ---
 
-## {频道名} — {N} 本
+书名：{书名}
+题材：{题材}
+作者：{作者}
+作品页：{URL}
 
-### #{排名} {书名}
-*{作者} · 收藏 {X} · 营养液 {Y} · 积分 {Z} · 字数 {W}字 · {状态}*
-[作品页](https://www.jjwxc.net/onebook.php?novelid={id})
+书名：{书名}
+题材：{题材}
+作者：{作者}
+作品页：{URL}
 ```
 
-### 采集要点
+---
 
-两步：① 列表页 `topten.php` 取频道分组 + 书名/作者，从书名 anchor 取 `novelid`（排除"X向《书名》投了Y"霸王票记录）；② 进 `onebook.php?novelid=` 详情页补采核心指标。
-- **编码**：晋江是 gb18030，详情页必须 `fetch+arrayBuffer+TextDecoder('gb18030')` 解码（同步 XHR 的 responseText 按 UTF-8 解码会乱码）。
-- **字段来源**：详情页 `itemprop` 微数据——`collectedCount`(收藏)/`nutritionCount`(营养液)/`scoreCount`(积分)/`wordCount`(字数)/`updataStatus`(状态)。这些是公开指标，**无需登录**。
-- **控量**：列表全量保留，仅每频道前 `--top` 本（受 `--detail-limit` 总量约束）补详情，避免对全站数百本逐一请求。
+## 知乎
 
----
+### 榜单
 
-## 数据清洗
+入口：https://www.zhihu.com/fiore/h5/vip-web
+短篇4榜：推荐榜 / 热搜榜 / 热度榜 / 口碑榜
+长篇1榜：长篇榜
 
-通用：移除平台模板文本→简介超100字在句号处截断加`...`→空值标`[待补]`
+### 输出模板
 
-| 平台 | 额外必填 |
-|------|----------|
-| 起点 | 题材、字数、总推荐 |
-| 番茄 | 在读数 |
-| 七猫 | 热度 |
-| 晋江 | 收藏数、营养液(或积分)、字数 |
+```markdown
+# 知乎 · {短篇/长篇} · {榜单名}
+- 来源：https://www.zhihu.com/fiore/h5/vip-web
+- 抓取时间：{ISO 8601}
+- 条目数：{N}
+
+---
 
-最低采集量：主流平台15条，小平台10条。低于底线标`[数据稀疏]`。
+书名：{书名}
+题材：{题材}
+作者：{作者}
+作品页：{URL}
+
+书名：{书名}
+题材：{题材}
+作者：{作者}
+作品页：{URL}
+```
 
 ---
 
-## 批量采集
+## 数据清洗
 
-| 平台 | 默认组合 |
-|------|----------|
-| 起点 | 新人签约新书榜+签约作者新书榜前20+月票榜前20+畅销榜前20 |
-| 番茄 | 男频阅读榜全题材+女频阅读榜全题材 |
-| 七猫 | 男频大热榜日榜+女频大热榜日榜 |
-| 晋江 | 收入金榜+月榜 |
-| 全平台 | 起点+番茄+七猫默认组合 |
+最低采集量：主流平台15条，小平台10条。低于底线标 `[数据稀疏]`。

package/plugins/fancy-scan/scripts/scrapers/fanqie-rank-scraper.cjs

@@ -390,7 +390,6 @@ async function scrapeChannel(ch, type) {
       "",
       `- 频道参数：channel=${ch}，type=${type}`,
       `- 抓取时间：${now}`,
-      `- 每题材上限 ≈ ${TOP}`,
       "",
       "---",
       "",
@@ -426,29 +425,15 @@ async function scrapeChannel(ch, type) {
           const info = details[String(b.bookId)] || {};
           totalBooks++;
           const resolved = !!info.title;
-          if (resolved) resolvedTitles++;
 
           const title = info.title || "（标题待解析）";
           const author = info.author || "未知";
           const category = info.category || b.category || "";
-          const catSeg = category ? ` · ${category}` : "";
-
-          bodyLines.push(`### #${i + 1} ${title}`);
-          bodyLines.push(
-            `*${author}${catSeg} · ${fmtStatus(b.creationStatus)} · ${fmtReads(b.read_count)} 在读 · ${fmtWords(b.wordNumber)}字*`
-          );
-          if (info.tags) bodyLines.push(`**标签：** ${info.tags}`);
-          bodyLines.push(`**最新更新：** ${b.lastChapterTitle || "未知"}`);
-          bodyLines.push(`**bookId：** ${b.bookId}`);
-          if (info.err) bodyLines.push(`⚠️ 详情：${info.err}`);
-          bodyLines.push(`[作品页](https://fanqienovel.com/page/${b.bookId})`);
-          const desc = cleanDesc(info.desc);
-          if (desc) {
-            bodyLines.push("");
-            bodyLines.push("**简介**");
-            bodyLines.push("");
-            bodyLines.push(desc);
-          }
+
+          bodyLines.push(`书名：${title}`);
+          bodyLines.push(`题材：${category}`);
+          bodyLines.push(`作者：${author}`);
+          bodyLines.push(`作品页：https://fanqienovel.com/page/${b.bookId}`);
           bodyLines.push("");
         }
 
@@ -461,26 +446,6 @@ async function scrapeChannel(ch, type) {
       }
     }
 
-    const ratio = totalBooks ? resolvedTitles / totalBooks : 0;
-    const quality =
-      totalBooks === 0 ? "[无数据]" : ratio < 0.5 ? "[标题解析异常]" : "[OK]";
-    lines.splice(
-      5,
-      0,
-      `- 标题解析：成功 ${resolvedTitles} / 共 ${totalBooks}`,
-      `- 数据质量：${quality}`
-    );
-
-    if (totalBooks > 0 && resolvedTitles === 0) {
-      console.error(
-        `  ✗ ${chLabel}${tyLabel}：${totalBooks} 本全部标题解析失败。请在浏览器内手动打开任一 https://fanqienovel.com/page/{bookId} 确认页面正常。`
-      );
-    } else if (ratio < 0.5) {
-      console.error(
-        `  ⚠ ${chLabel}${tyLabel}：标题解析率偏低（${resolvedTitles}/${totalBooks}），结果质量已标注。`
-      );
-    }
-
     scraped = lines.concat(bodyLines).join("\n");
   } finally {
     await browser.close();

package/plugins/fancy-scan/scripts/scrapers/jjwxc-rank-scraper.cjs

@@ -255,31 +255,19 @@ async function scrapeRank(rankTypeId, channelId) {
     "",
     `- 来源：${url}`,
     `- 抓取时间：${now}`,
-    `- 频道数：${data.channels.length}`,
-    `- 总条目数：${totalBooks}`,
-    `- 详情采集：${detailOk} / ${detailPlanned}`,
-    `- 数据质量：${quality}`,
     "",
     "---",
     "",
   ];
 
   for (const ch of data.channels) {
-    lines.push(`## ${ch.name} — ${ch.books.length} 本`, "");
+    lines.push(`## ${ch.name}`, "");
     for (let i = 0; i < ch.books.length; i++) {
       const b = ch.books[i];
-      const d = b.novelid ? detailMap[b.novelid] : null;
-      const seg = [b.author || ""];
-      if (d) {
-        if (d.collect) seg.push("收藏 " + fmtWan(d.collect));
-        if (d.nutrition) seg.push("营养液 " + fmtWan(d.nutrition));
-        if (d.score) seg.push("积分 " + d.score);
-        if (d.words) seg.push("字数 " + fmtWan(d.words, "字"));
-        if (d.status) seg.push(d.status);
-      }
-      const meta = seg.filter(Boolean).join(" · ");
-      if (meta) lines.push(`*${meta}*`);
-      if (b.novelid) lines.push(`[作品页](https://www.jjwxc.net/onebook.php?novelid=${b.novelid})`);
+      lines.push(`书名：${b.title || ""}`);
+      lines.push(`题材：${ch.name}`);
+      lines.push(`作者：${b.author || ""}`);
+      if (b.novelid) lines.push(`作品页：https://www.jjwxc.net/onebook.php?novelid=${b.novelid}`);
       lines.push("");
     }
     lines.push("---", "");

package/plugins/fancy-scan/scripts/scrapers/qimao-rank-scraper.cjs

@@ -247,9 +247,6 @@ async function scrapeRank(channelId, rankTypeId, periodId) {
   const lines = [
     `# 七猫 · ${ch.label} · ${rt.label}${periodLabel}`,
     "",
-    `- 数据质量：${summary.quality}`,
-    `- 有效条目：${books.length} / ${rawCount}`,
-    `- 问题摘要：${summary.problems.length ? summary.problems.join("；") : "无"}`,
     `- 来源：${url}`,
     `- 抓取时间：${now}`,
     "",
@@ -258,18 +255,11 @@ async function scrapeRank(channelId, rankTypeId, periodId) {
   ];
 
   for (const b of books) {
-    lines.push(`### #${b.rank} ${b.title}`);
-    const meta = [
-      b.author || "[待补]", b.genre || "[待补]", b.subGenre || "[待补]",
-      b.status || "[待补]", b.words || "[待补]",
-      b.heat ? b.heat + "热度" : "[待补]",
-    ].join(" · ");
-    lines.push(`*${meta}*`);
-    if (b.update) lines.push(`**最新更新：** ${b.update}`);
-    if (b.url) lines.push(`[作品页](${b.url})`);
-    const desc = cleanDesc(b.desc);
-    if (desc) lines.push("", "**简介**", "", desc);
-    lines.push("", "---", "");
+    lines.push(`书名：${b.title || ""}`);
+    lines.push(`题材：${b.genre || ""}`);
+    lines.push(`作者：${b.author || ""}`);
+    if (b.url) lines.push(`作品页：${b.url}`);
+    lines.push("");
   }
 
   return lines.join("\n");

package/plugins/fancy-scan/scripts/scrapers/zhihu-rank-scraper.cjs

@@ -134,22 +134,23 @@ async function scrapeBoard(board) {
 
 function buildBoardMarkdown(board, stories, date) {
   const lines = [
-    `# 知乎${board.label}（${date}）`,
+    `# 知乎 · ${board.label}`,
     "",
-    `> 数据来源：${ENTRY_URL} → ${board.label}`,
-    `> 篇幅：${LENGTH === "long" ? "长篇" : "短篇"}`,
-    "> 知乎需要登录态才能看完整榜单，请确认已登录",
+    `- 来源：${ENTRY_URL}`,
+    `- 抓取时间：${date}`,
     "",
-    `## ${board.label}内容`,
+    "---",
     "",
   ];
   if (!stories.length) {
     lines.push("（未提取到数据，可能页面结构变化或需要登录）", "", "---", "");
   } else {
     stories.forEach(s => {
-      lines.push(`### ${s.rank}. ${s.title || "(无标题)"}`);
-      if (s.url) lines.push(`- 链接：${s.url}`);
-      lines.push("", "---", "");
+      lines.push(`书名：${s.title || ""}`);
+      lines.push(`题材：${LENGTH === "long" ? "长篇" : "短篇"}`);
+      lines.push(`作者：${s.author || ""}`);
+      if (s.url) lines.push(`作品页：${s.url}`);
+      lines.push("");
     });
   }
   return lines.join("\n");

package/plugins/fancy-scan/templates.js

@@ -28,9 +28,7 @@ export const scan = {
     return (
       '📋 支持的平台：\n' +
       PLATFORM_TABLE.map(r => `  ${r[0]}. ${r[3]}（${r[2]}）`).join('\n') +
-      '\n\n- 长篇：关注 追读、月票、订阅 等指标\n' +
-      '- 短篇：关注 传播、完读率 等指标\n' +
-      '- 知乎和七猫同时支持长篇和短篇'
+      '\n- 知乎和七猫同时支持长篇和短篇'
     );
   },