@cloud411716/fancy-webnovel 1.0.46 → 3.0.0

package/plugins/fancy-scan/scripts/scrapers/jjwxc-rank-scraper.js

@@ -0,0 +1,469 @@
+#!/usr/bin/env node
+/**
+ * 晋江文学城排行榜采集脚本
+ *
+ * 使用 playwright-core 直接控制浏览器采集。
+ * 采集策略：
+ *   1) topten.php 列表页（纯文本，频道名直接出现，书名/作者交替行）解出频道分组。
+ *   2) 从书名 anchor 取 novelid，逐本进 onebook.php 详情页补采核心指标
+ *      （收藏数/营养液/积分/字数/状态），满足规范对晋江的硬性要求。
+ * 晋江页面为 gb18030 编码：详情页用 fetch+arrayBuffer+TextDecoder('gb18030') 解码。
+ * 详情采集默认开启但有上限（每频道前 N + 总量上限），用 --list-only 可只采列表。
+ *
+ * 用法：
+ *   node jjwxc-rank-scraper.js --type 12                  # 收入金榜
+ *   node jjwxc-rank-scraper.js --type 12 --top 15         # 每频道补采前 15 本
+ *   node jjwxc-rank-scraper.js --type 12 --detail-limit 60 # 详情总量上限 60
+ *   node jjwxc-rank-scraper.js --type 12 --list-only      # 只采列表
+ */
+
+import fs from 'fs';
+import { atomicWriteFile } from '#atomic-write';
+import path from 'path';
+import { pathToFileURL } from 'url';
+import { chromium } from 'playwright-core';
+import { getArg, localDateStamp, runCli, renderIntroLines, sanitizeBookFields, stripThousands } from '#scraper-utils';
+
+const BASE_URL = "https://www.jjwxc.net/topten.php";
+
+const RANK_TYPES = [
+  { id: "5",  label: "月榜" },
+  { id: "7",  label: "总分榜" },
+  { id: "4",  label: "季度榜" },
+  { id: "3",  label: "新晋作者榜" },
+];
+
+const DETAIL_CHUNK = 6;
+const DETAIL_LIMIT = 300;
+const TOP = 10;
+
+// ---------------------------------------------------------------------------
+// 详情页解析（Node 侧纯函数，可被单元测试直接调用）
+// ---------------------------------------------------------------------------
+
+/**
+ * HTML 片段 → 纯文本。
+ *
+ * 晋江的"文案"是多段的，段间是 `<br>`（不是 `<p>`），要转成换行才能读。
+ * 页面里还有 `&nbsp;`（晋江排版大量用它），不清掉会到处是空白。
+ */
+export function htmlToText(html) {
+  return String(html || '')
+    .replace(/<br\s*\/?>/gi, '\n')
+    .replace(/<\/p>/gi, '\n\n')
+    .replace(/<[^>]+>/g, '')
+    .replace(/&nbsp;/gi, ' ')
+    .replace(/&amp;/gi, '&')
+    .replace(/&lt;/gi, '<')
+    .replace(/&gt;/gi, '>')
+    .replace(/&quot;/gi, '"')
+    .replace(/&#39;/gi, "'")
+    .replace(/\r\n?/g, '\n')
+    .replace(/[ \t]+\n/g, '\n')
+    .replace(/\n{3,}/g, '\n\n')
+    .trim();
+}
+
+/**
+ * 从详情页 HTML 里解析**简介**和**内容标签**。
+ *
+ * 简介：`<div id="novelintro" itemprop="description">…</div>`
+ *   文案有多段，段间是 `<br>`（见 htmlToText）。
+ *
+ * 内容标签：`<a href="//www.jjwxc.net/bookbase.php?bq=32">宫廷侯爵</a>`
+ *   —— 整页里只有这些链接指向 bookbase。实测 12/12 本，
+ *   **bq 链接数 == 标签数**（3~6 个/本），不会混进别的东西。
+ *
+ * 标签是**平台官方内容标签**，题材与元素套路混在一起
+ * （如 都市 / 破镜重圆 / 天之骄子 / 高岭之花 / 暗恋），
+ * 且**没有"主分类"概念** —— 这点与番茄不同（番茄第一个标签是主分类）。
+ */
+export function parseNovelDetail(html) {
+  const out = { intro: '', tags: [] };
+  const m = String(html || '').match(/<div[^>]*id="novelintro"[^>]*>([\s\S]*?)<\/div>/i);
+  if (m) out.intro = htmlToText(m[1]);
+
+  const tags = [];
+  const re = /<a[^>]*href=["'][^"']*bookbase\.php\?bq=\d+[^"']*["'][^>]*>([^<]{1,30})<\/a>/gi;
+  let t;
+  while ((t = re.exec(String(html || ''))) !== null) {
+    const name = htmlToText(t[1]);
+    if (name && !tags.includes(name)) tags.push(name);
+  }
+  out.tags = tags;
+  return out;
+}
+
+// ---------------------------------------------------------------------------
+// 命令行参数解析
+// ---------------------------------------------------------------------------
+
+const args = process.argv.slice(2);
+const RANKTYPE = getArg(args, "--type") || "12";
+const LIST_ONLY = args.includes("--list-only");
+const OUTDIR = getArg(args, "--outdir") || '.';
+
+// ---------------------------------------------------------------------------
+// 列表页提取（使用 Playwright）
+// ---------------------------------------------------------------------------
+
+/**
+ * 提取晋江榜单数据（从表格提取）
+ */
+async function extractRankData(page) {
+  return await page.evaluate(() => {
+    var result = { channels: [{ name: '全站', books: [] }] };
+
+    // 从表格提取书籍数据
+    var tables = document.querySelectorAll('table');
+    for (var t = 0; t < tables.length; t++) {
+      var table = tables[t];
+      var rows = table.querySelectorAll('tr');
+      for (var i = 0; i < rows.length; i++) {
+        var row = rows[i];
+        var cells = row.querySelectorAll('td');
+        if (cells.length < 6) continue;
+
+        // 检查是否是书籍行（第一列是数字序号）
+        var rankCell = cells[0];
+        var rankNum = parseInt(rankCell.innerText.trim(), 10);
+        if (isNaN(rankNum)) continue;
+
+        var authorCell = cells[1];
+        var titleCell = cells[2];
+        var typeCell = cells[3];
+        var statusCell = cells[4];
+        var wordsCell = cells[5];
+        var scoreCell = cells[6] || null;
+
+        var author = (authorCell.innerText || '').trim();
+        var title = (titleCell.innerText || '').trim();
+        var type = (typeCell.innerText || '').trim();
+        var status = (statusCell.innerText || '').trim();
+        var words = (wordsCell.innerText || '').trim();
+        // 积分列（第 7 列）可能整列缺失 —— 榜单页偶尔只有 6 列。
+        // 之前直接取 cells[6].innerText 会抛 TypeError，
+        // page.evaluate 整体 reject → 整榜不落盘。
+        // 缺积分的书照样收，积分留空。
+        var score = scoreCell ? (scoreCell.innerText || '').trim() : '';
+
+        // 排除标题行
+        if (author === '作者' || title === '作品') continue;
+
+        // 获取 novelid
+        var novelid = '';
+        var link = titleCell.querySelector('a');
+        if (link) {
+          var href = link.getAttribute('href') || '';
+          var m = href.match(/novelid=([0-9]+)/);
+          if (m) novelid = m[1];
+        }
+
+        result.channels[0].books.push({
+          title: title,
+          author: author,
+          novelid: novelid,
+          type: type,
+          status: status,
+          words: words,
+          score: score
+        });
+      }
+    }
+    return result;
+  });
+}
+
+// ---------------------------------------------------------------------------
+// 单本书的字段渲染（纯函数，可被单元测试直接调用）
+// ---------------------------------------------------------------------------
+
+/**
+ * 一本书 → markdown 字段行（不含 `### #N 书名` 标题行）。
+ *
+ * 抽出来是为了能单测这两条格式规则 —— 它们原本埋在 scrapeRank 的
+ * async 函数里，测不到：
+ *
+ *   1. **积分不带千分位逗号**：晋江榜单页写的是 "1,099,899,136"，
+ *      存成纯数字，下游才好比较/求和，模型抄数字时也不会把逗号抄进去
+ *      （"327,650,784" 和 "327650784" 在模型的算术里不是一回事）；
+ *   2. **简介是 `- ` 列表项**：单换行用硬换行保留，空行才是段落分隔；
+ *      每段首尾无空白，作品页也单独作为一个列表项。
+ *
+ * @param {object} b - 一本书
+ * @returns {string[]} markdown 行
+ */
+export function renderBookLines(raw) {
+  const b = sanitizeBookFields(raw);
+  const lines = [];
+  if (b.author) lines.push(`- **作者：** ${b.author}`);
+  if (b.type) lines.push(`- **题材：** ${b.type}`);
+  if (b.status) lines.push(`- **状态：** ${b.status}`);
+  if (b.words) lines.push(`- **字数：** ${stripThousands(b.words)}`);
+  // 积分是 10 亿级的，榜单页必带千分位逗号 —— 写盘前去掉。
+  if (b.score) lines.push(`- **积分：** ${stripThousands(b.score)}`);
+  if (b.tags && b.tags.length) lines.push(`- **标签：** ${b.tags.join('、')}`);
+  // 简介和其他字段一样是 `- ` 列表项；单换行用硬换行，空行才是段落分隔。
+  // 之前是「空行 + `**简介**` + 简介整块」—— 没有冒号，且和上下文粘成一段，
+  // 而且简介首尾的空白字符原样留在文件里。
+  lines.push(...renderIntroLines(b.intro || ''));
+  if (b.novelid) lines.push(`- [作品页](https://www.jjwxc.net/onebook.php?novelid=${b.novelid})`);
+  return lines;
+}
+
+// ---------------------------------------------------------------------------
+// 详情页提取（gb18030 + itemprop 微数据）
+// ---------------------------------------------------------------------------
+
+async function fetchDetails(page, ids) {
+  // 分块抓：一次把 200 本的 HTML 全带过 evaluate 边界会有几十 MB 的
+  // 序列化开销，分块后每块才 1MB 上下。
+  const map = {};
+  for (let i = 0; i < ids.length; i += DETAIL_CHUNK) {
+    const chunk = ids.slice(i, i + DETAIL_CHUNK);
+    // 浏览器侧只负责"把解码后的原始 HTML 拿回来"，
+    // **解析放在 Node 侧**（parseNovelDetail）—— 这样解析逻辑能被单元测试直接调用。
+    const details = await page.evaluate(async (list) => {
+      const results = [];
+      for (const id of list) {
+        try {
+          // redirect: 'error' 防止 onebook.php 重定向到外站造成 SSRF
+          const response = await fetch(`/onebook.php?novelid=${id}`, { redirect: 'error' });
+          const buffer = await response.arrayBuffer();
+          results.push({ id: id, html: new TextDecoder('gb18030').decode(buffer) });
+        } catch (e) {
+          results.push({ id: id, err: String(e) });
+        }
+      }
+      return results;
+    }, chunk);
+    for (const d of details) {
+      map[d.id] = d.err ? { err: d.err } : parseNovelDetail(d.html);
+    }
+  }
+  return map;
+}
+
+// ---------------------------------------------------------------------------
+// 采集单个榜单
+// ---------------------------------------------------------------------------
+
+async function scrapeRank(browser, rankTypeId, channelId) {
+  const rt = RANK_TYPES.find((r) => r.id === rankTypeId);
+  if (!rt) {
+    console.error(`  ⚠ 未知榜单类型: ${rankTypeId}`);
+    return null;
+  }
+
+  const url = `${BASE_URL}?orderstr=${rankTypeId}&t=${channelId}`;
+  const chLabel = channelId === "0" ? "全站" : `频道${channelId}`;
+
+  const page = await browser.newPage();
+  const partialReasons = [];
+
+  try {
+    await page.goto(url, { waitUntil: 'networkidle', timeout: 30000 });
+
+    const data = await extractRankData(page);
+    if (!data?.channels?.length) {
+      console.error(`❌ 晋江-${rt.label}（${chLabel}）采集失败：未解析到榜单（页面结构可能变动或未加载）。请人工打开 ${url} 确认。`);
+      return null;
+    }
+
+    let totalBooks = 0;
+    data.channels.forEach((ch) => {
+      totalBooks += ch.books.length;
+      const authors = new Set(ch.books.map((b) => b.author));
+      if (ch.books.length >= 5 && authors.size / ch.books.length < 0.2) {
+        console.error(`  ⚠ ${ch.name}：${ch.books.length} 本只有 ${authors.size} 个唯一作者，可能提取有误`);
+      }
+    });
+    console.error(`  ✓ 列表：${data.channels.length} 个频道，共 ${totalBooks} 本`);
+    // 解析到 0 本 = 页面结构变了 / 选择器失效 / 没加载出来。
+    // extractRankData 永远至少返回一个 `{ name: '全站', books: [] }`，
+    // 所以上面的 `!data.channels.length` 守卫**永远不触发** ——
+    // 结果是写出一个只有 "## 全站 — 0 本" 的空文件，
+    // 上层 `ok: scanFiles.length > 0` 还判定成功，用户拿到空报告。
+    if (totalBooks === 0) {
+      console.error(`❌ 晋江-${rt.label}（${chLabel}）采集失败：页面解析到 0 本书（选择器可能失效或页面未加载）。请人工打开 ${url} 确认。`);
+      return null;
+    }
+
+    // 逐本进详情页补**简介**和**内容标签**（列表页没有这两个字段）。
+    // 此前 fetchDetails 写好了却从没被调用 —— 晋江产出的 md 里因此一直没有
+    // 简介和标签，提示词里"提取简介标签""简介标签"全是空的。
+    const detailIds = [];
+    for (const ch of data.channels) {
+      for (const b of ch.books) {
+        if (b.novelid && !detailIds.includes(b.novelid)) detailIds.push(b.novelid);
+      }
+    }
+    const detailIdsToFetch = detailIds.slice(0, DETAIL_LIMIT);
+    if (detailIds.length > DETAIL_LIMIT) {
+      console.error(`  ⚠ 详情页只采前 ${DETAIL_LIMIT} 本（共 ${detailIds.length} 本），其余没有简介和标签`);
+    }
+    let detailMap = {};
+    if (!LIST_ONLY && detailIdsToFetch.length) {
+      console.error(`  → 采详情页 ${detailIdsToFetch.length} 本（简介 + 内容标签）`);
+      detailMap = await fetchDetails(page, detailIdsToFetch);
+      const okCount = detailIdsToFetch.filter((id) => detailMap[id] && !detailMap[id].err).length;
+      console.error(`  ✓ 详情页：${okCount}/${detailIdsToFetch.length} 本取到`);
+    }
+
+    // 构建输出内容
+    const now = new Date().toISOString();
+    const lines = [
+      `# 晋江 · ${rt.label}`,
+      "",
+      `- 来源：${url}`,
+      `- 抓取时间：${now}`,
+      `- 频道数：${data.channels.length}`,
+      `- 总条目数：${totalBooks}`,
+      ...(detailIds.length > DETAIL_LIMIT
+        ? [`- 详情覆盖：${DETAIL_LIMIT} / ${detailIds.length}（其余条目没有简介与标签）`]
+        : []),
+      "",
+      "---",
+      "",
+    ];
+
+
+    for (const ch of data.channels) {
+      lines.push(`## ${ch.name} — ${ch.books.length} 本`, "");
+      for (let i = 0; i < ch.books.length; i++) {
+        const b = ch.books[i];
+        const d = b.novelid ? detailMap[b.novelid] : null;
+        if (d && !d.err) {
+          b.intro = d.intro;
+          b.tags = d.tags;
+        } else if (d && d.err) {
+          partialReasons.push(`详情页取数失败 ${b.novelid}: ${d.err}`);
+        }
+        lines.push(`### #${i + 1} ${b.title}`);
+        lines.push(...renderBookLines(b));
+        lines.push("");
+      }
+      lines.push("---", "");
+    }
+
+    return {
+      content: lines.join("\n"),
+      partial: partialReasons.length > 0,
+      partialReasons,
+    };
+  } finally {
+    await page.close();
+  }
+}
+
+// ---------------------------------------------------------------------------
+// 主函数
+// ---------------------------------------------------------------------------
+
+async function main() {
+  const CHANNEL = getArg(args, "--channel") || "0";
+
+  if (RANKTYPE !== "all" && !RANK_TYPES.some((rank) => rank.id === RANKTYPE)) {
+    throw new Error(`未知 --type: ${RANKTYPE}`);
+  }
+  if (CHANNEL !== "0") {
+    throw new Error(`未知 --channel: ${CHANNEL}（当前仅支持 0=全站）`);
+  }
+
+  const rankTypes = RANKTYPE === "all" ? RANK_TYPES.map((r) => r.id) : [RANKTYPE];
+  const channels = [CHANNEL];
+
+  let written = 0;
+  let failed = 0;
+  let partial = false;
+  const partialReasons = [];
+  const files = [];
+
+  // 启动浏览器
+  let browser;
+  // 被 SIGTERM 杀时（上游超时或中断）主动关掉浏览器，
+  // 否则 chromium 会留在系统里继续占 CPU/内存。
+  // close 必须带超时兜底：浏览器正在导航时 close() 可能挂住，
+  // 无超时的话进程会卡住不退出（实测过）。
+  process.on('SIGTERM', async () => {
+    try {
+      if (browser) {
+        await Promise.race([
+          browser.close(),
+          new Promise((_, reject) => setTimeout(() => reject(new Error('close timeout')), 5000)),
+        ]);
+      }
+    } catch (_) {}
+    process.exit(143);
+  });
+  try {
+    browser = await chromium.launch({ headless: true, timeout: 30000 });
+  } catch (launchErr) {
+    console.log(JSON.stringify({ ok: false, error: `晋江采集失败：浏览器启动失败：${launchErr.message}` }));
+    process.exit(1);
+  }
+  try {
+    for (const rt of rankTypes) {
+      for (const ch of channels) {
+        try {
+          // rtInfo 必须在**读它的所有地方之前**声明。
+          // 之前它声明在 partialReasons 那个 if 的后面，
+          // 而上面的 if 会先读 rtInfo → TDZ ReferenceError
+          // → 整榜已经采好的 content 被 catch 吞掉、整榜不落盘。
+          // 只要有一本详情页失败就触发，等于"详情页偶发失败 = 整个榜单没了"。
+          const rtInfo = RANK_TYPES.find((r) => r.id === rt);
+          const result = await scrapeRank(browser, rt, ch);
+          if (!result) {
+            failed++;
+            partialReasons.push(`${rtInfo ? rtInfo.label : rt}: no usable data`);
+            continue;
+          }
+          if (result.partial) {
+            partial = true;
+          }
+          if (result.partialReasons && result.partialReasons.length) {
+            for (const r of result.partialReasons) partialReasons.push(`${rtInfo ? rtInfo.label : rt}: ${r}`);
+          }
+
+          const date = localDateStamp();
+          const chLabel = ch === "0" ? "全站" : `频道${ch}`;
+          const filename = `晋江${rtInfo.label}_${chLabel}_${date}.md`;
+          fs.mkdirSync(OUTDIR, { recursive: true });
+          const filepath = path.join(OUTDIR, filename);
+          atomicWriteFile(filepath, result.content);
+          written++;
+          files.push(filepath);
+          console.error(`  ✓ 已保存: ${filepath}`);
+        } catch (rankErr) {
+          failed++;
+          const rtInfo = RANK_TYPES.find((r) => r.id === rt);
+          const message = rankErr && rankErr.message ? rankErr.message : String(rankErr);
+          partialReasons.push(`${rtInfo ? rtInfo.label : rt}: ${message}`);
+          console.error(`❌ 晋江-${rtInfo ? rtInfo.label : rt}采集失败：${message}`);
+        }
+      }
+    }
+  } finally {
+    await browser.close();
+  }
+
+  return {
+    planned: rankTypes.length * channels.length,
+    written,
+    failed,
+    partial: partial || failed > 0,
+    partialReasons,
+    files,
+  };
+}
+
+
+// import.meta.main 需要 Node >= 22.19（package.json 声明支持 node >=18.0.0）。
+// 旧版本上它是 undefined，必须回落到 argv[1] 比对 —— 否则整个脚本静默空跑：
+// exit 0、无 stdout、没有任何采集文件，调用方只看到"采集失败"。
+const isMain = import.meta.main ??
+  (process.argv[1] && import.meta.url === pathToFileURL(process.argv[1]).href);
+
+if (isMain) {
+  runCli(main(), "晋江采集");
+}