@cloud411716/fancy-webnovel 0.1.77 → 0.1.79

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@cloud411716/fancy-webnovel",
-  "version": "0.1.77",
+  "version": "0.1.79",
   "type": "module",
   "main": "index.js",
   "exports": {

package/plugins/fancy-scan/scripts/run-scan.js

@@ -174,49 +174,27 @@ function spawnScraper(platform, length, outDir) {
   return new Promise(async (resolve) => {
     const { spawn } = await import('child_process');
     const args = scraperArgs(platform, length, outDir);
-    const ports = ['9222', '9223'];
-    let portIdx = 0;
-    let dots = 0;
-    const interval = setInterval(() => {
-      dots++;
-      process.stderr.write('.');
-    }, 3000);
-
-    function tryPort(port) {
-      process.stderr.write(`\n  → 端口 ${port} ...`);
-      const scraperScript = join(dirname(fileURLToPath(import.meta.url)), 'scrapers', args.script);
-      const fullArgs = ['--port', port, ...args.extra];
-      const p = spawn('node', [scraperScript, ...fullArgs], {
-        timeout: 120000,
-        stdio: ['ignore', 'pipe', 'inherit'],
-      });
-      let out = '';
-      p.stdout.on('data', d => { out += d.toString(); });
-      p.on('close', (code) => {
-        clearInterval(interval);
-        if (code === 0 && out.trim()) {
-          resolve({ ok: true, output: out, stderr: '' });
-        } else if (portIdx < ports.length - 1) {
-          portIdx++;
-          process.stderr.write(` (失败)\n`);
-          tryPort(ports[portIdx]);
-        } else {
-          process.stderr.write(` (失败)\n`);
-          const errTail = out.trimEnd().slice(-300);
-          resolve({ ok: false, output: out, error: errTail || `exit ${code}` });
-        }
-      });
-      p.on('error', (e) => {
-        clearInterval(interval);
-        if (portIdx < ports.length - 1) {
-          portIdx++;
-          tryPort(ports[portIdx]);
-        } else {
-          resolve({ ok: false, output: '', error: e.message });
-        }
-      });
-    }
-    tryPort(ports[portIdx]);
+    const scraperScript = join(dirname(fileURLToPath(import.meta.url)), 'scrapers', args.script);
+    const fullArgs = [...args.extra];
+
+    process.stderr.write(`\n→ 启动采集脚本...`);
+    const p = spawn('node', [scraperScript, ...fullArgs], {
+      timeout: 300000,
+      stdio: ['ignore', 'pipe', 'inherit'],
+    });
+    let out = '';
+    p.stdout.on('data', d => { out += d.toString(); });
+    p.on('close', (code) => {
+      if (code === 0 && out.trim()) {
+        resolve({ ok: true, output: out, stderr: '' });
+      } else {
+        const errTail = out.trimEnd().slice(-500);
+        resolve({ ok: false, output: out, error: errTail || `exit ${code}` });
+      }
+    });
+    p.on('error', (e) => {
+      resolve({ ok: false, output: '', error: e.message });
+    });
   });
 }
 
@@ -400,7 +378,7 @@ async function main() {
       console.error(`  ❌ 平台 ${platform} 暂不支持采集`);
       process.exit(1);
     }
-    console.error(`→ 采集 ${PLATFORM_CN[platform]}（Chrome CDP）...`);
+    console.error(`→ 采集 ${PLATFORM_CN[platform]}...`);
     const result = await spawnScraper(platform, length, scanDir);
     if (!result.ok) {
       console.error(`  ❌ ${PLATFORM_CN[platform]} 采集失败：${result.error}`);

package/plugins/fancy-scan/scripts/scan-output-format.md

@@ -94,7 +94,7 @@
 **故障排查（书名全是 `bookId:xxx` / `（标题待解析）`）**：
 - 看文件头 `数据质量`：标 `[标题解析异常]` 说明详情页解码失败率高。
 - 多为详情页结构变动或被登录/验证页拦截。在已登录的 Chrome 里手动打开任一 `https://fanqienovel.com/page/{bookId}` 确认页面正常、非验证页。
-- 控制台若报 `CDP 无响应`，说明 Chrome/CDP 没起来或端口不对，按 browser-cdp skill 重新启动。确认正常后重采。
+- 控制台若报 ` playwright-core 无法启动浏览器`，说明系统缺少 Chrome/Edge 或浏览器路径不对，用 `--login-wait` 等待手动登录后重试。
 
 ---
 

package/plugins/fancy-scan/scripts/scraper-registry.md

@@ -12,13 +12,11 @@
 
 ---
 
-## Chrome CDP 环境要求
+## 环境要求
 
-> ⚠️ **除 qidian 外，其他所有 scraper 都需要先启动 Chrome CDP**：
-> ```bash
-> node {SKILL_DIR}/browser-cdp/scripts/setup-cdp-chrome.js --yes
-> ```
-> qidian 默认走 mobile-SSR（不需要 Chrome），失败才降级 CDP。
+> ⚠️ **所有 scraper 现在使用 playwright-core 自己管理浏览器，不再依赖 agent-browser 和 Chrome CDP 端口。**
+> 每个 scraper 独立 launch/close 浏览器进程，采集完成后自动关闭。
+> 如需在采集前留时间登录，可传入 `--login-wait <秒>` 参数。
 
 ---
 
@@ -34,20 +32,20 @@
 
 | 篇幅 | Scraper | 采集模式 | 示例命令 |
 |------|---------|---------|---------|
-| 长篇 | fanqie-rank-scraper.js | CDP（需要 Chrome）| `node fanqie-rank-scraper.js --channel all --type all --outdir {out}` |
+| 长篇 | fanqie-rank-scraper.cjs | playwright-native | `node fanqie-rank-scraper.cjs --channel all --type all --outdir {out}` |
 
 ### 晋江（jinjiang）
 
 | 篇幅 | Scraper | 采集模式 | 示例命令 |
 |------|---------|---------|---------|
-| 长篇 | jjwxc-rank-scraper.js | CDP（需要 Chrome）| `node jjwxc-rank-scraper.js --type 12 --outdir {out}` |
+| 长篇 | jjwxc-rank-scraper.cjs | playwright-native | `node jjwxc-rank-scraper.cjs --type 12 --outdir {out}` |
 
 ### 知乎（zhihu）
 
 | 篇幅 | Scraper | 采集模式 | 示例命令 |
 |------|---------|---------|---------|
-| 长篇 | zhihu-rank-scraper.js | CDP（需要 Chrome）| `node zhihu-rank-scraper.js --length long --outdir {out}` |
-| 短篇 | zhihu-rank-scraper.js | CDP（需要 Chrome）| `node zhihu-rank-scraper.js --length short --outdir {out}` |
+| 长篇 | zhihu-rank-scraper.cjs | playwright-native | `node zhihu-rank-scraper.cjs --length long --outdir {out}` |
+| 短篇 | zhihu-rank-scraper.cjs | playwright-native | `node zhihu-rank-scraper.cjs --length short --outdir {out}` |
 
 入口 URL：`https://www.zhihu.com/fiore/h5/vip-web`
 
@@ -60,8 +58,8 @@
 
 | 篇幅 | Scraper | 采集模式 | 示例命令 |
 |------|---------|---------|---------|
-| 长篇 | qimao-rank-scraper.js | CDP（需要 Chrome）| `node qimao-rank-scraper.js --type hot --period day --outdir {out}` |
-| 短篇 | qimao-rank-scraper.js | CDP（需要 Chrome）| `node qimao-rank-scraper.js --type hot --period day --gender f --outdir {out}` |
+| 长篇 | qimao-rank-scraper.cjs | playwright-native | `node qimao-rank-scraper.cjs --type hot --period day --outdir {out}` |
+| 短篇 | qimao-rank-scraper.cjs | playwright-native | `node qimao-rank-scraper.cjs --type hot --period day --gender f --outdir {out}` |
 
 ---
 
@@ -84,12 +82,12 @@ fancy-scan/
     ├── run-scan.py              ← Python 编排层
     ├── scraper-registry.md     ← 本文件
     ├── scan-output-format.md
-    ├── cdp-utils.js
+    ├── cdp-utils.cjs
     ├── qidian-rank-scraper.js
-    ├── fanqie-rank-scraper.js
-    ├── jjwxc-rank-scraper.js
-    ├── zhihu-rank-scraper.js
-    └── qimao-rank-scraper.js
+    ├── fanqie-rank-scraper.cjs
+    ├── jjwxc-rank-scraper.cjs
+    ├── zhihu-rank-scraper.cjs
+    └── qimao-rank-scraper.cjs
 ```
 
 > ⚠️ 如果 `{SKILL_DIR}/references/` 下没有某个 scraper，run-scan.py 回退到"内置知识"模式，输出占位符报告并标注 `[内置知识-未采集]`。

package/plugins/fancy-scan/scripts/scrapers/cdp-utils.cjs

@@ -1,187 +1,24 @@
 /**
- * CDP 工具函数 — 各平台采集脚本的公共依赖
+ * 工具函数 — 各平台采集脚本的公共依赖
  *
- * 使用方式：
- *   const { ab, sleep, evalJSON, evalJSONBase64, scrollLoad, getArg, safeStr, localDateStamp } = require("./cdp-utils");
- *
- * 前置：
- *   node {SKILL_DIR}/browser-cdp/scripts/setup-cdp-chrome.js 9222
- */
-
-const { execFileSync } = require("child_process");
-const fs = require("fs");
-const path = require("path");
-
-/**
- * On Windows `agent-browser` is an npm shim (agent-browser.cmd/.ps1) that
- * forwards to the real target — the native agent-browser-win32-*.exe or a
- * bundled Node CLI. Node refuses to execFile the `.cmd` without a shell
- * (CVE-2024-27980), and routing the argv array through a shell mangles it: the
- * `.cmd`'s `%*` is re-tokenized by cmd.exe (splitting on spaces, breaking on
- * & | ^), and calling the shim by bare name from powershell.exe collapses the
- * whole array into a single space-joined argument. The exact locus differs by
- * runtime, so instead of hardening any one shell path we bypass shells entirely:
- * read the `.cmd` shim, recover the real program plus its fixed leading args,
- * and execFile that target directly with the argv array — verbatim, no shell.
+ * 提供：
+ *   getArg()        — 命令行参数解析
+ *   localDateStamp() — 本地日期戳（YYYYMMDD）
+ *   runCli()        — CLI 入口包装（含进程超时和信号处理）
  */
-function resolveWindowsAgentBrowser(argv) {
-  const dirs = String(process.env.PATH || "").split(path.delimiter);
-  let cmdPath = null;
-  for (const dir of dirs) {
-    if (!dir) continue;
-    const candidate = path.join(dir, "agent-browser.cmd");
-    if (fs.existsSync(candidate)) {
-      cmdPath = candidate;
-      break;
-    }
-  }
-  if (!cmdPath) return { file: "agent-browser", args: argv };
-  const dir = path.dirname(cmdPath);
-  const forwardLine =
-    fs
-      .readFileSync(cmdPath, "utf8")
-      .split(/\r?\n/)
-      .find((line) => line.includes("%*")) || "";
-  const tokens = [...forwardLine.matchAll(/"([^"]*)"/g)]
-    .map((m) => m[1])
-    .map((t) =>
-      t
-        .replace(/%~dp0/gi, () => dir + path.sep)
-        .replace(/%dp0%/gi, () => dir + path.sep)
-    );
-  const jsIndex = tokens.findIndex((t) => /\.[cm]?js$/i.test(t));
-  if (jsIndex >= 0) {
-    return { file: process.execPath, args: [...tokens.slice(jsIndex), ...argv] };
-  }
-  if (tokens.length > 0) {
-    return { file: tokens[0], args: [...tokens.slice(1), ...argv] };
-  }
-  return { file: "agent-browser", args: argv };
-}
-
-/**
- * Build a shell-free invocation. POSIX runs the native `agent-browser` binary
- * directly; Windows resolves the npm `.cmd` shim to that native target so the
- * argument array is passed verbatim, never routed through cmd.exe/PowerShell.
- */
-function buildAgentBrowserInvocation(port, args, platform = process.platform) {
-  const argv = ["--cdp", String(port), ...args.map(String)];
-  if (platform !== "win32") {
-    return { file: "agent-browser", args: argv };
-  }
-  return resolveWindowsAgentBrowser(argv);
-}
-
-// ---------------------------------------------------------------------------
-// agent-browser 工具函数
-// ---------------------------------------------------------------------------
-
-/**
- * 调用 agent-browser CLI
- * @param {number} port - CDP 端口
- * @param  {...string} args - agent-browser 参数
- * @returns {string} stdout（trim 后）
- */
-function ab(port, ...args) {
-  const invocation = buildAgentBrowserInvocation(port, args);
-  try {
-    return execFileSync(
-      invocation.file,
-      invocation.args,
-      {
-        encoding: "utf-8",
-        timeout: 20000,
-        stdio: ["pipe", "pipe", "pipe"],
-        windowsHide: true,
-      }
-    ).trim();
-  } catch (error) {
-    const stderr = error && error.stderr ? String(error.stderr).trim() : "";
-    const stdout = error && error.stdout ? String(error.stdout).trim() : "";
-    const detail = stderr || stdout || (error && error.message) || "unknown error";
-    throw new Error(`agent-browser failed: ${detail}`, { cause: error });
-  }
-}
-
-/** 等待 ms 毫秒（跨平台，不依赖系统 sleep 命令） */
-function sleep(ms) {
-  Atomics.wait(new Int32Array(new SharedArrayBuffer(4)), 0, 0, ms);
-}
-
-function parseJSONResult(raw) {
-  if (!raw || raw === "ERR") {
-    throw new Error("agent-browser returned no JSON result");
-  }
-  try {
-    let parsed = JSON.parse(raw);
-    if (typeof parsed === "string") {
-      try { parsed = JSON.parse(parsed); } catch {}
-    }
-    return parsed;
-  } catch (error) {
-    throw new Error(`agent-browser returned invalid JSON: ${String(raw).slice(0, 160)}`, {
-      cause: error,
-    });
-  }
-}
-
-/**
- * 在浏览器内执行 JS，并解析 JSON 返回值。
- * 一律走 base64（-b）：正文提取用的 JS 常含引号、反斜杠等，作为命令行参数时在 Windows 上
- * 无法逐字透传（.cmd 的 %* 与 PowerShell 都会二次解析）。base64 让参数只含 [A-Za-z0-9+/=]，
- * 和各采集脚本已在用的 evalJSONBase64 走同一条安全通道。
- */
-function evalJSON(port, js) {
-  return evalJSONBase64(port, js);
-}
-
-/**
- * 通过 agent-browser 的 base64 参数执行复杂 JS，避免命令行转义和参数边界问题。
- */
-function evalJSONBase64(port, js) {
-  const encoded = Buffer.from(String(js), "utf8").toString("base64");
-  return parseJSONResult(ab(port, "eval", "-b", encoded));
-}
-
-/**
- * 安全地将值插入浏览器 eval 字符串。
- * 使用 JSON.stringify 确保值不会因特殊字符（引号、反斜杠等）破坏 eval 字符串。
- * @param {*} val - 要插入的值
- * @returns {string} JSON 字符串表示（含引号）
- */
-function safeStr(val) {
-  return JSON.stringify(String(val));
-}
-
-/**
- * 滚动页面加载更多内容
- * @param {number} port - CDP 端口
- * @param {number} times - 滚动次数
- * @param {number} [interval=1000] - 每次滚动间隔（ms）
- */
-function scrollLoad(port, times, interval = 1000) {
-  for (let i = 0; i < times; i++) {
-    ab(port, "eval", "window.scrollBy(0, window.innerHeight)");
-    sleep(interval);
-  }
-}
 
 /** 解析 --xxx 参数 */
 function getArg(args, name) {
   const i = args.indexOf(name);
   if (i >= 0) return i + 1 < args.length ? args[i + 1] : null;
   const prefix = `${name}=`;
-  const inline = args.find((arg) => String(arg).startsWith(prefix));
+  const inline = args.find(arg => String(arg).startsWith(prefix));
   return inline === undefined ? null : String(inline).slice(prefix.length);
 }
 
 /**
- * 输出文件名用的日期戳（YYYYMMDD），一律取**本地日历日**。
+ * 输出文件名用的日期戳（YYYYMMDD），一律取本地日历日。
  * 不能用 new Date().toISOString().slice(0,10)：那是 UTC 日期，比 UTC+8 晚 8 小时。
- * 文件名是各采集脚本唯一的去重键（一个榜单一天一份），北京时间 00:00-08:00 之间的采集
- * 会退回「昨天」的文件名，静默覆盖前一晚采到的同名报告，且这份数据被标成前一天。
- * @param {Date} [date] - 默认当前时间
- * @returns {string} YYYYMMDD
  */
 function localDateStamp(date) {
   const d = date instanceof Date ? date : new Date();
@@ -192,14 +29,15 @@ function localDateStamp(date) {
 }
 
 /**
- * Run a scraper entrypoint and turn empty/partial output into machine-readable
- * CLI status. Legacy entrypoints may return an integer; multi-target scrapers
- * return {planned,written,failed,partial,partialReasons}.
+ * Run a scraper entrypoint 并将结果转换为机器可读的退出码。
+ * 返回值支持：
+ *   整数 — 直接作为 written 计数
+ *   对象 — { planned, written, failed, partial, partialReasons }
  */
 function runCli(main, label) {
   Promise.resolve()
     .then(main)
-    .then((result) => {
+    .then(result => {
       const outcome = Number.isInteger(result)
         ? { planned: result, written: result, failed: 0, partial: false, partialReasons: [] }
         : result;
@@ -221,22 +59,11 @@ function runCli(main, label) {
         process.exitCode = 2;
       }
     })
-    .catch((error) => {
+    .catch(error => {
       const message = error && error.message ? error.message : String(error);
       console.error(`${label} failed: ${message}`);
       process.exitCode = 1;
     });
 }
 
-module.exports = {
-  ab,
-  sleep,
-  evalJSON,
-  evalJSONBase64,
-  buildAgentBrowserInvocation,
-  safeStr,
-  scrollLoad,
-  getArg,
-  localDateStamp,
-  runCli,
-};
+module.exports = { getArg, localDateStamp, runCli };