tt-help-cli-ycl 1.4.112 → 1.4.113

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "tt-help-cli-ycl",
-  "version": "1.4.112",
+  "version": "1.4.113",
   "description": "TikTok user & video data scraper - extract ttSeller, verified, locationCreated from HTML source",
   "type": "module",
   "bin": {

package/src/cli/product-fill.js

@@ -9,11 +9,26 @@
  *
  * 用法: tt-help product-fill [-s 服务端] [-w webserver] [-i 间隔秒] [-l 每批上限]
  */
+import { spawn } from "node:child_process";
+import { fileURLToPath } from "node:url";
 import { getMacOrUuid } from "../lib/mac-or-uuid.js";
 import { createApiClient } from "../lib/api-client.js";
 import { userId as configuredUserId, saveUserId } from "../lib/constants.js";
 
 const CAPTCHA_BACKOFF_MS = 30_000; // 验证码后冷却时长
+const WEBSERVER_READY_TIMEOUT_MS = 60_000; // 等待自动拉起的 webserver 就绪上限
+
+/** 探测 webserver /health 是否可用 */
+async function probeWebserverHealth(url, timeoutMs = 1500) {
+  try {
+    const res = await fetch(`${url}/health`, {
+      signal: AbortSignal.timeout(timeoutMs),
+    });
+    return res.ok;
+  } catch {
+    return false;
+  }
+}
 
 function formatNow() {
   return new Date().toLocaleString("zh-CN", { hour12: false });
@@ -51,9 +66,16 @@ export async function handleProductFill(options) {
     productFillInterval,
     serverUrl,
     productFillWebserver,
+    productFillProxy,
     showHelp,
   } = options;
-  const webserverUrl = productFillWebserver || null;
+  // 不指定 -w 时默认使用本地 webserver（http://127.0.0.1:3000），
+  // 且本地无响应时自动拉起（适合单独机器：验证码时弹浏览器人工处理）
+  const spawnLocalWebserver = !productFillWebserver;
+  const webserverUrl = productFillWebserver || "http://127.0.0.1:3000";
+  // 自动拉起 webserver 时透传的代理（默认本机 clash 7897）
+  const localWebserverProxy = productFillProxy || "http://127.0.0.1:7897";
+  let localWebserverChild = null;
 
   if (showHelp) {
     log(
@@ -63,7 +85,10 @@ export async function handleProductFill(options) {
     log("参数:");
     log("  -s, --server <URL>      服务端地址（默认: http://127.0.0.1:3001）");
     log(
-      "  -w, --webserver <URL>   商品详情 webserver 地址（必填，如 http://127.0.0.1:3000）",
+      "  -w, --webserver <URL>   商品详情 webserver 地址（默认: http://127.0.0.1:3000，本地未运行会自动拉起）",
+    );
+    log(
+      "  --proxy <URL>           自动拉起 webserver 时使用的代理（默认: http://127.0.0.1:7897）",
     );
     log("  -i, --interval <N>      无任务时轮询间隔，单位秒（默认: 10）");
     log("  -l, --limit <N>         每批领取任务数上限（默认: 5）");
@@ -73,6 +98,9 @@ export async function handleProductFill(options) {
     log("  对每个任务调用 webserver /api/tiktok/product 抓取评分/销量/评论；");
     log("  成功后回传 /api/product-fill/:uniqueId 写入 jobs 表。");
     log("  商品详情验证码(503)自动冷却 30 秒后重试，其他失败计数后继续。");
+    log(
+      "  不传 -w 时本地无 webserver 会自动拉起（验证码时弹浏览器，人工解决后继续）。",
+    );
     log("");
     log("示例:");
     log(
@@ -82,13 +110,6 @@ export async function handleProductFill(options) {
     return;
   }
 
-  if (!webserverUrl) {
-    log(
-      "错误: 缺少 webserver 地址，请用 -w/--webserver 指定（如 http://127.0.0.1:3000）",
-    );
-    return;
-  }
-
   // ── 设备标识 ──
   let userId = configuredUserId;
   if (!userId) {
@@ -106,14 +127,101 @@ export async function handleProductFill(options) {
   const { apiGet, apiPost } = createApiClient({ log: false });
 
   let shuttingDown = false;
+  let forceExitTimer = null;
+  /** 强制退出路径清理自动拉起的 webserver（防止孤儿进程） */
+  const killLocalWebserver = () => {
+    if (localWebserverChild && !localWebserverChild.killed) {
+      localWebserverChild.kill("SIGKILL");
+    }
+  };
   const shutdown = () => {
-    if (shuttingDown) return;
+    if (shuttingDown) {
+      // 第二次信号：立即强制退出（网络重试等场景可能无法优雅退出）
+      log(`\n[ProductFill] 再次收到信号，强制退出...`);
+      killLocalWebserver();
+      process.exit(1);
+      return;
+    }
     shuttingDown = true;
-    log(`\n[ProductFill] 收到退出信号，完成当前批次后退出...`);
+    log(
+      `\n[ProductFill] 收到退出信号，完成当前批次后退出（再次按 Ctrl+C 强制退出）...`,
+    );
+    // 兜底：卡在网络重试/等待中时 10 秒后强制退出
+    forceExitTimer = setTimeout(() => {
+      log("[ProductFill] 等待超时，强制退出");
+      killLocalWebserver();
+      process.exit(0);
+    }, 10_000);
+    forceExitTimer.unref?.();
   };
   process.on("SIGINT", () => shutdown());
   process.on("SIGTERM", () => shutdown());
 
+  // ── 确保 webserver 可用：未指定 -w 且本地无响应时自动拉起 ──
+  if (await probeWebserverHealth(webserverUrl)) {
+    log(`[ProductFill] webserver 已就绪: ${webserverUrl}`);
+  } else {
+    if (!spawnLocalWebserver) {
+      log(
+        `[ProductFill] 警告: webserver ${webserverUrl} 无响应，任务将按失败重试`,
+      );
+    } else {
+      const portMatch = webserverUrl.match(/:(\d+)\/?$/);
+      const port = portMatch ? parseInt(portMatch[1], 10) : 3000;
+      // cli.js 在包根（源码与 npm 包结构一致），webserver 命令两者都支持
+      const cliJs = fileURLToPath(new URL("../../cli.js", import.meta.url));
+      log(
+        `[ProductFill] 本地 webserver 未运行，自动拉起（端口 ${port}，代理 ${localWebserverProxy}）...`,
+      );
+      localWebserverChild = spawn(
+        process.execPath,
+        [
+          cliJs,
+          "webserver",
+          "-p",
+          String(port),
+          "--proxy",
+          localWebserverProxy,
+        ],
+        {
+          stdio: ["ignore", "ignore", "inherit"], // webserver 日志（含验证码提示）透传到本终端
+          windowsHide: true,
+        },
+      );
+      localWebserverChild.on("exit", (code) => {
+        if (!shuttingDown && code !== null && code !== 0) {
+          log(`[ProductFill] ⚠ 本地 webserver 已退出 (code=${code})`);
+        }
+      });
+      // 等待就绪（最多 60 秒）
+      const deadline = Date.now() + WEBSERVER_READY_TIMEOUT_MS;
+      while (!shuttingDown && Date.now() < deadline) {
+        if (await probeWebserverHealth(webserverUrl, 1000)) break;
+        await new Promise((r) => setTimeout(r, 1000));
+      }
+      if (await probeWebserverHealth(webserverUrl, 1000)) {
+        log(`[ProductFill] webserver 已就绪: ${webserverUrl}`);
+      } else {
+        log(
+          `[ProductFill] 警告: webserver 启动超时，继续运行（抓取失败将自动重试）`,
+        );
+      }
+    }
+  }
+
+  /** 可被退出信号中断的等待（500ms 粒度检查 shuttingDown） */
+  const interruptibleSleep = (ms) =>
+    new Promise((resolve) => {
+      const start = Date.now();
+      const tick = () => {
+        if (shuttingDown) return resolve();
+        const left = ms - (Date.now() - start);
+        if (left <= 0) return resolve();
+        setTimeout(tick, Math.min(500, left));
+      };
+      tick();
+    });
+
   let loopCount = 0;
   let totalSuccess = 0;
   let totalFailed = 0;
@@ -132,7 +240,7 @@ export async function handleProductFill(options) {
         log(
           `[ProductFill] ⏳ 验证码冷却中（剩余 ${Math.ceil(waitMs / 1000)}s），暂不领取任务...`,
         );
-        await new Promise((r) => setTimeout(r, waitMs));
+        await interruptibleSleep(waitMs);
         continue;
       }
 
@@ -146,7 +254,7 @@ export async function handleProductFill(options) {
             `[ProductFill] 当前无缺商品任务，${productFillInterval}秒后重试...`,
           );
         }
-        await new Promise((r) => setTimeout(r, productFillInterval * 1000));
+        await interruptibleSleep(productFillInterval * 1000);
         continue;
       }
 
@@ -207,12 +315,17 @@ export async function handleProductFill(options) {
       log(
         `  本批: 成功 ${batchSuccess} | 失败 ${batchFailed} | 跳过 ${batchSkipped}（累计: 成功 ${totalSuccess} | 失败 ${totalFailed} | 跳过 ${totalSkipped}）\n`,
       );
-      await new Promise((r) => setTimeout(r, 300));
+      await interruptibleSleep(300);
     }
   } catch (err) {
     log(`[ProductFill] 运行异常: ${err.message}`);
     throw err;
   } finally {
+    if (forceExitTimer) clearTimeout(forceExitTimer);
+    if (localWebserverChild && !localWebserverChild.killed) {
+      log("[ProductFill] 关闭自动拉起的本地 webserver...");
+      localWebserverChild.kill("SIGTERM");
+    }
     log(
       `[ProductFill] 已退出。总计: 成功 ${totalSuccess} | 失败 ${totalFailed} | 跳过 ${totalSkipped}`,
     );

package/src/lib/args.js

@@ -766,6 +766,7 @@ function parseProductFillArgs(args) {
   let interval = 10;
   let serverUrl = defaultServer;
   let webserverUrl = null;
+  let proxyUrl = null;
 
   for (let i = 0; i < args.length; i++) {
     const arg = args[i];
@@ -773,6 +774,8 @@ function parseProductFillArgs(args) {
       serverUrl = args[++i];
     } else if (arg === "-w" || arg === "--webserver") {
       webserverUrl = args[++i];
+    } else if (arg === "--proxy") {
+      proxyUrl = args[++i] || null;
     } else if (arg === "-i" || arg === "--interval") {
       interval = parseInt(args[++i], 10) || 10;
     } else if (arg === "-l" || arg === "--limit") {
@@ -786,6 +789,7 @@ function parseProductFillArgs(args) {
     productFillInterval: interval,
     serverUrl,
     productFillWebserver: webserverUrl,
+    productFillProxy: proxyUrl,
     urls: [],
     outputFormat: "json",
     exploreCount: 0,
@@ -1368,6 +1372,28 @@ export function parseArgs() {
   const args = process.argv.slice(2);
 
   if (args.includes("-h") || args.includes("--help")) {
+    // 子命令级帮助：product-fill -h 显示专属帮助，而非全局 HELP_TEXT
+    if (args[0] === "product-fill") {
+      return {
+        subcommand: "product-fill",
+        productFillLimit: 5,
+        productFillInterval: 10,
+        serverUrl: defaultServer,
+        productFillWebserver: null,
+        showHelp: true,
+        showVersion: false,
+        urls: [],
+        outputFile: null,
+        outputFormat: "json",
+        exploreCount: 0,
+        showConfig: false,
+        customProxy: null,
+        configAction: null,
+        configValue: null,
+        pipeMode: false,
+        filterStr: null,
+      };
+    }
     return {
       showHelp: true,
       showVersion: false,