tt-help-cli-ycl 1.3.28 → 1.3.30

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "tt-help-cli-ycl",
-  "version": "1.3.28",
+  "version": "1.3.30",
   "description": "TikTok user & video data scraper - extract ttSeller, verified, locationCreated from HTML source",
   "type": "module",
   "bin": {

package/src/cli/open.js

@@ -1,6 +1,7 @@
-import { ensureBrowserReady, killEdgeProcesses } from '../lib/browser/cdp.js';
-import path from 'path';
-import os from 'os';
+import { ensureBrowserReady, killEdgeProcesses } from "../lib/browser/cdp.js";
+import { getOrCreatePage } from "../lib/browser/page.js";
+import path from "path";
+import os from "os";
 
 const BASE_PORT = 9222;
 const TOTAL_ACCOUNTS = 10;
@@ -9,24 +10,31 @@ export async function handleOpen(parsed) {
   const { openPort, openList } = parsed;
 
   if (openList) {
-    console.error('内置浏览器配置:');
+    console.error("内置浏览器配置:");
     for (let i = 0; i < TOTAL_ACCOUNTS; i++) {
       const port = BASE_PORT + i;
       const profile = `p${port}`;
-      const userDataDir = path.join(os.homedir(), 'Library', 'Application Support', `Microsoft Edge For Testing_${profile}`);
-      console.error(`  open ${port}  →  profile: ${profile}, userDataDir: ${userDataDir}`);
+      const userDataDir = path.join(
+        os.homedir(),
+        "Library",
+        "Application Support",
+        `Microsoft Edge For Testing_${profile}`,
+      );
+      console.error(
+        `  open ${port}  →  profile: ${profile}, userDataDir: ${userDataDir}`,
+      );
     }
-    console.error('');
-    console.error('用法: tt-help open <端口>');
-    console.error('示例: tt-help open 9222');
+    console.error("");
+    console.error("用法: tt-help open <端口>");
+    console.error("示例: tt-help open 9222");
     process.exit(0);
   }
 
   if (!openPort) {
-    console.error('用法: tt-help open <端口>');
-    console.error('示例: tt-help open 9222');
-    console.error('');
-    console.error('可用端口: 9222 - 9231 (共 10 个)');
+    console.error("用法: tt-help open <端口>");
+    console.error("示例: tt-help open 9222");
+    console.error("");
+    console.error("可用端口: 9222 - 9231 (共 10 个)");
     console.error('运行 "tt-help open --list" 查看所有配置');
     process.exit(1);
   }
@@ -38,15 +46,20 @@ export async function handleOpen(parsed) {
   }
 
   const profile = `p${port}`;
-  const userDataDir = path.join(os.homedir(), 'Library', 'Application Support', `Microsoft Edge For Testing_${profile}`);
+  const userDataDir = path.join(
+    os.homedir(),
+    "Library",
+    "Application Support",
+    `Microsoft Edge For Testing_${profile}`,
+  );
 
   console.error(`正在启动浏览器... 端口: ${port}, profile: ${profile}`);
   console.error(`userDataDir: ${userDataDir}`);
-  console.error('');
-  console.error('启动后请在浏览器中登录 TikTok 账户');
-  console.error('登录完成后关闭浏览器即可，下次 open 会保留登录状态');
-  console.error('');
-  console.error('按 Ctrl+C 退出并关闭浏览器');
+  console.error("");
+  console.error("启动后请在浏览器中登录 TikTok 账户");
+  console.error("登录完成后关闭浏览器即可，下次 open 会保留登录状态");
+  console.error("");
+  console.error("按 Ctrl+C 退出并关闭浏览器");
 
   let browser = null;
 
@@ -58,39 +71,35 @@ export async function handleOpen(parsed) {
     browser = await ensureBrowserReady(cdpOptions);
 
     // Ctrl+C 关闭浏览器
-    process.on('SIGINT', async () => {
-      console.error('\n正在关闭浏览器...');
+    process.on("SIGINT", async () => {
+      console.error("\n正在关闭浏览器...");
       try {
         await killEdgeProcesses(userDataDir);
         await browser.close();
-      } catch { /* ignore */ }
-      console.error('浏览器已关闭');
+      } catch {
+        /* ignore */
+      }
+      console.error("浏览器已关闭");
       process.exit(0);
     });
 
-    console.error('');
-    console.error('浏览器已启动并连接成功');
-    console.error('TikTok 页面将在浏览器中自动打开...');
+    console.error("");
+    console.error("浏览器已启动并连接成功");
+    console.error("TikTok 页面将在浏览器中自动打开...");
 
     // 打开 TikTok 首页
     try {
-      const pages = await browser.pages();
-      let page = pages.find(p => !p.url().startsWith('devtools'));
-      if (!page) {
-        const context = await browser.newBrowserCDPSession();
-        await context.send('Target.createTarget', { url: '' });
-        await new Promise(r => setTimeout(r, 1000));
-        const newPages = await browser.pages();
-        page = newPages.find(p => !p.url().startsWith('devtools'));
-      }
-
+      const page = await getOrCreatePage(browser);
       if (page) {
-        await page.goto('https://www.tiktok.com', { waitUntil: 'domcontentloaded', timeout: 30000 });
-        console.error('已打开 https://www.tiktok.com');
+        await page.goto("https://www.tiktok.com", {
+          waitUntil: "domcontentloaded",
+          timeout: 30000,
+        });
+        console.error("已打开 https://www.tiktok.com");
       }
     } catch (e) {
       console.error(`打开页面时出错: ${e.message}`);
-      console.error('浏览器已启动，可以手动在浏览器中打开 TikTok');
+      console.error("浏览器已启动，可以手动在浏览器中打开 TikTok");
     }
 
     // 保持进程运行

package/src/lib/api-interceptor.js

@@ -80,35 +80,16 @@ async function processAPIResponse(
 }
 
 /**
- * 通过拦截 TikTok 内部 API 获取用户视频列表
- * 比 DOM 滚动解析快 5-10 倍
- *
- * @param {import('playwright').Page} page - Playwright page (CDP 连接)
- * @param {string} username - TikTok 用户名
- * @param {number} maxVideos - 最大视频数
- * @param {Function} log - 日志函数
- * @returns {Map<string, {id: string, href: string}>} 与 collectVideos 返回格式一致
- * @throws {Error} API 超时或网络异常时抛出
+ * 单次 API 拦截尝试：注册拦截器 → 导航 → 用 waitForResponse 精确等待 API
+ * @returns {{data: object|null, apiRequestUrl: string|null, elapsed: number}}
  */
-async function fetchUserVideosAPI(page, username, maxVideos, log) {
+async function tryInterceptAPI(page, username, log) {
   const url = `https://www.tiktok.com/@${username}`;
-  const items = [];
-
-  // 1. 注册 response 拦截器 + request URL 捕获
-  let apiResolve = null;
-  const apiPromise = new Promise((r) => {
-    apiResolve = r;
-  });
-
   let apiRequestUrl = null;
 
   const responseHandler = async (response) => {
     if (response.url().includes("/api/post/item_list/")) {
-      try {
-        apiResolve(await response.json());
-      } catch (e) {
-        apiResolve(null);
-      }
+      // 只记录 URL，数据通过 waitForResponse 获取
     }
   };
 
@@ -121,61 +102,134 @@ async function fetchUserVideosAPI(page, username, maxVideos, log) {
   page.on("response", responseHandler);
   page.on("request", requestHandler);
 
+  const t0 = Date.now();
+
   try {
-    // 2. 导航并等待 API 响应
-    log("  [API拦截] 导航到用户页，等待 /api/post/item_list/ ...");
-    const t0 = Date.now();
-
-    await retryWithBackoff(
-      async () => {
-        await page.goto(url, { waitUntil: "domcontentloaded", timeout: 30000 });
-        await assertPageUrl(page, `@${username}`);
-      },
-      { maxRetries: 3, baseDelay: 3000, log },
+    await page.goto(url, { waitUntil: "domcontentloaded", timeout: 30000 });
+    await assertPageUrl(page, `@${username}`);
+
+    // 用 waitForResponse 精确等待 API 响应（15 秒超时，适合弱网）
+    const response = await page.waitForResponse(
+      (res) => res.url().includes("/api/post/item_list/"),
+      { timeout: 15000 },
     );
 
-    const data = await Promise.race([
-      apiPromise,
-      new Promise((r) => setTimeout(() => r(null), 8000)),
-    ]);
+    const data = await response.json();
+    const elapsed = Date.now() - t0;
+    log(`  [API拦截] ${elapsed}ms 后成功拦截 API 响应`);
 
+    return { data, apiRequestUrl, elapsed };
+  } catch (e) {
     const elapsed = Date.now() - t0;
+    log(`  [API拦截] ${elapsed}ms 后拦截失败: ${e.message}`);
+    return { data: null, apiRequestUrl, elapsed, error: e.message };
+  } finally {
+    page.off("response", responseHandler);
+    page.off("request", requestHandler);
+  }
+}
+
+/**
+ * 通过拦截 TikTok 内部 API 获取用户视频列表
+ * 比 DOM 滚动解析快 5-10 倍
+ *
+ * 弱网优化：
+ * - 使用 waitForResponse 精确等待 API 响应（而非固定超时）
+ * - 最多重试 3 次，每次重试前清理拦截器
+ * - 超时 15s，适合弱网环境
+ *
+ * @param {import('playwright').Page} page - Playwright page (CDP 连接)
+ * @param {string} username - TikTok 用户名
+ * @param {number} maxVideos - 最大视频数
+ * @param {Function} log - 日志函数
+ * @returns {Map<string, {id: string, href: string}>} 与 collectVideos 返回格式一致
+ * @throws {Error} API 超时或网络异常时抛出
+ */
+async function fetchUserVideosAPI(page, username, maxVideos, log) {
+  const items = [];
+  const maxRetries = 3;
+  const noRetryErrors = new Set([
+    "service_error",
+    "not_found",
+    "region_blocked",
+    "login_required",
+  ]);
+
+  for (let attempt = 1; attempt <= maxRetries; attempt++) {
+    log(
+      `  [API拦截] 导航到用户页，等待 /api/post/item_list/ ... (尝试 ${attempt}/${maxRetries})`,
+    );
 
-    if (!data || !data.itemList) {
-      // 使用 waitForFunction 等待错误信息出现（最多 8 秒）
-      const pageError = await detectPageErrorWithWait(page, 8000);
+    const { data, apiRequestUrl, elapsed, error } = await tryInterceptAPI(
+      page,
+      username,
+      log,
+    );
 
-      if (pageError === "service_error") {
-        throw new Error(`被封: ${username}`);
-      }
+    if (data && Array.isArray(data.itemList) && data.itemList.length > 0) {
+      // 成功拦截且拿到了视频，处理数据
+      return await processAPIResponse(
+        data,
+        username,
+        maxVideos,
+        items,
+        page,
+        apiRequestUrl,
+        log,
+      );
+    }
 
-      // API 超时了，页面肯定有问题
-      // 如果识别不出具体错误类型，抛异常（而不是静默返回空 Map）
-      if (!pageError) {
-        throw new Error(`@${username} 页面异常（无法识别错误类型）`);
+    // API 已返回但没有视频时，优先判定是否是确定性的页面错误。
+    let pageError = await detectPageError(page);
+
+    // service_error 经常比 API 判定晚一点渲染，补一个短等待避免漏判“被封”。
+    if (!pageError) {
+      const delayedPageError = await detectPageErrorWithWait(page, 3000);
+      if (delayedPageError) pageError = delayedPageError;
+    }
+
+    if (pageError === "service_error") {
+      throw new Error(`被封: ${username}`);
+    }
+
+    if (data && Array.isArray(data.itemList) && data.itemList.length === 0) {
+      if (noRetryErrors.has(pageError)) {
+        log(
+          `  [API拦截] ${elapsed}ms 后 API 返回空列表，页面异常（${pageError}）`,
+        );
+        return new Map();
       }
 
-      // 其他已知错误（login_required, captcha, rate_limited 等）返回空 Map
+      log(`  [API拦截] ${elapsed}ms 后 API 返回 0 条视频`);
+      return new Map();
+    }
+
+    if (noRetryErrors.has(pageError)) {
       log(
         `  [API拦截] ${elapsed}ms 后未拿到 API 数据，页面异常（${pageError}）`,
       );
       return new Map();
     }
 
-    // 处理数据（提取首页 + 翻页）
-    return await processAPIResponse(
-      data,
-      username,
-      maxVideos,
-      items,
-      page,
-      apiRequestUrl,
-      log,
+    // 最后一次重试也失败了
+    if (attempt === maxRetries) {
+      if (!pageError) {
+        throw new Error(
+          `@${username} 页面异常（${elapsed}ms，${maxRetries} 次重试均未拦截到 API）`,
+        );
+      }
+      log(
+        `  [API拦截] ${elapsed}ms 后未拿到 API 数据，页面异常（${pageError}），${maxRetries} 次重试已用尽`,
+      );
+      return new Map();
+    }
+
+    // 还有重试次数，等待后重试
+    const waitTime = 2000 * attempt;
+    log(
+      `  [API拦截] 拦截失败（${error || "未拿到有效 API 数据"}），${waitTime / 1000}s 后重试...`,
     );
-  } finally {
-    // 5. 必须清理拦截器，防止累积
-    page.off("response", responseHandler);
-    page.off("request", requestHandler);
+    await new Promise((r) => setTimeout(r, waitTime));
   }
 }