tt-help-cli-ycl 1.4.183 → 1.4.185

package/src/cli/explore.js

@@ -1,6 +1,7 @@
 import {
   getOrCreatePage,
   isBrowserClosedError,
+  isRetryableRestoreFailure,
   relaunchBrowser,
 } from "../lib/browser/page.js";
 import {
@@ -28,7 +29,6 @@ import {
 import { showResourceUsage } from "../utils/index.js";
 import {
   HealthChecker,
-  MEMORY_THRESHOLD,
   ROTATE_INTERVAL_MS,
 } from "../lib/browser/health-checker.js";
 import {
@@ -37,8 +37,16 @@ import {
   gotoTiktok,
   injectPoolAccount,
   ensurePoolLogin,
+  crashBackoffMs,
+  retryRestoreOnNavFailure,
+  CANDIDATE_INJECT_MAX_RETRIES,
+  CANDIDATE_INJECT_DELAY_MS,
+  decideCandidateInjectAction,
+  isRetryableInjectFailure,
 } from "../lib/login-pool-client.js";
+import { getClientConfig } from "../watchdog/reporter.js";
 import { createApiClient } from "../lib/api-client.js";
+import { createErrorReporter } from "../lib/error-report.js";
 import { createCDNHandler } from "../lib/cdn-handler.js";
 import { proxyPortOf, triggerProxySwitch } from "../clash/proxy-switch.js";
 import path from "path";
@@ -48,6 +56,7 @@ const MAX_RETRY_WAIT = 5 * 60 * 1000;
 const MAX_REBUILD_ATTEMPTS = 5; // 账户切换后导航恢复：连续重启浏览器超过该次数仍失败则上报并退出
 const STARTUP_TIKTOK_URL = "https://www.tiktok.com/@ycl5007";
 const PAGE_GOTO_TIMEOUT = 60000; // 页面导航超时 60 秒（账户切换后需要更长时间）
+const CRASH_BACKOFF_SLICE_MS = 1000; // 崩溃熔断/恢复重试等待的分片粒度（分片醒检 shuttingDown）
 
 // 换号原因受控 code（2026-10-30 定稿：服务端 switchStats 按账号聚合展示；
 // 只用这组固定值上报，不传自由文本；startup 首次取号不带 reason）
@@ -110,6 +119,21 @@ export async function handleExplore(options) {
   let poolClient = null; // 账号中心客户端
   let poolAccount = null; // 当前在手账号（含 cookies 与租约 id）
   let poolAccountSince = Date.now(); // 当前账号开始使用时刻（48min 换号计时）
+  // 崩溃熔断状态（F16 实录）：浏览器级注入失败轮数 + 退避窗口截止时刻（窗口内不取号）
+  let crashStreak = 0;
+  let crashBackoffUntil = 0;
+
+  /** 分片 sleep：每 CRASH_BACKOFF_SLICE_MS 醒检 shuttingDown，被中断返回 false */
+  const sleepSliced = async (totalMs) => {
+    let remaining = totalMs;
+    while (remaining > 0) {
+      if (shuttingDown) return false;
+      const slice = Math.min(CRASH_BACKOFF_SLICE_MS, remaining);
+      await new Promise((r) => setTimeout(r, slice));
+      remaining -= slice;
+    }
+    return !shuttingDown;
+  };
 
   const shutdown = async (signal) => {
     if (shuttingDown) return;
@@ -177,11 +201,14 @@ export async function handleExplore(options) {
 
     const poolMode = !exploreNoPool;
     const poolPort = explorePort || exploreBasePort || 9222;
+    // 内存阈值可配置覆盖（~/.tt-help.json memoryThreshold，默认 0.95）：F16 类 7G 双浏览器机可调低提前重启
+    const memoryThresholdConfig = getClientConfig().memoryThreshold;
     const healthChecker = poolMode
-      ? new HealthChecker({ basePort: poolPort, totalAccounts: 1 })
+      ? new HealthChecker({ basePort: poolPort, totalAccounts: 1, memoryThreshold: memoryThresholdConfig })
       : new HealthChecker({
           basePort: exploreBasePort,
           totalAccounts: explorePortCount,
+          memoryThreshold: memoryThresholdConfig,
         });
     let currentAccount = healthChecker.getCurrentAccount();
 
@@ -246,6 +273,15 @@ export async function handleExplore(options) {
       meta: { port: cdpOptions.port },
     });
 
+    // 客户端错误上报封装：自动附带 poolUsername（报错时在手池号）与 proxyNode（当前 clash 节点）
+    const errorReporter = createErrorReporter({
+      apiPost,
+      serverUrl,
+      userId,
+      proxyUrl: resolvedProxy,
+      getState: () => ({ poolUsername: poolAccount?.username || "" }),
+    });
+
     await apiGet(`${serverUrl}/api/stats`);
 
     if (exploreUsernames && exploreUsernames.length > 0) {
@@ -358,13 +394,50 @@ export async function handleExplore(options) {
 
     /**
      * 换号（以号为主键）：先取新号（旧号仍在手，无空窗）→ 注入验证 → 还旧号。
-     * 候选最多试 5 个（注入失败的释放回池）；池空/服务器不可达 → 保旧号返回 false，
-     * 由主循环「无在手账号」补取逻辑兑底。
+     * 候选最多试 5 个；注入失败按类型分流（decideCandidateInjectAction）：
+     * 浏览器级崩溃 → 熔断重启；确定性号死（会话过期/身份不符）→ 立即释放回池换下一个；
+     * 瞬态/环境失败 → 同一候选原号重试（共 3 次尝试，间隔 15s）全败才释放；
+     * 池空/服务器不可达 → 保旧号返回 false，由主循环「无在手账号」补取逻辑兑底。
      * @param code 受控换号原因（SWITCH_REASON，上报服务端 switchStats；可选）；
      *             首选按外层 call site 上报，候选注入失败后的再取号 = inject_fail
      */
-    async function switchPoolAccount(reason, code) {
+    async function switchPoolAccount(reason, code, opts = {}) {
       console.error(`\n[换号] ${reason}，从账号中心取新账号...`);
+      // 崩溃熔断：退避窗口内不取号（保护账号池），分片 sleep 响应 shuttingDown
+      const backoffWaitMs = Math.max(0, crashBackoffUntil - Date.now());
+      if (backoffWaitMs > 0) {
+        console.error(
+          `[浏览器] 崩溃熔断中，${Math.ceil(backoffWaitMs / 1000)}s 后再试（不取号，保护账号池）`,
+        );
+        if (!(await sleepSliced(backoffWaitMs))) return false;
+      }
+      // 候选注入失败命中浏览器级崩溃签名时的处置（首判与重试中途重判共用）：
+      // crashStreak++ 按轮退避 + 释放候选 + 上报 + 转同号重启；返回值由调用方直接 return
+      async function abortCandidateLoopOnCrash(crashReason, candidate, fromRecovery) {
+        // 浏览器级崩溃：不怪账号，立即中止候选循环（不消耗 inject_fail/recover_fail 口径），
+        // 已取候选照常 release，转同号重启（与内存超限路径同语义）；按轮熔断退避
+        crashStreak++;
+        const backoffMs = crashBackoffMs(crashStreak);
+        crashBackoffUntil = Date.now() + backoffMs;
+        console.error(
+          `[换号] @${candidate.username} 注入失败为浏览器级崩溃（${crashReason}），中止候选循环（第 ${crashStreak} 轮，熔断 ${Math.round(backoffMs / 1000)}s），释放候选...`,
+        );
+        await poolClient.release(candidate).catch(() => {});
+        await errorReporter.report({
+          username: poolAccount ? poolAccount.username : "unknown",
+          errorType: "account_switch_failed",
+          errorMessage: `注入失败为浏览器级崩溃，中止候选循环转同号重启（第${crashStreak}轮，熔断${Math.round(backoffMs / 1000)}s）: ${crashReason}`,
+          stage: "account-switch",
+        }).catch(() => {});
+        if (fromRecovery) {
+          // 恢复链中（重启后恢复失败触发的换号）不再递归重启，保留现场等熔断窗口
+          console.error(`[换号] 恢复链中不再递归重启浏览器，保留现场等待熔断窗口`);
+          return false;
+        }
+        return await restartPoolBrowser(
+          `注入验证遭遇浏览器级崩溃（${crashReason}）`,
+        );
+      }
       for (let attempt = 0; attempt < 5; attempt++) {
         let next = null;
         try {
@@ -375,15 +448,71 @@ export async function handleExplore(options) {
           );
           return false;
         }
-        const r = await injectPoolAccount(page, next, {
+        let r = await injectPoolAccount(page, next, {
           verifyUsername: next.username,
         }).catch((e) => ({ ok: false, reason: e.message }));
         if (!r.ok) {
-          console.error(
-            `[换号] @${next.username} 注入验证失败（${r.reason}），释放候选换下一个...`,
-          );
-          await poolClient.release(next).catch(() => {});
-          continue;
+          // 注入失败三路分流（f11 48h 实测：~17% 瞬态环境失败曾连烧 5 候选全死于同一环境）：
+          // 崩溃 → 既有熔断（中止候选循环）；确定性号死 → 立即弃号换下一个候选（现状行为）；
+          // 瞬态/环境失败 → 同一候选原号重试（共 3 次尝试，间隔 15s），重试期间租约保持在手
+          let action = decideCandidateInjectAction(r.reason, isBrowserClosedError);
+          if (action === "circuit-break") {
+            return await abortCandidateLoopOnCrash(r.reason, next, opts.fromRecovery);
+          }
+          if (action === "retry") {
+            // 瞬态/环境失败（超时/AbortError/net::ERR_*/Execution context destroyed/无账号数据/导航类）：
+            // 原号重试最多 2 次（共 3 次尝试），间隔 15s，重试期间不 release（租约保持在手）；
+            // 确定性号死（会话过期/身份不符）不进此分支，直接弃号换下一个候选
+            r = await retryRestoreOnNavFailure(
+              () =>
+                injectPoolAccount(page, next, { verifyUsername: next.username }),
+              r.reason,
+              {
+                isRetryable: isRetryableInjectFailure,
+                maxRetries: CANDIDATE_INJECT_MAX_RETRIES,
+                delayMs: CANDIDATE_INJECT_DELAY_MS,
+                sleep: (ms) => sleepSliced(ms),
+                shouldAbort: () => shuttingDown,
+                onRetry: (n, delayMs, why) =>
+                  console.error(
+                    `[换号] @${next.username} 第${n}次注入失败（瞬态，${why}），${Math.round(delayMs / 1000)}s 后原号重试`,
+                  ),
+              },
+            );
+            if (r.aborted) {
+              // shuttingDown 中断：释放候选退出（租约主动还干净，服务端 TTL 兑底）
+              console.error(`[换号] @${next.username} 原号重试等待中被关闭信号中断，释放候选`);
+              await poolClient.release(next).catch(() => {});
+              return false;
+            }
+            if (r.ok && r.attempts > 1) {
+              console.error(
+                `[换号] @${next.username} 原号重试成功（第 ${r.attempts} 次尝试）`,
+              );
+            }
+            if (!r.ok) {
+              // 重试中途失败签名可能升级为浏览器级崩溃（如首败 timeout、再败 Page crashed）：
+              // 对最终原因重判，命中熔断则中止候选循环（不弃号给下一候选——坏浏览器再吃一个号），
+              // 升级为确定性号死则 fall through 到下方弃号分支换候选
+              action = decideCandidateInjectAction(r.reason, isBrowserClosedError);
+              if (action === "circuit-break") {
+                return await abortCandidateLoopOnCrash(r.reason, next, opts.fromRecovery);
+              }
+            }
+          }
+          if (!r.ok) {
+            if (r.attempts > 1) {
+              console.error(
+                `[换号] @${next.username} 原号重试 ${r.attempts - 1} 次后仍失败（共 ${r.attempts} 次尝试，${r.reason}），释放候选换下一个...`,
+              );
+            } else {
+              console.error(
+                `[换号] @${next.username} 注入验证失败（${r.reason}），释放候选换下一个...`,
+              );
+            }
+            await poolClient.release(next).catch(() => {});
+            continue;
+          }
         }
         // 新号验证通过：切换在手状态，再还旧号（谁持账号谁还）
         const prev = poolAccount;
@@ -391,6 +520,7 @@ export async function handleExplore(options) {
         poolAccountSince = Date.now();
         loggedIn = true;
         lastFollowSuccessTime = Date.now();
+        crashStreak = 0; // 注入验证成功即清零熔断轮数
         captchaCount = 0;
         blockedCount = 0;
         cdn.reset();
@@ -407,8 +537,7 @@ export async function handleExplore(options) {
         return true;
       }
       console.error(`[换号] 连续 5 个候选注入验证失败，保留现场等待下轮重试`);
-      await apiPost(`${serverUrl}/api/error-report`, {
-        userId,
+      await errorReporter.report({
         username: poolAccount ? poolAccount.username : "unknown",
         errorType: "account_switch_failed",
         errorMessage: "连续5个候选账号注入验证失败（详情见节点日志）",
@@ -420,21 +549,41 @@ export async function handleExplore(options) {
     /** 浏览器重建/重启后恢复登录态：磁盘态一致则免注入，否则用内存 cookies 补注入 */
     async function restorePoolLogin() {
       if (!poolAccount) return false;
-      const r = await ensurePoolLogin(page, poolAccount).catch((e) => ({
+      let r = await ensurePoolLogin(page, poolAccount).catch((e) => ({
         ok: false,
         reason: e.message,
       }));
+      if (!r.ok) {
+        // 导航类瞬态失败（net::ERR_* / 超时 / 崩溃）重试后再弃号，重试期间不弃号；
+        // 账号级失败（身份不符/会话过期）不重试直接走换号
+        r = await retryRestoreOnNavFailure(
+          () => ensurePoolLogin(page, poolAccount),
+          r.reason,
+          {
+            isRetryable: isRetryableRestoreFailure,
+            sleep: (ms) => sleepSliced(ms),
+            shouldAbort: () => shuttingDown,
+          },
+        );
+        if (r.aborted) return false;
+        if (!r.ok && r.attempts > 1) {
+          console.error(`[登录池] 登录态恢复重试 ${r.attempts} 次后仍失败`);
+        }
+      }
       if (r.ok) {
         loggedIn = true;
+        crashStreak = 0; // 恢复成功（含注入验证成功）即清零熔断轮数
         console.error(
           `[登录池] 登录态已恢复 @${poolAccount.username}${r.injected ? "（重新注入）" : "（磁盘态一致）"}`,
         );
         return true;
       }
       console.error(`[登录池] 登录态恢复失败（${r.reason}），转入换号流程`);
+      // 恢复链中的换号不再嵌套浏览器重启（fromRecovery）：崩溃则熔断退避，不烧池
       return await switchPoolAccount(
         `浏览器重启后无法恢复 @${poolAccount.username} 的登录态`,
         SWITCH_REASON.RECOVER_FAIL,
+        { fromRecovery: true },
       );
     }
 
@@ -450,9 +599,11 @@ export async function handleExplore(options) {
         Object.assign(page, rebuiltPage);
       } catch (e) {
         console.error(`[浏览器] 重启失败: ${e.message}，转入换号流程`);
+        // 恢复链中的换号不再嵌套浏览器重启（fromRecovery）：崩溃则熔断退避，不烧池
         return await switchPoolAccount(
           `浏览器重启失败（${e.message}）`,
           SWITCH_REASON.RECOVER_FAIL,
+          { fromRecovery: true },
         );
       }
       return await restorePoolLogin();
@@ -508,8 +659,7 @@ export async function handleExplore(options) {
               console.error(
                 `[致命] 账户切换后导航持续失败，已重启浏览器 ${rebuildCount - 1} 次仍无法恢复，上报后退出`,
               );
-              await apiPost(`${serverUrl}/api/error-report`, {
-                userId,
+              await errorReporter.report({
                 username: "account-switch",
                 errorType: "account_switch_failed",
                 errorMessage: `账户切换后导航持续失败: ${err.message}`,
@@ -570,8 +720,7 @@ export async function handleExplore(options) {
         }),
       reportError: (result, username) =>
         withRetry("report cdn-blocked", () =>
-          apiPost(`${serverUrl}/api/error-report`, {
-            userId,
+          errorReporter.report({
             username,
             errorType: "cdn_blocked",
             errorMessage: result.error || "CDN限流 (Access Denied)",
@@ -666,7 +815,7 @@ export async function handleExplore(options) {
           // 登录池模式：内存超限→同号重启浏览器；48min→换号（原地切号，不换端口）
           const memRatio = healthChecker.memoryUsage();
           const elapsedMs = Date.now() - poolAccountSince;
-          if (memRatio >= MEMORY_THRESHOLD) {
+          if (memRatio >= healthChecker.memoryThreshold) {
             await restartPoolBrowser(`系统内存 ${(memRatio * 100).toFixed(1)}% 超阈值`);
           } else if (elapsedMs >= ROTATE_INTERVAL_MS) {
             await handleAccountSwitch(
@@ -716,8 +865,7 @@ export async function handleExplore(options) {
 
           // 上报
           await withRetry("report captcha", () =>
-            apiPost(`${serverUrl}/api/error-report`, {
-              userId,
+            errorReporter.report({
               username: "unknown",
               errorType: "captcha",
               errorMessage: resolved
@@ -920,8 +1068,7 @@ export async function handleExplore(options) {
                 ? "network"
                 : "other";
             await withRetry("report error", () =>
-              apiPost(`${serverUrl}/api/error-report`, {
-                userId,
+              errorReporter.report({
                 username,
                 errorType,
                 errorMessage: result.error,
@@ -956,8 +1103,7 @@ export async function handleExplore(options) {
           console.error(`  [验证码] 累计 ${captchaCount} 次`);
 
           await withRetry("report captcha", () =>
-            apiPost(`${serverUrl}/api/error-report`, {
-              userId,
+            errorReporter.report({
               username,
               errorType: "captcha",
               errorMessage: result.captchaMessage || "页面出现验证码",