tt-help-cli-ycl 1.4.147 → 1.4.149

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "tt-help-cli-ycl",
-  "version": "1.4.147",
+  "version": "1.4.149",
   "description": "TikTok user & video data scraper - extract ttSeller, verified, locationCreated from HTML source",
   "type": "module",
   "bin": {

package/scripts/test-country-fix.mjs

@@ -16,6 +16,7 @@
  *      - 多国配置且已生效时，幂等不重复下发
  *   B. daemon 逗号分隔多国 --country 参数解析
  *   C. checker normalizeCountries / filterNodesByCountry 回归
+ *      + 内置策略/机场信息节点过滤（isUsableProxyNode，2026-09-03 剩余流量 GB 修复）
  *   D. 客户端 daemon 启动兜底：读 clash-health.json 上次生效国家 → join(",")
  */
 
@@ -239,6 +240,66 @@ ok(
 fr = checker.filterNodesByCountry(nodes, null);
 ok(fr.filtered.length === 4 && fr.excluded === 0, "C8 null 不过滤");
 
+// ── C9-C14 信息节点/内置策略过滤（2026-09-03：剩余流量 GB 混入候选集修复） ──
+fr = checker.filterNodesByCountry(["剩余流量：5319.72 GB"], ["US", "GB", "JP"]);
+ok(
+  fr.filtered.length === 0,
+  "C9 GB 模式不再命中流量单位（剩余流量：xxx GB）",
+  JSON.stringify(fr),
+);
+fr = checker.filterNodesByCountry(
+  ["🇬🇧英国HY1-1000M专线", "🇬🇧英国trojan1", "UK Premium"],
+  ["GB"],
+);
+ok(
+  fr.filtered.length === 3,
+  "C10 英国节点仍正常命中（英国/UK）",
+  JSON.stringify(fr),
+);
+const junkNodes = [
+  "DIRECT",
+  "REJECT",
+  "REJECT-DROP",
+  "GLOBAL",
+  "剩余流量：5319.72 GB",
+  "剩余流量：1862.27 MB",
+  "官网：example.com",
+  "套餐到期：2099-12-31",
+  "1.5TB",
+];
+ok(
+  junkNodes.every((n) => !checker.isUsableProxyNode(n)),
+  "C11 内置策略+信息节点全部被 isUsableProxyNode 拒绝",
+  JSON.stringify(junkNodes.filter((n) => checker.isUsableProxyNode(n))),
+);
+const goodNodes = [
+  "🇺🇸美国HY1轻量",
+  "🇬🇧英国HY1-1000M专线",
+  "🇯🇵日本Trojan1",
+  "🇹🇼台湾trojan直连AI",
+];
+ok(
+  goodNodes.every((n) => checker.isUsableProxyNode(n)),
+  "C12 正常业务节点全部通过 isUsableProxyNode",
+  JSON.stringify(goodNodes.filter((n) => !checker.isUsableProxyNode(n))),
+);
+// 读口兜底：已持久化的脏候选文件在读取时被过滤
+writeFileSync(
+  join(tmpdir(), "clash-healthy-nodes.json"),
+  JSON.stringify({
+    updated: new Date().toISOString(),
+    nodes: ["🇺🇸美国A", "剩余流量：5319.72 GB", "DIRECT", "🇯🇵日本A"],
+    delays: {},
+  }),
+);
+const hl = checker.loadHealthyList();
+ok(
+  hl.nodes.length === 2 &&
+    !hl.nodes.some((n) => checker.isUsableProxyNode(n) === false),
+  "C13 loadHealthyList 读口剔除已持久化的脏候选",
+  JSON.stringify(hl.nodes),
+);
+
 console.log("\n═══ D. 客户端 daemon 启动兜底（读上次生效国家）═══");
 const { getClashHealth } = await import("../src/watchdog/reporter.js");
 const healthPath = join(tmpdir(), "clash-health.json");

package/src/clash/checker.js

@@ -45,7 +45,10 @@ const CLASH_PROCESS_NAMES = ["verge-mihomo", "69cloud-core"];
 // 拉丁代码用词边界防误匹配（如 \bUS\b 不匹配 PLUS）
 const COUNTRY_PATTERNS = {
   US: /(?:[🇺🇸]\s*)?(美国|USA|United\s*States|\bUS\b)/i,
-  GB: /(?:[🇬🇧]\s*)?(英国|UK|United\s*Kingdom|\bGB\b)/i,
+  // GB 代码已移除（2026-09-03）：机场信息节点"剩余流量：xxx GB"的流量单位会被
+  // \bGB\b 误判为英国节点，导致其通过国家过滤混入 delay 初测候选集
+  // （生产实锤：12 台机器候选集混入、D-1/D-7 切上去驻留）。英国节点靠 英国/UK/🇬🇧 命中。
+  GB: /(?:[🇬🇧]\s*)?(英国|UK|United\s*Kingdom)/i,
   DE: /(?:[🇩🇪]\s*)?(德国|Germany|\bDE\b)/i,
   FR: /(?:[🇫🇷]\s*)?(法国|France|\bFR\b)/i,
   JP: /(?:[🇯🇵]\s*)?(日本|Japan|\bJP\b)/i,
@@ -327,6 +330,37 @@ export function getSupportedCountries() {
   return Object.keys(COUNTRY_PATTERNS);
 }
 
+// ══════════════════════════════════════════════
+// 4.0 内置策略 / 机场信息节点过滤
+// ══════════════════════════════════════════════
+
+// mihomo GLOBAL 组的 all 列表包含内置策略；这类节点不可用作业务出口
+const BUILTIN_POLICY_NAMES = new Set([
+  "DIRECT",
+  "REJECT",
+  "REJECT-DROP",
+  "PASS",
+  "COMPATIBLE",
+  "GLOBAL",
+]);
+
+// 机场订阅普遍带"剩余流量/到期/官网"等信息节点；部分实际可翻墙，会被 delay
+// 初测选入候选集并被巡检/failover 轮换切上去驻留（2026-09-03 生产实锤）
+const INFO_NODE_PATTERN =
+  /剩余|流量|到期|过期|官网|重置|套餐|订阅|工单|[\d.]\s*[KMGTP]B$/i;
+
+/**
+ * 判定节点名是否可用作业务出口（内置策略与机场信息节点返回 false）
+ * 在候选集写口（runDelayProbe）与读口（loadHealthyList）统一调用
+ */
+export function isUsableProxyNode(name) {
+  const n = String(name || "").trim();
+  if (!n) return false;
+  if (BUILTIN_POLICY_NAMES.has(n.toUpperCase())) return false;
+  if (INFO_NODE_PATTERN.test(n)) return false;
+  return true;
+}
+
 // ══════════════════════════════════════════════
 // 4.5 delay 初测（零切换，生成候选集）
 // ══════════════════════════════════════════════
@@ -355,6 +389,8 @@ export async function runDelayProbe({
     console.error(`[checker] 获取 GLOBAL 节点列表失败: ${e.message}`);
     return { nodes: [], total: 0, results: [] };
   }
+  // 先剔除内置策略与机场信息节点（不可用作业务出口），再走国家过滤
+  all = all.filter(isUsableProxyNode);
   const { filtered, excluded } = filterNodesByCountry(all, filter);
   const total = all.length;
 
@@ -402,7 +438,11 @@ export function loadHealthyList(country = null) {
   try {
     if (!existsSync(_healthyFile)) return _emptyList();
     const d = JSON.parse(readFileSync(_healthyFile, "utf-8"));
-    const allNodes = Array.isArray(d.nodes) ? d.nodes : [];
+    // 读口兜底：剔除内置策略/信息节点。覆盖"修复前已写入文件的脏候选"——
+    // 写口过滤后文件会在下轮 delay 初测自愈，这里保证修复生效前也不切错。
+    const allNodes = (Array.isArray(d.nodes) ? d.nodes : []).filter(
+      isUsableProxyNode,
+    );
     const allDelays = d.delays && typeof d.delays === "object" ? d.delays : {};
     const filter = country || CONFIG.nodeCountryFilter;
     const { filtered, excluded } = filterNodesByCountry(allNodes, filter);

package/src/cli/attach.js

@@ -143,12 +143,17 @@ export async function handleAttach(options) {
 
   if (webserverUrl) {
     attachLog(`[Attach] webserver 模式: ${webserverUrl}`);
+    // webserver 端共享 scraper（poolSize 默认 8，每 slot 串行），当 -p 并发数大于
+    // poolSize 时，请求会在 webserver 内排队，端到端耗时可达数分钟（实测 270~310s）。
+    // 30s 超时太短会让整批任务被误判失败（aborted due to timeout），故放宽到 10 分钟
+    // 作为兜底——webserver 进程若真的挂了，连接会立即断开报错，不会真的空等 10 分钟。
+    const WEBSERVER_FETCH_TIMEOUT_MS = 600000;
     getUserInfo = async (uniqueId) => {
       const res = await fetch(`${webserverUrl}/api/tiktok/user`, {
         method: "POST",
         headers: { "Content-Type": "application/json" },
         body: JSON.stringify({ uniqueId }),
-        signal: AbortSignal.timeout(30000),
+        signal: AbortSignal.timeout(WEBSERVER_FETCH_TIMEOUT_MS),
       });
       let data = null;
       try {

package/src/cli/product-fill.js

@@ -342,29 +342,68 @@ export async function handleProductFill(options) {
   };
 
   /** CDP 直抓：验证码在已登录浏览器中弹出时，等待人工解决后自动重试 */
-  const fetchViaCDP = async (seoUrl) => {
+  const fetchViaCDP = async (seoUrl, uniqueId) => {
     try {
       return await getProductInfoCDP(page, seoUrl);
     } catch (e) {
       if (!e.message?.includes("Blocked by TikTok")) throw e;
-      // 验证码：优先检测可见容器并等待人工解决（浏览器就在本机屏幕上）
-      const cap = await detectCaptcha(page);
-      if (cap?.exists) {
-        log("  ⏳ 检测到验证码，请在已登录的浏览器窗口中手动解决...");
+      // 撞码即向服务端报一次（errorType: captcha），之后无论人工解决、
+      // 自动放行还是超时冷却，本任务流程不再重复上报
+      await apiPost(`${serverUrl}/api/error-report`, {
+        userId,
+        username: uniqueId,
+        errorType: "captcha",
+        errorMessage: e.message,
+        stage: "product-fill",
+      }).catch(() => {});
+      // 验证码拦截统一等待（上限 3 分钟）：容器可能稍后才渲染（HTML 已含
+      // 标记、DOM 未挂载），也可能全程不出现（风控软拦/结构变化）。
+      // 轮询期间容器出现 → 交人工解决；容器未出现但页面恢复出商品数据 →
+      // 直接重试；到点仍拦截 → 抛 captcha 错误走 30s 冷却
+      log(
+        `  ⏳ 验证码拦截，等待处理（上限 ${CDP_CAPTCHA_WAIT_MS / 1000}s，可在浏览器中人工解决）...`,
+      );
+      const deadline = Date.now() + CDP_CAPTCHA_WAIT_MS;
+      let cap = await detectCaptcha(page);
+      while (!cap && Date.now() < deadline) {
+        await new Promise((r) => setTimeout(r, 5000));
+        cap = await detectCaptcha(page);
+        if (!cap) {
+          // 容器始终没出现：探测页面是否已自动放行
+          const html = await page.content().catch(() => "");
+          if (
+            html.includes('"product_model"') ||
+            html.includes('"review_ratings"')
+          ) {
+            log("  ✓ 拦截已自动解除，重新抓取...");
+            return getProductInfoCDP(page, seoUrl);
+          }
+        }
+      }
+      if (cap) {
+        log("  ⏳ 请在已登录的浏览器窗口中手动解决验证码...");
         const r = await waitAndGetCaptcha(page, {
-          waitMs: CDP_CAPTCHA_WAIT_MS,
+          waitMs: Math.max(0, deadline - Date.now()),
           pollInterval: 5000,
           log,
         });
         if (r.resolved) {
           log("  ✓ 验证码已解决，重新抓取...");
-          return getProductInfoCDP(page, seoUrl);
+          try {
+            return await getProductInfoCDP(page, seoUrl);
+          } catch (retryErr) {
+            // 重试又撞码：仍标记 captcha 走冷却，避免误计 noteFail 哨兵
+            if (retryErr.message?.includes("Blocked by TikTok")) {
+              retryErr.captcha = true;
+            }
+            throw retryErr;
+          }
         }
       }
       const err = new Error(
-        cap?.exists
+        cap
           ? "验证码等待人工解决超时"
-          : "验证码拦截（无可见验证码容器）",
+          : "验证码拦截（3 分钟内未出现容器且未自动解除）",
       );
       err.captcha = true;
       throw err;
@@ -372,10 +411,10 @@ export async function handleProductFill(options) {
   };
 
   /** 抓取商品详情，带浏览器断连恢复与空数据防御 */
-  const getTaskDetail = async (seoUrl, country) => {
+  const getTaskDetail = async (seoUrl, country, uniqueId) => {
     let detail;
     try {
-      detail = await fetchViaCDP(seoUrl);
+      detail = await fetchViaCDP(seoUrl, uniqueId);
     } catch (e) {
       if (isBrowserDisconnected(browser, e)) {
         // 确凿断连（CDP 断开 / 明确关闭消息）才重启浏览器
@@ -399,7 +438,7 @@ export async function handleProductFill(options) {
           err.retryable = true;
           throw err;
         }
-        detail = await fetchViaCDP(seoUrl);
+        detail = await fetchViaCDP(seoUrl, uniqueId);
       } else if (isNetworkError(e)) {
         // 网络层错误：代理断连/Clash 切节点，浏览器没死，不杀浏览器，
         // 记为可重试错误跳过本轮，下轮代理探测自然跟上
@@ -492,7 +531,7 @@ export async function handleProductFill(options) {
         }
         log(`  → 补商品 @${uniqueId} ...`);
         try {
-          const detail = await getTaskDetail(seoUrl, profile.country);
+          const detail = await getTaskDetail(seoUrl, profile.country, uniqueId);
           const post = await apiPost(
             `${serverUrl}/api/product-fill/${encodeURIComponent(uniqueId)}`,
             { productDetail: detail },
@@ -518,6 +557,9 @@ export async function handleProductFill(options) {
             log(
               `  ⏳ @${uniqueId} 验证码拦截，冷却 ${CAPTCHA_BACKOFF_MS / 1000} 秒`,
             );
+            // 验证码是全局风控：立即终止本批次剩余任务，避免批次内
+            // 继续 goto 顶着风控连刷；30s 冷却在 while 顶部领取前生效
+            break;
           } else if (e.delisted) {
             // 壳页/下架：seller_id 为空且无销售数据 → 立即哨兵放弃
             batchSkipped++;

package/src/lib/api-client.js

@@ -74,9 +74,19 @@ export function createApiClient(opts = {}) {
           clientId,
           meta,
         );
-        // error-report 自动带上本机 hostname，供看门狗按机器关联异常
+        // error-report 自动带上本机 hostname，供看门狗按机器关联异常。
+        // ⚠️ header 值必须是 ASCII(ByteString)：中文主机名(如"霞霞笔记本")会让
+        // undici fetch 在校验 header 时抛 "Cannot convert argument to a ByteString
+        // ... value of XXXX which is greater than 255"，请求根本没发出去且被
+        // withRetry 无限重试刷屏。因此：
+        //   - header 放净化后的 ASCII 值（仅保证请求能发出）
+        //   - 原始 hostname 塞进 body（JSON 为 UTF-8，无 ByteString 限制），
+        //     服务端 body.hostname 优先，看门狗仍能按原始主机名关联本机异常
         if (/\/api\/error-report(\?|$)/.test(String(url))) {
-          headers["X-Client-Hostname"] = os.hostname();
+          headers["X-Client-Hostname"] = os
+            .hostname()
+            .replace(/[^\x20-\x7e]/g, "_");
+          body = { ...body, hostname: os.hostname() };
         }
         const res = await fetch(url, {
           method: "POST",

package/src/watch/db-schema.js

@@ -103,6 +103,9 @@ export function initDb(filePath) {
   db = new Database(dbPath);
   db.pragma("journal_mode = WAL");
   db.pragma("busy_timeout = 5000");
+  // 调大 SQLite 页缓存：主库 7.3GB，task_queue 等热表的回表若走磁盘 I/O 会非常慢
+  // （实测同规模数据 16MB 缓存 1.5s → 256MB 1.1s）。512MB 足以让 task_queue 全量驻留内存。
+  db.pragma("cache_size = -524288");
 
   // ===== users 表 =====
   db.exec(`
@@ -423,10 +426,11 @@ export function initDb(filePath) {
     `CREATE INDEX IF NOT EXISTS idx_jobs_list_done ON jobs(pinned, processed_at, follower_count, unique_id) WHERE status = 'done'`,
     `CREATE INDEX IF NOT EXISTS idx_jobs_list_error ON jobs(pinned, processed_at, follower_count, unique_id) WHERE status = 'error'`,
     `CREATE INDEX IF NOT EXISTS idx_jobs_list_restricted ON jobs(pinned, processed_at, follower_count, unique_id) WHERE status = 'restricted'`,
-    // jobs_done 冷归档表索引（done 列表 / 国家统计 / 重检）
+    // jobs_done 冷归档表索引（done 列表 / 国家统计 / 重检 / no_video 计数）
     `CREATE INDEX IF NOT EXISTS idx_jobs_done_list ON jobs_done(pinned, processed_at, follower_count, unique_id) WHERE status = 'done'`,
     `CREATE INDEX IF NOT EXISTS idx_jobs_done_loc ON jobs_done(location_created)`,
     `CREATE INDEX IF NOT EXISTS idx_jobs_done_status_updated ON jobs_done(status, updated_at) WHERE status = 'done' AND (tt_seller IS NULL OR tt_seller != 1)`,
+    `CREATE INDEX IF NOT EXISTS idx_jobs_done_novideo ON jobs_done(no_video) WHERE no_video = 1`,
   ];
   for (const sql of indexes) {
     db.exec(sql);

package/src/watch/public/app.js

@@ -5286,21 +5286,20 @@ function renderCmdRows(myCmds, userId, procs, isOnline, llmAnalysis, clientId) {
         styled(
           "span",
           "display:flex;gap:2px",
-          (isOnline
-            ? tag(
-                "button",
-                {
-                  onclick:
-                    "wdToggleClientCmd('" + esc(userId) + "'," + idx + ")",
-                  style:
-                    "padding:1px 5px;font-size:11px;background:" +
-                    (c.enabled ? "#f59e0b" : "#4ade80") +
-                    ";color:#000;border:none;border-radius:2px;cursor:pointer",
-                  title: c.enabled ? "停止" : "启动",
-                },
-                c.enabled ? "⏹" : "▶",
-              )
-            : "") +
+          tag(
+            "button",
+            {
+              onclick: "wdToggleClientCmd('" + esc(userId) + "'," + idx + ")",
+              style:
+                "padding:1px 5px;font-size:11px;background:" +
+                (c.enabled ? "#f59e0b" : "#4ade80") +
+                ";color:#000;border:none;border-radius:2px;cursor:pointer",
+              title:
+                (c.enabled ? "停止" : "启动") +
+                (isOnline ? "" : "（设备离线，上线后生效）"),
+            },
+            c.enabled ? "⏹" : "▶",
+          ) +
             tag(
               "button",
               {

package/src/watch/server.js

@@ -104,14 +104,16 @@ const STAT_GROUPS = {
             SUM(CASE WHEN no_video = 1 THEN 1 ELSE 0 END) as noVideo
           FROM jobs
           UNION ALL
+          -- jobs_done 冷归档表：全部是 done 且只增不改。改用覆盖索引/部分索引计数，
+          -- 避免对 147 万行全表回表（原 SUM(CASE WHEN no_video=1) 无法匹配索引）
           SELECT
-            COUNT(*) as jobsTotal,
-            COUNT(*) as done,
+            c.cnt as jobsTotal,
+            c.cnt as done,
             0 as error,
             0 as restricted,
             0 as targetUsers,
-            SUM(CASE WHEN no_video = 1 THEN 1 ELSE 0 END) as noVideo
-          FROM jobs_done
+            (SELECT COUNT(*) FROM jobs_done WHERE no_video = 1) as noVideo
+          FROM (SELECT COUNT(*) as cnt FROM jobs_done) c
         )`,
       },
       {
@@ -389,8 +391,15 @@ function computeStatsIncremental(st) {
   };
 }
 
-// 快项失效：任务领取/提交后调用，下一次 /api/stats 请求即触发 fast 组后台刷新
+// 快项失效：任务领取/提交后调用，下一次 /api/stats 请求即触发 fast 组后台刷新。
+// 节流：53 个采集进程高频领/交任务，若每次都失效会导致 fast 组几乎每 10s 全量重算，
+// 把失效限制为至少间隔 FAST_DIRTY_MIN_INTERVAL，重算节奏由 fast TTL(30s) 主导。
+let lastFastDirtyTime = 0;
+const FAST_DIRTY_MIN_INTERVAL = 30 * 1000;
 function markFastStatsDirty() {
+  const now = Date.now();
+  if (now - lastFastDirtyTime < FAST_DIRTY_MIN_INTERVAL) return;
+  lastFastDirtyTime = now;
   groupState.fast.cacheTime = 0;
 }
 
@@ -579,6 +588,7 @@ export function startWatchServer(
         "CREATE INDEX IF NOT EXISTS idx_task_queue_status ON task_queue(status)",
         "CREATE INDEX IF NOT EXISTS idx_jobs_done_list ON jobs_done(pinned, processed_at, follower_count, unique_id) WHERE status = 'done'",
         "CREATE INDEX IF NOT EXISTS idx_jobs_done_loc ON jobs_done(location_created)",
+        "CREATE INDEX IF NOT EXISTS idx_jobs_done_novideo ON jobs_done(no_video) WHERE no_video = 1",
         "CREATE INDEX IF NOT EXISTS idx_videos_user_update ON videos(user_update_count)",
         // product-fill 领任务查询的部分索引：只索引候选行，避免全表扫描 164 万行
         "CREATE INDEX IF NOT EXISTS idx_jobs_product_fill ON jobs(claimed_at, updated_at) WHERE top_video_seo_url IS NOT NULL AND top_video_seo_url != '' AND (product_name IS NULL OR product_name = '') AND product_rating IS NULL AND product_sold_count IS NULL",