channel-worker 2.5.142 → 2.5.143

package/lib/command-poller.js

@@ -14,6 +14,13 @@ const PW_IDLE_CLOSE_MS = Number(process.env.PW_IDLE_CLOSE_MS || 5 * 60 * 1000);
 // trước mũi chủ tịch (đo thật: kenh-21, mở 11:42 → bị đóng vài phút sau).
 const HUMAN_HOLD_MS = Number(process.env.HUMAN_HOLD_MS || 15 * 60 * 1000);
 
+// Hạn chót cho CẢ lượt đọc báo cáo Shopee (nối profile + đơn + click + liên
+// kết). Lượt thật 90 ngày mất ~1 phút (26/09: 808 đơn + 9.268 click trong 54s).
+// Không có hạn thì một bước kẹt giữ lệnh `running` vô hạn: 28/09/2026 lệnh của
+// Shopee2 treo 12 tiếng, khoá nút Đồng bộ, lịch của máy và cả lượt xả daemon
+// (drain chờ `_handling` rỗng). API có bộ dọn riêng ở ngưỡng dài hơn.
+const AFF_REPORT_DEADLINE_MS = 10 * 60 * 1000;
+
 class CommandPoller {
   constructor(api, config) {
     this.api = api;
@@ -32,6 +39,7 @@ class CommandPoller {
     // pending→running NGAY lúc trả về, nên một lượt đang bay lúc daemon quyết
     // "rảnh rồi, tắt" sẽ mang về một lệnh đã bị nhận — tắt lúc đó là giết nó.
     this._pollsInFlight = 0;
+    this.affReportDeadlineMs = AFF_REPORT_DEADLINE_MS;
 
     // Init Nstbrowser if API key available
     if (config.nst_api_key) {
@@ -376,102 +384,115 @@ class CommandPoller {
   async handleFetchAffiliateReport(command) {
     const payload = command.payload || {};
     if (!(await this._ensureNst(command))) return;
-    const report = require('./shopee-report');
     const profileName = payload.profile_name
       || (await this.api.getSetting('shopee_affiliate_profile').catch(() => null))
       || 'Shopee1';
-    let conn;
-    try {
-      conn = await this._connectNstProfileByName(profileName);
-      const result = await report.fetchConversionReport(conn.context, {
-        days: payload.days || 90,
-        log: (message) => console.log(message),
-      });
-      if (result.status === 'needs_verify') {
-        await this.api.updateCommand(command._id, {
-          status: 'done',
-          result: { needs_verify: true, reason: result.reason, count: result.rows?.length || 0 },
-        });
-        return;
-      }
-      if (result.status !== 'ok') {
-        await this.api.updateCommand(command._id, {
-          status: 'failed', error: String(result.reason || 'Không đọc được báo cáo Shopee').slice(0, 500),
-        });
-        return;
-      }
 
-      const clickResult = await report.fetchClickReport(conn.context, {
-        days: payload.days || 90,
-        log: (message) => console.log(message),
-      });
-      if (clickResult.status === 'needs_verify') {
-        await this.api.updateCommand(command._id, {
-          status: 'done',
-          result: { needs_verify: true, reason: clickResult.reason, count: result.rows.length, click_count: clickResult.rows?.length || 0 },
-        });
-        return;
-      }
-      if (clickResult.status !== 'ok') {
-        await this.api.updateCommand(command._id, {
-          status: 'failed', error: String(clickResult.reason || 'Không đọc được báo cáo click Shopee').slice(0, 500),
-        });
-        return;
-      }
-
-      // Danh sách page đã liên kết với tài khoản Shopee — đi CHUNG lượt này vì
-      // nó dùng đúng phiên vừa mở, thêm một request chứ không thêm lần mở
-      // profile. LỖI MỀM: đọc hỏng thì mất phần cảnh báo liên kết, không được
-      // kéo theo cả lượt đồng bộ click/đơn (đó mới là việc chính).
-      let mediaAccounts = null;
-      let mediaError = null;
-      try {
-        const media = await report.fetchSocialMediaAccounts(conn.context, {
-          log: (message) => console.log(message),
-        });
-        if (media.status === 'ok') mediaAccounts = media.accounts;
-        else mediaError = media.reason || media.status;
-      } catch (err) {
-        mediaError = String(err.message || err).slice(0, 200);
-      }
-      if (mediaError) console.warn(`[shopee-report] không đọc được danh sách liên kết: ${mediaError}`);
-
-      const saved = await this.api.affiliateReportResult(result.rows, {
-        clicks: clickResult.rows,
-        // `null` = KHÔNG đọc được, khác hẳn `[]` = đọc được và tài khoản chưa
-        // liên kết page nào. API phải phân biệt để không xoá sạch bản ghi cũ
-        // chỉ vì một lượt đọc hỏng.
-        media_accounts: mediaAccounts,
-        last_report_date: result.last_report_date,
-        last_update_time: result.last_update_time,
-        from: result.from,
-        to: result.to,
-      });
-      await this.api.updateCommand(command._id, {
-        status: 'done',
-        result: {
-          count: result.rows.length,
-          saved: saved?.saved || 0,
-          matched: saved?.matched || 0,
-          unmatched: saved?.unmatched || 0,
-          click_count: clickResult.rows.length,
-          click_saved: saved?.click_saved || 0,
-          click_matched: saved?.click_matched || 0,
-          click_unmatched: saved?.click_unmatched || 0,
-          media_accounts: mediaAccounts ? mediaAccounts.length : null,
-          media_error: mediaError || undefined,
-          last_report_date: result.last_report_date,
-        },
-      });
-      console.log(`[shopee-report] đã lưu ${saved?.saved || 0}/${result.rows.length} đơn, ${saved?.click_saved || 0}/${clickResult.rows.length} click`);
+    // Việc thật chạy trong `work`, chạy đua với hạn chót. Hết hạn thì chốt
+    // `failed` ngay và cắt kết nối CDP (evaluate đang chờ sẽ văng ra); kết nối
+    // nào về SAU lúc đó cũng bị nhả luôn, không để rơi.
+    let conn = null;
+    let abandoned = false;
+    const work = (async () => {
+      const c = await this._connectNstProfileByName(profileName);
+      if (abandoned) { c.disconnect(); return null; }
+      conn = c;
+      return this._readAffiliateReport(c.context, payload);
+    })();
+    let timer;
+    const deadline = new Promise((_, reject) => {
+      timer = setTimeout(() => reject(new Error(
+        `quá ${Math.round(this.affReportDeadlineMs / 60000)} phút chưa đọc xong báo cáo Shopee [${profileName}] — huỷ lượt này`,
+      )), this.affReportDeadlineMs);
+    });
+    try {
+      const patch = await Promise.race([work, deadline]);
+      await this.api.updateCommand(command._id, patch);
     } catch (err) {
       console.error(`[shopee-report] đồng bộ thất bại: ${err.message}`);
       await this.api.updateCommand(command._id, { status: 'failed', error: String(err.message || err).slice(0, 500) });
     } finally {
+      clearTimeout(timer);
+      abandoned = true;
       if (conn) conn.disconnect();
     }
   }
 
+  // Đọc đơn + click + liên kết trên một phiên đã nối, trả về bản vá cho lệnh.
+  async _readAffiliateReport(context, payload) {
+    const report = require('./shopee-report');
+    const result = await report.fetchConversionReport(context, {
+      days: payload.days || 90,
+      log: (message) => console.log(message),
+    });
+    if (result.status === 'needs_verify') {
+      return { status: 'done', result: { needs_verify: true, reason: result.reason, count: result.rows?.length || 0 } };
+    }
+    if (result.status !== 'ok') {
+      return { status: 'failed', error: String(result.reason || 'Không đọc được báo cáo Shopee').slice(0, 500) };
+    }
+
+    const clickResult = await report.fetchClickReport(context, {
+      days: payload.days || 90,
+      log: (message) => console.log(message),
+    });
+    if (clickResult.status === 'needs_verify') {
+      return {
+        status: 'done',
+        result: { needs_verify: true, reason: clickResult.reason, count: result.rows.length, click_count: clickResult.rows?.length || 0 },
+      };
+    }
+    if (clickResult.status !== 'ok') {
+      return { status: 'failed', error: String(clickResult.reason || 'Không đọc được báo cáo click Shopee').slice(0, 500) };
+    }
+
+    // Danh sách page đã liên kết với tài khoản Shopee — đi CHUNG lượt này vì
+    // nó dùng đúng phiên vừa mở, thêm một request chứ không thêm lần mở
+    // profile. LỖI MỀM: đọc hỏng thì mất phần cảnh báo liên kết, không được
+    // kéo theo cả lượt đồng bộ click/đơn (đó mới là việc chính).
+    let mediaAccounts = null;
+    let mediaError = null;
+    try {
+      const media = await report.fetchSocialMediaAccounts(context, {
+        log: (message) => console.log(message),
+      });
+      if (media.status === 'ok') mediaAccounts = media.accounts;
+      else mediaError = media.reason || media.status;
+    } catch (err) {
+      mediaError = String(err.message || err).slice(0, 200);
+    }
+    if (mediaError) console.warn(`[shopee-report] không đọc được danh sách liên kết: ${mediaError}`);
+
+    const saved = await this.api.affiliateReportResult(result.rows, {
+      clicks: clickResult.rows,
+      // `null` = KHÔNG đọc được, khác hẳn `[]` = đọc được và tài khoản chưa
+      // liên kết page nào. API phải phân biệt để không xoá sạch bản ghi cũ
+      // chỉ vì một lượt đọc hỏng.
+      media_accounts: mediaAccounts,
+      last_report_date: result.last_report_date,
+      last_update_time: result.last_update_time,
+      from: result.from,
+      to: result.to,
+    });
+    console.log(`[shopee-report] đã lưu ${saved?.saved || 0}/${result.rows.length} đơn, ${saved?.click_saved || 0}/${clickResult.rows.length} click`);
+    return {
+      status: 'done',
+      result: {
+        count: result.rows.length,
+        saved: saved?.saved || 0,
+        matched: saved?.matched || 0,
+        unmatched: saved?.unmatched || 0,
+        click_count: clickResult.rows.length,
+        click_saved: saved?.click_saved || 0,
+        click_matched: saved?.click_matched || 0,
+        click_unmatched: saved?.click_unmatched || 0,
+        media_accounts: mediaAccounts ? mediaAccounts.length : null,
+        media_error: mediaError || undefined,
+        last_report_date: result.last_report_date,
+      },
+    };
+  }
+
   async handlePlaywrightCommand(command) {
     const { runPlaywrightScript } = require('./playwright-runner');
     const payload = command.payload || {};

package/lib/shopee-report.js

@@ -2,6 +2,30 @@ const { findAffiliatePage, isBlockedState, isAntiBotBody, ANTI_BOT_REASON } = re
 
 const sleep = (ms) => new Promise((resolve) => setTimeout(resolve, ms));
 
+// Một lượt evaluate phải có hạn. Playwright không có timeout cho evaluate, và
+// fetch chạy trong trang chống bot của Shopee có thể không bao giờ về: 28/09/2026
+// (Shopee2, relabs03) một lượt nằm im 12 tiếng, chỉ nhả khi người gỡ captcha
+// làm trang chuyển hướng — suốt lúc đó lệnh `running` khoá nút Đồng bộ và lịch
+// của máy. Hết hạn thì trả `{ status: 0, timedOut }` để bên gọi xử như một
+// lượt hỏng; trang lúc đó đã sang captcha thì isBlockedState đọc ra needs_verify.
+const EVAL_TIMEOUT_MS = 60000;
+
+async function evaluateWithin(page, fn, arg, ms = EVAL_TIMEOUT_MS) {
+  let timer;
+  const expired = new Promise((resolve) => {
+    timer = setTimeout(() => resolve({
+      status: 0,
+      timedOut: true,
+      error: `Shopee không trả lời sau ${Math.round(ms / 1000)} giây (trang ${page.url()})`,
+    }), ms);
+  });
+  try {
+    return await Promise.race([page.evaluate(fn, arg), expired]);
+  } finally {
+    clearTimeout(timer);
+  }
+}
+
 function reportWindow(days = 90, nowMs = Date.now()) {
   const safeDays = Math.min(180, Math.max(1, Number(days || 90)));
   const vnNow = new Date(nowMs + 7 * 3600e3);
@@ -17,6 +41,7 @@ async function fetchConversionReport(ctx, {
   maxPages = 200,
   delayMs = 750,
   timeoutMs = 60000,
+  evalTimeoutMs = EVAL_TIMEOUT_MS,
   log = null,
 } = {}) {
   let page = findAffiliatePage(ctx.pages());
@@ -43,7 +68,7 @@ async function fetchConversionReport(ctx, {
     let lastReportDate = null;
     let lastUpdateTime = null;
 
-    const updated = await page.evaluate(async () => {
+    const updated = await evaluateWithin(page, async () => {
       try {
         const r = await fetch('/api/v3/gql?q=conversionReportUpdateTime', {
           method: 'POST', credentials: 'include',
@@ -56,12 +81,17 @@ async function fetchConversionReport(ctx, {
         });
         return await r.json().catch(() => null);
       } catch { return null; }
-    });
+    }, undefined, evalTimeoutMs);
+    if (updated?.timedOut) {
+      return isBlockedState(page.url(), null)
+        ? { status: 'needs_verify', rows: [], reason: 'session at captcha/login — re-verify via VNC' }
+        : { status: 'failed', rows: [], reason: updated.error };
+    }
     lastReportDate = updated?.data?.conversionReportUpdateTime?.lastReportDate || null;
     lastUpdateTime = updated?.data?.conversionReportUpdateTime?.lastUpdateTime || null;
 
     for (let pageNum = 1; pageNum <= maxPages; pageNum++) {
-      const result = await page.evaluate(async (q) => {
+      const result = await evaluateWithin(page, async (q) => {
         const url = `/api/v3/report/list?page_size=${q.pageSize}&page_num=${q.pageNum}`
           + `&purchase_time_s=${q.start}&purchase_time_e=${q.end}&version=1`;
         try {
@@ -70,7 +100,7 @@ async function fetchConversionReport(ctx, {
         } catch (e) {
           return { status: 0, error: String(e?.message || e) };
         }
-      }, { pageSize, pageNum, start: window.start, end: window.end });
+      }, { pageSize, pageNum, start: window.start, end: window.end }, evalTimeoutMs);
 
       if (isAntiBotBody(result.json)) {
         return { status: 'needs_verify', rows, reason: ANTI_BOT_REASON };
@@ -113,6 +143,7 @@ async function fetchClickReport(ctx, {
   maxPages = 200,
   delayMs = 250,
   timeoutMs = 60000,
+  evalTimeoutMs = EVAL_TIMEOUT_MS,
   log = null,
 } = {}) {
   let page = findAffiliatePage(ctx.pages());
@@ -138,7 +169,7 @@ async function fetchClickReport(ctx, {
     let total = null;
 
     for (let pageNum = 1; pageNum <= maxPages; pageNum++) {
-      const result = await page.evaluate(async (q) => {
+      const result = await evaluateWithin(page, async (q) => {
         const url = `/api/v1/click_report/list?page_size=${q.pageSize}&page_num=${q.pageNum}`
           + `&click_time_s=${q.start}&click_time_e=${q.end}`;
         try {
@@ -147,7 +178,7 @@ async function fetchClickReport(ctx, {
         } catch (e) {
           return { status: 0, error: String(e?.message || e) };
         }
-      }, { pageSize, pageNum, start: window.start, end: window.end });
+      }, { pageSize, pageNum, start: window.start, end: window.end }, evalTimeoutMs);
 
       if (isAntiBotBody(result.json)) {
         return { status: 'needs_verify', rows, reason: ANTI_BOT_REASON };
@@ -206,7 +237,7 @@ async function fetchClickReport(ctx, {
 // khác giữ nguyên số để sau này đọc lại, không đoán tên).
 const SM_PLATFORM = { 6: 'facebook', 3: 'tiktok' };
 
-async function fetchSocialMediaAccounts(ctx, { timeoutMs = 45000, log = null } = {}) {
+async function fetchSocialMediaAccounts(ctx, { timeoutMs = 45000, evalTimeoutMs = EVAL_TIMEOUT_MS, log = null } = {}) {
   let page = findAffiliatePage(ctx.pages());
   let opened = false;
   if (!page) {
@@ -225,14 +256,14 @@ async function fetchSocialMediaAccounts(ctx, { timeoutMs = 45000, log = null } =
       return { status: 'needs_verify', accounts: [], reason: 'session at captcha/login — re-verify via VNC' };
     }
 
-    const result = await page.evaluate(async () => {
+    const result = await evaluateWithin(page, async () => {
       try {
         const r = await fetch('/api/v3/affiliates/social_media_accounts', { credentials: 'include' });
         return { status: r.status, json: await r.json().catch(() => null) };
       } catch (e) {
         return { status: 0, error: String(e?.message || e) };
       }
-    });
+    }, undefined, evalTimeoutMs);
 
     if (isAntiBotBody(result.json)) {
       return { status: 'needs_verify', accounts: [], reason: ANTI_BOT_REASON };
@@ -266,4 +297,4 @@ async function fetchSocialMediaAccounts(ctx, { timeoutMs = 45000, log = null } =
   }
 }
 
-module.exports = { fetchConversionReport, fetchClickReport, fetchSocialMediaAccounts, reportWindow, SM_PLATFORM };
+module.exports = { fetchConversionReport, fetchClickReport, fetchSocialMediaAccounts, reportWindow, evaluateWithin, SM_PLATFORM };

package/lib/shopee-scraper.js

@@ -178,7 +178,12 @@ function isBlockedState(pageUrl, res) {
   try { u = new URL(pageUrl || ''); } catch { return false; }
   // CHỈ xét path + query của CHÍNH trang này. Regex quét cả chuỗi URL đọc nhầm
   // tham số `next=` của trang khác — xem ghi chú ở findAffiliatePage.
-  if (/^\/(verify\/captcha|buyer\/login)/.test(u.pathname)) return true;
+  //
+  // MỌI trang /verify/*, không riêng captcha: Shopee đẩy qua `verify/traffic`
+  // trước rồi mới tới `verify/captcha`. 28/09/2026 (Shopee2) lượt đọc báo cáo
+  // gặp đúng trang traffic, không nhận ra, chạy fetch trên trang chống bot và
+  // treo 12 tiếng tới khi người gỡ captcha.
+  if (/^\/(verify\/|buyer\/login)/.test(u.pathname)) return true;
   if (u.searchParams.has('is_from_login')) return true;
   return false;
 }

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "channel-worker",
-  "version": "2.5.142",
+  "version": "2.5.143",
   "description": "Channel Manager worker daemon — runs on remote machines to execute video pipeline jobs",
   "main": "lib/daemon.js",
   "bin": {