channel-worker 2.5.142 → 2.5.144

package/lib/command-poller.js

@@ -14,6 +14,20 @@ const PW_IDLE_CLOSE_MS = Number(process.env.PW_IDLE_CLOSE_MS || 5 * 60 * 1000);
 // trước mũi chủ tịch (đo thật: kenh-21, mở 11:42 → bị đóng vài phút sau).
 const HUMAN_HOLD_MS = Number(process.env.HUMAN_HOLD_MS || 15 * 60 * 1000);
 
+// Hạn chót cho CẢ một lệnh Shopee (nối profile + mọi lượt gọi của lệnh). Không
+// có hạn thì một bước kẹt giữ lệnh `running` vô hạn: 28/09/2026 lượt đọc báo
+// cáo của Shopee2 treo 12 tiếng, khoá nút Đồng bộ, lịch của máy và cả lượt xả
+// daemon (drain chờ `_handling` rỗng). Bốn loại dùng CHUNG một phiên và chung
+// kiểu gọi nên chung một cửa treo. Số đo lượt thật: báo cáo 90 ngày ~1 phút
+// (26/09: 808 đơn + 9.268 click trong 54s); lấy link 3-4 giây; quét từ khoá
+// ~10-16 giây. API có bộ dọn riêng ở ngưỡng dài hơn giá trị lớn nhất ở đây.
+const SHOPEE_DEADLINE_MS = {
+  fetch_affiliate_report: 10 * 60 * 1000,
+  scrape_affiliate_products: 10 * 60 * 1000,
+  get_affiliate_link: 3 * 60 * 1000,
+  ingest_shopee_product: 3 * 60 * 1000,
+};
+
 class CommandPoller {
   constructor(api, config) {
     this.api = api;
@@ -32,6 +46,7 @@ class CommandPoller {
     // pending→running NGAY lúc trả về, nên một lượt đang bay lúc daemon quyết
     // "rảnh rồi, tắt" sẽ mang về một lệnh đã bị nhận — tắt lúc đó là giết nó.
     this._pollsInFlight = 0;
+    this.shopeeDeadlineMs = { ...SHOPEE_DEADLINE_MS };
 
     // Init Nstbrowser if API key available
     if (config.nst_api_key) {
@@ -230,65 +245,102 @@ class CommandPoller {
   }
 
   // Flow 1 — quét affiliate offer list (sort theo hoa hồng) → upsert vào kho.
-  async handleScrapeAffiliateProducts(command) {
-    const payload = command.payload || {};
-    if (!(await this._ensureNst(command))) return;
-    const scraper = require('./shopee-scraper');
-    const profileName = payload.profile_name || (await this.api.getSetting('shopee_affiliate_profile').catch(() => null)) || 'Shopee1';
-    let conn;
+  // Chạy một lệnh Shopee trên profile `profileName`, chạy đua với hạn chót
+  // theo loại lệnh `type` (SHOPEE_DEADLINE_MS). `work(context)` làm việc thật — kể cả
+  // gửi dữ liệu về API — và trả bản vá cho lệnh ({status, result|error}).
+  // Hết hạn thì chốt `failed` ngay và cắt kết nối CDP (evaluate đang chờ sẽ
+  // văng ra); kết nối nào về SAU lúc đó cũng bị nhả luôn, không để rơi.
+  async _runShopeeCommand(command, { type, profileName, label, failLog, work }) {
+    const ms = this.shopeeDeadlineMs[type];
+    let conn = null;
+    let abandoned = false;
+    const job = (async () => {
+      const c = await this._connectNstProfileByName(profileName);
+      if (abandoned) { c.disconnect(); return null; }
+      conn = c;
+      return work(c.context);
+    })();
+    let timer;
+    const deadline = new Promise((_, reject) => {
+      timer = setTimeout(() => reject(new Error(
+        `quá ${Math.round(ms / 60000)} phút chưa ${label} [${profileName}] — huỷ lượt này`,
+      )), ms);
+    });
     try {
-      conn = await this._connectNstProfileByName(profileName);
-      // Từ khoá và ngành hàng loại trừ nhau: có keyword thì KHÔNG được để
-      // `category` rơi về mặc định 'women_clothes', không thì scrapeOffers nhận
-      // cả hai và lượt tìm im lặng biến thành lượt duyệt tab quần áo nữ.
-      const keyword = String(payload.keyword || '').trim();
-      const res = await scraper.scrapeOffers(conn.context, {
-        keyword: keyword || null,
-        category: keyword ? null : (payload.category || 'women_clothes'),   // Tier-1 default: quần áo nữ
-        match_id: keyword ? null : (payload.match_id || null),
-        // Ở chế độ từ khoá, sort_type 3 là GIÁ GIẢM DẦN chứ không phải doanh số
-        // (đo 09/09) — scrapeOffers tự cắt, đây chỉ là không đưa vào cho đỡ rối.
-        sort_types: payload.sort_types || (keyword ? [2] : [2, 3]),         // commission + sales, merged
-        pages: payload.pages ?? 2,
-        page_limit: payload.page_limit ?? 20,
-        delay_ms: payload.delay_ms ?? 2500,               // human-like pacing (anti-bot)
-        filters: payload.filters || {},
-        log: (m) => console.log(m),                       // để thấy số tab đã dọn
-      });
-      if (res.status === 'needs_verify') {
-        // Anti-bot bounce — DON'T fail/retry into more captchas. Report cleanly
-        // so the dashboard can prompt the operator to re-verify via VNC.
-        console.warn(`[shopee] needs_verify: ${res.reason}`);
-        if (res.products?.length) await this.api.upsertAffiliateProducts(res.products, { user_id: command.user_id });
-        await this.api.updateCommand(command._id, { status: 'done', result: { needs_verify: true, reason: res.reason, count: res.products?.length || 0 } });
-        return;
-      }
-      console.log(`[shopee] scraped ${res.raw_count} raw → ${res.products.length} after filters from ${profileName}${keyword ? ` (từ khoá "${keyword}")` : ''}`);
-      await this.api.upsertAffiliateProducts(res.products, { user_id: command.user_id });
-      // Lượt tìm theo từ khoá trả kèm CHÍNH danh sách tìm được, không chỉ đếm:
-      // bên gọi phải chấm chọn đúng trên những món của lượt này. Đọc lại từ kho
-      // thì lẫn hàng của các lượt trước và mất luôn thứ tự Shopee xếp.
-      // Cắt gọn để kết quả lệnh không phình (ảnh/biến thể ở lại trong kho).
-      const slim = keyword
-        ? res.products.slice(0, 20).map((r) => ({
-          shop_id: r.shop_id, item_id: r.item_id, name: r.name, price: r.price,
-          commission_rate: r.commission_rate, commission_value: r.commission_value,
-          sold_count: r.sold_count, rating: r.rating, cover_image: r.cover_image,
-          product_url: r.product_url, category_group: r.category_group,
-        }))
-        : undefined;
-      await this.api.updateCommand(command._id, {
-        status: 'done',
-        result: { count: res.products.length, raw: res.raw_count, keyword: res.keyword || null, ...(slim ? { products: slim } : {}) },
-      });
+      const patch = await Promise.race([job, deadline]);
+      await this.api.updateCommand(command._id, patch);
     } catch (err) {
-      console.error(`[shopee] scrape failed: ${err.message}`);
+      console.error(`${failLog}: ${err.message}`);
       await this.api.updateCommand(command._id, { status: 'failed', error: String(err.message || err).slice(0, 500) });
     } finally {
+      clearTimeout(timer);
+      abandoned = true;
       if (conn) conn.disconnect();
     }
   }
 
+  async handleScrapeAffiliateProducts(command) {
+    const payload = command.payload || {};
+    if (!(await this._ensureNst(command))) return;
+    const scraper = require('./shopee-scraper');
+    const profileName = payload.profile_name || (await this.api.getSetting('shopee_affiliate_profile').catch(() => null)) || 'Shopee1';
+    await this._runShopeeCommand(command, {
+      type: 'scrape_affiliate_products',
+      profileName,
+      label: 'quét xong sản phẩm Shopee',
+      failLog: '[shopee] scrape failed',
+      work: async (context) => {
+        // Từ khoá và ngành hàng loại trừ nhau: có keyword thì KHÔNG được để
+        // `category` rơi về mặc định 'women_clothes', không thì scrapeOffers nhận
+        // cả hai và lượt tìm im lặng biến thành lượt duyệt tab quần áo nữ.
+        const keyword = String(payload.keyword || '').trim();
+        const res = await scraper.scrapeOffers(context, {
+          keyword: keyword || null,
+          category: keyword ? null : (payload.category || 'women_clothes'),   // Tier-1 default: quần áo nữ
+          match_id: keyword ? null : (payload.match_id || null),
+          // Ở chế độ từ khoá, sort_type 3 là GIÁ GIẢM DẦN chứ không phải doanh số
+          // (đo 09/09) — scrapeOffers tự cắt, đây chỉ là không đưa vào cho đỡ rối.
+          sort_types: payload.sort_types || (keyword ? [2] : [2, 3]),         // commission + sales, merged
+          pages: payload.pages ?? 2,
+          page_limit: payload.page_limit ?? 20,
+          delay_ms: payload.delay_ms ?? 2500,               // human-like pacing (anti-bot)
+          filters: payload.filters || {},
+          log: (m) => console.log(m),                       // để thấy số tab đã dọn
+        });
+        if (res.status === 'needs_verify') {
+          // Anti-bot bounce — DON'T fail/retry into more captchas. Report cleanly
+          // so the dashboard can prompt the operator to re-verify via VNC.
+          console.warn(`[shopee] needs_verify: ${res.reason}`);
+          if (res.products?.length) await this.api.upsertAffiliateProducts(res.products, { user_id: command.user_id });
+          return { status: 'done', result: { needs_verify: true, reason: res.reason, count: res.products?.length || 0 } };
+        }
+        if (res.status !== 'ok') {
+          // Shopee ngừng trả lời giữa chừng: món đã quét được vẫn vào kho.
+          if (res.products?.length) await this.api.upsertAffiliateProducts(res.products, { user_id: command.user_id });
+          return { status: 'failed', error: String(res.reason || 'Không quét được sản phẩm Shopee').slice(0, 500) };
+        }
+        console.log(`[shopee] scraped ${res.raw_count} raw → ${res.products.length} after filters from ${profileName}${keyword ? ` (từ khoá "${keyword}")` : ''}`);
+        await this.api.upsertAffiliateProducts(res.products, { user_id: command.user_id });
+        // Lượt tìm theo từ khoá trả kèm CHÍNH danh sách tìm được, không chỉ đếm:
+        // bên gọi phải chấm chọn đúng trên những món của lượt này. Đọc lại từ kho
+        // thì lẫn hàng của các lượt trước và mất luôn thứ tự Shopee xếp.
+        // Cắt gọn để kết quả lệnh không phình (ảnh/biến thể ở lại trong kho).
+        const slim = keyword
+          ? res.products.slice(0, 20).map((r) => ({
+            shop_id: r.shop_id, item_id: r.item_id, name: r.name, price: r.price,
+            commission_rate: r.commission_rate, commission_value: r.commission_value,
+            sold_count: r.sold_count, rating: r.rating, cover_image: r.cover_image,
+            product_url: r.product_url, category_group: r.category_group,
+          }))
+          : undefined;
+        return {
+          status: 'done',
+          result: { count: res.products.length, raw: res.raw_count, keyword: res.keyword || null, ...(slim ? { products: slim } : {}) },
+        };
+      },
+    });
+  }
+
   // Flow 2 — ingest 1 sản phẩm từ link bất kỳ (bắt PDP get_pc) → full product.
   async handleIngestShopeeProduct(command) {
     const payload = command.payload || {};
@@ -301,19 +353,18 @@ class CommandPoller {
       await this.api.updateCommand(command._id, { status: 'failed', error: 'need {shop_id,item_id} or a parseable {url}' });
       return;
     }
-    let conn;
-    try {
-      conn = await this._connectNstProfileByName(profileName);
-      const product = await scraper.ingestProduct(conn.context, ids);
-      console.log(`[shopee] ingested: ${product.name} (${product.images.length} imgs)`);
-      await this.api.ingestShopeeResult(product, { user_id: command.user_id, idea_id: payload.idea_id || null });
-      await this.api.updateCommand(command._id, { status: 'done', result: { name: product.name, images: product.images.length } });
-    } catch (err) {
-      console.error(`[shopee] ingest failed: ${err.message}`);
-      await this.api.updateCommand(command._id, { status: 'failed', error: String(err.message || err).slice(0, 500) });
-    } finally {
-      if (conn) conn.disconnect();
-    }
+    await this._runShopeeCommand(command, {
+      type: 'ingest_shopee_product',
+      profileName,
+      label: 'nạp xong sản phẩm Shopee',
+      failLog: '[shopee] ingest failed',
+      work: async (context) => {
+        const product = await scraper.ingestProduct(context, ids);
+        console.log(`[shopee] ingested: ${product.name} (${product.images.length} imgs)`);
+        await this.api.ingestShopeeResult(product, { user_id: command.user_id, idea_id: payload.idea_id || null });
+        return { status: 'done', result: { name: product.name, images: product.images.length } };
+      },
+    });
   }
 
   // Sinh LINK AFFILIATE THẬT (s.shopee.vn/...) cho một hoặc nhiều sản phẩm,
@@ -337,139 +388,127 @@ class CommandPoller {
       return;
     }
 
-    let conn;
-    try {
-      conn = await this._connectNstProfileByName(profileName);
-      const res = await scraper.generateOfferLink(conn.context, {
-        items,
-        subIds: Array.isArray(payload.sub_ids) ? payload.sub_ids : [],
-        log: (m) => console.log(m),                       // để thấy số tab đã dọn
-      });
-      if (res.status === 'needs_verify') {
-        // Anti-bot bounce — báo sạch, KHÔNG thử lại để khỏi đâm thêm captcha.
-        // Ghi kèm tên profile: có hai phiên (Shopee1, Shopee2) và người xử lý
-        // phải biết mở đúng cái nào để kéo captcha.
-        const reason = `${res.reason} [${profileName}]`;
-        console.warn(`[shopee] lấy link: needs_verify — ${reason}`);
-        await this.api.updateCommand(command._id, { status: 'done', result: { needs_verify: true, reason } });
-        return;
-      }
-      if (res.status !== 'ok') {
-        await this.api.updateCommand(command._id, { status: 'failed', error: String(res.reason || 'không lấy được link').slice(0, 500) });
-        return;
-      }
-      console.log(`[shopee] lấy được ${res.links.length} link (sub: ${JSON.stringify(res.sub_ids)})`);
-      await this.api.affiliateLinkResult(res.links, {
-        user_id: command.user_id,
-        sub_ids: res.sub_ids,
-        idea_id: payload.idea_id || null,
-      });
-      await this.api.updateCommand(command._id, { status: 'done', result: { links: res.links, sub_ids: res.sub_ids } });
-    } catch (err) {
-      console.error(`[shopee] lấy link thất bại: ${err.message}`);
-      await this.api.updateCommand(command._id, { status: 'failed', error: String(err.message || err).slice(0, 500) });
-    } finally {
-      if (conn) conn.disconnect();
-    }
+    await this._runShopeeCommand(command, {
+      type: 'get_affiliate_link',
+      profileName,
+      label: 'lấy được link Shopee',
+      failLog: '[shopee] lấy link thất bại',
+      work: async (context) => {
+        const res = await scraper.generateOfferLink(context, {
+          items,
+          subIds: Array.isArray(payload.sub_ids) ? payload.sub_ids : [],
+          log: (m) => console.log(m),                       // để thấy số tab đã dọn
+        });
+        if (res.status === 'needs_verify') {
+          // Anti-bot bounce — báo sạch, KHÔNG thử lại để khỏi đâm thêm captcha.
+          // Ghi kèm tên profile: có hai phiên (Shopee1, Shopee2) và người xử lý
+          // phải biết mở đúng cái nào để kéo captcha.
+          const reason = `${res.reason} [${profileName}]`;
+          console.warn(`[shopee] lấy link: needs_verify — ${reason}`);
+          return { status: 'done', result: { needs_verify: true, reason } };
+        }
+        if (res.status !== 'ok') {
+          return { status: 'failed', error: String(res.reason || 'không lấy được link').slice(0, 500) };
+        }
+        console.log(`[shopee] lấy được ${res.links.length} link (sub: ${JSON.stringify(res.sub_ids)})`);
+        await this.api.affiliateLinkResult(res.links, {
+          user_id: command.user_id,
+          sub_ids: res.sub_ids,
+          idea_id: payload.idea_id || null,
+        });
+        return { status: 'done', result: { links: res.links, sub_ids: res.sub_ids } };
+      },
+    });
   }
 
   async handleFetchAffiliateReport(command) {
     const payload = command.payload || {};
     if (!(await this._ensureNst(command))) return;
-    const report = require('./shopee-report');
     const profileName = payload.profile_name
       || (await this.api.getSetting('shopee_affiliate_profile').catch(() => null))
       || 'Shopee1';
-    let conn;
-    try {
-      conn = await this._connectNstProfileByName(profileName);
-      const result = await report.fetchConversionReport(conn.context, {
-        days: payload.days || 90,
-        log: (message) => console.log(message),
-      });
-      if (result.status === 'needs_verify') {
-        await this.api.updateCommand(command._id, {
-          status: 'done',
-          result: { needs_verify: true, reason: result.reason, count: result.rows?.length || 0 },
-        });
-        return;
-      }
-      if (result.status !== 'ok') {
-        await this.api.updateCommand(command._id, {
-          status: 'failed', error: String(result.reason || 'Không đọc được báo cáo Shopee').slice(0, 500),
-        });
-        return;
-      }
+    await this._runShopeeCommand(command, {
+      type: 'fetch_affiliate_report',
+      profileName,
+      label: 'đọc xong báo cáo Shopee',
+      failLog: '[shopee-report] đồng bộ thất bại',
+      work: (context) => this._readAffiliateReport(context, payload),
+    });
+  }
 
-      const clickResult = await report.fetchClickReport(conn.context, {
-        days: payload.days || 90,
-        log: (message) => console.log(message),
-      });
-      if (clickResult.status === 'needs_verify') {
-        await this.api.updateCommand(command._id, {
-          status: 'done',
-          result: { needs_verify: true, reason: clickResult.reason, count: result.rows.length, click_count: clickResult.rows?.length || 0 },
-        });
-        return;
-      }
-      if (clickResult.status !== 'ok') {
-        await this.api.updateCommand(command._id, {
-          status: 'failed', error: String(clickResult.reason || 'Không đọc được báo cáo click Shopee').slice(0, 500),
-        });
-        return;
-      }
+  // Đọc đơn + click + liên kết trên một phiên đã nối, trả về bản vá cho lệnh.
+  async _readAffiliateReport(context, payload) {
+    const report = require('./shopee-report');
+    const result = await report.fetchConversionReport(context, {
+      days: payload.days || 90,
+      log: (message) => console.log(message),
+    });
+    if (result.status === 'needs_verify') {
+      return { status: 'done', result: { needs_verify: true, reason: result.reason, count: result.rows?.length || 0 } };
+    }
+    if (result.status !== 'ok') {
+      return { status: 'failed', error: String(result.reason || 'Không đọc được báo cáo Shopee').slice(0, 500) };
+    }
 
-      // Danh sách page đã liên kết với tài khoản Shopee — đi CHUNG lượt này vì
-      // nó dùng đúng phiên vừa mở, thêm một request chứ không thêm lần mở
-      // profile. LỖI MỀM: đọc hỏng thì mất phần cảnh báo liên kết, không được
-      // kéo theo cả lượt đồng bộ click/đơn (đó mới là việc chính).
-      let mediaAccounts = null;
-      let mediaError = null;
-      try {
-        const media = await report.fetchSocialMediaAccounts(conn.context, {
-          log: (message) => console.log(message),
-        });
-        if (media.status === 'ok') mediaAccounts = media.accounts;
-        else mediaError = media.reason || media.status;
-      } catch (err) {
-        mediaError = String(err.message || err).slice(0, 200);
-      }
-      if (mediaError) console.warn(`[shopee-report] không đọc được danh sách liên kết: ${mediaError}`);
-
-      const saved = await this.api.affiliateReportResult(result.rows, {
-        clicks: clickResult.rows,
-        // `null` = KHÔNG đọc được, khác hẳn `[]` = đọc được và tài khoản chưa
-        // liên kết page nào. API phải phân biệt để không xoá sạch bản ghi cũ
-        // chỉ vì một lượt đọc hỏng.
-        media_accounts: mediaAccounts,
-        last_report_date: result.last_report_date,
-        last_update_time: result.last_update_time,
-        from: result.from,
-        to: result.to,
-      });
-      await this.api.updateCommand(command._id, {
+    const clickResult = await report.fetchClickReport(context, {
+      days: payload.days || 90,
+      log: (message) => console.log(message),
+    });
+    if (clickResult.status === 'needs_verify') {
+      return {
         status: 'done',
-        result: {
-          count: result.rows.length,
-          saved: saved?.saved || 0,
-          matched: saved?.matched || 0,
-          unmatched: saved?.unmatched || 0,
-          click_count: clickResult.rows.length,
-          click_saved: saved?.click_saved || 0,
-          click_matched: saved?.click_matched || 0,
-          click_unmatched: saved?.click_unmatched || 0,
-          media_accounts: mediaAccounts ? mediaAccounts.length : null,
-          media_error: mediaError || undefined,
-          last_report_date: result.last_report_date,
-        },
+        result: { needs_verify: true, reason: clickResult.reason, count: result.rows.length, click_count: clickResult.rows?.length || 0 },
+      };
+    }
+    if (clickResult.status !== 'ok') {
+      return { status: 'failed', error: String(clickResult.reason || 'Không đọc được báo cáo click Shopee').slice(0, 500) };
+    }
+
+    // Danh sách page đã liên kết với tài khoản Shopee — đi CHUNG lượt này vì
+    // nó dùng đúng phiên vừa mở, thêm một request chứ không thêm lần mở
+    // profile. LỖI MỀM: đọc hỏng thì mất phần cảnh báo liên kết, không được
+    // kéo theo cả lượt đồng bộ click/đơn (đó mới là việc chính).
+    let mediaAccounts = null;
+    let mediaError = null;
+    try {
+      const media = await report.fetchSocialMediaAccounts(context, {
+        log: (message) => console.log(message),
       });
-      console.log(`[shopee-report] đã lưu ${saved?.saved || 0}/${result.rows.length} đơn, ${saved?.click_saved || 0}/${clickResult.rows.length} click`);
+      if (media.status === 'ok') mediaAccounts = media.accounts;
+      else mediaError = media.reason || media.status;
     } catch (err) {
-      console.error(`[shopee-report] đồng bộ thất bại: ${err.message}`);
-      await this.api.updateCommand(command._id, { status: 'failed', error: String(err.message || err).slice(0, 500) });
-    } finally {
-      if (conn) conn.disconnect();
+      mediaError = String(err.message || err).slice(0, 200);
     }
+    if (mediaError) console.warn(`[shopee-report] không đọc được danh sách liên kết: ${mediaError}`);
+
+    const saved = await this.api.affiliateReportResult(result.rows, {
+      clicks: clickResult.rows,
+      // `null` = KHÔNG đọc được, khác hẳn `[]` = đọc được và tài khoản chưa
+      // liên kết page nào. API phải phân biệt để không xoá sạch bản ghi cũ
+      // chỉ vì một lượt đọc hỏng.
+      media_accounts: mediaAccounts,
+      last_report_date: result.last_report_date,
+      last_update_time: result.last_update_time,
+      from: result.from,
+      to: result.to,
+    });
+    console.log(`[shopee-report] đã lưu ${saved?.saved || 0}/${result.rows.length} đơn, ${saved?.click_saved || 0}/${clickResult.rows.length} click`);
+    return {
+      status: 'done',
+      result: {
+        count: result.rows.length,
+        saved: saved?.saved || 0,
+        matched: saved?.matched || 0,
+        unmatched: saved?.unmatched || 0,
+        click_count: clickResult.rows.length,
+        click_saved: saved?.click_saved || 0,
+        click_matched: saved?.click_matched || 0,
+        click_unmatched: saved?.click_unmatched || 0,
+        media_accounts: mediaAccounts ? mediaAccounts.length : null,
+        media_error: mediaError || undefined,
+        last_report_date: result.last_report_date,
+      },
+    };
   }
 
   async handlePlaywrightCommand(command) {

package/lib/shopee-report.js

@@ -1,4 +1,6 @@
-const { findAffiliatePage, isBlockedState, isAntiBotBody, ANTI_BOT_REASON } = require('./shopee-scraper');
+const {
+  findAffiliatePage, isBlockedState, isAntiBotBody, ANTI_BOT_REASON, evaluateWithin, EVAL_TIMEOUT_MS,
+} = require('./shopee-scraper');
 
 const sleep = (ms) => new Promise((resolve) => setTimeout(resolve, ms));
 
@@ -17,6 +19,7 @@ async function fetchConversionReport(ctx, {
   maxPages = 200,
   delayMs = 750,
   timeoutMs = 60000,
+  evalTimeoutMs = EVAL_TIMEOUT_MS,
   log = null,
 } = {}) {
   let page = findAffiliatePage(ctx.pages());
@@ -43,7 +46,7 @@ async function fetchConversionReport(ctx, {
     let lastReportDate = null;
     let lastUpdateTime = null;
 
-    const updated = await page.evaluate(async () => {
+    const updated = await evaluateWithin(page, async () => {
       try {
         const r = await fetch('/api/v3/gql?q=conversionReportUpdateTime', {
           method: 'POST', credentials: 'include',
@@ -56,12 +59,17 @@ async function fetchConversionReport(ctx, {
         });
         return await r.json().catch(() => null);
       } catch { return null; }
-    });
+    }, undefined, evalTimeoutMs);
+    if (updated?.timedOut) {
+      return isBlockedState(page.url(), null)
+        ? { status: 'needs_verify', rows: [], reason: 'session at captcha/login — re-verify via VNC' }
+        : { status: 'failed', rows: [], reason: updated.error };
+    }
     lastReportDate = updated?.data?.conversionReportUpdateTime?.lastReportDate || null;
     lastUpdateTime = updated?.data?.conversionReportUpdateTime?.lastUpdateTime || null;
 
     for (let pageNum = 1; pageNum <= maxPages; pageNum++) {
-      const result = await page.evaluate(async (q) => {
+      const result = await evaluateWithin(page, async (q) => {
         const url = `/api/v3/report/list?page_size=${q.pageSize}&page_num=${q.pageNum}`
           + `&purchase_time_s=${q.start}&purchase_time_e=${q.end}&version=1`;
         try {
@@ -70,7 +78,7 @@ async function fetchConversionReport(ctx, {
         } catch (e) {
           return { status: 0, error: String(e?.message || e) };
         }
-      }, { pageSize, pageNum, start: window.start, end: window.end });
+      }, { pageSize, pageNum, start: window.start, end: window.end }, evalTimeoutMs);
 
       if (isAntiBotBody(result.json)) {
         return { status: 'needs_verify', rows, reason: ANTI_BOT_REASON };
@@ -113,6 +121,7 @@ async function fetchClickReport(ctx, {
   maxPages = 200,
   delayMs = 250,
   timeoutMs = 60000,
+  evalTimeoutMs = EVAL_TIMEOUT_MS,
   log = null,
 } = {}) {
   let page = findAffiliatePage(ctx.pages());
@@ -138,7 +147,7 @@ async function fetchClickReport(ctx, {
     let total = null;
 
     for (let pageNum = 1; pageNum <= maxPages; pageNum++) {
-      const result = await page.evaluate(async (q) => {
+      const result = await evaluateWithin(page, async (q) => {
         const url = `/api/v1/click_report/list?page_size=${q.pageSize}&page_num=${q.pageNum}`
           + `&click_time_s=${q.start}&click_time_e=${q.end}`;
         try {
@@ -147,7 +156,7 @@ async function fetchClickReport(ctx, {
         } catch (e) {
           return { status: 0, error: String(e?.message || e) };
         }
-      }, { pageSize, pageNum, start: window.start, end: window.end });
+      }, { pageSize, pageNum, start: window.start, end: window.end }, evalTimeoutMs);
 
       if (isAntiBotBody(result.json)) {
         return { status: 'needs_verify', rows, reason: ANTI_BOT_REASON };
@@ -206,7 +215,7 @@ async function fetchClickReport(ctx, {
 // khác giữ nguyên số để sau này đọc lại, không đoán tên).
 const SM_PLATFORM = { 6: 'facebook', 3: 'tiktok' };
 
-async function fetchSocialMediaAccounts(ctx, { timeoutMs = 45000, log = null } = {}) {
+async function fetchSocialMediaAccounts(ctx, { timeoutMs = 45000, evalTimeoutMs = EVAL_TIMEOUT_MS, log = null } = {}) {
   let page = findAffiliatePage(ctx.pages());
   let opened = false;
   if (!page) {
@@ -225,14 +234,14 @@ async function fetchSocialMediaAccounts(ctx, { timeoutMs = 45000, log = null } =
       return { status: 'needs_verify', accounts: [], reason: 'session at captcha/login — re-verify via VNC' };
     }
 
-    const result = await page.evaluate(async () => {
+    const result = await evaluateWithin(page, async () => {
       try {
         const r = await fetch('/api/v3/affiliates/social_media_accounts', { credentials: 'include' });
         return { status: r.status, json: await r.json().catch(() => null) };
       } catch (e) {
         return { status: 0, error: String(e?.message || e) };
       }
-    });
+    }, undefined, evalTimeoutMs);
 
     if (isAntiBotBody(result.json)) {
       return { status: 'needs_verify', accounts: [], reason: ANTI_BOT_REASON };
@@ -266,4 +275,4 @@ async function fetchSocialMediaAccounts(ctx, { timeoutMs = 45000, log = null } =
   }
 }
 
-module.exports = { fetchConversionReport, fetchClickReport, fetchSocialMediaAccounts, reportWindow, SM_PLATFORM };
+module.exports = { fetchConversionReport, fetchClickReport, fetchSocialMediaAccounts, reportWindow, evaluateWithin, SM_PLATFORM };

package/lib/shopee-scraper.js

@@ -72,13 +72,16 @@ function parsePdpItem(item) {
 async function ingestProduct(ctx, { shop_id, item_id, timeoutMs = 60000 } = {}) {
   if (!shop_id || !item_id) throw new Error('ingestProduct needs shop_id + item_id');
   const page = await ctx.newPage();
+  let timer;
   try {
     const captured = new Promise((resolve) => {
       page.on('response', async (res) => {
         if (!res.url().includes('/api/v4/pdp/get_pc')) return;
         try { const j = await res.json(); if (j?.data?.item) resolve(j.data.item); } catch { /* keep waiting */ }
       });
-      setTimeout(() => resolve(null), timeoutMs);
+      // Trang bị đóng (lệnh hết hạn chót → cắt kết nối) thì thôi chờ ngay.
+      page.once('close', () => resolve(null));
+      timer = setTimeout(() => resolve(null), timeoutMs);
     });
     await page.goto(`https://shopee.vn/product/${shop_id}/${item_id}`, { waitUntil: 'domcontentloaded', timeout: timeoutMs });
     const item = await captured;
@@ -87,6 +90,7 @@ async function ingestProduct(ctx, { shop_id, item_id, timeoutMs = 60000 } = {})
     parsed.product_url = `https://shopee.vn/product/${shop_id}/${item_id}`;
     return parsed;
   } finally {
+    clearTimeout(timer);
     await page.close().catch(() => {});
   }
 }
@@ -169,6 +173,31 @@ const AFFILIATE_CATEGORIES = {
 
 const sleep = (ms) => new Promise((r) => setTimeout(r, ms));
 
+// Một lượt evaluate phải có hạn. Playwright không có timeout cho evaluate, và
+// fetch chạy trong trang chống bot của Shopee có thể không bao giờ về: 28/09/2026
+// (Shopee2, relabs03) một lượt đọc báo cáo nằm im 12 tiếng, chỉ nhả khi người
+// gỡ captcha làm trang chuyển hướng. Mọi luồng Shopee (báo cáo, lấy link, quét
+// món) dùng chung phiên và chung kiểu gọi nên dùng chung chốt này. Hết hạn thì
+// trả `{ status: 0, timedOut }` để bên gọi xử như một lượt hỏng; trang lúc đó
+// đã sang captcha thì isBlockedState đọc ra needs_verify.
+const EVAL_TIMEOUT_MS = 60000;
+
+async function evaluateWithin(page, fn, arg, ms = EVAL_TIMEOUT_MS) {
+  let timer;
+  const expired = new Promise((resolve) => {
+    timer = setTimeout(() => resolve({
+      status: 0,
+      timedOut: true,
+      error: `Shopee không trả lời sau ${Math.round(ms / 1000)} giây (trang ${page.url()})`,
+    }), ms);
+  });
+  try {
+    return await Promise.race([page.evaluate(fn, arg), expired]);
+  } finally {
+    clearTimeout(timer);
+  }
+}
+
 // True when the session got bounced to the anti-bot captcha (scene=crawler_item)
 // or logged out — in either case the offer API returns 404/empty and we must
 // STOP (not keep hammering) and ask the operator to re-verify via VNC.
@@ -178,7 +207,12 @@ function isBlockedState(pageUrl, res) {
   try { u = new URL(pageUrl || ''); } catch { return false; }
   // CHỈ xét path + query của CHÍNH trang này. Regex quét cả chuỗi URL đọc nhầm
   // tham số `next=` của trang khác — xem ghi chú ở findAffiliatePage.
-  if (/^\/(verify\/captcha|buyer\/login)/.test(u.pathname)) return true;
+  //
+  // MỌI trang /verify/*, không riêng captcha: Shopee đẩy qua `verify/traffic`
+  // trước rồi mới tới `verify/captcha`. 28/09/2026 (Shopee2) lượt đọc báo cáo
+  // gặp đúng trang traffic, không nhận ra, chạy fetch trên trang chống bot và
+  // treo 12 tiếng tới khi người gỡ captcha.
+  if (/^\/(verify\/|buyer\/login)/.test(u.pathname)) return true;
   if (u.searchParams.has('is_from_login')) return true;
   return false;
 }
@@ -337,6 +371,7 @@ async function scrapeOffers(ctx, {
   delay_ms = 2500,       // human-like pause between calls (anti-bot)
   filters = {},
   timeoutMs = 45000,
+  evalTimeoutMs = EVAL_TIMEOUT_MS,
   log = null,
   // legacy single-sort param (back-compat with the first build)
   sort_type = null,
@@ -384,7 +419,7 @@ async function scrapeOffers(ctx, {
     for (const st of sort_types) {
       for (let i = 0; i < pages; i++) {
         const offset = i * page_limit;
-        const res = await page.evaluate(async (q) => {
+        const res = await evaluateWithin(page, async (q) => {
           // Từ khoá đứng TRƯỚC ngành hàng: hai chế độ loại trừ nhau, gửi cả hai
           // thì Shopee bỏ qua keyword và mình tưởng đang tìm mà thật ra vẫn
           // đang duyệt tab cũ.
@@ -398,7 +433,7 @@ async function scrapeOffers(ctx, {
             const r = await fetch(url, { credentials: 'include' });
             return { status: r.status, json: await r.json().catch(() => null) };
           } catch (e) { return { status: 0, error: String(e.message) }; }
-        }, { st, offset, page_limit, mid, listType, kw, ft: filter_types });
+        }, { st, offset, page_limit, mid, listType, kw, ft: filter_types }, evalTimeoutMs);
 
         if (isAntiBotBody(res.json)) {
           return { status: 'needs_verify', products: [...byId.values()], raw_count: rawCount, reason: ANTI_BOT_REASON };
@@ -406,6 +441,11 @@ async function scrapeOffers(ctx, {
         if (isBlockedState(page.url(), res)) {
           return { status: 'needs_verify', products: [...byId.values()], raw_count: rawCount, reason: `blocked mid-scrape (http ${res.status}, code ${res.json?.code})` };
         }
+        // Hết hạn KHÔNG phải hết dữ liệu: đi tiếp là thêm một lượt chờ nữa trên
+        // đúng phiên đang kẹt. Dừng hẳn, giữ những món đã quét được.
+        if (res.timedOut) {
+          return { status: 'failed', products: [...byId.values()], raw_count: rawCount, reason: res.error };
+        }
         if (res.status !== 200 || res.json?.code !== 0) {
           // soft stop — treat as end-of-data for this sort, move on
           break;
@@ -478,7 +518,7 @@ function linkFailureReason(res, wanted = 0) {
 }
 
 // subIds: mảng tối đa 5 phần tử. Quy ước của mình: [kênh, video, đợt].
-async function generateOfferLink(ctx, { items = [], subIds = [], timeoutMs = 45000, log = null } = {}) {
+async function generateOfferLink(ctx, { items = [], subIds = [], timeoutMs = 45000, evalTimeoutMs = EVAL_TIMEOUT_MS, log = null } = {}) {
   const list = (items || [])
     .map((it) => ({ itemId: String(it.item_id || ''), shopId: Number(it.shop_id) || 0, trace: '' }))
     .filter((it) => it.itemId && it.shopId);
@@ -499,7 +539,7 @@ async function generateOfferLink(ctx, { items = [], subIds = [], timeoutMs = 450
     if (isBlockedState(page.url(), null)) {
       return { status: 'needs_verify', links: [], reason: 'session at captcha/login — re-verify via VNC' };
     }
-    const res = await page.evaluate(async (q) => {
+    const res = await evaluateWithin(page, async (q) => {
       const body = {
         operationName: 'batchGetProductOfferLink',
         query: `query batchGetProductOfferLink($sourceCaller: SourceCaller!, $productOfferLinkParams: [ProductOfferLinkParam!]!, $advancedLinkParams: AdvancedLinkParams){ productOfferLinks(productOfferLinkParams: $productOfferLinkParams, sourceCaller: $sourceCaller, advancedLinkParams: $advancedLinkParams) { itemId shopId productOfferLink } }`,
@@ -517,7 +557,7 @@ async function generateOfferLink(ctx, { items = [], subIds = [], timeoutMs = 450
         });
         return { status: r.status, json: await r.json().catch(() => null) };
       } catch (e) { return { status: 0, error: String(e.message) }; }
-    }, { list, subs });
+    }, { list, subs }, evalTimeoutMs);
 
     if (isAntiBotBody(res.json)) {
       return { status: 'needs_verify', links: [], reason: ANTI_BOT_REASON };
@@ -576,4 +616,4 @@ function parseProductUrl(url = '') {
   return null;
 }
 
-module.exports = { ingestProduct, scrapeOffers, generateOfferLink, linkFailureReason, cleanSubId, parseProductUrl, parseOfferRow, parsePdpItem, categoryGroup, pctToNumber, AFFILIATE_CATEGORIES, applyFilters, isBlockedState, isAntiBotBody, ANTI_BOT_REASON, findAffiliatePage, pruneTabs, isJunkTab };
+module.exports = { ingestProduct, scrapeOffers, generateOfferLink, linkFailureReason, cleanSubId, parseProductUrl, parseOfferRow, parsePdpItem, categoryGroup, pctToNumber, AFFILIATE_CATEGORIES, applyFilters, isBlockedState, isAntiBotBody, ANTI_BOT_REASON, findAffiliatePage, pruneTabs, isJunkTab, evaluateWithin, EVAL_TIMEOUT_MS };

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "channel-worker",
-  "version": "2.5.142",
+  "version": "2.5.144",
   "description": "Channel Manager worker daemon — runs on remote machines to execute video pipeline jobs",
   "main": "lib/daemon.js",
   "bin": {