channel-worker 2.5.101 → 2.5.103

package/lib/shopee-scraper.js

@@ -173,11 +173,39 @@ const sleep = (ms) => new Promise((r) => setTimeout(r, ms));
 // or logged out — in either case the offer API returns 404/empty and we must
 // STOP (not keep hammering) and ask the operator to re-verify via VNC.
 function isBlockedState(pageUrl, res) {
-  if (/\/verify\/captcha|\/buyer\/login|is_from_login/.test(pageUrl || '')) return true;
   if (res && (res.status === 403 || res.status === 404)) return true;
+  let u;
+  try { u = new URL(pageUrl || ''); } catch { return false; }
+  // CHỈ xét path + query của CHÍNH trang này. Regex quét cả chuỗi URL đọc nhầm
+  // tham số `next=` của trang khác — xem ghi chú ở findAffiliatePage.
+  if (/^\/(verify\/captcha|buyer\/login)/.test(u.pathname)) return true;
+  if (u.searchParams.has('is_from_login')) return true;
   return false;
 }
 
+// Tab affiliate nào đang mở — so bằng HOSTNAME, không bằng chuỗi con.
+//
+// 11/09/2026, đo trên profile Shopee1 thật: tab captcha cũ
+// `shopee.vn/verify/captcha?…&next=…%252Faffiliate.shopee.vn%252Foffer…`
+// (mã hoá hai lần) chứa nguyên chuỗi "affiliate.shopee.vn", nên
+// `pages().find(p => p.url().includes('affiliate.shopee.vn'))` vớ trúng ĐÚNG
+// cái tab hỏng đó — nó nằm ở vị trí 0 trong 16 tab. isBlockedState đọc
+// `/verify/captcha` rồi kết luận "session ở captcha", trong khi 15 tab còn lại
+// đang đăng nhập bình thường (dashboard, conversion_report, offer). Chủ tịch mở
+// profile thấy vẫn login mà máy một mực đòi xác minh — hai bên nhìn hai tab
+// khác nhau.
+//
+// Bỏ QUA tab đang ở trạng thái chặn khi chọn: phiên chết thật thì không tab nào
+// sống sót, hàm trả null và bên gọi mở tab mới — lượt goto sau đó vẫn bị đá về
+// captcha nên vẫn báo needs_verify đúng như cũ.
+function urlPath(u) { try { return new URL(u).pathname; } catch { return ''; } }
+function isAffiliateUrl(u) { try { return new URL(u).hostname === 'affiliate.shopee.vn'; } catch { return false; } }
+
+function findAffiliatePage(pages) {
+  const live = (pages || []).filter((p) => isAffiliateUrl(p.url()) && !isBlockedState(p.url(), null));
+  return live.find((p) => urlPath(p.url()).startsWith('/offer')) || live[0] || null;
+}
+
 // Apply the Flow-1 hard filters (criteria) to parsed rows. Defaults are lenient;
 // the controller passes the agreed thresholds (commission/price/sold/rating/imgs).
 function applyFilters(rows, f = {}) {
@@ -237,11 +265,11 @@ async function scrapeOffers(ctx, {
   const listType = cat?.list_type || null;
 
   const pagesOpen = ctx.pages();
-  let page = pagesOpen.find((p) => p.url().includes('affiliate.shopee.vn'));
+  let page = findAffiliatePage(pagesOpen);
   let opened = false;
   if (!page) { page = await ctx.newPage(); opened = true; }
   try {
-    if (!page.url().includes('affiliate.shopee.vn/offer')) {
+    if (!urlPath(page.url()).startsWith('/offer')) {
       // 'networkidle' (playwright), KHÔNG 'networkidle2' (tên của puppeteer —
       // playwright coi là giá trị lạ và ném lỗi).
       await page.goto('https://affiliate.shopee.vn/offer/product_offer', { waitUntil: 'networkidle', timeout: timeoutMs }).catch(() => {});
@@ -326,11 +354,11 @@ async function generateOfferLink(ctx, { items = [], subIds = [], timeoutMs = 450
   for (let i = 0; i < 5; i++) subs[`subId${i + 1}`] = cleanSubId(subIds[i]);
 
   const pagesOpen = ctx.pages();
-  let page = pagesOpen.find((p) => p.url().includes('affiliate.shopee.vn'));
+  let page = findAffiliatePage(pagesOpen);
   let opened = false;
   if (!page) { page = await ctx.newPage(); opened = true; }
   try {
-    if (!page.url().includes('affiliate.shopee.vn')) {
+    if (!isAffiliateUrl(page.url())) {
       await page.goto('https://affiliate.shopee.vn/offer/product_offer', { waitUntil: 'networkidle', timeout: timeoutMs }).catch(() => {});
       await sleep(1500);
     }
@@ -376,11 +404,13 @@ async function generateOfferLink(ctx, { items = [], subIds = [], timeoutMs = 450
 // Parse a Shopee product URL → { shop_id, item_id }. Accepts
 // /product/<shop>/<item> and i.<shop>.<item> forms.
 function parseProductUrl(url = '') {
-  let m = url.match(/\/product\/(\d+)\/(\d+)/);
+  // `/opaanlp/` là đích của link affiliate (đo 12/09: link rút gọn s.shopee.vn
+  // đá về đúng dạng này) — vẫn là một sản phẩm, vẫn lấy được shop/item.
+  let m = url.match(/\/(?:product|opaanlp)\/(\d+)\/(\d+)/);
   if (m) return { shop_id: m[1], item_id: m[2] };
   m = url.match(/i\.(\d+)\.(\d+)/);
   if (m) return { shop_id: m[1], item_id: m[2] };
   return null;
 }
 
-module.exports = { ingestProduct, scrapeOffers, generateOfferLink, cleanSubId, parseProductUrl, parseOfferRow, parsePdpItem, categoryGroup, pctToNumber, AFFILIATE_CATEGORIES, applyFilters };
+module.exports = { ingestProduct, scrapeOffers, generateOfferLink, cleanSubId, parseProductUrl, parseOfferRow, parsePdpItem, categoryGroup, pctToNumber, AFFILIATE_CATEGORIES, applyFilters, isBlockedState, findAffiliatePage };

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "channel-worker",
-  "version": "2.5.101",
+  "version": "2.5.103",
   "description": "Channel Manager worker daemon — runs on remote machines to execute video pipeline jobs",
   "main": "lib/daemon.js",
   "bin": {

package/scripts/upload_facebook.js

@@ -497,7 +497,7 @@ async function waitForPublishEnabled(page, verbs, log, timeoutMs, tag = 'fb-pw',
   absentGraceMs = PUBLISH_CTA_ABSENT_GRACE_MS,
 } = {}) {
   const deadline = Date.now() + timeoutMs;
-  let announced = false, sawPresent = false, absentSince = 0;
+  let announced = false, sawPresent = false, absentSince = 0, stuckSince = 0;
   while (Date.now() < deadline) {
     // The final metadata form mounts lazily on some FB cohorts. The first
     // fillMetadata() immediately after Tiếp can run before its textbox exists,
@@ -510,7 +510,7 @@ async function waitForPublishEnabled(page, verbs, log, timeoutMs, tag = 'fb-pw',
       const dlgs = document.querySelectorAll("[role='dialog']");
       const roots = dlgs.length ? Array.from(dlgs) : [document];
       const vh = window.innerHeight;
-      let present = false, enabled = false, rejected = '';
+      let present = false, enabled = false, rejected = '', text = '';
       for (const root of roots) {
         for (const el of root.querySelectorAll("button, [role='button']")) {
           const t = (el.innerText || el.textContent || '').trim();
@@ -532,9 +532,22 @@ async function waitForPublishEnabled(page, verbs, log, timeoutMs, tag = 'fb-pw',
         const txt = (root.innerText || '').slice(0, 4000);
         const m = /Không thể tải (?:file|tệp)[^\n]{0,120}|couldn['’]t upload your (?:file|video)[^\n]{0,80}|Unable to upload[^\n]{0,80}/i.exec(txt);
         if (m) rejected = m[0].trim();
+        text += txt + '\n';
       }
-      return { present, enabled, rejected };
-    }, verbs).catch(() => ({ present: false, enabled: false, rejected: '' }));
+      return { present, enabled, rejected, text: text.slice(0, 6000) };
+    }, verbs).catch(() => ({ present: false, enabled: false, rejected: '', text: '' }));
+    // Bảng cài đặt không tải (tooltip "Vui lòng đợi tải xong quyền riêng tư…"):
+    // Đăng sẽ xám mãi, đứng đủ 600s là đốt profile vô ích. Thấy liên tục quá
+    // SETTINGS_STUCK_MS thì trả về để call site mở lại composer một lượt.
+    if (classifyComposerText(st.text).settingsStuck) {
+      if (!stuckSince) stuckSince = Date.now();
+      if (Date.now() - stuckSince >= SETTINGS_STUCK_MS) {
+        log('warn', `[${tag}] bảng cài đặt thước phim không tải quá ${Math.round(SETTINGS_STUCK_MS / 1000)}s (tooltip "đợi tải xong quyền riêng tư") — không chờ hết ${Math.round(timeoutMs / 1000)}s`);
+        return { enabled: false, sawPresent, settingsStuck: true };
+      }
+    } else {
+      stuckSince = 0;
+    }
     if (st.rejected) {
       log('warn', `[${tag}] Facebook TỪ CHỐI file: "${st.rejected.slice(0, 120)}" — nút "Đăng" sẽ không bật, dừng chờ ngay`);
       return { enabled: false, sawPresent: true, rejected: st.rejected };
@@ -624,6 +637,51 @@ async function isCustomThumbApplied(page) {
   }).catch(() => false);
 }
 
+// Composer đang ở trạng thái gì? Đọc từ CHỮ trong hộp thoại — ba chữ ký nhìn
+// được từ ảnh dump 10-11/09 (5 ca "KHÔNG commit" + 2 ca no-advance-3):
+//   rightsCheck   : dòng đỏ "Không hoàn tất được quy trình kiểm tra bản quyền."
+//                   trên nút Đăng → FB không commit, bấm mù 3 lần vô ích; ~20'
+//                   sau đăng lại là được (Chuyện Nhà Nông 07:04, Làm Giàu Từ
+//                   Chăn Nuôi 07:16 ngày 11/09).
+//   publishing    : lớp phủ "Đang đăng" trên video → FB ĐANG đăng; bản cũ chỉ
+//                   chờ 3×8s rồi phán "CHƯA được đăng" → lịch đăng lại → nguy
+//                   cơ đúp (Bí Quyết Nhà Nông 20:41, Nông Nghiệp Thực Tế 17:54
+//                   ngày 10/09 — may là lượt đó không hoàn tất).
+//   settingsStuck : bảng cài đặt bên trái trống + tooltip "Vui lòng đợi tải
+//                   xong quyền riêng tư của Thước phim" → Đăng xám mãi; đứng
+//                   600s rồi "description field not found" (phụ kiện điện tử
+//                   02 10/09, kol du lịch 11/09).
+// Thuần, test được; regex neo đầu dòng cho "Đang đăng" để không dính mô tả
+// bài có chữ "đang đăng" giữa câu.
+const COMPOSER_TEXT_RE = {
+  rightsCheck: /Không hoàn tất được quy trình kiểm tra bản quyền|couldn['’]t complete (?:the )?(?:rights|copyright) check/i,
+  publishing: /(?:^|\n)\s*(?:Đang đăng|Đang xuất bản|Publishing|Posting)\s*(?:\.{3}|…)?\s*(?:\n|$)/i,
+  settingsStuck: /Vui lòng đợi tải xong quyền riêng tư của Thước phim|wait (?:for|until) (?:the )?reel(?:'s)? privacy/i,
+};
+function classifyComposerText(txt) {
+  const t = String(txt || '');
+  return {
+    rightsCheck: COMPOSER_TEXT_RE.rightsCheck.test(t),
+    publishing: COMPOSER_TEXT_RE.publishing.test(t),
+    settingsStuck: COMPOSER_TEXT_RE.settingsStuck.test(t),
+  };
+}
+async function readComposerText(page) {
+  return page.evaluate(() => {
+    const out = [];
+    for (const dlg of document.querySelectorAll("[role='dialog']")) {
+      const r = dlg.getBoundingClientRect();
+      if (r.width < 8 || r.height < 8) continue;
+      const cs = getComputedStyle(dlg);
+      if (cs.visibility === 'hidden' || cs.display === 'none') continue;
+      out.push(dlg.innerText || '');
+    }
+    return out.join('\n').slice(0, 8000);
+  }).catch(() => '');
+}
+const PUBLISHING_WAIT_MS = 5 * 60 * 1000;   // "Đang đăng": chờ tới 5 phút, không bấm lại
+const SETTINGS_STUCK_MS = 90 * 1000;        // bảng cài đặt trống quá 90s: mở lại composer
+
 const SAFE_RETRY_COMPOSER_CLOSED = 'FB_SAFE_RETRY_COMPOSER_CLOSED';
 
 function safeComposerRetryError(message) {
@@ -2653,6 +2711,14 @@ async function runOnce({ page, payload, log }) {
             // đăng nhập), và PublishRetry phân loại đúng "file bị từ chối".
             throw new Error(`FB_PUBLISH_REJECTED: Facebook từ chối file video ("${waitResult.rejected.slice(0, 100)}") — thường gặp với file >50 MB đi đường CDP; nén/render lại nhỏ hơn rồi đăng`);
           }
+          // Bảng cài đặt không tải → đóng composer, chạy lại cả lượt upload
+          // TRONG PHIÊN (đường safe-retry sẵn có: bắt đầu lại từ trang chủ nên
+          // hộp thoại cũ tự rụng). Chưa bấm Đăng nên không thể đúp. Lượt hai
+          // vẫn kẹt thì ném ra, PublishRetry xếp phiên khác (luật settings_panel_stuck).
+          if (waitResult.settingsStuck) {
+            await page.keyboard.press('Escape').catch(() => {});
+            throw safeComposerRetryError(`FB_SETTINGS_PANEL_STUCK: bảng cài đặt thước phim không tải sau ${Math.round(SETTINGS_STUCK_MS / 1000)}s (tooltip "đợi tải xong quyền riêng tư") — mở lại composer`);
+          }
           // Composer biến mất (URL nhảy sang /reel/… vì toast cướp click, hoặc
           // FB tự đóng) → CHẠY LẠI cả lượt upload thay vì báo lỗi khó hiểu.
           // An toàn vì chưa hề bấm Đăng ở nhánh này.
@@ -2803,6 +2869,29 @@ async function runOnce({ page, payload, log }) {
     }, publishVerbs).catch(() => false);
 
     for (let commitTry = 0; commitTry < 3 && (await composerStillOpen()); commitTry++) {
+      // Trước khi bấm lại, ĐỌC composer đang nói gì (classifyComposerText):
+      const state = classifyComposerText(await readComposerText(page));
+      if (state.rightsCheck) {
+        // Dòng đỏ "Không hoàn tất được quy trình kiểm tra bản quyền" — FB không
+        // commit, bấm nữa cũng vậy. Báo đúng tên để PublishRetry xếp lại sau.
+        await dumpFailure(page, 'rights-check-incomplete', log);
+        throw new Error('FB_RIGHTS_CHECK_INCOMPLETE: Facebook không hoàn tất được quy trình kiểm tra bản quyền — video CHƯA được đăng, ~20 phút sau đăng lại thường được');
+      }
+      if (state.publishing) {
+        // "Đang đăng": Facebook ĐANG đăng — cấm bấm lại, cấm kết luận "chưa
+        // đăng". Chờ composer tự đóng, tối đa PUBLISHING_WAIT_MS.
+        log('info', `[fb-pw] composer báo "Đang đăng" — Facebook đang đăng, chờ tới ${Math.round(PUBLISHING_WAIT_MS / 1000)}s, KHÔNG bấm lại`);
+        const until = Date.now() + PUBLISHING_WAIT_MS;
+        let still = true;
+        while (Date.now() < until) {
+          await pause(page, 5000);
+          if (!(await composerStillOpen())) { still = false; break; }
+          if (!classifyComposerText(await readComposerText(page)).publishing) { still = false; break; }
+        }
+        if (!still) continue; // vòng for kiểm lại composerStillOpen: đóng rồi thì coi như đã commit
+        await dumpFailure(page, 'publishing-timeout', log);
+        throw new Error(`FB_PUBLISH_IN_PROGRESS: Facebook vẫn "Đang đăng" sau ${Math.round(PUBLISHING_WAIT_MS / 1000)}s — có thể bài ĐÃ lên, kiểm trên Facebook trước khi đăng lại`);
+      }
       log('warn', `[fb-pw] composer STILL open after publish click — re-clicking "Đăng" (retry ${commitTry + 1}/3)`);
       const reClicked = await page.evaluate((verbs) => {
         const dlgs = document.querySelectorAll("[role='dialog']");
@@ -3208,6 +3297,7 @@ module.exports.__testables = {
   diffNewReelIds,
   pickReelsTabUrl,
   networkIdVerdict,
+  classifyComposerText,
   isComposerDialogSignature,
   discoverReelsTabUrl,
   scrapeReelTileIds,