channel-worker 2.5.111 → 2.5.113

package/lib/command-poller.js

@@ -215,6 +215,7 @@ class CommandPoller {
         page_limit: payload.page_limit ?? 20,
         delay_ms: payload.delay_ms ?? 2500,               // human-like pacing (anti-bot)
         filters: payload.filters || {},
+        log: (m) => console.log(m),                       // để thấy số tab đã dọn
       });
       if (res.status === 'needs_verify') {
         // Anti-bot bounce — DON'T fail/retry into more captchas. Report cleanly
@@ -304,6 +305,7 @@ class CommandPoller {
       const res = await scraper.generateOfferLink(conn.context, {
         items,
         subIds: Array.isArray(payload.sub_ids) ? payload.sub_ids : [],
+        log: (m) => console.log(m),                       // để thấy số tab đã dọn
       });
       if (res.status === 'needs_verify') {
         // Anti-bot bounce — báo sạch, KHÔNG thử lại để khỏi đâm thêm captcha.

package/lib/shopee-scraper.js

@@ -206,6 +206,51 @@ function findAffiliatePage(pages) {
   return live.find((p) => urlPath(p.url()).startsWith('/offer')) || live[0] || null;
 }
 
+// Tab nào là RÁC của các lượt trước — đóng được mà không mất gì.
+//
+// Chỉ nhận ba loại, cố ý hẹp: trang trắng, tab đang kẹt ở captcha/đăng nhập, và
+// tab Shopee thừa ngoài cái mình sắp dùng. KHÔNG đụng tới tab của trang khác:
+// profile này người vẫn mở tay để xác minh, đóng nhầm là cướp việc của họ.
+function isJunkTab(url, keepUrl) {
+  if (url === keepUrl) return false;
+  if (!url || url === 'about:blank' || url === 'chrome://newtab/') return true;
+  if (isBlockedState(url, null)) return true;   // captcha / buyer/login / is_from_login
+  try {
+    const h = new URL(url).hostname;
+    return h === 'affiliate.shopee.vn' || h === 'shopee.vn' || h === 'www.shopee.vn';
+  } catch { return false; }
+}
+
+// Dọn tab trước khi làm việc.
+//
+// 11/09 đo trên chính profile Shopee1: 16 tab, và tab VỊ TRÍ 0 là captcha cũ từ
+// lượt quét trước — `pages().find(u.includes('affiliate.shopee.vn'))` vớ trúng
+// nó nên máy một mực đòi xác minh trong khi 15 tab kia đăng nhập bình thường.
+// `findAffiliatePage` đã vá chỗ CHỌN, nhưng tab rác vẫn dồn lại mỗi ngày: mỗi
+// lượt bị đá sang captcha để lại một tab, Chrome chậm dần, và người mở profile
+// ra nhìn thì rối.
+//
+// Giữ đúng MỘT tab affiliate (cái sắp dùng) và đóng phần còn lại. Không bao giờ
+// đóng tab cuối cùng — context không còn trang nào thì Chrome của NST có thể tự
+// tắt, mất luôn phiên đăng nhập vừa xác minh tay.
+async function pruneTabs(ctx, { keep = null, log = null } = {}) {
+  const pages = ctx.pages() || [];
+  if (pages.length <= 1) return 0;
+  const keepUrl = keep ? keep.url() : (findAffiliatePage(pages)?.url() || null);
+  let closed = 0;
+  for (const p of pages) {
+    if (p === keep) continue;
+    let u = '';
+    try { u = p.url(); } catch { continue; }
+    if (!isJunkTab(u, keepUrl)) continue;
+    if ((ctx.pages() || []).length <= 1) break;
+    await p.close().catch(() => {});
+    closed++;
+  }
+  if (closed && log) log(`[shopee] đã đóng ${closed} tab cũ, còn ${(ctx.pages() || []).length}`);
+  return closed;
+}
+
 // Apply the Flow-1 hard filters (criteria) to parsed rows. Defaults are lenient;
 // the controller passes the agreed thresholds (commission/price/sold/rating/imgs).
 function applyFilters(rows, f = {}) {
@@ -260,6 +305,7 @@ async function scrapeOffers(ctx, {
   delay_ms = 2500,       // human-like pause between calls (anti-bot)
   filters = {},
   timeoutMs = 45000,
+  log = null,
   // legacy single-sort param (back-compat with the first build)
   sort_type = null,
 } = {}) {
@@ -284,8 +330,10 @@ async function scrapeOffers(ctx, {
   if (cat?.group && !filters.category_groups) filters = { ...filters, category_groups: [cat.group] };
   const listType = cat?.list_type || null;
 
-  const pagesOpen = ctx.pages();
-  let page = findAffiliatePage(pagesOpen);
+  let page = findAffiliatePage(ctx.pages());
+  // Dọn TRƯỚC khi mở thêm: tab rác của lượt trước không giúp gì cho lượt này,
+  // mà để lại thì lần sau còn nhiều hơn.
+  await pruneTabs(ctx, { keep: page, log }).catch(() => {});
   let opened = false;
   if (!page) { page = await ctx.newPage(); opened = true; }
   try {
@@ -372,7 +420,7 @@ function cleanSubId(v) {
 // Google Ads, không qua đường ghi nhận affiliate nên không ra hoa hồng).
 //
 // subIds: mảng tối đa 5 phần tử. Quy ước của mình: [kênh, video, đợt].
-async function generateOfferLink(ctx, { items = [], subIds = [], timeoutMs = 45000 } = {}) {
+async function generateOfferLink(ctx, { items = [], subIds = [], timeoutMs = 45000, log = null } = {}) {
   const list = (items || [])
     .map((it) => ({ itemId: String(it.item_id || ''), shopId: Number(it.shop_id) || 0, trace: '' }))
     .filter((it) => it.itemId && it.shopId);
@@ -381,8 +429,8 @@ async function generateOfferLink(ctx, { items = [], subIds = [], timeoutMs = 450
   const subs = {};
   for (let i = 0; i < 5; i++) subs[`subId${i + 1}`] = cleanSubId(subIds[i]);
 
-  const pagesOpen = ctx.pages();
-  let page = findAffiliatePage(pagesOpen);
+  let page = findAffiliatePage(ctx.pages());
+  await pruneTabs(ctx, { keep: page, log }).catch(() => {});
   let opened = false;
   if (!page) { page = await ctx.newPage(); opened = true; }
   try {
@@ -441,4 +489,4 @@ function parseProductUrl(url = '') {
   return null;
 }
 
-module.exports = { ingestProduct, scrapeOffers, generateOfferLink, cleanSubId, parseProductUrl, parseOfferRow, parsePdpItem, categoryGroup, pctToNumber, AFFILIATE_CATEGORIES, applyFilters, isBlockedState, findAffiliatePage };
+module.exports = { ingestProduct, scrapeOffers, generateOfferLink, cleanSubId, parseProductUrl, parseOfferRow, parsePdpItem, categoryGroup, pctToNumber, AFFILIATE_CATEGORIES, applyFilters, isBlockedState, findAffiliatePage, pruneTabs, isJunkTab };

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "channel-worker",
-  "version": "2.5.111",
+  "version": "2.5.113",
   "description": "Channel Manager worker daemon — runs on remote machines to execute video pipeline jobs",
   "main": "lib/daemon.js",
   "bin": {

package/scripts/comment_facebook.js

@@ -25,6 +25,25 @@
 const { assertAccountUsable, readPublishBlock } = require('./lib/fb-guard');
 const { humanClick, humanType, pause, randInt } = require('./lib/human');
 
+// Chụp màn hình lúc trượt — mượn của upload_facebook, nhưng require MUỘN và có
+// đường lùi.
+//
+// Vì sao không require ở đầu file: `lib/playwright-runner` chỉ xoá require.cache
+// của ĐÚNG script được gọi. Chép nóng cả hai file vào máy thì bản
+// comment_facebook mới được nạp lại ngay, còn upload_facebook có thể vẫn là bản
+// CŨ còn nằm trong cache từ lượt đăng trước — bản cũ chưa export `dumpFailure`,
+// require ở đầu file là cả script chết ngay dòng đầu. Chụp được ảnh thì tốt,
+// không chụp được thì thôi, đừng vì nó mà hỏng cả lượt thả bình luận.
+async function dumpFailure(page, tag, log) {
+  try {
+    const f = require('./upload_facebook').__testables?.dumpFailure;
+    if (typeof f === 'function') await f(page, tag, log);
+    else log('info', '[fb-cmt] bản upload_facebook đang nạp chưa có dumpFailure — bỏ qua bước chụp màn hình');
+  } catch (e) {
+    log('info', `[fb-cmt] không chụp được màn hình: ${String(e.message || e).slice(0, 80)}`);
+  }
+}
+
 const NAV_TIMEOUT_MS = 45_000;
 // Bình luận hiện ra gần như tức thì, nhưng lượt đầu sau khi mở bài thì Facebook
 // còn đang dựng khung bình luận. 20 giây là dư cho trường hợp chậm nhất đo được
@@ -94,6 +113,34 @@ async function openCommentsIfNeeded(page, log) {
 // Facebook đặt tên tác giả ngay trong aria-label của khối bình luận
 // ("Bình luận của <Tên>" / "Comment by <Name>") — đọc thẳng ở đó chắc hơn dò
 // anchor đầu tiên, vì trong khối còn có link tới bài, tới trang được nhắc tên.
+// ĐẾM số chỗ trên trang có chứa chuỗi link, BỎ QUA ô soạn.
+//
+// Đây là cách xác minh chắc hơn hẳn việc dò cấu trúc bình luận: mình đo TRƯỚC
+// khi gõ và ĐO LẠI sau khi gửi, thấy tăng lên là bình luận đã lên. Không cần
+// biết Facebook dựng khung bình luận bằng thẻ gì, cũng không vỡ khi họ đổi.
+//
+// Vì sao phải đổi (15/09): bản đầu đòi khối bình luận mang nhãn
+// `aria-label="Bình luận của <Tên>"` — đó là cấu trúc bài trên BẢNG TIN. Trang
+// reel dựng khác, nên 5/5 lượt thả thật đều báo "không đọc lại thấy" trong khi
+// chủ tịch mở bài ra thì bình luận NẰM ĐÓ. Suýt nữa thì mỗi bài hai bình luận
+// vì nút hiện "Thả lại".
+async function countLinkOnPage(page, link) {
+  return page.evaluate((needle) => {
+    let n = 0;
+    const walk = document.createTreeWalker(document.body, NodeFilter.SHOW_TEXT);
+    while (walk.nextNode()) {
+      const t = walk.currentNode;
+      if (!t.nodeValue || !t.nodeValue.includes(needle)) continue;
+      // Chữ mình vừa gõ trong ô soạn không tính.
+      if (t.parentElement && t.parentElement.closest("[contenteditable='true']")) continue;
+      n++;
+    }
+    return n;
+  }, link).catch(() => -1);
+}
+
+// Cố lấy TÊN người bình luận + permalink. Best-effort thuần: không lấy được thì
+// để trống chứ KHÔNG coi là thất bại — xác minh đã do phép đếm ở trên lo.
 async function findPostedComment(page, link) {
   return page.evaluate((needle) => {
     const out = { found: false, author: '', comment_url: '' };
@@ -121,16 +168,22 @@ async function findPostedComment(page, link) {
   }, link).catch(() => ({ found: false, author: '', comment_url: '' }));
 }
 
-async function waitForPostedComment(page, link, log, timeoutMs = VERIFY_TIMEOUT_MS) {
+async function waitForPostedComment(page, link, log, timeoutMs = VERIFY_TIMEOUT_MS, baseline = 0) {
   const deadline = Date.now() + timeoutMs;
-  let last = { found: false, author: '', comment_url: '' };
+  let meta = { found: false, author: '', comment_url: '' };
   while (Date.now() < deadline) {
-    last = await findPostedComment(page, link);
-    if (last.found) return last;
+    const n = await countLinkOnPage(page, link);
+    // Tăng so với lúc trước khi gõ = bình luận đã lên. Đây mới là bằng chứng;
+    // tên tác giả và permalink chỉ là thông tin kèm theo.
+    if (n > baseline) {
+      meta = await findPostedComment(page, link);
+      return { ...meta, found: true, count: n };
+    }
     await page.waitForTimeout(1200);
   }
-  log('warn', `[fb-cmt] hết ${Math.round(timeoutMs / 1000)}s vẫn chưa đọc lại thấy bình luận mang link`);
-  return last;
+  const n = await countLinkOnPage(page, link);
+  log('warn', `[fb-cmt] hết ${Math.round(timeoutMs / 1000)}s: số chỗ có link vẫn là ${n} (trước khi gõ ${baseline}) — chưa thấy bình luận lên`);
+  return { ...meta, found: false, count: n };
 }
 
 // ─── ghim ───────────────────────────────────────────────────────────────────
@@ -217,6 +270,11 @@ async function run({ page, payload = {}, log }) {
     throw new Error(`Không tìm thấy ô soạn bình luận trên ${postUrl} (đã thử ${BOX_SELECTORS.length} nhãn) — nhiều khả năng bài tắt bình luận hoặc Facebook đổi giao diện`);
   }
 
+  // Đo NỀN trước khi gõ: link có thể đã nằm sẵn trong caption, hoặc bài đã
+  // được thả bình luận từ lượt trước.
+  const baseline = Math.max(await countLinkOnPage(page, link), 0);
+  if (baseline > 0) log('info', `[fb-cmt] link đã xuất hiện ${baseline} chỗ trên bài từ trước — chỉ tính là xong khi tăng thêm`);
+
   await box.scrollIntoViewIfNeeded({ timeout: 5000 }).catch(() => {});
   await humanClick(page, box).catch(async () => { await box.click({ timeout: 5000 }); });
   await pause(page, 900);
@@ -240,9 +298,12 @@ async function run({ page, payload = {}, log }) {
     throw new Error(`FB_COMMENT_RATE_LIMITED: Facebook chặn bình luận vì tần suất/nghi spam — bình luận KHÔNG được nhận. Chuỗi bắt được: "${block}". Dừng thả link trên kênh này cho tới khi người kiểm tra.`);
   }
 
-  const found = await waitForPostedComment(page, link, log);
+  const found = await waitForPostedComment(page, link, log, VERIFY_TIMEOUT_MS, baseline);
   if (!found.found) {
     await assertAccountUsable(page, log);
+    // Chụp lại màn hình: lần trước trượt xác minh mà không có gì để soi, phải
+    // đợi chủ tịch tự mở Facebook mới biết bình luận có lên hay không.
+    await dumpFailure(page, 'cmt-verify', log);
     // KHÔNG ném lỗi kiểu "có thể đã thả": trả về verified=false để API ghi
     // 'failed' kèm nguyên văn. Ném lỗi ở đây thì lượt chạy lại sẽ gõ thêm một
     // bình luận nữa, mà bình luận trước có thể đã nằm đó rồi.
@@ -268,4 +329,4 @@ async function run({ page, payload = {}, log }) {
 }
 
 module.exports = { run };
-module.exports.__testables = { findPostedComment, findCommentBox, BOX_SELECTORS, sel };
+module.exports.__testables = { findPostedComment, countLinkOnPage, waitForPostedComment, findCommentBox, BOX_SELECTORS, sel };

package/scripts/upload_facebook.js

@@ -3425,6 +3425,9 @@ module.exports = { run };
 // Exposed so the overlay-click escalation can be exercised against a synthetic
 // page (toast covering the CTA) without driving the whole upload flow.
 module.exports.__testables = {
+  // Dùng chung cho comment_facebook: script nào trượt giữa chừng cũng cần chụp
+  // lại màn hình, viết bản thứ hai là sớm muộn hai bên lệch nhau.
+  dumpFailure,
   resilientClick,
   confirmPublishDialog,
   diffNewReelIds,