channel-worker 2.5.93 → 2.5.95

package/lib/api-client.js

@@ -68,7 +68,7 @@ class ApiClient {
   async getNextCommand(workerId) {
     // Daemon-handled types. `_pw` variants route to the Playwright pipeline
     // (lib/playwright-runner → scripts/<base>.js) instead of the extension.
-    const workerTypes = 'launch_profile,close_profile,launch_veo3_profile,set_profile_proxy,save_file,set_thumbnail,set_tags,set_file_input,click_and_upload,type_text,verify_logins,update_extension,sync_youtube_stats,restart_worker,upload_youtube_pw,upload_tiktok_pw,upload_facebook_pw,upload_facebook_photo_pw,warmup_youtube_pw,warmup_facebook_pw,warmup_tiktok_pw,nurture_facebook_pw,fetch_facebook_reel_stats_pw,scrape_affiliate_products,ingest_shopee_product';
+    const workerTypes = 'launch_profile,close_profile,launch_veo3_profile,set_profile_proxy,save_file,set_thumbnail,set_tags,set_file_input,click_and_upload,type_text,verify_logins,update_extension,sync_youtube_stats,restart_worker,upload_youtube_pw,upload_tiktok_pw,upload_facebook_pw,upload_facebook_photo_pw,warmup_youtube_pw,warmup_facebook_pw,warmup_tiktok_pw,nurture_facebook_pw,fetch_facebook_reel_stats_pw,scrape_affiliate_products,ingest_shopee_product,get_affiliate_link';
     return this.request('GET', `/workers/commands?worker_id=${workerId}&types=${encodeURIComponent(workerTypes)}`);
   }
 
@@ -94,6 +94,12 @@ class ApiClient {
     return this.request('POST', '/products/worker-ingest', { product, ...meta });
   }
 
+  // Trả LINK AFFILIATE thật về kho. `sub_ids` đi kèm để sau này biết link này
+  // gắn cho kênh/video nào — đó là cả lý do link phải sinh riêng từng bài.
+  async affiliateLinkResult(links, { user_id, sub_ids, idea_id } = {}) {
+    return this.request('POST', '/products/worker-link', { links, user_id, sub_ids, idea_id });
+  }
+
   // Return the calling daemon's own Worker doc — primarily for reading
   // parallel_limit (the per-daemon scene-generation concurrency cap that
   // replaced the legacy global flowkit_max_concurrent setting).

package/lib/command-poller.js

@@ -115,6 +115,9 @@ class CommandPoller {
         case 'ingest_shopee_product':
           await this.handleIngestShopeeProduct(command);
           break;
+        case 'get_affiliate_link':
+          await this.handleGetAffiliateLink(command);
+          break;
         default:
           // Playwright-based pipeline: any command whose type ends in '_pw'
           // is routed to scripts/<base>.js (BrowserClaw-style automation
@@ -252,6 +255,59 @@ class CommandPoller {
     }
   }
 
+  // Sinh LINK AFFILIATE THẬT (s.shopee.vn/...) cho một hoặc nhiều sản phẩm,
+  // kèm sub-id để đo click/đơn về tới từng kênh và từng video.
+  // Open API chính thức đã bị Shopee từ chối, nên phải đi qua phiên đăng nhập
+  // như mọi việc Shopee khác — xem ghi chú ở shopee-scraper.generateOfferLink.
+  async handleGetAffiliateLink(command) {
+    const payload = command.payload || {};
+    if (!(await this._ensureNst(command))) return;
+    const scraper = require('./shopee-scraper');
+    const profileName = payload.profile_name || (await this.api.getSetting('shopee_affiliate_profile').catch(() => null)) || 'Shopee1';
+
+    let items = Array.isArray(payload.items) ? payload.items : [];
+    if (!items.length && payload.url) {
+      const ids = scraper.parseProductUrl(payload.url);
+      if (ids) items = [ids];
+    }
+    if (!items.length && payload.shop_id && payload.item_id) items = [{ shop_id: payload.shop_id, item_id: payload.item_id }];
+    if (!items.length) {
+      await this.api.updateCommand(command._id, { status: 'failed', error: 'cần items[] hoặc url hoặc {shop_id,item_id}' });
+      return;
+    }
+
+    let conn;
+    try {
+      conn = await this._connectNstProfileByName(profileName);
+      const res = await scraper.generateOfferLink(conn.context, {
+        items,
+        subIds: Array.isArray(payload.sub_ids) ? payload.sub_ids : [],
+      });
+      if (res.status === 'needs_verify') {
+        // Anti-bot bounce — báo sạch, KHÔNG thử lại để khỏi đâm thêm captcha.
+        console.warn(`[shopee] lấy link: needs_verify — ${res.reason}`);
+        await this.api.updateCommand(command._id, { status: 'done', result: { needs_verify: true, reason: res.reason } });
+        return;
+      }
+      if (res.status !== 'ok') {
+        await this.api.updateCommand(command._id, { status: 'failed', error: String(res.reason || 'không lấy được link').slice(0, 500) });
+        return;
+      }
+      console.log(`[shopee] lấy được ${res.links.length} link (sub: ${JSON.stringify(res.sub_ids)})`);
+      await this.api.affiliateLinkResult(res.links, {
+        user_id: command.user_id,
+        sub_ids: res.sub_ids,
+        idea_id: payload.idea_id || null,
+      });
+      await this.api.updateCommand(command._id, { status: 'done', result: { links: res.links, sub_ids: res.sub_ids } });
+    } catch (err) {
+      console.error(`[shopee] lấy link thất bại: ${err.message}`);
+      await this.api.updateCommand(command._id, { status: 'failed', error: String(err.message || err).slice(0, 500) });
+    } finally {
+      if (conn) conn.disconnect();
+    }
+  }
+
   async handlePlaywrightCommand(command) {
     const { runPlaywrightScript } = require('./playwright-runner');
     const payload = command.payload || {};
@@ -277,13 +333,29 @@ class CommandPoller {
     }
     if (!this._pwInFlight) this._pwInFlight = new Map();
     const MUTEX_MAX_WAIT_MS = 30 * 60 * 1000;
+    // Nhịp báo còn sống trong lúc XẾP HÀNG. Bộ dọn của API coi lệnh đăng
+    // 'running' quá 20 phút là "worker crash giữa chừng": nó đánh failed +
+    // ambiguous, idea bị RÚT khỏi kho tự động và bắt người vào Facebook kiểm —
+    // trong khi bài còn chưa hề được thử đăng. Hai ngưỡng đá nhau (chờ ở đây
+    // tối đa 30 phút > 20 phút của bộ dọn), đo prod 2026-09-09 tối: 6 bài bị
+    // khai tử oan trong 7 phút (19:14→19:21) khi lệnh dồn cục vào một profile.
+    // Chạm vào lệnh mỗi 2 phút là đủ giữ `updatedAt` tươi mà không nện API.
+    const MUTEX_BEAT_MS = 2 * 60 * 1000;
     const waitStart = Date.now();
+    let lastBeat = Date.now();
     while (this._pwInFlight.has(profileId)) {
       if (Date.now() - waitStart > MUTEX_MAX_WAIT_MS) {
         await this.api.updateCommand(command._id, { status: 'failed', error: `pw mutex timeout — profile ${profileId} busy with ${this._pwInFlight.get(profileId)} for >30min` });
         return;
       }
       console.log(`[commands/pw] ${command.type} waiting — profile ${profileId} busy with ${this._pwInFlight.get(profileId)}`);
+      if (Date.now() - lastBeat > MUTEX_BEAT_MS) {
+        lastBeat = Date.now();
+        const waitedMin = Math.round((Date.now() - waitStart) / 60000);
+        await this.api.updateCommand(command._id, { status: 'running' })
+          .then(() => console.log(`[commands/pw] ${command.type} vẫn đang xếp hàng ${waitedMin} phút — báo còn sống để bộ dọn không khai tử`))
+          .catch(() => {});
+      }
       await new Promise(r => setTimeout(r, 5000));
     }
     this._pwInFlight.set(profileId, command.type);
@@ -325,6 +397,16 @@ class CommandPoller {
 
     const keepOpen = await this._keepOpenCfg();
 
+    // Nhịp còn-sống SUỐT lúc kịch bản chạy (không chỉ lúc xếp hàng). Bộ dọn của
+    // API khai tử lệnh đăng 'running' quá 20 phút không cập nhật; một lượt
+    // upload FB thật có thể đứng chờ nút Đăng tới 600s cộng các bước trước đó
+    // là vượt 20 phút — ca Chuyện Nhà Nông 09/09 21:46 chạy 17 phút, updatedAt
+    // vẫn là 21:46. Chạm vào lệnh mỗi 2 phút là đủ, thưa hơn nhiều so với API.
+    const RUN_BEAT_MS = 2 * 60 * 1000;
+    const beat = setInterval(() => {
+      this.api.updateCommand(command._id, { status: 'running' }).catch(() => {});
+    }, RUN_BEAT_MS);
+
     try {
       const result = await runPlaywrightScript({
         nst: this.nst,
@@ -343,6 +425,7 @@ class CommandPoller {
       console.error(`[commands/pw] ${command.type} failed: ${err.message}`);
       await this.api.postCommandResult(command._id, { status: 'failed', error: String(err.message || err).slice(0, 500) });
     } finally {
+      clearInterval(beat);
       // Always release the per-profile mutex — even on throw — or sibling
       // pw cmds for the same profile would hang forever.
       if (this._pwInFlight) this._pwInFlight.delete(profileId);

package/lib/shopee-scraper.js

@@ -292,6 +292,87 @@ async function scrapeOffers(ctx, {
   }
 }
 
+// Chuẩn hoá một sub-id: CHỈ CHỮ VÀ SỐ. Đo 09/09/2026 — gửi `kenh_C` (có gạch
+// dưới) thì Shopee trả `businessCode:282800002` và data null, còn `kenhB` thì
+// 200 ra link. Placeholder của chính Shopee cũng là SportShoes / InstagramFeed
+// / 1212BirthdaySale. Cắt sạch dấu thay vì để lệnh chết giữa chừng.
+function cleanSubId(v) {
+  return String(v == null ? '' : v)
+    .replace(/đ/g, 'd').replace(/Đ/g, 'D')   // 'đ' KHÔNG tách được bằng NFD (ký tự riêng, không phải chữ + dấu tổ hợp) — bỏ qua là "đợt" thành "ot", hai mã khác nhau có thể trùng nhau
+    .normalize('NFD').replace(/[\u0300-\u036f]/g, '')   // bỏ dấu tiếng Việt
+    .replace(/[^A-Za-z0-9]/g, '')
+    .slice(0, 50);
+}
+
+// Sinh LINK AFFILIATE THẬT cho một hoặc nhiều sản phẩm.
+//
+// Đây là đường DUY NHẤT còn dùng được: Open API chính thức đã bị Shopee từ chối
+// ("chỉ hỗ trợ một số nhóm KOL/KOC có nhân viên hỗ trợ trực tiếp", trả lời
+// 09/09/2026), nên phải gọi trong phiên đăng nhập như mọi thứ khác ở file này.
+//
+// Bắt được payload bằng cách bấm thật nút Get Link → tick Advanced → điền 5 ô
+// subId → "Add to Link". Link trả về dạng `s.shopee.vn/<mã>`, redirect qua
+// `/opaanlp/` — KHÁC hẳn `long_link` của offer list (universal-link + chữ ký
+// Google Ads, không qua đường ghi nhận affiliate nên không ra hoa hồng).
+//
+// subIds: mảng tối đa 5 phần tử. Quy ước của mình: [kênh, video, đợt].
+async function generateOfferLink(ctx, { items = [], subIds = [], timeoutMs = 45000 } = {}) {
+  const list = (items || [])
+    .map((it) => ({ itemId: String(it.item_id || ''), shopId: Number(it.shop_id) || 0, trace: '' }))
+    .filter((it) => it.itemId && it.shopId);
+  if (!list.length) throw new Error('generateOfferLink cần ít nhất một {shop_id,item_id}');
+
+  const subs = {};
+  for (let i = 0; i < 5; i++) subs[`subId${i + 1}`] = cleanSubId(subIds[i]);
+
+  const pagesOpen = ctx.pages();
+  let page = pagesOpen.find((p) => p.url().includes('affiliate.shopee.vn'));
+  let opened = false;
+  if (!page) { page = await ctx.newPage(); opened = true; }
+  try {
+    if (!page.url().includes('affiliate.shopee.vn')) {
+      await page.goto('https://affiliate.shopee.vn/offer/product_offer', { waitUntil: 'networkidle', timeout: timeoutMs }).catch(() => {});
+      await sleep(1500);
+    }
+    if (isBlockedState(page.url(), null)) {
+      return { status: 'needs_verify', links: [], reason: 'session at captcha/login — re-verify via VNC' };
+    }
+    const res = await page.evaluate(async (q) => {
+      const body = {
+        operationName: 'batchGetProductOfferLink',
+        query: `query batchGetProductOfferLink($sourceCaller: SourceCaller!, $productOfferLinkParams: [ProductOfferLinkParam!]!, $advancedLinkParams: AdvancedLinkParams){ productOfferLinks(productOfferLinkParams: $productOfferLinkParams, sourceCaller: $sourceCaller, advancedLinkParams: $advancedLinkParams) { itemId shopId productOfferLink } }`,
+        variables: {
+          productOfferLinkParams: q.list,
+          sourceCaller: 'WEB_SITE_CALLER',
+          advancedLinkParams: q.subs,
+        },
+      };
+      try {
+        const r = await fetch('/api/v3/gql?q=productOfferLinks', {
+          method: 'POST', credentials: 'include',
+          headers: { 'Content-Type': 'application/json' },
+          body: JSON.stringify(body),
+        });
+        return { status: r.status, json: await r.json().catch(() => null) };
+      } catch (e) { return { status: 0, error: String(e.message) }; }
+    }, { list, subs });
+
+    if (isBlockedState(page.url(), res)) {
+      return { status: 'needs_verify', links: [], reason: `blocked (http ${res.status})` };
+    }
+    const err = res.json?.errors?.[0]?.message;
+    if (err) return { status: 'failed', links: [], reason: err };
+    const rows = res.json?.data?.productOfferLinks || [];
+    return {
+      status: 'ok',
+      sub_ids: subs,
+      links: rows.map((r) => ({ item_id: String(r.itemId), shop_id: String(r.shopId), link: r.productOfferLink })),
+    };
+  } finally {
+    if (opened) await page.close().catch(() => {});
+  }
+}
+
 // Parse a Shopee product URL → { shop_id, item_id }. Accepts
 // /product/<shop>/<item> and i.<shop>.<item> forms.
 function parseProductUrl(url = '') {
@@ -302,4 +383,4 @@ function parseProductUrl(url = '') {
   return null;
 }
 
-module.exports = { ingestProduct, scrapeOffers, parseProductUrl, parseOfferRow, parsePdpItem, categoryGroup, pctToNumber, AFFILIATE_CATEGORIES, applyFilters };
+module.exports = { ingestProduct, scrapeOffers, generateOfferLink, cleanSubId, parseProductUrl, parseOfferRow, parsePdpItem, categoryGroup, pctToNumber, AFFILIATE_CATEGORIES, applyFilters };

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "channel-worker",
-  "version": "2.5.93",
+  "version": "2.5.95",
   "description": "Channel Manager worker daemon — runs on remote machines to execute video pipeline jobs",
   "main": "lib/daemon.js",
   "bin": {

package/scripts/upload_facebook.js

@@ -510,7 +510,7 @@ async function waitForPublishEnabled(page, verbs, log, timeoutMs, tag = 'fb-pw',
       const dlgs = document.querySelectorAll("[role='dialog']");
       const roots = dlgs.length ? Array.from(dlgs) : [document];
       const vh = window.innerHeight;
-      let present = false, enabled = false;
+      let present = false, enabled = false, rejected = '';
       for (const root of roots) {
         for (const el of root.querySelectorAll("button, [role='button']")) {
           const t = (el.innerText || el.textContent || '').trim();
@@ -523,9 +523,22 @@ async function waitForPublishEnabled(page, verbs, log, timeoutMs, tag = 'fb-pw',
           present = true;
           if (!(el.getAttribute('aria-disabled') === 'true' || el.disabled)) enabled = true;
         }
+        // FB TỪ CHỐI FILE: dòng đỏ ngay trên nút Lưu/Đăng, khung xem trước
+        // trống. Ảnh dump 09/09 21:49 (Góc Trại Gà, file 58 MB, lành, decode
+        // sạch): "Không thể tải file của bạn lên: fb-….mp4". Nút Đăng sẽ KHÔNG
+        // BAO GIỜ bật — chờ đủ 600s rồi mới báo "remained disabled" là đốt 10
+        // phút profile và dễ bị bộ dọn 20 phút khai tử. Đo 24h: 9 ca, 8 ca là
+        // file >50 MB (đi đường CDP setFileInputFiles).
+        const txt = (root.innerText || '').slice(0, 4000);
+        const m = /Không thể tải (?:file|tệp)[^\n]{0,120}|couldn['’]t upload your (?:file|video)[^\n]{0,80}|Unable to upload[^\n]{0,80}/i.exec(txt);
+        if (m) rejected = m[0].trim();
       }
-      return { present, enabled };
-    }, verbs).catch(() => ({ present: false, enabled: false }));
+      return { present, enabled, rejected };
+    }, verbs).catch(() => ({ present: false, enabled: false, rejected: '' }));
+    if (st.rejected) {
+      log('warn', `[${tag}] Facebook TỪ CHỐI file: "${st.rejected.slice(0, 120)}" — nút "Đăng" sẽ không bật, dừng chờ ngay`);
+      return { enabled: false, sawPresent: true, rejected: st.rejected };
+    }
     if (st.enabled) {
       if (announced) log('info', `[${tag}] "Đăng" is now enabled — video finished processing`);
       return { enabled: true, sawPresent: true };
@@ -534,6 +547,19 @@ async function waitForPublishEnabled(page, verbs, log, timeoutMs, tag = 'fb-pw',
       sawPresent = true;
       absentSince = 0;
       if (!announced) { log('info', `[${tag}] final step: "Đăng" disabled (video still processing) — waiting up to ${Math.round(timeoutMs / 1000)}s…`); announced = true; }
+    } else if (sawPresent) {
+      // ĐÃ THẤY nút rồi mà giờ biến mất = composer đã đóng (FB nhảy về trang
+      // chủ / toast cướp click / người mở profile bằng tay). Trước đây nhánh này
+      // không có: worker đứng đếm đủ 600s trên một hộp thoại không còn tồn tại
+      // rồi mới báo "composer vanished — retrying" (09/09 22:20, chủ tịch nhìn
+      // profile Chuyện Nhà Nông thấy đang ở trang chủ trong khi log vẫn ghi
+      // "waiting up to 600s"). Cho một khoảng ân hạn ngắn vì FB có lúc dựng lại
+      // dialog, rồi trả về để call site chạy lại lượt upload ngay.
+      if (!absentSince) absentSince = Date.now();
+      if (Date.now() - absentSince >= absentGraceMs) {
+        log('warn', `[${tag}] nút "Đăng" đã thấy rồi mà biến mất ${Math.round(absentGraceMs / 1000)}s — composer đã đóng, không chờ hết ${Math.round(timeoutMs / 1000)}s nữa`);
+        return { enabled: false, sawPresent: true, gone: true };
+      }
     } else if (!sawPresent) {
       if (!absentSince) absentSince = Date.now();
       // The final settings form mounts lazily after the thumbnail editor closes.
@@ -2454,6 +2480,11 @@ async function runOnce({ page, payload, log }) {
           if (waitResult.enabled) { step--; continue; }
           await dumpInventory(page, log, `no-advance-${step + 1}`);
           await dumpFailure(page, `no-advance-${step + 1}`, log);
+          if (waitResult.rejected) {
+            // Mã FB_PUBLISH_ để run() không đi dò tài khoản (không phải lỗi
+            // đăng nhập), và PublishRetry phân loại đúng "file bị từ chối".
+            throw new Error(`FB_PUBLISH_REJECTED: Facebook từ chối file video ("${waitResult.rejected.slice(0, 100)}") — thường gặp với file >50 MB đi đường CDP; nén/render lại nhỏ hơn rồi đăng`);
+          }
           // Composer biến mất (URL nhảy sang /reel/… vì toast cướp click, hoặc
           // FB tự đóng) → CHẠY LẠI cả lượt upload thay vì báo lỗi khó hiểu.
           // An toàn vì chưa hề bấm Đăng ở nhánh này.
@@ -2869,35 +2900,24 @@ async function runOnce({ page, payload, log }) {
       }
     }
 
-    // (a.3) LAST-RESORT: first reel tile on the profile reels tab. UNRELIABLE —
-    //       the just-published reel may not be on the tab yet (still
-    //       processing), so the first tile can be a STALE older reel. Only used
-    //       when every authoritative source above (fresh-timestamp tile,
-    //       title-match, inline CTA, network capture, timed retry) returned
-    //       nothing. Provably-stale filter: mọi reel ID đã bắt được TRƯỚC khi
-    //       bấm Đăng là reel có sẵn trên page — reel mới không thể là chúng.
-    //       Thà post_url rỗng còn hơn ghi sai (2026-08-19: nhánh này ghi reel
-    //       02/08 cho bài vừa đăng → link trong DB trỏ nhầm bài cũ).
+    // (a.3) ĐÃ GỠ nhánh LAST-RESORT "bốc tile đầu tab Reels" — 2026-09-09.
+    //       Nó là nguồn của mọi link sai: đo prod 30 ngày, 97 video mang link
+    //       của BÀI KHÁC (~10% số link), riêng 09/09 là 15 ca; log win-worker
+    //       cho thấy nhánh này chạy 250 lần mà bộ lọc "chắc chắn reel cũ" chỉ
+    //       chặn được 6, relabs03 chạy 107 lần chặn được 0. Bộ lọc vô dụng vì
+    //       nó chỉ biết những reel ID đã đi qua GÓI MẠNG trước lúc bấm Đăng,
+    //       mà luồng page-wall không hề mở tab Reels trước đó — tile đầu tiên
+    //       của tab hầu như không nằm trong danh sách ấy. Nhánh "tile có mốc
+    //       thời gian mới" phía trên (a.2/a.2b) thì chưa từng khớp lần nào
+    //       (0/250) vì tile trên tab Reels chỉ hiện lượt xem, không hiện giờ
+    //       đăng — nên "last-resort" thực chất là "bốc đại cái đầu tiên".
+    //       Ca chủ tịch bắt 09/09 (kênh Bí Quyết Nhà Nông): bài 12:53 báo
+    //       thành công, link trỏ vào reel của bài 08/09; bài thật CHƯA lên.
+    //       Không có link thì API hạ xuống "mập mờ, chờ người kiểm"
+    //       (markUnverifiedPublish) — thà rỗng còn hơn sai, và giờ rỗng cũng
+    //       không còn hoá thành "đăng thành công" nữa.
     if (!postUrl) {
-      const preIds = capturedReelIds.slice(0, capturedReelIdsSnapshotLen);
-      const tileHref = await page.evaluate((staleIds) => {
-        const staleSet = new Set(staleIds);
-        const anchors = document.querySelectorAll("a[role='link']");
-        for (const a of anchors) {
-          const aria = (a.getAttribute('aria-label') || '').toLowerCase();
-          if (!/bản xem trước ô thước phim|reel tile preview|reel preview/.test(aria)) continue;
-          const href = a.getAttribute('href') || '';
-          const m = href.match(/\/reel\/(\d{8,20})/);
-          if (m) return { href, aria: aria.slice(0, 60), id: m[1], provablyStale: staleSet.has(m[1]) };
-        }
-        return null;
-      }, preIds).catch(() => null);
-      if (tileHref && tileHref.provablyStale) {
-        log('warn', `[fb-pw] LAST-RESORT tile ${tileHref.id} was already captured PRE-publish — provably an OLD reel; leaving post_url empty instead of recording a wrong one`);
-      } else if (tileHref) {
-        postUrl = tileHref.href.startsWith('http') ? tileHref.href : `https://www.facebook.com${tileHref.href}`;
-        log('warn', `[fb-pw] post URL from FIRST reel tile on reels_tab (LAST-RESORT, may be STALE): ${postUrl}`);
-      }
+      log('warn', '[fb-pw] không nguồn nào xác nhận được reel mới (mạng/tile mới/tiêu đề đều trượt) — KHÔNG bốc tile đầu tab Reels nữa, để post_url rỗng cho API đánh mập mờ');
     }
 
     // (b) URL change — FB sometimes navigates to /reel/<id>/ after publish.