channel-worker 2.5.106 → 2.5.108

package/lib/command-poller.js

@@ -200,10 +200,17 @@ class CommandPoller {
     let conn;
     try {
       conn = await this._connectNstProfileByName(profileName);
+      // Từ khoá và ngành hàng loại trừ nhau: có keyword thì KHÔNG được để
+      // `category` rơi về mặc định 'women_clothes', không thì scrapeOffers nhận
+      // cả hai và lượt tìm im lặng biến thành lượt duyệt tab quần áo nữ.
+      const keyword = String(payload.keyword || '').trim();
       const res = await scraper.scrapeOffers(conn.context, {
-        category: payload.category || 'women_clothes',   // Tier-1 default: quần áo nữ
-        match_id: payload.match_id || null,
-        sort_types: payload.sort_types || [2, 3],         // commission + sales, merged
+        keyword: keyword || null,
+        category: keyword ? null : (payload.category || 'women_clothes'),   // Tier-1 default: quần áo nữ
+        match_id: keyword ? null : (payload.match_id || null),
+        // Ở chế độ từ khoá, sort_type 3 là GIÁ GIẢM DẦN chứ không phải doanh số
+        // (đo 09/09) — scrapeOffers tự cắt, đây chỉ là không đưa vào cho đỡ rối.
+        sort_types: payload.sort_types || (keyword ? [2] : [2, 3]),         // commission + sales, merged
         pages: payload.pages ?? 2,
         page_limit: payload.page_limit ?? 20,
         delay_ms: payload.delay_ms ?? 2500,               // human-like pacing (anti-bot)
@@ -217,9 +224,24 @@ class CommandPoller {
         await this.api.updateCommand(command._id, { status: 'done', result: { needs_verify: true, reason: res.reason, count: res.products?.length || 0 } });
         return;
       }
-      console.log(`[shopee] scraped ${res.raw_count} raw → ${res.products.length} after filters from ${profileName}`);
+      console.log(`[shopee] scraped ${res.raw_count} raw → ${res.products.length} after filters from ${profileName}${keyword ? ` (từ khoá "${keyword}")` : ''}`);
       await this.api.upsertAffiliateProducts(res.products, { user_id: command.user_id });
-      await this.api.updateCommand(command._id, { status: 'done', result: { count: res.products.length, raw: res.raw_count } });
+      // Lượt tìm theo từ khoá trả kèm CHÍNH danh sách tìm được, không chỉ đếm:
+      // bên gọi phải chấm chọn đúng trên những món của lượt này. Đọc lại từ kho
+      // thì lẫn hàng của các lượt trước và mất luôn thứ tự Shopee xếp.
+      // Cắt gọn để kết quả lệnh không phình (ảnh/biến thể ở lại trong kho).
+      const slim = keyword
+        ? res.products.slice(0, 20).map((r) => ({
+          shop_id: r.shop_id, item_id: r.item_id, name: r.name, price: r.price,
+          commission_rate: r.commission_rate, commission_value: r.commission_value,
+          sold_count: r.sold_count, rating: r.rating, cover_image: r.cover_image,
+          product_url: r.product_url, category_group: r.category_group,
+        }))
+        : undefined;
+      await this.api.updateCommand(command._id, {
+        status: 'done',
+        result: { count: res.products.length, raw: res.raw_count, keyword: res.keyword || null, ...(slim ? { products: slim } : {}) },
+      });
     } catch (err) {
       console.error(`[shopee] scrape failed: ${err.message}`);
       await this.api.updateCommand(command._id, { status: 'failed', error: String(err.message || err).slice(0, 500) });

package/lib/shopee-scraper.js

@@ -246,6 +246,14 @@ function applyFilters(rows, f = {}) {
 async function scrapeOffers(ctx, {
   category = null,        // key in AFFILIATE_CATEGORIES (e.g. 'women_clothes')
   match_id = null,        // explicit category id override
+  // Tìm theo TỪ KHOÁ thay vì duyệt tab ngành hàng. Cùng endpoint, khác tham số:
+  // `list_type=0&keyword=<kw>&filter_types=2` (đo 09/09/2026 — ghi chú cũ bảo
+  // "cần signed header" là sai/lạc hậu).
+  //
+  // Đây là thứ gỡ bế tắc kho bão hoà: 6 tab ngành hàng luôn trả về top N giống
+  // nhau nên kho đứng yên ở 34 sản phẩm. Từ khoá thì mở ra đúng món hợp với
+  // từng video.
+  keyword = null,
   sort_types = [2],      // [2]=commission; pass [2,3] to merge commission+sales
   pages = 2,
   page_limit = 20,
@@ -256,6 +264,18 @@ async function scrapeOffers(ctx, {
   sort_type = null,
 } = {}) {
   if (sort_type != null) sort_types = [sort_type];
+  const kw = String(keyword || '').trim();
+  // ⚠️ Ý NGHĨA CỦA sort_type ĐỔI KHI TÌM THEO TỪ KHOÁ (đo 09/09/2026):
+  //   2 = bán chạy   ← thứ mình muốn
+  //   3 = GIÁ GIẢM DẦN, không phải doanh số (khác hẳn chế độ duyệt tab)
+  //   1 = liên quan, trả về toàn hàng bán 0 / 0 sao
+  // Mặc định của hàm là [2] nên chế độ từ khoá đã đúng sẵn; nhưng bên gọi quen
+  // tay truyền [2,3] như lúc quét tab thì một nửa kết quả là hàng đắt nhất chứ
+  // không phải hàng bán chạy. Cắt 3 đi và nói ra, đừng lặng lẽ quét rác.
+  if (kw && sort_types.includes(3)) {
+    sort_types = sort_types.filter((x) => x !== 3);
+    if (!sort_types.length) sort_types = [2];
+  }
   const cat = category && AFFILIATE_CATEGORIES[category] ? AFFILIATE_CATEGORIES[category] : null;
   const mid = match_id || cat?.match_id || null;
   // Default the category_groups filter to the category's own group (so a
@@ -285,15 +305,20 @@ async function scrapeOffers(ctx, {
       for (let i = 0; i < pages; i++) {
         const offset = i * page_limit;
         const res = await page.evaluate(async (q) => {
-          const cat = q.listType
-            ? `&list_type=${q.listType}`
-            : (q.mid ? `&list_type=3&match_type=2&match_id=${q.mid}` : '&list_type=0');
+          // Từ khoá đứng TRƯỚC ngành hàng: hai chế độ loại trừ nhau, gửi cả hai
+          // thì Shopee bỏ qua keyword và mình tưởng đang tìm mà thật ra vẫn
+          // đang duyệt tab cũ.
+          const cat = q.kw
+            ? `&list_type=0&keyword=${encodeURIComponent(q.kw)}&filter_types=2`
+            : (q.listType
+              ? `&list_type=${q.listType}`
+              : (q.mid ? `&list_type=3&match_type=2&match_id=${q.mid}` : '&list_type=0'));
           const url = `/api/v3/offer/product/list?sort_type=${q.st}&page_offset=${q.offset}&page_limit=${q.page_limit}&client_type=1${cat}`;
           try {
             const r = await fetch(url, { credentials: 'include' });
             return { status: r.status, json: await r.json().catch(() => null) };
           } catch (e) { return { status: 0, error: String(e.message) }; }
-        }, { st, offset, page_limit, mid, listType });
+        }, { st, offset, page_limit, mid, listType, kw });
 
         if (isBlockedState(page.url(), res) || res.json?.code === 90309999) {
           return { status: 'needs_verify', products: [...byId.values()], raw_count: rawCount, reason: `blocked mid-scrape (http ${res.status}, code ${res.json?.code})` };
@@ -314,7 +339,10 @@ async function scrapeOffers(ctx, {
     }
 
     const products = applyFilters([...byId.values()], filters);
-    return { status: 'ok', products, raw_count: rawCount };
+    // `keyword` đi kèm kết quả để bên gọi ghi lại sản phẩm tìm được theo từ
+    // khoá nào — không có nó thì kho chỉ biết "có món này", không biết vì sao
+    // nó được nhặt về, và lượt chấm điểm hợp-video sau này mất căn cứ.
+    return { status: 'ok', products, raw_count: rawCount, keyword: kw || null };
   } finally {
     if (opened) await page.close().catch(() => {});
   }

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "channel-worker",
-  "version": "2.5.106",
+  "version": "2.5.108",
   "description": "Channel Manager worker daemon — runs on remote machines to execute video pipeline jobs",
   "main": "lib/daemon.js",
   "bin": {

package/scripts/fetch_facebook_reel_stats.js

@@ -38,7 +38,7 @@ function parseViews(txt) {
 // 09/09 tìm được tab để so trước/sau. Bản riêng còn thiếu cả bộ lọc "anchor
 // của bài trong bảng tin" (gốc 2 link page lạ sáng 10/09) nên có thể quét
 // nhầm tab Reels của page KHÁC mà không hay.
-const { discoverReelsTabUrl } = require('./upload_facebook').__testables;
+const { discoverReelsTabUrl, discoverReelsTabUrls, openReelsTabWithTiles } = require('./upload_facebook').__testables;
 
 // Số người theo dõi của page, đọc ngay trên chính trang đang đứng (header hiện
 // ở mọi tab của page/profile) — không tốn thêm lượt mở profile nào. Ô
@@ -507,17 +507,21 @@ async function run({ page, payload, log }) {
   const scrolls = Number.isFinite(Number(payload?.scroll)) && Number(payload.scroll) > 0
     ? Number(payload.scroll)
     : (mode === 'fresh' ? 2 : 6);
-  let tabUrl = null;
-  if (page_url && /sk=reels_tab/.test(page_url)) tabUrl = page_url;
-  if (!tabUrl) {
+  let candidates = [];
+  if (page_url && /sk=reels_tab/.test(page_url)) candidates = [page_url];
+  if (!candidates.length) {
     await page.goto(page_url || 'https://www.facebook.com/', { waitUntil: 'domcontentloaded', timeout: 45_000 });
     await page.waitForTimeout(4000);
-    tabUrl = await discoverReelsTabUrl(page, log); // có log → in mẫu href khi không khớp
+    candidates = await discoverReelsTabUrls(page, log); // có log → in mẫu href khi không khớp
   }
-  if (!tabUrl) throw new Error('không tìm được link tab Reels của page');
-  log('info', `[fb-stats] ${mode} · reels_tab: ${tabUrl.slice(0, 100)}`);
-  await page.goto(tabUrl, { waitUntil: 'domcontentloaded', timeout: 45_000 });
-  await page.waitForTimeout(5000);
+  if (!candidates.length) throw new Error('không tìm được link tab Reels của page');
+  // Thử lần lượt tới khi thấy tile: cùng một page có hai dạng URL mà chỉ một
+  // dạng render tab Reels. Ca "Chuyện Nghề Nhà Nông" 14/09 — dạng
+  // profile.php?id=… ra 0 tile suốt 4 lượt quét (kênh mất trắng số liệu view,
+  // và bộ đối chiếu xuôi cũng mù theo), dạng /chuyennghenhanong/ ra 17 tile.
+  const opened = await openReelsTabWithTiles(page, candidates, { log, settleMs: 5000, tag: '[fb-stats]' });
+  log('info', `[fb-stats] ${mode} · reels_tab: ${String(opened.url || '').slice(0, 100)}`
+    + (candidates.length > 1 ? ` (ứng viên ${opened.tried}/${candidates.length})` : ''));
 
   // Follower chỉ đọc ở lượt nền: lượt bám bài chạy 2-3 lần/ngày mà con số này
   // gần như không đổi trong ngày. Đọc hỏng thì bỏ qua — KHÔNG được làm hỏng
@@ -560,4 +564,4 @@ async function run({ page, payload, log }) {
   return { ok: true, mode, tiles: tiles.length, written: d?.written || 0, matched: d?.matched || 0, rising: d?.rising || 0, alerts: d?.alerts || 0, followers };
 }
 
-module.exports = { run, __testables: { parseViews, scrapeFollowers, parseExact, parseVnPostTime, runInsights, dumpInsightsFailure, discoverReelsTabUrl } };
+module.exports = { run, __testables: { parseViews, scrapeFollowers, parseExact, parseVnPostTime, runInsights, dumpInsightsFailure, discoverReelsTabUrl, discoverReelsTabUrls, openReelsTabWithTiles } };

package/scripts/upload_facebook.js

@@ -803,10 +803,10 @@ async function confirmPublishDialog({ firstHit, tagConfirmButton, clickTagged, c
   return { confirmed: !pending };
 }
 
-// Link tab Reels của Page — dùng ở CẢ HAI đầu lượt đăng (chụp ảnh nền trước
-// khi đăng, quét lại sau khi đăng). Ba chiến lược, giữ nguyên từ bản cũ.
-async function discoverReelsTabUrl(page, log = null) {
-  const anchors = await page.evaluate(() => {
+// Mọi anchor trên trang hiện tại (href + aria + có nằm trong bảng tin không) —
+// nguyên liệu cho pickReelsTabUrls. Tách riêng để bộ dò chạy một lượt evaluate.
+async function scrapePageAnchors(page) {
+  return page.evaluate(() => {
     const out = [];
     for (const a of document.querySelectorAll('a[href]')) {
       const href = a.getAttribute('href') || '';
@@ -819,13 +819,47 @@ async function discoverReelsTabUrl(page, log = null) {
     }
     return out;
   }).catch(() => []);
-  const url = pickReelsTabUrl(anchors);
-  if (!url && log) {
+}
+
+// MỌI ứng viên URL tab Reels của page, theo thứ tự ưu tiên. Trả danh sách chứ
+// không phải một cái, vì cùng một page có thể có HAI dạng URL mà chỉ MỘT dạng
+// render tile — ca "Chuyện Nghề Nhà Nông" 14/09: `/profile.php?id=615922598169
+// 21&sk=reels_tab` ra 0 tile ở cả 4 lượt quét liên tiếp (kênh mù hẳn, mất luôn
+// số liệu view), trong khi `/chuyennghenhanong/?sk=reels_tab` ra 17 tile. Trước
+// đó nó vẫn chạy đúng bằng dạng handle; anchor trên trang đổi là dạng
+// profile.php thắng chiến lược 2 và cả bộ đo lẫn bộ lấy link cùng mù.
+async function discoverReelsTabUrls(page, log = null) {
+  const anchors = await scrapePageAnchors(page);
+  const urls = pickReelsTabUrls(anchors);
+  if (!urls.length && log) {
     // Chẩn đoán: in vài href "giống của Page" để lần sau thêm đúng chiến lược.
     const sample = anchors.map((a) => a.href).filter((h) => /^\/(?:profile\.php|\d{8,}|[A-Za-z0-9._-]{3,}\/?(?:\?|$))/.test(h)).slice(0, 8);
     log('info', `[fb-pw] tìm tab Reels: ${anchors.length} anchor, không khớp chiến lược nào; mẫu: ${JSON.stringify(sample)}`);
   }
-  return url;
+  return urls;
+}
+async function discoverReelsTabUrl(page, log = null) {
+  return (await discoverReelsTabUrls(page, log))[0] || null;
+}
+
+// Mở tab Reels: thử lần lượt từng ứng viên tới khi thấy tile. `verified` = URL
+// này CHẮC CHẮN render được tab Reels của page — bằng chứng mạnh hơn "dò được
+// một link trông giống", nên lượt lấy link sau khi đăng ưu tiên nó.
+// Page thật sự chưa có reel nào cũng ra verified=false; khi đó ids rỗng là
+// đúng, không phải hỏng.
+async function openReelsTabWithTiles(page, urls, { log = null, settleMs = 4000, wait = null, tag = '[fb-pw]' } = {}) {
+  const list = [...new Set((urls || []).filter(Boolean))];
+  let lastUrl = null;
+  for (let i = 0; i < list.length; i++) {
+    const url = list[i];
+    lastUrl = url;
+    await page.goto(url, { waitUntil: 'domcontentloaded', timeout: 45_000 });
+    if (wait) await wait(page, settleMs); else await page.waitForTimeout(settleMs);
+    const ids = await scrapeReelTileIds(page);
+    if (ids.length) return { url, ids, verified: true, tried: i + 1 };
+    if (log && i + 1 < list.length) log('warn', `${tag} tab Reels ${url.slice(0, 80)} không có tile nào — thử ứng viên kế (${i + 2}/${list.length})`);
+  }
+  return { url: lastUrl, ids: [], verified: false, tried: list.length };
 }
 
 // Mọi reel ID đang hiện trên tab Reels, theo thứ tự DOM (mới nhất trước).
@@ -861,7 +895,11 @@ function diffNewReelIds(beforeIds, afterIds) {
 // "no reels_tab link found") — trang đó không có link tab Reels, dò lại là
 // trượt và cả so trước/sau lẫn lượt chờ 75s đều bị bỏ → bài lên thật mà thành
 // "mập mờ" (Makeup tại nhà 2 13/09 18:07, thich-lo-mo 12/09). Thuần, test được.
-function pickPostPublishReelsTabUrl({ discovered, remembered }) {
+function pickPostPublishReelsTabUrl({ discovered, remembered, rememberedVerified = false }) {
+  // URL đã CHỨNG MINH có tile lúc chụp ảnh nền thắng cả link dò được trên trang
+  // hiện tại: cùng một page có hai dạng URL mà chỉ một dạng render tab Reels
+  // (xem discoverReelsTabUrls), và dò lại sau khi đăng dễ bốc trúng dạng hỏng.
+  if (rememberedVerified && remembered) return { url: remembered, via: 'snapshot-verified' };
   if (discovered) return { url: discovered, via: 'page' };
   if (remembered) return { url: remembered, via: 'snapshot' };
   return { url: null, via: null };
@@ -892,7 +930,9 @@ function isComposerDialogSignature(text) {
 // chụp ảnh nền trước khi đăng) không có anchor profile.php/Dòng thời gian —
 // 2/2 lượt "không tìm được link tab Reels trước khi đăng". Trang chủ của Page
 // có shortcut bên trái trỏ /<id số>/ hoặc /<handle>/, và đôi khi /<id>/reels/.
-function pickReelsTabUrl(anchors) {
+function pickReelsTabUrls(anchors) {
+  const out = [];
+  const add = (u) => { if (u && !out.includes(u)) out.push(u); };
   const list = (anchors || [])
     .map((a) => ({ href: String(a.href || ''), aria: String(a.aria || ''), inFeed: !!a.inFeed }))
     // ⛔ LOẠI anchor CỦA BÀI TRONG BẢNG TIN — đây là gốc của 2 link sai sáng
@@ -905,27 +945,31 @@ function pickReelsTabUrl(anchors) {
     // (tracking của một bài cụ thể) hoặc anchor nằm trong vùng feed/article.
     .filter((a) => !a.inFeed && !/[?&]__cft__|[?&]__tn__/.test(a.href));
   const abs = (h) => (h.startsWith('http') ? h : `https://www.facebook.com${h}`);
-  for (const a of list) if (/sk=reels_tab/.test(a.href)) return abs(a.href);
+  for (const a of list) if (/sk=reels_tab/.test(a.href)) add(abs(a.href));
   for (const a of list) {
     const m = a.href.match(/\/profile\.php\?id=(\d+)/);
-    if (m) return `https://www.facebook.com/profile.php?id=${m[1]}&sk=reels_tab`;
+    if (m) add(`https://www.facebook.com/profile.php?id=${m[1]}&sk=reels_tab`);
   }
   for (const a of list) {
     if (!/Dòng thời gian|Timeline/i.test(a.aria)) continue;
     const m = a.href.match(/^(?:https?:\/\/(?:www\.)?facebook\.com)?\/([A-Za-z0-9._-]{3,})\/?(?:\?|$)/);
-    if (m && !['profile.php', 'reel', 'video', 'videos', 'reels'].includes(m[1])) return `https://www.facebook.com/${m[1]}/?sk=reels_tab`;
+    if (m && !['profile.php', 'reel', 'video', 'videos', 'reels'].includes(m[1])) add(`https://www.facebook.com/${m[1]}/?sk=reels_tab`);
   }
   // 4. /<id số>/reels/ hoặc /<id số>/ — shortcut của Page trên trang chủ.
   for (const a of list) {
     const m = a.href.match(/^(?:https?:\/\/(?:www\.)?facebook\.com)?\/(\d{10,20})(?:\/reels)?\/?(?:\?|$)/);
-    if (m) return `https://www.facebook.com/profile.php?id=${m[1]}&sk=reels_tab`;
+    if (m) add(`https://www.facebook.com/profile.php?id=${m[1]}&sk=reels_tab`);
   }
   // 5. /<handle>/reels/ — Page có tên riêng.
   for (const a of list) {
     const m = a.href.match(/^(?:https?:\/\/(?:www\.)?facebook\.com)?\/([A-Za-z0-9._-]{3,})\/reels\/?(?:\?|$)/);
-    if (m && !['profile.php', 'reel', 'video', 'videos'].includes(m[1])) return `https://www.facebook.com/${m[1]}/?sk=reels_tab`;
+    if (m && !['profile.php', 'reel', 'video', 'videos'].includes(m[1])) add(`https://www.facebook.com/${m[1]}/?sk=reels_tab`);
   }
-  return null;
+  return out;
+}
+// Ứng viên đầu bảng (giữ cho chỗ gọi cũ / test cũ).
+function pickReelsTabUrl(anchors) {
+  return pickReelsTabUrls(anchors)[0] || null;
 }
 
 async function hasVisibleReelComposer(page) {
@@ -960,7 +1004,7 @@ async function runOnce({ page, payload, log }) {
   } = payload || {};
   if (!video_url) throw new Error('No video_url provided');
 
-  log('info', '[fb-pw] selectors version=2026.09.13-reels-tab-fallback');
+  log('info', '[fb-pw] selectors version=2026.09.14-reels-tab-candidates');
 
   page.on('dialog', (d) => { d.accept().catch(() => {}); });
 
@@ -1070,14 +1114,16 @@ async function runOnce({ page, payload, log }) {
     let reelIdsBefore = null;
     // GIỮ LẠI URL tab Reels cho sau khi đăng — xem pickPostPublishReelsTabUrl.
     let reelsTabUrlBefore = null;
+    let reelsTabVerifiedBefore = false;
     try {
-      const tabUrl = await discoverReelsTabUrl(page, log);
-      if (tabUrl) {
-        reelsTabUrlBefore = tabUrl;
-        await page.goto(tabUrl, { waitUntil: 'domcontentloaded', timeout: 30_000 });
-        await pause(page, 3500);
-        reelIdsBefore = await scrapeReelTileIds(page);
-        log('info', `[fb-pw] ảnh nền tab Reels trước khi đăng: ${reelIdsBefore.length} reel`);
+      const candidates = await discoverReelsTabUrls(page, log);
+      if (candidates.length) {
+        const opened = await openReelsTabWithTiles(page, candidates, { log, settleMs: 3500, wait: pause });
+        reelsTabUrlBefore = opened.url;
+        reelsTabVerifiedBefore = opened.verified;
+        reelIdsBefore = opened.ids;
+        log('info', `[fb-pw] ảnh nền tab Reels trước khi đăng: ${reelIdsBefore.length} reel`
+          + (candidates.length > 1 ? ` (ứng viên ${opened.tried}/${candidates.length})` : ''));
         await navigateFacebookHome(page, log);
         await pause(page, 2500);
       } else {
@@ -3050,10 +3096,13 @@ async function runOnce({ page, payload, log }) {
       const picked = pickPostPublishReelsTabUrl({
         discovered: await discoverReelsTabUrl(page),
         remembered: reelsTabUrlBefore,
+        rememberedVerified: reelsTabVerifiedBefore,
       });
       const reelsTabHref = picked.url;
       if (picked.via === 'snapshot') {
         log('info', `[fb-pw] trang hiện tại không có link tab Reels (${String(page.url() || '').slice(0, 70)}) — dùng URL đã biết từ lúc chụp ảnh nền`);
+      } else if (picked.via === 'snapshot-verified') {
+        log('info', '[fb-pw] dùng URL tab Reels ĐÃ chứng minh có tile lúc chụp ảnh nền (dạng URL kia của cùng page có thể ra 0 tile)');
       }
       if (reelsTabHref) {
         reelsTabUrl = reelsTabHref;
@@ -3381,6 +3430,9 @@ module.exports.__testables = {
   diffNewReelIds,
   pickPostPublishReelsTabUrl,
   pickReelsTabUrl,
+  pickReelsTabUrls,
+  discoverReelsTabUrls,
+  openReelsTabWithTiles,
   networkIdVerdict,
   classifyComposerText,
   readPageAlerts,