channel-worker 2.5.107 → 2.5.109

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "channel-worker",
-  "version": "2.5.107",
+  "version": "2.5.109",
   "description": "Channel Manager worker daemon — runs on remote machines to execute video pipeline jobs",
   "main": "lib/daemon.js",
   "bin": {

package/scripts/fetch_facebook_reel_stats.js

@@ -38,7 +38,7 @@ function parseViews(txt) {
 // 09/09 tìm được tab để so trước/sau. Bản riêng còn thiếu cả bộ lọc "anchor
 // của bài trong bảng tin" (gốc 2 link page lạ sáng 10/09) nên có thể quét
 // nhầm tab Reels của page KHÁC mà không hay.
-const { discoverReelsTabUrl } = require('./upload_facebook').__testables;
+const { discoverReelsTabUrl, discoverReelsTabUrls, openReelsTabWithTiles } = require('./upload_facebook').__testables;
 
 // Số người theo dõi của page, đọc ngay trên chính trang đang đứng (header hiện
 // ở mọi tab của page/profile) — không tốn thêm lượt mở profile nào. Ô
@@ -507,17 +507,21 @@ async function run({ page, payload, log }) {
   const scrolls = Number.isFinite(Number(payload?.scroll)) && Number(payload.scroll) > 0
     ? Number(payload.scroll)
     : (mode === 'fresh' ? 2 : 6);
-  let tabUrl = null;
-  if (page_url && /sk=reels_tab/.test(page_url)) tabUrl = page_url;
-  if (!tabUrl) {
+  let candidates = [];
+  if (page_url && /sk=reels_tab/.test(page_url)) candidates = [page_url];
+  if (!candidates.length) {
     await page.goto(page_url || 'https://www.facebook.com/', { waitUntil: 'domcontentloaded', timeout: 45_000 });
     await page.waitForTimeout(4000);
-    tabUrl = await discoverReelsTabUrl(page, log); // có log → in mẫu href khi không khớp
+    candidates = await discoverReelsTabUrls(page, log); // có log → in mẫu href khi không khớp
   }
-  if (!tabUrl) throw new Error('không tìm được link tab Reels của page');
-  log('info', `[fb-stats] ${mode} · reels_tab: ${tabUrl.slice(0, 100)}`);
-  await page.goto(tabUrl, { waitUntil: 'domcontentloaded', timeout: 45_000 });
-  await page.waitForTimeout(5000);
+  if (!candidates.length) throw new Error('không tìm được link tab Reels của page');
+  // Thử lần lượt tới khi thấy tile: cùng một page có hai dạng URL mà chỉ một
+  // dạng render tab Reels. Ca "Chuyện Nghề Nhà Nông" 14/09 — dạng
+  // profile.php?id=… ra 0 tile suốt 4 lượt quét (kênh mất trắng số liệu view,
+  // và bộ đối chiếu xuôi cũng mù theo), dạng /chuyennghenhanong/ ra 17 tile.
+  const opened = await openReelsTabWithTiles(page, candidates, { log, settleMs: 5000, tag: '[fb-stats]' });
+  log('info', `[fb-stats] ${mode} · reels_tab: ${String(opened.url || '').slice(0, 100)}`
+    + (candidates.length > 1 ? ` (ứng viên ${opened.tried}/${candidates.length})` : ''));
 
   // Follower chỉ đọc ở lượt nền: lượt bám bài chạy 2-3 lần/ngày mà con số này
   // gần như không đổi trong ngày. Đọc hỏng thì bỏ qua — KHÔNG được làm hỏng
@@ -560,4 +564,4 @@ async function run({ page, payload, log }) {
   return { ok: true, mode, tiles: tiles.length, written: d?.written || 0, matched: d?.matched || 0, rising: d?.rising || 0, alerts: d?.alerts || 0, followers };
 }
 
-module.exports = { run, __testables: { parseViews, scrapeFollowers, parseExact, parseVnPostTime, runInsights, dumpInsightsFailure, discoverReelsTabUrl } };
+module.exports = { run, __testables: { parseViews, scrapeFollowers, parseExact, parseVnPostTime, runInsights, dumpInsightsFailure, discoverReelsTabUrl, discoverReelsTabUrls, openReelsTabWithTiles } };

package/scripts/upload_facebook.js

@@ -803,10 +803,10 @@ async function confirmPublishDialog({ firstHit, tagConfirmButton, clickTagged, c
   return { confirmed: !pending };
 }
 
-// Link tab Reels của Page — dùng ở CẢ HAI đầu lượt đăng (chụp ảnh nền trước
-// khi đăng, quét lại sau khi đăng). Ba chiến lược, giữ nguyên từ bản cũ.
-async function discoverReelsTabUrl(page, log = null) {
-  const anchors = await page.evaluate(() => {
+// Mọi anchor trên trang hiện tại (href + aria + có nằm trong bảng tin không) —
+// nguyên liệu cho pickReelsTabUrls. Tách riêng để bộ dò chạy một lượt evaluate.
+async function scrapePageAnchors(page) {
+  return page.evaluate(() => {
     const out = [];
     for (const a of document.querySelectorAll('a[href]')) {
       const href = a.getAttribute('href') || '';
@@ -819,13 +819,47 @@ async function discoverReelsTabUrl(page, log = null) {
     }
     return out;
   }).catch(() => []);
-  const url = pickReelsTabUrl(anchors);
-  if (!url && log) {
+}
+
+// MỌI ứng viên URL tab Reels của page, theo thứ tự ưu tiên. Trả danh sách chứ
+// không phải một cái, vì cùng một page có thể có HAI dạng URL mà chỉ MỘT dạng
+// render tile — ca "Chuyện Nghề Nhà Nông" 14/09: `/profile.php?id=615922598169
+// 21&sk=reels_tab` ra 0 tile ở cả 4 lượt quét liên tiếp (kênh mù hẳn, mất luôn
+// số liệu view), trong khi `/chuyennghenhanong/?sk=reels_tab` ra 17 tile. Trước
+// đó nó vẫn chạy đúng bằng dạng handle; anchor trên trang đổi là dạng
+// profile.php thắng chiến lược 2 và cả bộ đo lẫn bộ lấy link cùng mù.
+async function discoverReelsTabUrls(page, log = null) {
+  const anchors = await scrapePageAnchors(page);
+  const urls = pickReelsTabUrls(anchors);
+  if (!urls.length && log) {
     // Chẩn đoán: in vài href "giống của Page" để lần sau thêm đúng chiến lược.
     const sample = anchors.map((a) => a.href).filter((h) => /^\/(?:profile\.php|\d{8,}|[A-Za-z0-9._-]{3,}\/?(?:\?|$))/.test(h)).slice(0, 8);
     log('info', `[fb-pw] tìm tab Reels: ${anchors.length} anchor, không khớp chiến lược nào; mẫu: ${JSON.stringify(sample)}`);
   }
-  return url;
+  return urls;
+}
+async function discoverReelsTabUrl(page, log = null) {
+  return (await discoverReelsTabUrls(page, log))[0] || null;
+}
+
+// Mở tab Reels: thử lần lượt từng ứng viên tới khi thấy tile. `verified` = URL
+// này CHẮC CHẮN render được tab Reels của page — bằng chứng mạnh hơn "dò được
+// một link trông giống", nên lượt lấy link sau khi đăng ưu tiên nó.
+// Page thật sự chưa có reel nào cũng ra verified=false; khi đó ids rỗng là
+// đúng, không phải hỏng.
+async function openReelsTabWithTiles(page, urls, { log = null, settleMs = 4000, wait = null, tag = '[fb-pw]' } = {}) {
+  const list = [...new Set((urls || []).filter(Boolean))];
+  let lastUrl = null;
+  for (let i = 0; i < list.length; i++) {
+    const url = list[i];
+    lastUrl = url;
+    await page.goto(url, { waitUntil: 'domcontentloaded', timeout: 45_000 });
+    if (wait) await wait(page, settleMs); else await page.waitForTimeout(settleMs);
+    const ids = await scrapeReelTileIds(page);
+    if (ids.length) return { url, ids, verified: true, tried: i + 1 };
+    if (log && i + 1 < list.length) log('warn', `${tag} tab Reels ${url.slice(0, 80)} không có tile nào — thử ứng viên kế (${i + 2}/${list.length})`);
+  }
+  return { url: lastUrl, ids: [], verified: false, tried: list.length };
 }
 
 // Mọi reel ID đang hiện trên tab Reels, theo thứ tự DOM (mới nhất trước).
@@ -861,7 +895,11 @@ function diffNewReelIds(beforeIds, afterIds) {
 // "no reels_tab link found") — trang đó không có link tab Reels, dò lại là
 // trượt và cả so trước/sau lẫn lượt chờ 75s đều bị bỏ → bài lên thật mà thành
 // "mập mờ" (Makeup tại nhà 2 13/09 18:07, thich-lo-mo 12/09). Thuần, test được.
-function pickPostPublishReelsTabUrl({ discovered, remembered }) {
+function pickPostPublishReelsTabUrl({ discovered, remembered, rememberedVerified = false }) {
+  // URL đã CHỨNG MINH có tile lúc chụp ảnh nền thắng cả link dò được trên trang
+  // hiện tại: cùng một page có hai dạng URL mà chỉ một dạng render tab Reels
+  // (xem discoverReelsTabUrls), và dò lại sau khi đăng dễ bốc trúng dạng hỏng.
+  if (rememberedVerified && remembered) return { url: remembered, via: 'snapshot-verified' };
   if (discovered) return { url: discovered, via: 'page' };
   if (remembered) return { url: remembered, via: 'snapshot' };
   return { url: null, via: null };
@@ -892,7 +930,9 @@ function isComposerDialogSignature(text) {
 // chụp ảnh nền trước khi đăng) không có anchor profile.php/Dòng thời gian —
 // 2/2 lượt "không tìm được link tab Reels trước khi đăng". Trang chủ của Page
 // có shortcut bên trái trỏ /<id số>/ hoặc /<handle>/, và đôi khi /<id>/reels/.
-function pickReelsTabUrl(anchors) {
+function pickReelsTabUrls(anchors) {
+  const out = [];
+  const add = (u) => { if (u && !out.includes(u)) out.push(u); };
   const list = (anchors || [])
     .map((a) => ({ href: String(a.href || ''), aria: String(a.aria || ''), inFeed: !!a.inFeed }))
     // ⛔ LOẠI anchor CỦA BÀI TRONG BẢNG TIN — đây là gốc của 2 link sai sáng
@@ -905,27 +945,31 @@ function pickReelsTabUrl(anchors) {
     // (tracking của một bài cụ thể) hoặc anchor nằm trong vùng feed/article.
     .filter((a) => !a.inFeed && !/[?&]__cft__|[?&]__tn__/.test(a.href));
   const abs = (h) => (h.startsWith('http') ? h : `https://www.facebook.com${h}`);
-  for (const a of list) if (/sk=reels_tab/.test(a.href)) return abs(a.href);
+  for (const a of list) if (/sk=reels_tab/.test(a.href)) add(abs(a.href));
   for (const a of list) {
     const m = a.href.match(/\/profile\.php\?id=(\d+)/);
-    if (m) return `https://www.facebook.com/profile.php?id=${m[1]}&sk=reels_tab`;
+    if (m) add(`https://www.facebook.com/profile.php?id=${m[1]}&sk=reels_tab`);
   }
   for (const a of list) {
     if (!/Dòng thời gian|Timeline/i.test(a.aria)) continue;
     const m = a.href.match(/^(?:https?:\/\/(?:www\.)?facebook\.com)?\/([A-Za-z0-9._-]{3,})\/?(?:\?|$)/);
-    if (m && !['profile.php', 'reel', 'video', 'videos', 'reels'].includes(m[1])) return `https://www.facebook.com/${m[1]}/?sk=reels_tab`;
+    if (m && !['profile.php', 'reel', 'video', 'videos', 'reels'].includes(m[1])) add(`https://www.facebook.com/${m[1]}/?sk=reels_tab`);
   }
   // 4. /<id số>/reels/ hoặc /<id số>/ — shortcut của Page trên trang chủ.
   for (const a of list) {
     const m = a.href.match(/^(?:https?:\/\/(?:www\.)?facebook\.com)?\/(\d{10,20})(?:\/reels)?\/?(?:\?|$)/);
-    if (m) return `https://www.facebook.com/profile.php?id=${m[1]}&sk=reels_tab`;
+    if (m) add(`https://www.facebook.com/profile.php?id=${m[1]}&sk=reels_tab`);
   }
   // 5. /<handle>/reels/ — Page có tên riêng.
   for (const a of list) {
     const m = a.href.match(/^(?:https?:\/\/(?:www\.)?facebook\.com)?\/([A-Za-z0-9._-]{3,})\/reels\/?(?:\?|$)/);
-    if (m && !['profile.php', 'reel', 'video', 'videos'].includes(m[1])) return `https://www.facebook.com/${m[1]}/?sk=reels_tab`;
+    if (m && !['profile.php', 'reel', 'video', 'videos'].includes(m[1])) add(`https://www.facebook.com/${m[1]}/?sk=reels_tab`);
   }
-  return null;
+  return out;
+}
+// Ứng viên đầu bảng (giữ cho chỗ gọi cũ / test cũ).
+function pickReelsTabUrl(anchors) {
+  return pickReelsTabUrls(anchors)[0] || null;
 }
 
 async function hasVisibleReelComposer(page) {
@@ -960,7 +1004,7 @@ async function runOnce({ page, payload, log }) {
   } = payload || {};
   if (!video_url) throw new Error('No video_url provided');
 
-  log('info', '[fb-pw] selectors version=2026.09.13-reels-tab-fallback');
+  log('info', '[fb-pw] selectors version=2026.09.14-reels-tab-candidates');
 
   page.on('dialog', (d) => { d.accept().catch(() => {}); });
 
@@ -1070,14 +1114,16 @@ async function runOnce({ page, payload, log }) {
     let reelIdsBefore = null;
     // GIỮ LẠI URL tab Reels cho sau khi đăng — xem pickPostPublishReelsTabUrl.
     let reelsTabUrlBefore = null;
+    let reelsTabVerifiedBefore = false;
     try {
-      const tabUrl = await discoverReelsTabUrl(page, log);
-      if (tabUrl) {
-        reelsTabUrlBefore = tabUrl;
-        await page.goto(tabUrl, { waitUntil: 'domcontentloaded', timeout: 30_000 });
-        await pause(page, 3500);
-        reelIdsBefore = await scrapeReelTileIds(page);
-        log('info', `[fb-pw] ảnh nền tab Reels trước khi đăng: ${reelIdsBefore.length} reel`);
+      const candidates = await discoverReelsTabUrls(page, log);
+      if (candidates.length) {
+        const opened = await openReelsTabWithTiles(page, candidates, { log, settleMs: 3500, wait: pause });
+        reelsTabUrlBefore = opened.url;
+        reelsTabVerifiedBefore = opened.verified;
+        reelIdsBefore = opened.ids;
+        log('info', `[fb-pw] ảnh nền tab Reels trước khi đăng: ${reelIdsBefore.length} reel`
+          + (candidates.length > 1 ? ` (ứng viên ${opened.tried}/${candidates.length})` : ''));
         await navigateFacebookHome(page, log);
         await pause(page, 2500);
       } else {
@@ -3050,10 +3096,13 @@ async function runOnce({ page, payload, log }) {
       const picked = pickPostPublishReelsTabUrl({
         discovered: await discoverReelsTabUrl(page),
         remembered: reelsTabUrlBefore,
+        rememberedVerified: reelsTabVerifiedBefore,
       });
       const reelsTabHref = picked.url;
       if (picked.via === 'snapshot') {
         log('info', `[fb-pw] trang hiện tại không có link tab Reels (${String(page.url() || '').slice(0, 70)}) — dùng URL đã biết từ lúc chụp ảnh nền`);
+      } else if (picked.via === 'snapshot-verified') {
+        log('info', '[fb-pw] dùng URL tab Reels ĐÃ chứng minh có tile lúc chụp ảnh nền (dạng URL kia của cùng page có thể ra 0 tile)');
       }
       if (reelsTabHref) {
         reelsTabUrl = reelsTabHref;
@@ -3381,6 +3430,9 @@ module.exports.__testables = {
   diffNewReelIds,
   pickPostPublishReelsTabUrl,
   pickReelsTabUrl,
+  pickReelsTabUrls,
+  discoverReelsTabUrls,
+  openReelsTabWithTiles,
   networkIdVerdict,
   classifyComposerText,
   readPageAlerts,

package/scripts/verify_facebook_reels.js

@@ -0,0 +1,66 @@
+// Đọc CAPTION thật của một số reel để API ghép với bài "đăng mập mờ".
+//
+// Vì sao cần (chủ tịch hỏi 14/09): lượt quét tab Reels chỉ lấy post_id + lượt
+// xem, nên bộ đối chiếu xuôi chỉ suy được "reel này MỚI xuất hiện sau lượt đăng
+// đó". Đo 12 ca thật cùng ngày: 2 ca có 2-3 lượt đăng xen giữa hai lượt quét →
+// suy luận thứ tự là đoán bừa. Caption thì chứng minh được: khi đăng, worker
+// ghép "title + hashtag" vào ô mô tả thước phim, nên caption của bài mình LUÔN
+// chứa nguyên tiêu đề.
+//
+// Script này CHỈ ĐỌC — không bấm, không sửa, không đăng gì. Hỏng thì trả về ít
+// caption hơn, API tự biết là không đủ để ghép và để nguyên cho người.
+//
+// Payload: { channel_id, post_ids: ['1234567890', …] }
+// Trả về:  { captions: [{ post_id, og, page_text, url }], read, asked }
+//
+// Việc SO SÁNH nằm ở API (services/ReelCaptionMatch) chứ không ở đây: một bảng
+// luật, test offline được, và worker không cần biết tiêu đề của idea.
+
+const NAV_TIMEOUT_MS = 45_000;
+// Đủ để khung reel dựng xong; script chỉ đọc nên không cần chờ lâu như lượt đăng.
+const SETTLE_MS = 4000;
+// Trần số reel đọc trong một lượt — mỗi cái một lần mở trang. Bài mập mờ của
+// một kênh hiếm khi quá vài cái; nhiều hơn thì để lượt sau, đừng giữ profile lâu.
+const MAX_POSTS = 8;
+
+// og:description là mô tả của ĐÚNG reel đang mở. Văn bản trang là đường lui —
+// trình xem reel cuộn cả reel kế bên vào DOM nên API chỉ tin phần đầu của nó.
+async function readCaption(page) {
+  return page.evaluate(() => {
+    const meta = (p) => (document.querySelector(`meta[property="${p}"]`) || {}).content || '';
+    const main = document.querySelector("[role='main']") || document.body;
+    return {
+      og: (meta('og:description') || meta('og:title') || '').slice(0, 1000),
+      page_text: String((main && main.innerText) || '').replace(/\s+/g, ' ').trim().slice(0, 1500),
+    };
+  }).catch(() => ({ og: '', page_text: '' }));
+}
+
+async function run({ page, payload = {}, log }) {
+  const ids = [...new Set((payload.post_ids || []).map((x) => String(x || '').trim()).filter((x) => /^\d{8,20}$/.test(x)))];
+  if (!ids.length) throw new Error('payload.post_ids rỗng — không có reel nào để đọc');
+  const asked = ids.length;
+  const take = ids.slice(0, MAX_POSTS);
+  log('info', `[fb-verify] đọc caption ${take.length}/${asked} reel`);
+
+  const captions = [];
+  for (const id of take) {
+    const url = `https://www.facebook.com/reel/${id}/`;
+    try {
+      await page.goto(url, { waitUntil: 'domcontentloaded', timeout: NAV_TIMEOUT_MS });
+      await page.waitForTimeout(SETTLE_MS);
+      const c = await readCaption(page);
+      captions.push({ post_id: id, og: c.og, page_text: c.page_text, url });
+      log('info', `[fb-verify] reel ${id}: og ${c.og.length} ký tự, trang ${c.page_text.length} ký tự`
+        + (c.og ? ` — "${c.og.slice(0, 60)}"` : ''));
+    } catch (e) {
+      // Một reel đọc hỏng KHÔNG được giết cả lượt: các reel còn lại vẫn ghép được.
+      log('warn', `[fb-verify] reel ${id} đọc hỏng: ${String(e && e.message || e).slice(0, 90)}`);
+    }
+  }
+  if (!captions.length) throw new Error(`không đọc được caption của reel nào (${take.length} lượt thử)`);
+  return { captions, read: captions.length, asked };
+}
+
+module.exports = { run };
+module.exports.__testables = { readCaption, MAX_POSTS, SETTLE_MS };