channel-worker 2.5.53 → 2.5.55

package/lib/command-poller.js

@@ -289,6 +289,9 @@ class CommandPoller {
     // Publish scripts attach screenshots to warning logs through this helper.
     // Keep the command/job identity here so the API and idea Publish History
     // can associate an artifact with the exact platform attempt.
+    // Script chỉ-đọc (fetch_facebook_reel_stats) gửi số liệu về API bằng token
+    // của chính worker — không cần biết base URL hay token.
+    log.apiRequest = (method, path, body) => this.api.request(method, path, body);
     log.uploadDebugScreenshot = (filePath, meta = {}) => this.api.uploadDebugScreenshot({
       filePath,
       tag: meta.tag || 'failure',

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "channel-worker",
-  "version": "2.5.53",
+  "version": "2.5.55",
   "description": "Channel Manager worker daemon — runs on remote machines to execute video pipeline jobs",
   "main": "lib/daemon.js",
   "bin": {

package/scripts/fetch_facebook_reel_stats.js

@@ -0,0 +1,110 @@
+// Đọc LƯỢT XEM từng reel trên tab Reels của page (profile.php?id=…&sk=reels_tab)
+// rồi gửi về API /analytics/post-stats. Giai đoạn 2 của bộ nhặt KOL: biết bài
+// từ KOL nào có view để tự chỉnh trọng số. 1 lượt/kênh/ngày, chỉ đọc — không
+// bấm gì ngoài cuộn trang.
+//
+// Payload: { channel_id, profile_id, page_url? }
+//   page_url: link page (nếu có) — không có thì tự tìm reels_tab từ trang chủ
+//   như upload_facebook (anchor /profile.php?id=… hoặc "Dòng thời gian của X").
+//
+// Tile reels_tab: <a href="/reel/<id>/" aria-label="Bản xem trước ô thước phim">
+// chứa số lượt xem dạng rút gọn tiếng Việt: "1,2 N" (nghìn), "3,4 Tr" (triệu),
+// hoặc số thường "856". Giao diện tiếng Anh: "1.2K", "3.4M".
+
+function parseViews(txt) {
+  const t = String(txt || '').replace(/\s+/g, ' ').trim();
+  // Lấy cụm số + hậu tố đầu tiên. Dấu phẩy là thập phân ở VN ("1,2 N"), dấu
+  // chấm là nghìn ("1.234") — phân biệt bằng hậu tố: có N/Tr/K/M thì là thập phân.
+  const m = /(\d+(?:[.,]\d+)?)\s*(N|Tr|K|M|B|tỷ|nghìn|triệu)?\b/i.exec(t);
+  if (!m) return null;
+  let num = m[1]; const suf = (m[2] || '').toLowerCase();
+  if (suf) num = parseFloat(num.replace(',', '.'));
+  else num = parseInt(num.replace(/[.,]/g, ''), 10);
+  if (!Number.isFinite(num)) return null;
+  const mul = { n: 1e3, k: 1e3, 'nghìn': 1e3, tr: 1e6, m: 1e6, 'triệu': 1e6, b: 1e9, 'tỷ': 1e9 }[suf] || 1;
+  return Math.round(num * mul);
+}
+
+async function findReelsTabHref(page) {
+  return page.evaluate(() => {
+    const direct = document.querySelectorAll("a[href*='sk=reels_tab']");
+    for (const a of direct) { const h = a.getAttribute('href') || ''; if (h) return h.startsWith('http') ? h : `https://www.facebook.com${h}`; }
+    for (const a of document.querySelectorAll("a[href*='/profile.php?id=']")) {
+      const m = (a.getAttribute('href') || '').match(/\/profile\.php\?id=(\d+)/);
+      if (m) return `https://www.facebook.com/profile.php?id=${m[1]}&sk=reels_tab`;
+    }
+    for (const a of document.querySelectorAll("a[aria-label*='Dòng thời gian'], a[aria-label*='Timeline']")) {
+      const h = a.getAttribute('href') || '';
+      const m = h.match(/^\/([A-Za-z0-9._-]{3,})\/?(?:\?|$)/);
+      if (m && !['profile.php', 'reel', 'video', 'videos'].includes(m[1])) return `https://www.facebook.com/${m[1]}/?sk=reels_tab`;
+    }
+    return null;
+  }).catch(() => null);
+}
+
+async function scrapeTiles(page) {
+  return page.evaluate(() => {
+    const out = new Map();
+    for (const a of document.querySelectorAll("a[href*='/reel/']")) {
+      const href = a.getAttribute('href') || '';
+      const m = href.match(/\/reel\/(\d{8,20})/);
+      if (!m) continue;
+      const r = a.getBoundingClientRect();
+      if (r.width < 8 || r.height < 8) continue;
+      const aria = (a.getAttribute('aria-label') || '').toLowerCase();
+      const isTile = /bản xem trước ô thước phim|reel tile preview|reel preview/.test(aria);
+      // Số lượt xem nằm trong tile (icon play + số). Lấy text ngắn nhất có số
+      // trong subtree để tránh bắt nhầm caption.
+      const texts = [];
+      const walker = document.createTreeWalker(a, NodeFilter.SHOW_TEXT);
+      let n;
+      while ((n = walker.nextNode())) { const t = n.textContent.trim(); if (t && /\d/.test(t) && t.length <= 16) texts.push(t); }
+      const pick = texts.sort((x, y) => x.length - y.length)[0] || '';
+      if (!out.has(m[1]) || (isTile && pick)) out.set(m[1], { post_id: m[1], views_text: pick, is_tile: isTile });
+    }
+    return [...out.values()];
+  }).catch(() => []);
+}
+
+async function run({ page, payload, log }) {
+  const { channel_id, page_url } = payload || {};
+  if (!channel_id) throw new Error('payload.channel_id required');
+  let tabUrl = null;
+  if (page_url && /sk=reels_tab/.test(page_url)) tabUrl = page_url;
+  if (!tabUrl) {
+    await page.goto(page_url || 'https://www.facebook.com/', { waitUntil: 'domcontentloaded', timeout: 45_000 });
+    await page.waitForTimeout(4000);
+    tabUrl = await findReelsTabHref(page);
+  }
+  if (!tabUrl) throw new Error('không tìm được link tab Reels của page');
+  log('info', `[fb-stats] reels_tab: ${tabUrl.slice(0, 100)}`);
+  await page.goto(tabUrl, { waitUntil: 'domcontentloaded', timeout: 45_000 });
+  await page.waitForTimeout(5000);
+  // Cuộn vài lần để tải thêm tile (mỗi lần ~12 reel). 6 lần ≈ 60-80 reel gần
+  // nhất — đủ cho cửa sổ 28 ngày của bộ chỉnh trọng số.
+  let last = 0;
+  for (let i = 0; i < 6; i++) {
+    await page.mouse.wheel(0, 2400).catch(() => {});
+    await page.waitForTimeout(1800);
+    const n = await page.evaluate(() => document.querySelectorAll("a[href*='/reel/']").length).catch(() => 0);
+    if (n === last) break;
+    last = n;
+  }
+  const tiles = await scrapeTiles(page);
+  const items = tiles.map((t) => ({ ...t, views: parseViews(t.views_text) })).filter((t) => t.views != null);
+  log('info', `[fb-stats] ${tiles.length} tile, đọc được lượt xem ${items.length}` + (items[0] ? ` (vd ${items[0].post_id} "${items[0].views_text}" → ${items[0].views})` : ''));
+  if (!items.length) {
+    throw new Error(`không đọc được lượt xem trên tile nào (${tiles.length} tile) — FB đổi giao diện?`);
+  }
+  // Gửi về API bằng token của worker (command-poller gắn log.apiRequest).
+  if (typeof log.apiRequest !== 'function') throw new Error('log.apiRequest không có — cần channel-worker ≥ 2.5.55');
+  // api-client.request trả thẳng `data` (ném lỗi khi success=false).
+  const d = await log.apiRequest('POST', '/analytics/post-stats', {
+    channel_id, platform: 'facebook',
+    items: items.map(({ post_id, views, views_text }) => ({ post_id, views, views_text })),
+  });
+  log('info', `[fb-stats] đã ghi ${d?.written} bài, khớp idea ${d?.matched}`);
+  return { ok: true, tiles: tiles.length, written: d?.written || 0, matched: d?.matched || 0 };
+}
+
+module.exports = { run, __testables: { parseViews } };

package/scripts/upload_facebook.js

@@ -2232,6 +2232,30 @@ async function runOnce({ page, payload, log }) {
     //       - Page wall display order isn't strictly chronological
     //       - "Quảng bá thước phim" appears on ALL Page reels, not just new
     //       - Title match alone can't distinguish same-title duplicates
+    // Fresh-tile scrape, dùng ở lượt đầu VÀ lượt retry (a.2b) — cùng một luật:
+    // chỉ nhận tile có timestamp tươi ("Vừa xong"/"X phút"), tuyệt đối không
+    // nhận tile cũ.
+    const scrapeFreshReelTile = () => page.evaluate(() => {
+      const FRESH_RE = /vừa xong|vài giây|^\s*\d{1,2}\s*giây|^\s*[1-5]\s*phút\b|\b[1-5]\s*phút trước|just now|few seconds ago|\b[1-5] min(ute)?s? ago/i;
+      const anchors = document.querySelectorAll("a[href*='/reel/']");
+      for (const a of anchors) {
+        const href = a.getAttribute('href') || '';
+        const m = href.match(/\/reel\/(\d{8,18})/);
+        if (!m) continue;
+        const r = a.getBoundingClientRect();
+        if (r.width < 8 || r.height < 8) continue;
+        let ctx = a;
+        for (let depth = 0; depth < 5 && ctx; depth++) {
+          const raw = (ctx.innerText || ctx.textContent || '').slice(0, 500);
+          if (FRESH_RE.test(raw)) {
+            return { href, id: m[1], depth, timestamp: (raw.match(FRESH_RE) || [''])[0] };
+          }
+          ctx = ctx.parentElement;
+        }
+      }
+      return null;
+    }).catch(() => null);
+    let reelsTabUrl = null; // giữ lại cho lượt retry (a.2b)
     try {
       // Find a link to the page's reels tab. Multi-strategy:
       //   1. Any existing href containing "sk=reels_tab"
@@ -2272,35 +2296,14 @@ async function runOnce({ page, payload, log }) {
         return null;
       }).catch(() => null);
       if (reelsTabHref) {
+        reelsTabUrl = reelsTabHref;
         log('info', `[fb-pw] navigating to page reels tab: ${reelsTabHref.slice(0, 100)}`);
         await page.goto(reelsTabHref, { waitUntil: 'domcontentloaded', timeout: 30_000 }).catch(() => {});
         await page.waitForTimeout(5000);
-        const fresh = await page.evaluate(() => {
-          const norm = (s) => (s || '').toLowerCase().normalize('NFD').replace(/\p{Diacritic}/gu, '');
-          const FRESH_RE = /vừa xong|vài giây|^\s*\d{1,2}\s*giây|^\s*[1-5]\s*phút\b|\b[1-5]\s*phút trước|just now|few seconds ago|\b[1-5] min(ute)?s? ago/i;
-          // Reel tiles on the reels tab — each is an <a href="/reel/<id>/">
-          // wrapping a thumbnail + meta. Iterate in DOM order (newest first
-          // on reels tab). For each tile, check if its subtree has a fresh
-          // timestamp.
-          const anchors = document.querySelectorAll("a[href*='/reel/']");
-          for (const a of anchors) {
-            const href = a.getAttribute('href') || '';
-            const m = href.match(/\/reel\/(\d{8,18})/);
-            if (!m) continue;
-            const r = a.getBoundingClientRect();
-            if (r.width < 8 || r.height < 8) continue;
-            // Look within the anchor's subtree + closest meaningful ancestor.
-            let ctx = a;
-            for (let depth = 0; depth < 5 && ctx; depth++) {
-              const raw = (ctx.innerText || ctx.textContent || '').slice(0, 500);
-              if (FRESH_RE.test(raw)) {
-                return { href, id: m[1], depth, timestamp: (raw.match(FRESH_RE) || [''])[0] };
-              }
-              ctx = ctx.parentElement;
-            }
-          }
-          return null;
-        }).catch(() => null);
+        // Reel tiles on the reels tab — each is an <a href="/reel/<id>/">
+        // wrapping a thumbnail + meta, DOM order = newest first. Only a tile
+        // with a FRESH timestamp counts (see scrapeFreshReelTile).
+        const fresh = await scrapeFreshReelTile();
         if (fresh) {
           const full = fresh.href.startsWith('http') ? fresh.href : `https://www.facebook.com${fresh.href}`;
           postUrl = full;
@@ -2422,24 +2425,52 @@ async function runOnce({ page, payload, log }) {
       }
     }
 
+    // (a.2b) RETRY reels_tab sau khi chờ — reel mới thường cần 1-3 phút xử lý
+    //       phía FB rồi mới hiện lên tab, nên lượt scrape đầu (chạy ngay sau
+    //       khi bấm Đăng) hay trượt và mọi thứ rơi xuống last-resort bốc nhầm
+    //       reel cũ (4 lần gần nhất 2026-08-19 đều thế). Một lượt chờ 75s +
+    //       re-scrape cứu được phần lớn ca đó, vẫn giữ luật fresh-timestamp
+    //       nên không thể nhận nhầm tile cũ.
+    if (!postUrl && reelsTabUrl) {
+      log('info', '[fb-pw] no post URL yet — waiting 75s for FB to surface the new reel on reels_tab, then re-scraping…');
+      await page.waitForTimeout(75_000);
+      await page.goto(reelsTabUrl, { waitUntil: 'domcontentloaded', timeout: 30_000 }).catch(() => {});
+      await page.waitForTimeout(5000);
+      const fresh2 = await scrapeFreshReelTile();
+      if (fresh2) {
+        postUrl = fresh2.href.startsWith('http') ? fresh2.href : `https://www.facebook.com${fresh2.href}`;
+        log('info', `[fb-pw] post URL from reels_tab RETRY (id=${fresh2.id}, timestamp="${fresh2.timestamp}"): ${postUrl}`);
+      } else {
+        log('warn', '[fb-pw] reels_tab retry: still no fresh tile');
+      }
+    }
+
     // (a.3) LAST-RESORT: first reel tile on the profile reels tab. UNRELIABLE —
     //       the just-published reel may not be on the tab yet (still
     //       processing), so the first tile can be a STALE older reel. Only used
     //       when every authoritative source above (fresh-timestamp tile,
-    //       title-match, inline CTA, network capture) returned nothing.
+    //       title-match, inline CTA, network capture, timed retry) returned
+    //       nothing. Provably-stale filter: mọi reel ID đã bắt được TRƯỚC khi
+    //       bấm Đăng là reel có sẵn trên page — reel mới không thể là chúng.
+    //       Thà post_url rỗng còn hơn ghi sai (2026-08-19: nhánh này ghi reel
+    //       02/08 cho bài vừa đăng → link trong DB trỏ nhầm bài cũ).
     if (!postUrl) {
-      const tileHref = await page.evaluate(() => {
+      const preIds = capturedReelIds.slice(0, capturedReelIdsSnapshotLen);
+      const tileHref = await page.evaluate((staleIds) => {
+        const staleSet = new Set(staleIds);
         const anchors = document.querySelectorAll("a[role='link']");
         for (const a of anchors) {
           const aria = (a.getAttribute('aria-label') || '').toLowerCase();
           if (!/bản xem trước ô thước phim|reel tile preview|reel preview/.test(aria)) continue;
           const href = a.getAttribute('href') || '';
           const m = href.match(/\/reel\/(\d{8,20})/);
-          if (m) return { href, aria: aria.slice(0, 60) };
+          if (m) return { href, aria: aria.slice(0, 60), id: m[1], provablyStale: staleSet.has(m[1]) };
         }
         return null;
-      }).catch(() => null);
-      if (tileHref) {
+      }, preIds).catch(() => null);
+      if (tileHref && tileHref.provablyStale) {
+        log('warn', `[fb-pw] LAST-RESORT tile ${tileHref.id} was already captured PRE-publish — provably an OLD reel; leaving post_url empty instead of recording a wrong one`);
+      } else if (tileHref) {
         postUrl = tileHref.href.startsWith('http') ? tileHref.href : `https://www.facebook.com${tileHref.href}`;
         log('warn', `[fb-pw] post URL from FIRST reel tile on reels_tab (LAST-RESORT, may be STALE): ${postUrl}`);
       }