channel-worker 2.5.97 → 2.5.99

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "channel-worker",
-  "version": "2.5.97",
+  "version": "2.5.99",
   "description": "Channel Manager worker daemon — runs on remote machines to execute video pipeline jobs",
   "main": "lib/daemon.js",
   "bin": {

package/scripts/fetch_facebook_reel_stats.js

@@ -421,18 +421,71 @@ async function readAudiencePage(page, log) {
   return a;
 }
 
+// Trang Insights hỏng thì chụp lại — script này trước 10/09 không dump gì nên
+// 8 kênh kẹt chip "Hôm nay" hai ngày liền mà không có lấy một tấm ảnh để hiểu.
+// Ngoài ảnh, liệt kê mọi chữ có thể là nhãn khoảng thời gian kèm vị trí: để
+// biết chip thật đang ghi gì, và có cái "Hôm nay" lạ nào đứng TRƯỚC chip trong
+// DOM (currentRangeLabel lấy phần tử khớp đầu tiên) hay không.
+async function dumpInsightsFailure(page, tag, log) {
+  try {
+    const os = require('os'); const fs = require('fs'); const path = require('path');
+    const dir = path.join(os.tmpdir(), 'cm-worker-pw');
+    fs.mkdirSync(dir, { recursive: true });
+    const png = path.join(dir, `fb-${tag}-${Date.now()}.png`);
+    await page.screenshot({ path: png, fullPage: false, timeout: 8000 }).catch(() => {});
+    const labels = await page.evaluate(() => {
+      const clean = (v) => String(v || '').replace(/\s+/g, ' ').trim();
+      const out = [];
+      for (const e of document.querySelectorAll('div[role="button"],div,span')) {
+        const t = clean(e.innerText);
+        if (!t || t.length >= 70) continue;
+        if (!/(Hôm nay|Today|Tùy chỉnh|Custom|ngày qua|Last \d+ days|Năm nay|This year)/i.test(t)) continue;
+        const r = e.getBoundingClientRect();
+        out.push(`${e.tagName.toLowerCase()}[${e.getAttribute('role') || ''}] y=${Math.round(r.y)} w=${Math.round(r.width)} "${t}"`);
+        if (out.length >= 25) break;
+      }
+      return out;
+    }).catch(() => []);
+    labels.forEach((l, i) => log('info', `  ${tag} label[${i}] ${l}`));
+    let shot = null;
+    if (fs.existsSync(png) && typeof log.uploadDebugScreenshot === 'function') {
+      try { shot = await log.uploadDebugScreenshot(png, { tag }); } catch (e) { log('warn', `[insights] tải ảnh dump hỏng: ${e.message}`); }
+    }
+    log('warn', `[insights] dump ${tag} — url=${page.url()} screenshot=${shot?.signed_url || png}`,
+      shot ? { debug_screenshot: shot } : { debug_screenshot_local_path: png });
+  } catch {}
+}
+
 // Lượt nền: hai trang view + một trang đối tượng, rồi gửi thẳng số thô về API.
 // Việc khớp bài với idea và tính hiệu để lòi ra "bài cũ đang nổ" làm ở API —
 // worker không giữ trạng thái ngày hôm qua.
-async function runInsights({ page, payload, log }) {
-  // 7 ngày trước để làm ấm trang (lần điều hướng ĐẦU hay bị bỏ qua tham số),
-  // rồi mới tới ngày hôm qua.
-  const week = await readViewsPage(page, 'LAST_7D', log);
+//
+// THỨ TỰ (đổi 10/09): NGÀY HÔM QUA → FOLLOWER → 7 NGÀY, và "7 ngày" hỏng
+// KHÔNG chết cả lượt. Bản cũ đọc "7 ngày qua" trước (làm ấm trang) và ném lỗi
+// khi chip không đổi — mà trang đó chỉ để lấy danh sách bài. Đo 10/09: 8/63
+// kênh (09/09: 11/61) kẹt chip "Hôm nay" đúng ở trang này, trong khi trang
+// ngày hôm qua + follower của CHÍNH các kênh đó vẫn đọc được (log win-worker:
+// chip "Tùy chỉnh: 9 Tháng 9" ra đều). Một chip kẹt làm mất view hôm qua +
+// follower — hai số quan trọng nhất — cho cả ngày, /analytics báo "Chưa quét".
+// Ngày hôm qua tự có vòng nạp lại 3 lần nên không cần trang khác làm ấm.
+const DEFAULT_READERS = { readOneDay, readAudiencePage, readViewsPage, dump: dumpInsightsFailure };
+async function runInsights({ page, payload, log }, R = DEFAULT_READERS) {
   const yIso = vnYesterdayIso();
-  const yest = await readOneDay(page, yIso, log);
-  const audience = await readAudiencePage(page, log);
+  const yest = await R.readOneDay(page, yIso, log);
+  const audience = await R.readAudiencePage(page, log);
+  let week = { range: 'LAST_7D', label: '', total: null, pct: null, posts: [] };
+  let weekError = null;
+  try {
+    week = await R.readViewsPage(page, 'LAST_7D', log);
+  } catch (e) {
+    weekError = String((e && e.message) || e);
+    log('warn', `[insights] 7 ngày qua hỏng (${weekError}) — vẫn ghi ngày hôm qua + follower, chỉ mất danh sách bài`);
+    await R.dump(page, 'insights-week', log);
+  }
   if (yest.views == null && week.total == null) {
-    throw new Error('không đọc được tổng lượt xem trên trang Insights — FB đổi giao diện?');
+    throw new Error(weekError
+      ? `không đọc được cả ngày hôm qua lẫn 7 ngày — ${weekError}`
+      : 'không đọc được tổng lượt xem trên trang Insights — FB đổi giao diện?');
   }
   if (typeof log.apiRequest !== 'function') throw new Error('log.apiRequest không có — cần channel-worker ≥ 2.5.55');
   const d = await log.apiRequest('POST', '/analytics/fb-insights', {
@@ -448,6 +501,7 @@ async function runInsights({ page, payload, log }) {
     views_yesterday: yest.views, views_7d: week.total,
     posts: week.posts.length, matched: d?.matched ?? null,
     followers: audience.followers, unattributed: d?.unattributed ?? null,
+    ...(weekError ? { week_error: weekError } : {}),
   };
 }
 
@@ -511,4 +565,4 @@ async function run({ page, payload, log }) {
   return { ok: true, mode, tiles: tiles.length, written: d?.written || 0, matched: d?.matched || 0, rising: d?.rising || 0, alerts: d?.alerts || 0, followers };
 }
 
-module.exports = { run, __testables: { parseViews, scrapeFollowers, parseExact, parseVnPostTime } };
+module.exports = { run, __testables: { parseViews, scrapeFollowers, parseExact, parseVnPostTime, runInsights, dumpInsightsFailure } };

package/scripts/upload_facebook.js

@@ -700,7 +700,10 @@ async function discoverReelsTabUrl(page, log = null) {
     for (const a of document.querySelectorAll('a[href]')) {
       const href = a.getAttribute('href') || '';
       if (!href || href.startsWith('#') || href.startsWith('javascript:')) continue;
-      out.push({ href: href.slice(0, 200), aria: (a.getAttribute('aria-label') || '').slice(0, 80) });
+      // Anchor nằm trong bảng tin / một bài viết → của page KHÁC, không phải
+      // của mình (xem ghi chú ở pickReelsTabUrl).
+      const inFeed = !!a.closest("[role='feed'], [role='article'], [aria-posinset]");
+      out.push({ href: href.slice(0, 200), aria: (a.getAttribute('aria-label') || '').slice(0, 80), inFeed });
       if (out.length >= 400) break;
     }
     return out;
@@ -754,7 +757,17 @@ function isComposerDialogSignature(text) {
 // 2/2 lượt "không tìm được link tab Reels trước khi đăng". Trang chủ của Page
 // có shortcut bên trái trỏ /<id số>/ hoặc /<handle>/, và đôi khi /<id>/reels/.
 function pickReelsTabUrl(anchors) {
-  const list = (anchors || []).map((a) => ({ href: String(a.href || ''), aria: String(a.aria || '') }));
+  const list = (anchors || [])
+    .map((a) => ({ href: String(a.href || ''), aria: String(a.aria || ''), inFeed: !!a.inFeed }))
+    // ⛔ LOẠI anchor CỦA BÀI TRONG BẢNG TIN — đây là gốc của 2 link sai sáng
+    // 10/09 (kênh "kol du lịch 2", reel 1712630710026375 và 1549470359802337
+    // hoá ra là bài của PAGE LẠ). Trang chủ đầy bài của page khác; mỗi bài có
+    // link /profile.php?id=<page lạ>&__cft__[0]=… nên chiến lược 2 bốc trúng
+    // tab Reels của người ta, rồi "so trước/sau" so hai page khác nhau (log:
+    // "trước 10, sau 10, mới 10 — nhiều hơn 1, không nhận") và nhánh gói mạng
+    // chốt bằng reel gợi ý trên feed. Dấu nhận biết: tham số __cft__/__tn__
+    // (tracking của một bài cụ thể) hoặc anchor nằm trong vùng feed/article.
+    .filter((a) => !a.inFeed && !/[?&]__cft__|[?&]__tn__/.test(a.href));
   const abs = (h) => (h.startsWith('http') ? h : `https://www.facebook.com${h}`);
   for (const a of list) if (/sk=reels_tab/.test(a.href)) return abs(a.href);
   for (const a of list) {
@@ -2845,6 +2858,7 @@ async function runOnce({ page, payload, log }) {
       return null;
     }).catch(() => null);
     let reelsTabUrl = null; // giữ lại cho lượt retry (a.2b)
+    let networkCandidate = null; // ID gói mạng chưa được tab Reels xác nhận
     try {
       // Find a link to the page's reels tab. Multi-strategy:
       //   1. Any existing href containing "sk=reels_tab"
@@ -2987,9 +3001,21 @@ async function runOnce({ page, payload, log }) {
       const preSet = new Set(capturedReelIds.slice(0, capturedReelIdsSnapshotLen));
       const trulyNew = newIds.filter((id) => !preSet.has(id));
       if (trulyNew.length) {
+        // ⚠️ ID bắt từ gói mạng KHÔNG chứng minh reel thuộc page mình: đứng ở
+        // trang chủ, feed tải liên tục reel GỢI Ý của page khác, nên "ID mới
+        // đầu tiên sau mốc" có thể là reel người ta (sáng 10/09: snapshotLen=132,
+        // total=220 → 88 ID mới, cái đầu là reel của page lạ và đã bị ghi vào DB).
+        // Chỉ nhận khi tab Reels CỦA CHÍNH PAGE xác nhận có ID đó; không xác
+        // nhận được thì để làm ứng viên, lượt chờ 75s dưới đây kiểm lại.
         const firstNew = trulyNew[0];
-        postUrl = `https://www.facebook.com/reel/${firstNew}/`;
-        log('info', `[fb-pw] post URL from network (FIRST new ID after snapshot): ${postUrl} (snapshotLen=${capturedReelIdsSnapshotLen} total=${capturedReelIds.length} new=${trulyNew.length})`);
+        const tabIds = reelsTabUrl ? await scrapeReelTileIds(page) : [];
+        if (tabIds.includes(firstNew)) {
+          postUrl = `https://www.facebook.com/reel/${firstNew}/`;
+          log('info', `[fb-pw] post URL from network + tab Reels xác nhận: ${postUrl} (snapshotLen=${capturedReelIdsSnapshotLen} total=${capturedReelIds.length} new=${trulyNew.length})`);
+        } else {
+          networkCandidate = firstNew;
+          log('warn', `[fb-pw] gói mạng cho ID ${firstNew} nhưng tab Reels của page CHƯA xác nhận (${tabIds.length} tile) — giữ làm ứng viên, chờ kiểm lại`);
+        }
       }
     }
 
@@ -3008,6 +3034,9 @@ async function runOnce({ page, payload, log }) {
       if (fresh2) {
         postUrl = fresh2.href.startsWith('http') ? fresh2.href : `https://www.facebook.com${fresh2.href}`;
         log('info', `[fb-pw] post URL from reels_tab RETRY (id=${fresh2.id}, timestamp="${fresh2.timestamp}"): ${postUrl}`);
+      } else if (networkCandidate && (await scrapeReelTileIds(page)).includes(networkCandidate)) {
+        postUrl = `https://www.facebook.com/reel/${networkCandidate}/`;
+        log('info', `[fb-pw] post URL: ứng viên gói mạng đã được tab Reels xác nhận sau lượt chờ: ${postUrl}`);
       } else if (reelIdsBefore) {
         const after2 = await scrapeReelTileIds(page);
         const diff2 = diffNewReelIds(reelIdsBefore, after2);