channel-worker 2.5.129 → 2.5.131

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "channel-worker",
-  "version": "2.5.129",
+  "version": "2.5.131",
   "description": "Channel Manager worker daemon — runs on remote machines to execute video pipeline jobs",
   "main": "lib/daemon.js",
   "bin": {

package/scripts/fetch_facebook_reel_stats.js

@@ -127,6 +127,214 @@ async function scrapeTiles(page) {
 
 const vnYesterdayIso = () => new Date(Date.now() + 7 * 3600e3 - 864e5).toISOString().slice(0, 10);
 
+// ---------------------------------------------------------------------------
+// THƯ VIỆN NỘI DUNG (professional_dashboard/content/content_library)
+//
+// Trang Insights ở trên chỉ liệt kê bài ĐĂNG trong kỳ, nên bài cũ đang nổ view
+// không bao giờ có tên — chuông chỉ nói được "có bài cũ nào đó đang lên". Trang
+// này liệt kê MỌI bài trong khoảng, mỗi bài một dòng, số chính xác tới đơn vị.
+// Dò thật 22/09/2026 (kênh Nhà Nông Chia Sẻ, 29 bài/28 ngày). Bốn điều đã đo,
+// sai cái nào cũng ra số rác:
+//
+//  1. SỐ LÀ LUỸ KẾ, không phải theo kỳ. Bài 16/09 hiện 185.522 ở khoảng 90 ngày
+//     VÀ 185.522 ở khoảng tuỳ chỉnh 16–17/09 (chỉ phủ 2 ngày đầu đời nó). Đổi
+//     khoảng chỉ đổi DANH SÁCH bài. → view theo ngày = hiệu hai mốc, làm ở API.
+//  2. Bộ lọc khoảng lọc theo NGÀY ĐĂNG, giờ Mỹ, END LOẠI TRỪ (xin 21–21/09 ra 0
+//     bài; xin 20–21/09 ra đúng bài đăng 21/09). Đừng dùng nó để xin "view ngày
+//     X" — nó không làm việc đó. Chỉ dùng khoảng RỘNG để lấy đủ danh sách bài.
+//  3. Bảng ẢO HOÁ, dòng bị TÁI DÙNG khi cuộn (đo: 10 → 36 → 32 dòng). Đọc một
+//     phát sau khi cuộn xong là mất khúc giữa → phải nhặt TỪNG BƯỚC rồi gộp.
+//     Cuộn khối chứa bảng KHÔNG ăn (mọi khối cha overflow:visible, cửa sổ cuộn
+//     69px rồi đứng). Cách ăn: đưa DÒNG CUỐI vào tầm nhìn + PageDown.
+//  4. Mỗi hàng có 14 ô nhưng 2 ô RỖNG (ô tích chọn + ô ảnh), và vị trí của chúng
+//     ĐỔI THEO CỠ CỬA SỔ. Đánh số theo ô thô là đọc caption vào ô "Lượt xem" —
+//     đã dính thật lúc dò. Phải bỏ ô rỗng RỒI mới đánh số.
+//
+// KHÔNG moi được reel id ở đây: hàng chỉ có một link `/content/insights/?content_id=…`,
+// trang chi tiết cũng chỉ trỏ `/reel/?s=tab`, và content_id giải mã ra chỉ có
+// profile id + story id. Khớp bài làm ở API bằng CAPTION + giờ đăng.
+const LIBRARY_URL = 'https://www.facebook.com/professional_dashboard/content/content_library/';
+const LIB_RANGE = process.env.FB_LIB_RANGE || 'LAST_28D';
+// Trần vòng cuộn. Đo 22/09: kênh 35 bài ăn hết 14 vòng (mỗi vòng lộ ~5 dòng)
+// nên 14 là CHẠM TRẦN, không phải đủ — kênh đăng đều 28 ngày có thể 40-50 bài.
+// Cổng dừng-sớm mới là thứ giữ thời gian, trần chỉ là dây an toàn.
+const LIB_MAX_STEPS = Number(process.env.FB_LIB_MAX_STEPS || 26);
+// Trần THỜI GIAN cho cả vòng cuộn, tính từ lúc bảng đã vẽ xong. Trần vòng lặp
+// không đủ: một vòng có thể kéo dài bất thường khi trang nghẽn, mà lượt này
+// chạy cho 44 kênh mỗi ngày nên phải có điểm dừng đo bằng giây.
+const LIB_BUDGET_MS = Number(process.env.FB_LIB_BUDGET_MS || 75_000);
+
+// "16 tháng 9 lúc 15:37" · "Hôm nay lúc 11:50" · "Hôm qua lúc 11:59"
+// · "Sep 16 at 3:37 PM" (profile tiếng Anh — 4/52 kênh, xem ghi chú parseVnPostTime).
+// Trả ISO, hoặc null nếu không đọc được (API tự bỏ dòng không có giờ).
+function parseLibraryTime(txt, now = new Date()) {
+  const t = String(txt || '').replace(/\s+/g, ' ').trim();
+  const vnNow = new Date(now.getTime() + 7 * 3600e3);
+  const hm = /(\d{1,2}):(\d{2})\s*(am|pm|AM|PM)?/.exec(t);
+  if (!hm) return null;
+  let h = Number(hm[1]); const mi = Number(hm[2]);
+  const ap = (hm[3] || '').toLowerCase();
+  if (ap === 'pm' && h < 12) h += 12;
+  if (ap === 'am' && h === 12) h = 0;
+
+  let y = vnNow.getUTCFullYear(); let mo; let d;
+  const rel = /^(Hôm nay|Hôm qua|Today|Yesterday)/i.exec(t);
+  if (rel) {
+    const back = /qua|yesterday/i.test(rel[1]) ? 864e5 : 0;
+    const day = new Date(vnNow.getTime() - back);
+    y = day.getUTCFullYear(); mo = day.getUTCMonth() + 1; d = day.getUTCDate();
+  } else {
+    const vn = /(\d{1,2})\s*tháng\s*(\d{1,2})/i.exec(t);
+    if (vn) { d = Number(vn[1]); mo = Number(vn[2]); } else {
+      const en = /([A-Za-z]{3})[a-z]*\s+(\d{1,2})/.exec(t);
+      if (!en) return null;
+      mo = EN_MONTH[en[1].toLowerCase()]; d = Number(en[2]);
+      if (!mo) return null;
+    }
+    // Facebook không ghi năm. Tháng lớn hơn tháng hiện tại = năm ngoái.
+    if (mo > vnNow.getUTCMonth() + 1) y -= 1;
+  }
+  const iso = `${y}-${String(mo).padStart(2, '0')}-${String(d).padStart(2, '0')}`
+    + `T${String(h).padStart(2, '0')}:${String(mi).padStart(2, '0')}:00+07:00`;
+  const parsed = new Date(iso);
+  return Number.isNaN(parsed.getTime()) ? null : parsed.toISOString();
+}
+
+// Hàm chạy TRONG TRANG — phải tự chứa, closure của module không đi theo.
+function readLibraryRowsInPage() {
+  const clean = (v) => String(v || '').replace(/\s+/g, ' ').trim();
+  let chip = '';
+  const CHIP = /^(Hôm nay$|Today$|Tùy chỉnh:|Custom:|Năm nay:|This year:|\d+ ngày qua:|Last \d+ days:)/i;
+  for (const e of document.querySelectorAll('div[role="button"],span,div')) {
+    const t = clean(e.innerText);
+    if (t.length >= 70 || !CHIP.test(t)) continue;
+    const r = e.getBoundingClientRect();
+    if (r && r.width > 0 && r.height > 0) { chip = t; break; }
+  }
+  const rows = [];
+  for (const e of document.querySelectorAll('[role="row"]')) {
+    // BỎ Ô RỖNG trước khi đánh số — xem bẫy 4 ở đầu khối.
+    const cells = [...e.querySelectorAll('[role="gridcell"],[role="cell"],td')]
+      .map((c) => clean(c.innerText)).filter(Boolean);
+    if (cells.length < 3) continue;
+    const head = cells[0];
+    if (/^(Bản xem trước|Preview)/i.test(head)) continue;   // hàng tiêu đề
+    const m = /Đã đăng\s*•?\s*(.+)$/i.exec(head) || /Published\s*•?\s*(.+)$/i.exec(head);
+    if (!m) continue;                                        // chưa đăng (nháp/lên lịch)
+    const a = e.querySelector('a[href*="content_id="]');
+    rows.push({
+      posted_txt: clean(m[1]).slice(0, 40),
+      caption: clean(head.replace(/\s*Đã đăng[\s\S]*$/i, '').replace(/\s*Published[\s\S]*$/i, '')).slice(0, 200),
+      views_text: cells[1] || '',
+      viewers_text: cells[2] || '',
+      engagements_text: cells[3] || '',
+      net_followers_text: cells[4] || '',
+      content_id: a ? ((a.getAttribute('href') || '').match(/content_id=([^&]+)/) || [])[1] || '' : '',
+    });
+  }
+  return { chip, rows };
+}
+
+// Kéo thêm dòng: đưa dòng cuối vào tầm nhìn (cuộn khối không ăn — xem bẫy 3).
+function scrollLibraryInPage() {
+  for (const el of [document.scrollingElement, ...document.querySelectorAll('div,main,section')]) {
+    if (!el || el.scrollHeight <= el.clientHeight + 30) continue;
+    const before = el.scrollTop;
+    el.scrollTop = before + 1800;
+    if (el.scrollTop !== before) break;
+  }
+  const rows = document.querySelectorAll('[role="row"]');
+  const last = rows[rows.length - 1];
+  if (last) last.scrollIntoView({ block: 'end' });
+  return rows.length;
+}
+
+async function readLibraryPage(page, log, { range = LIB_RANGE, maxSteps = LIB_MAX_STEPS } = {}) {
+  // ĐẶT CỠ CỬA SỔ TRƯỚC KHI TẢI TRANG. Đặt sau thì bảng đã dựng xong ở cỡ mặc
+  // định và không dựng lại: đo 22/09 kênh Nhà Nông ra 10/29 bài, cuộn thêm 4
+  // vòng không ra thêm dòng nào. Cùng đoạn code, chỉ đổi thứ tự hai dòng này,
+  // là 29/29.
+  await page.setViewportSize({ width: 1400, height: 1000 }).catch(() => {});
+  await page.goto(`${LIBRARY_URL}?date_range=${range}`, { waitUntil: 'domcontentloaded', timeout: 60_000 });
+
+  // Chờ bảng vẽ XONG, không phải chờ "có dòng nào chưa".
+  //
+  // Bản đầu thoát ngay khi `rows.length` khác 0 và nó SAI THẬT: đo 22/09 trên
+  // kênh Nhà Nông Chia Sẻ ra 5 bài trong khi bảng có 29 — trang đổ dòng dần,
+  // bắt được lứa đầu rồi bỏ đi thì mất phần lớn bảng, mà không có dấu hiệu gì
+  // vì 5 bài vẫn là một kết quả "hợp lệ".
+  //
+  // Bảng đầy đủ luôn render 10 dòng một lúc (trần một trang là 50), nên mốc
+  // "đủ 10 dòng" là dấu hiệu chắc chắn. Kênh ít bài hơn 10 thì không bao giờ
+  // đạt mốc đó — với chúng, dấu hiệu là số dòng ĐỨNG YÊN ba vòng liền.
+  let first = { chip: '', rows: [] };
+  let same = 0;
+  for (let i = 0; i < 15; i++) {
+    await page.waitForTimeout(2000);
+    const got = await page.evaluate(readLibraryRowsInPage).catch(() => ({ chip: '', rows: [] }));
+    same = got.rows.length === first.rows.length && got.rows.length > 0 ? same + 1 : 0;
+    first = got;
+    if (first.rows.length >= 10 || same >= 3) break;
+  }
+  if (!first.rows.length) {
+    return { range, chip: first.chip || '', posts: [], steps: 0, note: 'không đọc được dòng nào' };
+  }
+
+  // Nhặt từng bước rồi gộp — bảng tái dùng dòng, đọc một phát là mất khúc giữa.
+  const seen = new Map();
+  const key = (r) => `${r.posted_txt}|${r.caption.slice(0, 40)}`;
+  for (const r of first.rows) seen.set(key(r), r);
+  let chip = first.chip; let stable = 0; let steps = 0; let grew = false;
+  const deadline = Date.now() + LIB_BUDGET_MS;
+  for (let i = 0; i < maxSteps; i++) {
+    if (Date.now() > deadline) break;
+    await page.evaluate(scrollLibraryInPage).catch(() => 0);
+    await page.keyboard.press('PageDown').catch(() => {});
+    await page.waitForTimeout(2200);
+    const got = await page.evaluate(readLibraryRowsInPage).catch(() => ({ rows: [] }));
+    chip = got.chip || chip;
+    const before = seen.size;
+    for (const r of got.rows || []) seen.set(key(r), r);
+    steps = i + 1;
+    if (seen.size > before) grew = true;
+    // Ba vòng liền không thêm bài nào = hết bảng. Dừng sớm để khỏi đốt thời
+    // gian của 44 kênh mỗi ngày.
+    //
+    // `grew`: chỉ được tin cổng dừng SAU KHI đã thấy bảng lớn lên ít nhất một
+    // lần. Không có nó thì mấy vòng đầu — lúc trang còn đang đổ dòng — tự cộng
+    // dồn thành "hết bảng" và cắt lượt đọc ngay từ vòng 3 (đúng lỗi 5/29 bài).
+    //
+    // Nhưng kênh ít bài thì bảng KHÔNG BAO GIỜ lớn lên (6 bài, hiện hết ngay từ
+    // đầu) — chỉ đòi `grew` là nó cuộn hết 26 vòng cho 6 bài, tốn 73 giây vô
+    // ích (đo thật 22/09, kênh meo-nho-khoe-to). Nên sau 5 vòng vẫn đứng yên
+    // thì cũng là hết bảng.
+    // Ngưỡng 5 chứ không phải 3: bảng có lúc NGHỈ một hai vòng rồi mới nạp
+    // tiếp. Đo 22/09 kênh Nhà Nông — ngưỡng 3 cắt ở 25/29 bài, ngưỡng 5 ra đủ.
+    // Bài thiếu không kêu lỗi ở đâu cả, nên chỗ này phải rộng tay.
+    stable = seen.size === before ? stable + 1 : 0;
+    if (stable >= 5 && (grew || i >= 5)) break;
+  }
+
+  const now = new Date();
+  const posts = [];
+  for (const r of seen.values()) {
+    const views = parseExact(r.views_text);
+    if (views == null) continue;                 // dòng chưa đổ số — bỏ, đừng ghi 0
+    posts.push({
+      at: parseLibraryTime(r.posted_txt, now),
+      posted_txt: r.posted_txt,
+      caption: r.caption,
+      views,
+      viewers: parseExact(r.viewers_text),
+      engagements: parseExact(r.engagements_text),
+      net_followers: parseExact(r.net_followers_text),
+      content_id: String(r.content_id || '').slice(0, 120),
+    });
+  }
+  log('info', `[library] ${range}: ${posts.length} bài sau ${steps} vòng cuộn — "${chip}"`);
+  return { range, chip, posts, steps };
+}
+
 const INSIGHTS_BASE = 'https://www.facebook.com/professional_dashboard/profile_insights';
 
 // Số trên Insights là số đầy đủ, dấu chấm là phân cách nghìn ("1.333.852").
@@ -490,7 +698,7 @@ async function dumpInsightsFailure(page, tag, log) {
 // chip "Tùy chỉnh: 9 Tháng 9" ra đều). Một chip kẹt làm mất view hôm qua +
 // follower — hai số quan trọng nhất — cho cả ngày, /analytics báo "Chưa quét".
 // Ngày hôm qua tự có vòng nạp lại 3 lần nên không cần trang khác làm ấm.
-const DEFAULT_READERS = { readOneDay, readAudiencePage, readViewsPage, dump: dumpInsightsFailure };
+const DEFAULT_READERS = { readOneDay, readAudiencePage, readViewsPage, readLibraryPage, dump: dumpInsightsFailure };
 async function runInsights({ page, payload, log }, R = DEFAULT_READERS) {
   const yIso = vnYesterdayIso();
   const yest = await R.readOneDay(page, yIso, log);
@@ -509,6 +717,25 @@ async function runInsights({ page, payload, log }, R = DEFAULT_READERS) {
       ? `không đọc được cả ngày hôm qua lẫn 7 ngày — ${weekError}`
       : 'không đọc được tổng lượt xem trên trang Insights — FB đổi giao diện?');
   }
+
+  // Thư viện nội dung: bảng MỌI bài, số luỹ kế chính xác tới đơn vị. Đây là chỗ
+  // duy nhất nhìn thấy bài CŨ, nên nó gánh việc gọi tên bài đang nổ.
+  //
+  // ĐỌC SAU CÙNG và hỏng thì CHỈ MẤT NÓ (cùng lý do như 7 ngày, vá 10/09): ba
+  // số quan trọng nhất — view hôm qua, follower, tổng 7 ngày — đã nằm trong tay
+  // rồi, không được để một trang mới làm hỏng cả lượt.
+  let library = { range: LIB_RANGE, chip: '', posts: [] };
+  let libraryError = null;
+  try {
+    // Bộ đọc THIẾU không phải lỗi — bên gọi truyền vào bộ đọc rút gọn (test
+    // hiện có cho phần 7-ngày làm đúng vậy) thì chỉ là không có phần này.
+    if (typeof R.readLibraryPage === 'function') library = await R.readLibraryPage(page, log);
+  } catch (e) {
+    libraryError = String((e && e.message) || e);
+    log('warn', `[library] hỏng (${libraryError}) — vẫn ghi phần Insights, chỉ mất số từng bài`);
+    await R.dump(page, 'content-library', log);
+  }
+
   if (typeof log.apiRequest !== 'function') throw new Error('log.apiRequest không có — cần channel-worker ≥ 2.5.55');
   const d = await log.apiRequest('POST', '/analytics/fb-insights', {
     channel_id: payload.channel_id,
@@ -516,14 +743,19 @@ async function runInsights({ page, payload, log }, R = DEFAULT_READERS) {
     yesterday: { date: yest.iso, views: yest.views, chip: yest.chip },
     week: { views: week.total, posts: week.posts },
     audience,
+    library: { range: library.range, chip: library.chip, posts: library.posts },
   });
-  log('info', `[insights] đã ghi: hôm qua ${d?.prev_day_views}, follower ${d?.followers}, bài khớp ${d?.matched}/${d?.posts}, view bài cũ ${d?.unattributed}`);
+  log('info', `[insights] đã ghi: hôm qua ${d?.prev_day_views}, follower ${d?.followers}, bài khớp ${d?.matched}/${d?.posts}, view bài cũ ${d?.unattributed}`
+    + `, thư viện ${library.posts.length} bài (khớp ${d?.library_matched ?? '?'}, bài cũ đang lên ${d?.spike_posts ?? 0})`);
   return {
     ok: true, mode: 'insights',
     views_yesterday: yest.views, views_7d: week.total,
     posts: week.posts.length, matched: d?.matched ?? null,
     followers: audience.followers, unattributed: d?.unattributed ?? null,
+    library_posts: library.posts.length,
+    library_matched: d?.library_matched ?? null,
     ...(weekError ? { week_error: weekError } : {}),
+    ...(libraryError ? { library_error: libraryError } : {}),
   };
 }
 
@@ -600,4 +832,4 @@ async function run({ page, payload, log }) {
   return { ok: true, mode, tiles: tiles.length, written: d?.written || 0, matched: d?.matched || 0, rising: d?.rising || 0, alerts: d?.alerts || 0, followers };
 }
 
-module.exports = { run, __testables: { parseViews, scrapeFollowers, parseExact, parseVnPostTime, runInsights, dumpInsightsFailure, pickRangeLabelInPage, discoverReelsTabUrl, discoverReelsTabUrls, openReelsTabWithTiles } };
+module.exports = { run, __testables: { parseLibraryTime, readLibraryPage, parseViews, scrapeFollowers, parseExact, parseVnPostTime, runInsights, dumpInsightsFailure, pickRangeLabelInPage, discoverReelsTabUrl, discoverReelsTabUrls, openReelsTabWithTiles } };

package/scripts/lib/warm-web.js

@@ -167,15 +167,22 @@ async function visitSite(page, url, log) {
 
 async function warmWeb({ page, cfg = {}, log }) {
   const out = { ran: false, sites: 0, seconds: 0, last_origin: '' };
+  // EVERY exit logs, including the ones that do nothing. A probability branch
+  // that stays silent when it skips is indistinguishable from a branch that is
+  // never reached: measured 2026-09-22, four sessions in a row rolled a skip
+  // (0.4^4 = 2.6%) and the only way to tell bad luck from a dead code path was
+  // to re-run the module by hand on each machine. One line is cheaper.
+  const say = (m) => { if (typeof log === 'function') log('info', `[warm-web] ${m}`); };
   const prob = cfg.warm_prob ?? 0.6;
-  if (!(prob > 0) || !chance(prob)) return out;
+  if (!(prob > 0)) { say(`tắt (warm_prob=${prob}) — không lướt web ngoài`); return out; }
+  if (!chance(prob)) { say(`bỏ qua lượt này (quay xác suất trượt, warm_prob=${prob})`); return out; }
 
   // A MISSING list means "the API is older than this script" → use the built-in
   // one. An EMPTY list means the caller said no sites, so browse none: a config
   // that clears the list must not quietly fall back to six hardcoded domains.
   const pool = (Array.isArray(cfg.warm_sites) ? cfg.warm_sites : DEFAULT_SITES)
     .filter((u) => typeof u === 'string' && /^https?:\/\//i.test(u));
-  if (!pool.length) return out;
+  if (!pool.length) { say('danh sách site rỗng — không lướt web ngoài'); return out; }
 
   const want = randInt(Math.max(1, cfg.warm_sites_min ?? 1), Math.max(1, cfg.warm_sites_max ?? 3));
   const budgetSec = randInt(cfg.warm_sec_min ?? 60, Math.max(cfg.warm_sec_min ?? 60, cfg.warm_sec_max ?? 150));