channel-worker 2.5.78 → 2.5.80

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "channel-worker",
-  "version": "2.5.78",
+  "version": "2.5.80",
   "description": "Channel Manager worker daemon — runs on remote machines to execute video pipeline jobs",
   "main": "lib/daemon.js",
   "bin": {

package/scripts/fetch_facebook_reel_stats.js

@@ -4,10 +4,11 @@
 // Payload: { channel_id, profile_id, page_url?, mode, scroll }
 //   page_url: link page (nếu có) — không có thì tự tìm reels_tab từ trang chủ
 //     như upload_facebook (anchor /profile.php?id=… hoặc "Dòng thời gian của X").
-//   mode: 'deep' (mặc định) = lượt nền 06:30, cuộn sâu cả page + đọc follower
-//         'fresh'           = lượt bám bài (giờ đăng +2h/+6h), cuộn nông, bài
-//                             mới nằm ngay đầu tab nên không cần cuộn xa
-//   scroll: số lần cuộn, ghi đè mặc định theo mode (6 / 2)
+//   mode: 'insights' = lượt nền hằng ngày, ĐỌC TRANG CÔNG CỤ CHUYÊN NGHIỆP
+//                      (số chính xác tới đơn vị) — xem khối INSIGHTS bên dưới
+//         'fresh'    = lượt bám bài (giờ đăng +2h/+6h), cuộn nông tab Reels
+//         'deep'     = quét sâu tab Reels (cách cũ, giữ để đối chiếu)
+//   scroll: số lần cuộn tab Reels, ghi đè mặc định theo mode (6 / 2)
 //
 // Tile reels_tab: <a href="/reel/<id>/" aria-label="Bản xem trước ô thước phim">
 // chứa số lượt xem dạng rút gọn tiếng Việt: "1,2 N" (nghìn), "3,4 Tr" (triệu),
@@ -103,9 +104,183 @@ async function scrapeTiles(page) {
   }).catch(() => []);
 }
 
+
+// ══ INSIGHTS — số liệu chính chủ của Facebook ════════════════════════════════
+//
+// Vì sao phải bỏ tile cho lượt nền (đo thật 2026-09-05):
+//   · tile rút gọn còn 2-3 chữ số. Bài 1129754453051277 đi "6,9K → 7K → 7,1K →
+//     7,3K → 7,7K → 10K" rồi ĐỨNG IM "10K" bảy ngày liền — delta ngày mù hẳn.
+//   · cùng bài đó trên Insights: 56.223. Bài top: tile "588K", Insights 588.135.
+//   · follower: tile "1,9K" → 1.900, Insights 1.919.
+//
+// Ba câu hỏi, hai lần tải trang (chủ tịch chốt 2026-09-05):
+//   date_range=TODAY   → tổng view HÔM NAY của kênh + % so hôm qua
+//                        (dùng tổng NGÀY để phát hiện, không dùng tổng 90 ngày:
+//                         một cú nổ 50K trên nền 1,33 triệu chỉ nhích 3,7%)
+//   date_range=LAST_7D → 8-10 bài GẦN NHẤT kèm view chính xác
+//   hiệu hai cái       → view của bài CŨ. Đo thật: tổng 7 ngày 216.353, cộng 8
+//                        bài liệt kê 158.543 → 57.810 view đến từ bài cũ.
+//
+// BẪY: danh sách bài lọc theo NGÀY ĐĂNG, không theo view kiếm được trong kỳ.
+// date_range=TODAY chỉ liệt kê bài ĐĂNG hôm nay (đo thật: đúng 1 bài, 639
+// view), nên bài cũ đang nổ KHÔNG BAO GIỜ hiện trong danh sách — chỉ lộ ra qua
+// hiệu số ở trên.
+//
+// Token date_range đã kiểm: TODAY · LAST_7D · LAST_14D · LAST_28D · LAST_60D ·
+// LAST_90D chạy thật. THIS_YEAR và LIFETIME thì trang LẶNG LẼ rơi về 28 ngày —
+// không báo lỗi, nên phải đối chiếu nhãn khoảng thời gian trả về.
+
+const INSIGHTS_BASE = 'https://www.facebook.com/professional_dashboard/profile_insights';
+
+// Số trên Insights là số đầy đủ, dấu chấm là phân cách nghìn ("1.333.852").
+// KHÔNG dùng parseViews ở đây — hàm đó dịch "1.2" thành 12 vì phải lo hậu tố K/N.
+function parseExact(txt) {
+  const m = /(\d[\d.]*)/.exec(String(txt || '').replace(/\s+/g, ' '));
+  if (!m) return null;
+  const n = parseInt(m[1].replace(/\./g, ''), 10);
+  return Number.isFinite(n) ? n : null;
+}
+
+// "31 Tháng 8 11:41" → ISO. Facebook không ghi năm; tháng lớn hơn tháng hiện
+// tại nghĩa là năm ngoái (bài cuối tháng 12 xem vào tháng 1).
+function parseVnPostTime(txt, now = new Date()) {
+  const m = /(\d{1,2})\s*Tháng\s*(\d{1,2})\s+(\d{1,2}):(\d{2})/i.exec(String(txt || ''));
+  if (!m) return null;
+  const [, d, mo, h, mi] = m.map(Number);
+  let year = now.getUTCFullYear();
+  // Mốc so sánh theo giờ VN vì Facebook hiện giờ địa phương của tài khoản.
+  const vnNow = new Date(now.getTime() + 7 * 3600e3);
+  if (mo > vnNow.getUTCMonth() + 1) year -= 1;
+  const iso = `${year}-${String(mo).padStart(2, '0')}-${String(d).padStart(2, '0')}`
+    + `T${String(h).padStart(2, '0')}:${String(mi).padStart(2, '0')}:00+07:00`;
+  const t = new Date(iso);
+  return Number.isNaN(t.getTime()) ? null : t.toISOString();
+}
+
+// Nhãn khoảng thời gian PHẢI khớp cái đã xin. Trang dựng khung trước rồi mới
+// đổ số, nên đọc quá sớm là lấy trúng số của khoảng TRƯỚC ĐÓ mà không có dấu
+// hiệu gì. Đo thật 2026-09-06: 5/43 lượt xin LAST_7D nhận về "Hôm nay", và một
+// kênh ghi được daily_views 279.946 trong khi views_7d chỉ 278.662 — tức là số
+// 28 ngày bị nhét vào ô "hôm nay". Phải ĐỢI nhãn khớp, không thì thà hỏng to.
+const RANGE_LABEL = {
+  TODAY: /hôm nay/i,
+  LAST_7D: /7 ngày qua/i,
+  LAST_14D: /14 ngày qua/i,
+  LAST_28D: /28 ngày qua/i,
+  LAST_60D: /60 ngày qua/i,
+  LAST_90D: /90 ngày qua/i,
+};
+
+async function readViewsPage(page, range, log) {
+  const url = `${INSIGHTS_BASE}/views/?tab=reels&date_range=${range}`;
+  await page.goto(url, { waitUntil: 'domcontentloaded', timeout: 45_000 });
+  const want = RANGE_LABEL[range];
+  let label = '';
+  // Tối đa ~24s: khung trang hiện trong ~3s, số đổ về chậm hơn nhiều.
+  for (let i = 0; i < 12; i++) {
+    await page.waitForTimeout(2000);
+    label = await page.evaluate(() => {
+      const clean = (v) => String(v || '').replace(/\s+/g, ' ').trim();
+      for (const e of document.querySelectorAll('div,span')) {
+        const t = clean(e.innerText);
+        if (t.length < 60 && /Tổng số lượt xem/i.test(t)) return t;
+      }
+      return '';
+    }).catch(() => '');
+    if (label && (!want || want.test(label))) break;
+  }
+  if (want && !want.test(label)) {
+    throw new Error(`xin ${range} nhưng sau 24s trang vẫn hiện "${label || 'chưa có số nào'}"`);
+  }
+  const raw = await page.evaluate(() => {
+    const clean = (v) => String(v || '').replace(/\s+/g, ' ').trim();
+    const seen = new Set(); const chunks = [];
+    for (const e of document.querySelectorAll('div,span')) {
+      const t = clean(e.innerText);
+      if (!t || t.length > 90 || !/\d/.test(t) || seen.has(t)) continue;
+      if (/Lượt xem|lượt xem/.test(t)) { seen.add(t); chunks.push(t); }
+      if (chunks.length > 120) break;
+    }
+    const label = [...document.querySelectorAll('div,span,button')]
+      .map((e) => clean(e.innerText))
+      .find((t) => t.length < 60 && /ngày qua:|hôm nay/i.test(t)) || '';
+    return { chunks, label };
+  }).catch(() => ({ chunks: [], label: '' }));
+
+  // Tổng: "216.353 -35% Tổng số lượt xem trong 7 ngày qua" / "… hôm nay"
+  let total = null; let pct = null;
+  for (const c of raw.chunks) {
+    const m = /^([\d.]+)\s*(?:(-?[\d.,]+)%)?\s*Tổng số lượt xem/i.exec(c);
+    if (m) { total = parseExact(m[1]); pct = m[2] ? parseFloat(String(m[2]).replace(',', '.')) : null; break; }
+  }
+  // Dòng bài: "31 Tháng 8 11:41 56.243 Lượt xem"
+  const posts = [];
+  for (const c of raw.chunks) {
+    const m = /(\d{1,2}\s*Tháng\s*\d{1,2}\s+\d{1,2}:\d{2})\s+([\d.]+)\s*Lượt xem/i.exec(c);
+    if (!m) continue;
+    const at = parseVnPostTime(m[1]);
+    const views = parseExact(m[2]);
+    if (at && views != null && !posts.some((p) => p.at === at)) posts.push({ at, views, raw: m[0].slice(0, 60) });
+  }
+  log('info', `[insights] ${range}: tổng ${total}${pct != null ? ` (${pct}%)` : ''}, ${posts.length} bài — "${label}"`);
+  return { range, label, total, pct, posts };
+}
+
+async function readAudiencePage(page, log) {
+  await page.goto(`${INSIGHTS_BASE}/audience/`, { waitUntil: 'domcontentloaded', timeout: 45_000 });
+  await page.waitForTimeout(7000);
+  const chunks = await page.evaluate(() => {
+    const clean = (v) => String(v || '').replace(/\s+/g, ' ').trim();
+    const seen = new Set(); const out = [];
+    for (const e of document.querySelectorAll('div,span')) {
+      const t = clean(e.innerText);
+      if (!t || t.length > 90 || !/\d/.test(t) || seen.has(t)) continue;
+      if (/người theo dõi|bỏ theo dõi/i.test(t)) { seen.add(t); out.push(t); }
+      if (out.length > 60) break;
+    }
+    return out;
+  }).catch(() => []);
+  const pick = (re) => { for (const c of chunks) { const m = re.exec(c); if (m) return parseExact(m[1]); } return null; };
+  const a = {
+    followers: pick(/^([\d.]+)\s*(?:[-+][\d.,]+%\s*)?Tổng số người theo dõi/i),
+    net_followers: pick(/^([\d.]+)\s*(?:[-+][\d.,]+%\s*)?Số người theo dõi thực/i),
+    unfollows: pick(/([\d.]+)\s*Lượt bỏ theo dõi/i),
+  };
+  log('info', `[insights] đối tượng: ${a.followers} follower, thực ${a.net_followers}, bỏ ${a.unfollows}`);
+  return a;
+}
+
+// Lượt nền: hai trang view + một trang đối tượng, rồi gửi thẳng số thô về API.
+// Việc khớp bài với idea và tính hiệu để lòi ra "bài cũ đang nổ" làm ở API —
+// worker không giữ trạng thái ngày hôm qua.
+async function runInsights({ page, payload, log }) {
+  const today = await readViewsPage(page, 'TODAY', log);
+  const week = await readViewsPage(page, 'LAST_7D', log);
+  const audience = await readAudiencePage(page, log);
+  if (today.total == null && week.total == null) {
+    throw new Error('không đọc được tổng lượt xem trên trang Insights — FB đổi giao diện?');
+  }
+  if (typeof log.apiRequest !== 'function') throw new Error('log.apiRequest không có — cần channel-worker ≥ 2.5.55');
+  const d = await log.apiRequest('POST', '/analytics/fb-insights', {
+    channel_id: payload.channel_id,
+    at: new Date().toISOString(),
+    today: { views: today.total, pct: today.pct, posts: today.posts },
+    week: { views: week.total, posts: week.posts },
+    audience,
+  });
+  log('info', `[insights] đã ghi: ngày ${d?.daily_views}, follower ${d?.followers}, bài khớp ${d?.matched}/${d?.posts}, view bài cũ ${d?.unattributed}`);
+  return {
+    ok: true, mode: 'insights',
+    views_today: today.total, views_7d: week.total,
+    posts: week.posts.length, matched: d?.matched ?? null,
+    followers: audience.followers, unattributed: d?.unattributed ?? null,
+  };
+}
+
 async function run({ page, payload, log }) {
   const { channel_id, page_url, mode = 'deep' } = payload || {};
   if (!channel_id) throw new Error('payload.channel_id required');
+  if (mode === 'insights') return runInsights({ page, payload, log });
   const scrolls = Number.isFinite(Number(payload?.scroll)) && Number(payload.scroll) > 0
     ? Number(payload.scroll)
     : (mode === 'fresh' ? 2 : 6);
@@ -162,4 +337,4 @@ async function run({ page, payload, log }) {
   return { ok: true, mode, tiles: tiles.length, written: d?.written || 0, matched: d?.matched || 0, rising: d?.rising || 0, alerts: d?.alerts || 0, followers };
 }
 
-module.exports = { run, __testables: { parseViews, scrapeFollowers } };
+module.exports = { run, __testables: { parseViews, scrapeFollowers, parseExact, parseVnPostTime } };