channel-worker 2.5.81 → 2.5.89

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "channel-worker",
-  "version": "2.5.81",
+  "version": "2.5.89",
   "description": "Channel Manager worker daemon — runs on remote machines to execute video pipeline jobs",
   "main": "lib/daemon.js",
   "bin": {

package/scripts/fetch_facebook_reel_stats.js

@@ -130,31 +130,52 @@ async function scrapeTiles(page) {
 // LAST_90D chạy thật. THIS_YEAR và LIFETIME thì trang LẶNG LẼ rơi về 28 ngày —
 // không báo lỗi, nên phải đối chiếu nhãn khoảng thời gian trả về.
 
+const vnYesterdayIso = () => new Date(Date.now() + 7 * 3600e3 - 864e5).toISOString().slice(0, 10);
+
 const INSIGHTS_BASE = 'https://www.facebook.com/professional_dashboard/profile_insights';
 
 // Số trên Insights là số đầy đủ, dấu chấm là phân cách nghìn ("1.333.852").
 // KHÔNG dùng parseViews ở đây — hàm đó dịch "1.2" thành 12 vì phải lo hậu tố K/N.
+// Số trên Insights luôn là số NGUYÊN, chỉ khác dấu ngăn nghìn theo ngôn ngữ
+// của profile: tiếng Việt dùng dấu chấm ("1.333.852"), tiếng Anh dùng dấu phẩy
+// ("312,314"). Bỏ CẢ HAI. Chỉ strip dấu chấm là profile tiếng Anh đọc "312,314"
+// thành 312 — sai 1000 lần mà không có dấu hiệu gì (gặp thật 2026-09-06, 4 kênh).
 function parseExact(txt) {
-  const m = /(\d[\d.]*)/.exec(String(txt || '').replace(/\s+/g, ' '));
+  const m = /(\d[\d.,]*)/.exec(String(txt || '').replace(/\s+/g, ' '));
   if (!m) return null;
-  const n = parseInt(m[1].replace(/\./g, ''), 10);
+  const n = parseInt(m[1].replace(/[.,]/g, ''), 10);
   return Number.isFinite(n) ? n : null;
 }
 
 // "31 Tháng 8 11:41" → ISO. Facebook không ghi năm; tháng lớn hơn tháng hiện
 // tại nghĩa là năm ngoái (bài cuối tháng 12 xem vào tháng 1).
+const EN_MONTH = { jan: 1, feb: 2, mar: 3, apr: 4, may: 5, jun: 6, jul: 7, aug: 8, sep: 9, oct: 10, nov: 11, dec: 12 };
+
 function parseVnPostTime(txt, now = new Date()) {
-  const m = /(\d{1,2})\s*Tháng\s*(\d{1,2})\s+(\d{1,2}):(\d{2})/i.exec(String(txt || ''));
-  if (!m) return null;
-  const [, d, mo, h, mi] = m.map(Number);
+  const t = String(txt || '');
+  let d; let mo; let h; let mi;
+  const vn = /(\d{1,2})\s*Tháng\s*(\d{1,2})\s+(\d{1,2}):(\d{2})/i.exec(t);
+  if (vn) {
+    [, d, mo, h, mi] = vn.map(Number);
+  } else {
+    // Profile tiếng Anh: "Fri Sep 4, 2:33pm" (12 giờ, có am/pm).
+    const en = /(?:[A-Za-z]{3},?\s+)?([A-Za-z]{3})\s+(\d{1,2}),?\s+(\d{1,2}):(\d{2})\s*(am|pm)/i.exec(t);
+    if (!en) return null;
+    mo = EN_MONTH[en[1].toLowerCase()];
+    if (!mo) return null;
+    d = Number(en[2]); h = Number(en[3]); mi = Number(en[4]);
+    const pm = en[5].toLowerCase() === 'pm';
+    if (pm && h < 12) h += 12;
+    if (!pm && h === 12) h = 0;
+  }
   let year = now.getUTCFullYear();
   // Mốc so sánh theo giờ VN vì Facebook hiện giờ địa phương của tài khoản.
   const vnNow = new Date(now.getTime() + 7 * 3600e3);
   if (mo > vnNow.getUTCMonth() + 1) year -= 1;
   const iso = `${year}-${String(mo).padStart(2, '0')}-${String(d).padStart(2, '0')}`
     + `T${String(h).padStart(2, '0')}:${String(mi).padStart(2, '0')}:00+07:00`;
-  const t = new Date(iso);
-  return Number.isNaN(t.getTime()) ? null : t.toISOString();
+  const parsed = new Date(iso);
+  return Number.isNaN(parsed.getTime()) ? null : parsed.toISOString();
 }
 
 // Nhãn khoảng thời gian PHẢI khớp cái đã xin. Trang dựng khung trước rồi mới
@@ -162,32 +183,107 @@ function parseVnPostTime(txt, now = new Date()) {
 // hiệu gì. Đo thật 2026-09-06: 5/43 lượt xin LAST_7D nhận về "Hôm nay", và một
 // kênh ghi được daily_views 279.946 trong khi views_7d chỉ 278.662 — tức là số
 // 28 ngày bị nhét vào ô "hôm nay". Phải ĐỢI nhãn khớp, không thì thà hỏng to.
+// Profile để tiếng Anh thì Facebook trả nhãn tiếng Anh ("Last 7 days: Aug 30 -
+// Sep 5"). Đo 2026-09-06: 4/52 kênh như vậy, parser thuần tiếng Việt coi trang
+// đó là trống hoàn toàn.
 const RANGE_LABEL = {
-  TODAY: /hôm nay/i,
-  LAST_7D: /7 ngày qua/i,
-  LAST_14D: /14 ngày qua/i,
-  LAST_28D: /28 ngày qua/i,
-  LAST_60D: /60 ngày qua/i,
-  LAST_90D: /90 ngày qua/i,
+  TODAY: /hôm nay|^today/i,
+  LAST_7D: /7 ngày qua|last 7 days/i,
+  LAST_14D: /14 ngày qua|last 14 days/i,
+  LAST_28D: /28 ngày qua|last 28 days/i,
+  LAST_60D: /60 ngày qua|last 60 days/i,
+  LAST_90D: /90 ngày qua|last 90 days/i,
 };
 
+// Đọc CHIP khoảng thời gian ("7 ngày qua: 30 Tháng 8 - 5 Tháng 9", "Hôm nay",
+// "Tùy chỉnh: …"). KHÔNG đọc dòng "Tổng số lượt xem": Facebook dựng HAI kiểu
+// giao diện cho cùng trang này — kiểu A có "… Tổng số lượt xem trong 7 ngày
+// qua", kiểu B là "Số liệu chia nhỏ về lượt xem" rồi "26.313 -91% Lượt xem"
+// (không có chữ "Tổng số"). Bám vào dòng đó là ~10/44 kênh kiểu B bị coi như
+// trang trống — đúng ca "Má hồng phai" 2026-09-06.
+async function currentRangeLabel(page) {
+  return page.evaluate(() => {
+    const clean = (v) => String(v || '').replace(/\s+/g, ' ').trim();
+    for (const e of document.querySelectorAll('div[role="button"],div,span')) {
+      const t = clean(e.innerText);
+      if (t.length < 70 && /^(Hôm nay$|Today$|Tùy chỉnh:|Custom:|Năm nay:|This year:|\d+ ngày qua:|Last \d+ days:)/i.test(t)) return t;
+    }
+    return '';
+  }).catch(() => '');
+}
+
+// Tổng lượt xem của khoảng đang hiện, đọc được CẢ HAI kiểu giao diện.
+// Phải neo cuối chuỗi ở "Lượt xem": trang còn có "Lượt xem trong tối thiểu 3
+// giây" và "… 1 phút", khớp lỏng là vớ nhầm mấy số đó.
+// Giữa CON SỐ và NHÃN, Facebook nhét đủ thứ không phải chữ: phần trăm, và có
+// khi cả MŨI TÊN. Ảnh chụp 2026-09-06 kênh "lặn biển 01":
+//     "105,474 ↓ -46% Total views from previous 28 days"
+// Regex cũ chỉ cho khoảng trắng ở đó nên trượt sạch — trong khi số nằm ngay
+// đấy. Bản tiếng Việt và khoảng 7 ngày không kèm mũi tên nên vẫn chạy, chỉ
+// khoảng tuỳ chỉnh (có % giảm) mới lộ. `[^\p{L}]*` nuốt mọi thứ không phải chữ.
+const TOTAL_LABELS = [
+  /^([\d.,]+)([^\p{L}]*)(?:Tổng số lượt xem|Total views)/iu,
+  /^([\d.,]+)([^\p{L}]*)(?:Lượt xem|Views)$/iu,
+];
+
+function pickTotal(chunks) {
+  for (const re of TOTAL_LABELS) {
+    for (const c of chunks) {
+      const m = re.exec(c);
+      if (!m) continue;
+      const pm = /(-?[\d.,]+)%/.exec(m[2] || '');
+      return { views: parseExact(m[1]), pct: pm ? parseFloat(pm[1].replace(/,/g, '')) : null };
+    }
+  }
+  return { views: null, pct: null };
+}
+
 async function readViewsPage(page, range, log) {
   const url = `${INSIGHTS_BASE}/views/?tab=reels&date_range=${range}`;
-  await page.goto(url, { waitUntil: 'domcontentloaded', timeout: 45_000 });
   const want = RANGE_LABEL[range];
   let label = '';
-  // Tối đa ~24s: khung trang hiện trong ~3s, số đổ về chậm hơn nhiều.
-  for (let i = 0; i < 12; i++) {
-    await page.waitForTimeout(2000);
-    label = await page.evaluate(() => {
-      const clean = (v) => String(v || '').replace(/\s+/g, ' ').trim();
-      for (const e of document.querySelectorAll('div,span')) {
-        const t = clean(e.innerText);
-        if (t.length < 60 && /Tổng số lượt xem/i.test(t)) return t;
+  // LẦN ĐIỀU HƯỚNG ĐẦU TIÊN THƯỜNG BỊ BỎ QUA: trang giữ mặc định 28 ngày và
+  // lờ tham số date_range. Đo thật 2026-09-06 lúc 12h trưa: 8/47 kênh xin
+  // TODAY mà trang trả về "… trong 28 ngày qua" — không phải hết dữ liệu, mà
+  // là tham số không ăn. Nạp lại là lần sau nó nhận, nên thử tới 3 lượt.
+  for (let attempt = 0; attempt < 3; attempt++) {
+    await page.goto(url, { waitUntil: 'domcontentloaded', timeout: 45_000 });
+    for (let i = 0; i < 8; i++) {
+      await page.waitForTimeout(2000);
+      label = await currentRangeLabel(page);
+      if (label && (!want || want.test(label))) break;
+    }
+    if (!want || !label || want.test(label)) break;
+    log('info', `[insights] ${range}: lần ${attempt + 1} trang vẫn hiện "${label}", nạp lại`);
+    // Facebook NHỚ khoảng đã chọn lần trước theo từng profile, và tham số trên
+    // URL không phải lúc nào cũng đè được cái nhớ đó — nạp lại mấy lần vẫn y
+    // nguyên (đo 2026-09-06: 4 kênh xin LAST_7D mà cứ hiện "Hôm nay"). Đường
+    // chắc chắn là BẤM vào mục trong bộ chọn: chúng là thẻ <a> nên bấm là điều
+    // hướng client-side, luôn áp dụng.
+    if (attempt === 1) {
+      // CHUỘT THẬT của Playwright, không phải element.click() trong evaluate:
+      // click tổng hợp trong DOM không phải lúc nào cũng kích được handler của
+      // React (đo 2026-09-06: evaluate trả false, log không hề có dòng "đổi
+      // khoảng"). page.click gửi đủ chuỗi sự kiện chuột.
+      const ok = await (async () => {
+        try {
+          await page.locator('div[role="button"]').filter({ hasText: /^(Hôm nay|Today|Tùy chỉnh:|Custom:|Năm nay:|This year:|\d+ ngày qua:|Last \d+ days:)/ })
+            .first().click({ timeout: 8000 });
+          await page.waitForTimeout(2000);
+          await page.locator(`a[role="menuitemradio"][href*="date_range=${range}"]`).first().click({ timeout: 8000 });
+          return true;
+        } catch { return false; }
+      })();
+      if (ok) {
+        log('info', `[insights] ${range}: đổi khoảng bằng cách bấm bộ chọn`);
+        for (let i = 0; i < 8; i++) {
+          await page.waitForTimeout(2000);
+          label = await currentRangeLabel(page);
+          if (label && want.test(label)) break;
+        }
+        if (label && want.test(label)) break;
       }
-      return '';
-    }).catch(() => '');
-    if (label && (!want || want.test(label))) break;
+    }
   }
   // Hai ca KHÁC HẲN nhau, đừng gộp:
   //   nhãn RỖNG   = khoảng này chưa có số nào. Chuyện thường, không phải lỗi —
@@ -208,25 +304,23 @@ async function readViewsPage(page, range, log) {
     for (const e of document.querySelectorAll('div,span')) {
       const t = clean(e.innerText);
       if (!t || t.length > 90 || !/\d/.test(t) || seen.has(t)) continue;
-      if (/Lượt xem|lượt xem/.test(t)) { seen.add(t); chunks.push(t); }
+      if (/[Ll]ượt xem|[Vv]iews/.test(t)) { seen.add(t); chunks.push(t); }
       if (chunks.length > 120) break;
     }
-    const label = [...document.querySelectorAll('div,span,button')]
-      .map((e) => clean(e.innerText))
-      .find((t) => t.length < 60 && /ngày qua:|hôm nay/i.test(t)) || '';
-    return { chunks, label };
-  }).catch(() => ({ chunks: [], label: '' }));
+    return { chunks };
+  }).catch(() => ({ chunks: [] }));
 
-  // Tổng: "216.353 -35% Tổng số lượt xem trong 7 ngày qua" / "… hôm nay"
-  let total = null; let pct = null;
-  for (const c of raw.chunks) {
-    const m = /^([\d.]+)\s*(?:(-?[\d.,]+)%)?\s*Tổng số lượt xem/i.exec(c);
-    if (m) { total = parseExact(m[1]); pct = m[2] ? parseFloat(String(m[2]).replace(',', '.')) : null; break; }
-  }
+  const t0 = pickTotal(raw.chunks);
+  const total = t0.views; const pct = t0.pct;
   // Dòng bài: "31 Tháng 8 11:41 56.243 Lượt xem"
   const posts = [];
+  const POST_LINE = [
+    /(\d{1,2}\s*Tháng\s*\d{1,2}\s+\d{1,2}:\d{2})\s+([\d.,]+)\s*Lượt xem/i,
+    /((?:[A-Za-z]{3},?\s+)?[A-Za-z]{3}\s+\d{1,2},?\s+\d{1,2}:\d{2}\s*(?:am|pm))\s+([\d.,]+)\s*Views/i,
+  ];
   for (const c of raw.chunks) {
-    const m = /(\d{1,2}\s*Tháng\s*\d{1,2}\s+\d{1,2}:\d{2})\s+([\d.]+)\s*Lượt xem/i.exec(c);
+    let m = null;
+    for (const re of POST_LINE) { m = re.exec(c); if (m) break; }
     if (!m) continue;
     const at = parseVnPostTime(m[1]);
     const views = parseExact(m[2]);
@@ -236,6 +330,70 @@ async function readViewsPage(page, range, log) {
   return { range, label, total, pct, posts };
 }
 
+// Đọc ĐÚNG MỘT NGÀY qua khoảng tuỳ chỉnh.
+//
+// Vì sao không dùng date_range=TODAY: Facebook KHÔNG có số của hôm nay. Đo
+// 2026-09-06 lúc 12h trưa trên kênh 1,5 triệu view/7 ngày, trang trả về đúng
+// chữ "--" kèm "Chưa đủ dữ liệu để hiển thị". Chip khoảng thời gian của chính
+// nó cũng kết thúc ở HÔM QUA ("28 ngày qua: 9 Tháng 8 - 5 Tháng 9" trong khi
+// đã là ngày 6) — cửa sổ dữ liệu của Facebook đóng sổ ở hôm qua.
+//
+// Không có preset "Hôm qua" (đã thử YESTERDAY/LAST_1D/PREVIOUS_DAY, cả ba rơi
+// về 28 ngày). Định dạng dưới đây lấy được bằng cách bấm thật vào lịch trong
+// mục "Tùy chỉnh" rồi đọc URL nó sinh ra.
+//
+// BẪY: dòng "… Tổng số lượt xem trong 28 ngày qua" ở khoảng tuỳ chỉnh là NHÃN
+// CŨ chưa kịp đổi, nhưng CON SỐ thì đã đúng của ngày đã chọn. Nên phải xác
+// minh bằng CHIP ("Tùy chỉnh: 5 Tháng 9 – 5 Tháng 9"), không phải bằng nhãn đó.
+async function readOneDay(page, iso, log) {
+  const url = `${INSIGHTS_BASE}/views/?tab=reels&date_range=CUSTOM&start_date=${iso}&end_date=${iso}`;
+  let chip = '';
+  for (let attempt = 0; attempt < 3; attempt++) {
+    await page.goto(url, { waitUntil: 'domcontentloaded', timeout: 45_000 });
+    for (let i = 0; i < 8; i++) {
+      await page.waitForTimeout(2000);
+      chip = await page.evaluate(() => {
+        const clean = (v) => String(v || '').replace(/\s+/g, ' ').trim();
+        for (const e of document.querySelectorAll('div[role="button"],span,div')) {
+          const t = clean(e.innerText);
+          if (t.length < 70 && /^(Tùy chỉnh:|Custom:)/i.test(t)) return t;
+        }
+        return '';
+      }).catch(() => '');
+      if (chip) break;
+    }
+    if (chip) break;
+    log('info', `[insights] ngày ${iso}: lần ${attempt + 1} chưa thấy chip tuỳ chỉnh, nạp lại`);
+  }
+  if (!chip) return { iso, chip: '', views: null };
+  // Chip đổi TRƯỚC, con số đổ về SAU — chờ cố định 3s là hên xui: đo 2026-09-06
+  // có kênh chip đúng "Custom: Sep 5 - Sep 5" mà số vẫn null. Chờ tới khi thấy
+  // số, tối đa ~14s.
+  let views = null;
+  for (let i = 0; i < 7; i++) {
+    await page.waitForTimeout(2000);
+    const cs = await readTotalChunks(page);
+    views = pickTotal(cs).views;
+    if (views != null) break;
+  }
+  log('info', `[insights] ngày ${iso}: ${views} lượt xem — chip "${chip}"`);
+  return { iso, chip, views };
+}
+
+async function readTotalChunks(page) {
+  return page.evaluate(() => {
+    const clean = (v) => String(v || '').replace(/\s+/g, ' ').trim();
+    const seen = new Set(); const out = [];
+    for (const e of document.querySelectorAll('div,span')) {
+      const t = clean(e.innerText);
+      if (!t || t.length > 90 || !/\d/.test(t) || seen.has(t)) continue;
+      if (/[Ll]ượt xem|[Vv]iews/.test(t)) { seen.add(t); out.push(t); }
+      if (out.length > 120) break;
+    }
+    return out;
+  }).catch(() => []);
+}
+
 async function readAudiencePage(page, log) {
   await page.goto(`${INSIGHTS_BASE}/audience/`, { waitUntil: 'domcontentloaded', timeout: 45_000 });
   await page.waitForTimeout(7000);
@@ -245,16 +403,19 @@ async function readAudiencePage(page, log) {
     for (const e of document.querySelectorAll('div,span')) {
       const t = clean(e.innerText);
       if (!t || t.length > 90 || !/\d/.test(t) || seen.has(t)) continue;
-      if (/người theo dõi|bỏ theo dõi/i.test(t)) { seen.add(t); out.push(t); }
+      if (/người theo dõi|bỏ theo dõi|followers|follows|unfollows/i.test(t)) { seen.add(t); out.push(t); }
       if (out.length > 60) break;
     }
     return out;
   }).catch(() => []);
-  const pick = (re) => { for (const c of chunks) { const m = re.exec(c); if (m) return parseExact(m[1]); } return null; };
+  const pick = (...res) => {
+    for (const re of res) for (const c of chunks) { const m = re.exec(c); if (m) return parseExact(m[1]); }
+    return null;
+  };
   const a = {
-    followers: pick(/^([\d.]+)\s*(?:[-+][\d.,]+%\s*)?Tổng số người theo dõi/i),
-    net_followers: pick(/^([\d.]+)\s*(?:[-+][\d.,]+%\s*)?Số người theo dõi thực/i),
-    unfollows: pick(/([\d.]+)\s*Lượt bỏ theo dõi/i),
+    followers: pick(/^([\d.,]+)\s*(?:[-+][\d.,]+%\s*)?Tổng số người theo dõi/i, /^([\d.,]+)\s*(?:[-+][\d.,]+%\s*)?Total followers/i),
+    net_followers: pick(/^([\d.,]+)\s*(?:[-+][\d.,]+%\s*)?Số người theo dõi thực/i, /^([\d.,]+)\s*(?:[-+][\d.,]+%\s*)?Net follows/i),
+    unfollows: pick(/([\d.,]+)\s*Lượt bỏ theo dõi/i, /([\d.,]+)\s*Unfollows/i),
   };
   log('info', `[insights] đối tượng: ${a.followers} follower, thực ${a.net_followers}, bỏ ${a.unfollows}`);
   return a;
@@ -264,24 +425,27 @@ async function readAudiencePage(page, log) {
 // Việc khớp bài với idea và tính hiệu để lòi ra "bài cũ đang nổ" làm ở API —
 // worker không giữ trạng thái ngày hôm qua.
 async function runInsights({ page, payload, log }) {
-  const today = await readViewsPage(page, 'TODAY', log);
+  // 7 ngày trước để làm ấm trang (lần điều hướng ĐẦU hay bị bỏ qua tham số),
+  // rồi mới tới ngày hôm qua.
   const week = await readViewsPage(page, 'LAST_7D', log);
+  const yIso = vnYesterdayIso();
+  const yest = await readOneDay(page, yIso, log);
   const audience = await readAudiencePage(page, log);
-  if (today.total == null && week.total == null) {
+  if (yest.views == null && week.total == null) {
     throw new Error('không đọc được tổng lượt xem trên trang Insights — FB đổi giao diện?');
   }
   if (typeof log.apiRequest !== 'function') throw new Error('log.apiRequest không có — cần channel-worker ≥ 2.5.55');
   const d = await log.apiRequest('POST', '/analytics/fb-insights', {
     channel_id: payload.channel_id,
     at: new Date().toISOString(),
-    today: { views: today.total, pct: today.pct, posts: today.posts },
+    yesterday: { date: yest.iso, views: yest.views, chip: yest.chip },
     week: { views: week.total, posts: week.posts },
     audience,
   });
-  log('info', `[insights] đã ghi: ngày ${d?.daily_views}, follower ${d?.followers}, bài khớp ${d?.matched}/${d?.posts}, view bài cũ ${d?.unattributed}`);
+  log('info', `[insights] đã ghi: hôm qua ${d?.prev_day_views}, follower ${d?.followers}, bài khớp ${d?.matched}/${d?.posts}, view bài cũ ${d?.unattributed}`);
   return {
     ok: true, mode: 'insights',
-    views_today: today.total, views_7d: week.total,
+    views_yesterday: yest.views, views_7d: week.total,
     posts: week.posts.length, matched: d?.matched ?? null,
     followers: audience.followers, unattributed: d?.unattributed ?? null,
   };