channel-worker 2.5.150 → 2.5.152

package/lib/api-client.js

@@ -1,7 +1,21 @@
+// Final-result reports (done / failed / pending) ride out an API restart:
+// one lost PUT left the command 'running' until the stale cleanup marked it
+// "Timed out — có thể bài ĐÃ lên" and the scheduler stopped retrying the
+// idea. ~2.5 minutes covers a pm2 restart with room to spare.
+const REPORT_RETRY_DELAYS_MS = [2000, 4000, 8000, 15000, 30000, 30000, 60000];
+
+// The API never answered: connection refused/reset, a gateway 502/503/504, or
+// a non-JSON page while it restarts. An answer from the API itself — success:
+// false, even a 500 from a handler — is final: repeating it changes nothing.
+class ApiUnreachableError extends Error {}
+const GATEWAY_STATUSES = new Set([502, 503, 504]);
+
 class ApiClient {
   constructor(baseUrl, workerToken) {
     this.baseUrl = baseUrl.replace(/\/$/, '');
     this.workerToken = workerToken || '';
+    this.reportRetryDelaysMs = REPORT_RETRY_DELAYS_MS;
+    this.sleep = ms => new Promise(resolve => setTimeout(resolve, ms));
   }
 
   async request(method, path, body = null) {
@@ -15,8 +29,21 @@ class ApiClient {
     };
     if (body) options.body = JSON.stringify(body);
 
-    const res = await fetch(url, options);
-    const json = await res.json();
+    let res;
+    try {
+      res = await fetch(url, options);
+    } catch (err) {
+      throw new ApiUnreachableError(`API unreachable: ${err.message}`);
+    }
+    let json;
+    try {
+      json = await res.json();
+    } catch {
+      throw new ApiUnreachableError(`API error ${res.status} (no JSON body)`);
+    }
+    if (GATEWAY_STATUSES.has(res.status) && !json?.success) {
+      throw new ApiUnreachableError(json?.message || `API error ${res.status}`);
+    }
 
     if (!json.success) {
       throw new Error(json.message || `API error ${res.status}`);
@@ -24,6 +51,21 @@ class ApiClient {
     return json.data;
   }
 
+  // Same request, retried while the API is unreachable. Only for writes that
+  // are safe to repeat — every report here sets a final state.
+  async reportRequest(method, path, body) {
+    for (let attempt = 0; ; attempt++) {
+      try {
+        return await this.request(method, path, body);
+      } catch (err) {
+        const delay = this.reportRetryDelaysMs[attempt];
+        if (!(err instanceof ApiUnreachableError) || delay === undefined) throw err;
+        console.warn(`[api] ${method} ${path} failed (${err.message}) — retry ${attempt + 1}/${this.reportRetryDelaysMs.length} in ${Math.round(delay / 1000)}s`);
+        await this.sleep(delay);
+      }
+    }
+  }
+
   // Worker
   async register(workerData) {
     return this.request('POST', '/workers/register', workerData);
@@ -79,8 +121,12 @@ class ApiClient {
     return this.request('GET', `/workers/commands?worker_id=${workerId}&types=${encodeURIComponent(workerTypes)}`);
   }
 
+  // A 'running' touch is a liveness beat: NOT retried — a beat landing late
+  // would overwrite the final 'done' that followed it.
   async updateCommand(commandId, data) {
-    return this.request('PUT', `/workers/commands/${commandId}`, data);
+    const path = `/workers/commands/${commandId}`;
+    if (data?.status === 'running') return this.request('PUT', path, data);
+    return this.reportRequest('PUT', path, data);
   }
 
   // Report a command result via the extension-style endpoint, which also
@@ -88,7 +134,7 @@ class ApiClient {
   // idea UI reflects pw-pipeline outcomes the same way it does for extension
   // uploads). Use this for upload_*_pw results.
   async postCommandResult(commandId, { status, result, error } = {}) {
-    return this.request('POST', `/extension/commands/${commandId}/result`, { status, result: result || {}, error: error || null });
+    return this.reportRequest('POST', `/extension/commands/${commandId}/result`, { status, result: result || {}, error: error || null });
   }
 
   // Shopee scraper callbacks — worker ships parsed products, API upserts into
@@ -222,4 +268,4 @@ class ApiClient {
   }
 }
 
-module.exports = { ApiClient };
+module.exports = { ApiClient, ApiUnreachableError, REPORT_RETRY_DELAYS_MS };

package/lib/command-poller.js

@@ -2,12 +2,21 @@ const { NstManager } = require('./nst-manager');
 const { refreshPinnedAgentAddress } = require('./nst-agent-locator');
 const { checkAndUpdateExtension } = require('./extension-updater');
 const { StatsSyncer } = require('./stats-syncer');
+const { ApiUnreachableError } = require('./api-client');
 
 // Quãng RẢNH trước khi đóng profile của luồng đăng bài. Phải đủ dài để lượt
 // upload nền tảng kế tiếp (facebook → youtube → tiktok của cùng một idea) kịp
 // tới và dùng lại browser, nhưng không được để mở qua đêm.
 const PW_IDLE_CLOSE_MS = Number(process.env.PW_IDLE_CLOSE_MS || 5 * 60 * 1000);
 
+// Quãng rảnh trước khi đóng profile sau một lượt THẢ BÌNH LUẬN. Trước
+// 07/10/2026 lượt thả đóng profile ngay, nên lấy link + thả món 2, món 3 của
+// cùng bài là mỗi món mở lại profile từ đầu — ~10-12s mỗi lần trên win-worker
+// (đo prod 06/10: launch → connectOverCDP mất 9-12s trong lượt 50-80s). Một
+// phút đủ cho người chọn món tiếp; ngắn hơn hẳn 5 phút của lượt đăng bài vì
+// bình luận rải rác trên nhiều kênh, giữ lâu là chất đống browser.
+const COMMENT_IDLE_CLOSE_MS = Number(process.env.COMMENT_IDLE_CLOSE_MS || 60 * 1000);
+
 // Người bấm "Mở trình duyệt" trên web → profile đó là của NGƯỜI trong quãng
 // này, automation không được đóng ngang. Trước 16/09/2026 không có hàng rào
 // nào: hẹn đóng 300s của lượt đăng bài trước đó vẫn chạy và đóng profile ngay
@@ -284,11 +293,23 @@ class CommandPoller {
       )), ms);
     });
     try {
-      const patch = await Promise.race([job, deadline]);
-      await this.api.updateCommand(command._id, patch);
-    } catch (err) {
-      console.error(`${failLog}: ${err.message}`);
-      await this.api.updateCommand(command._id, { status: 'failed', error: String(err.message || err).slice(0, 500) });
+      let patch;
+      try {
+        patch = await Promise.race([job, deadline]);
+      } catch (err) {
+        console.error(`${failLog}: ${err.message}`);
+        patch = { status: 'failed', error: String(err.message || err).slice(0, 500) };
+      }
+      // Outside the work's try: a report that cannot reach the API must not
+      // turn a finished job into 'failed'.
+      try {
+        await this.api.updateCommand(command._id, patch);
+      } catch (err) {
+        console.error(`${failLog}: ${patch?.status} NOT reported: ${err.message}`);
+        if (!(err instanceof ApiUnreachableError) && patch?.status !== 'failed') {
+          await this.api.updateCommand(command._id, { status: 'failed', error: String(err.message || err).slice(0, 500) }).catch(() => {});
+        }
+      }
     } finally {
       clearTimeout(timer);
       abandoned = true;
@@ -664,7 +685,7 @@ class CommandPoller {
     // Lượt mới của cùng profile → huỷ hẹn đóng, giữ browser cho nó dùng lại.
     // Nhớ lại là CÓ hẹn: browser đó do automation mở, lượt này xong phải hẹn
     // đóng lại (xem nhánh runInfo.attached ở cuối hàm).
-    const hadCloseTimer = !!(this._pwCloseTimers && this._pwCloseTimers.has(profileId));
+    let hadCloseTimer = !!(this._pwCloseTimers && this._pwCloseTimers.has(profileId));
     if (this._pwCloseTimers && this._pwCloseTimers.has(profileId)) {
       clearTimeout(this._pwCloseTimers.get(profileId));
       this._pwCloseTimers.delete(profileId);
@@ -696,6 +717,11 @@ class CommandPoller {
       }
       await new Promise(r => setTimeout(r, 5000));
     }
+    // Lượt trước của CÙNG profile vừa xong trong lúc mình xếp hàng thì nó hẹn
+    // đóng SAU lúc mình hỏi ở đầu hàm. Huỷ hẹn đó và nhớ là có: để nguyên thì
+    // hẹn ấy nổ giữa lượt này (thấy profile bận, tự bỏ), còn cuối lượt mình
+    // tưởng browser là của người (nhánh runInfo.attached) → profile mở mãi.
+    if (this._cancelPwClose(profileId)) hadCloseTimer = true;
     this._pwInFlight.set(profileId, command.type);
     console.log(`[commands/pw] ${command.type} → scripts/${scriptName}.js (profile=${profileId})`);
 
@@ -747,23 +773,43 @@ class CommandPoller {
     }, RUN_BEAT_MS);
 
     try {
-      const result = await runPlaywrightScript({
-        nst: this.nst,
-        profileId,
-        scriptName,
-        payload,
-        log,
-        keepOpen: keepOpen.enabled,
-        info: runInfo,
-      });
-      // postCommandResult (not updateCommand) so the existing extension-side
-      // logic mirrors status into ContentJob + ContentIdea.publish_results +
-      // broadcasts the WS update — pw and extension paths share idea-state UX.
-      await this.api.postCommandResult(command._id, { status: 'done', result: result || {} });
-      console.log(`[commands/pw] ${command.type} done`);
-    } catch (err) {
-      console.error(`[commands/pw] ${command.type} failed: ${err.message}`);
-      await this.api.postCommandResult(command._id, { status: 'failed', error: String(err.message || err).slice(0, 500) });
+      let outcome;
+      try {
+        const result = await runPlaywrightScript({
+          nst: this.nst,
+          profileId,
+          scriptName,
+          payload,
+          log,
+          keepOpen: keepOpen.enabled,
+          info: runInfo,
+        });
+        outcome = { status: 'done', result: result || {} };
+        console.log(`[commands/pw] ${command.type} done`);
+      } catch (err) {
+        console.error(`[commands/pw] ${command.type} failed: ${err.message}`);
+        outcome = { status: 'failed', error: String(err.message || err).slice(0, 500) };
+      }
+      // Stop the 'running' beat first: a beat landing after the result would
+      // put the command back to 'running'.
+      clearInterval(beat);
+      // Reported once, outside the script's try: a report that cannot reach
+      // the API used to fall into the catch above and report the posted video
+      // as 'failed'. postCommandResult (not updateCommand) so the existing
+      // extension-side logic mirrors status into ContentJob +
+      // ContentIdea.publish_results + broadcasts the WS update — pw and
+      // extension paths share idea-state UX.
+      try {
+        await this.api.postCommandResult(command._id, outcome);
+      } catch (err) {
+        console.error(`[commands/pw] ${command.type} ${outcome.status} NOT reported: ${err.message}`);
+        // The API answered and refused it: settle the command as failed
+        // rather than leave it 'running'. Unreachable after every retry:
+        // nothing more can be sent.
+        if (!(err instanceof ApiUnreachableError) && outcome.status !== 'failed') {
+          await this.api.postCommandResult(command._id, { status: 'failed', error: `API từ chối kết quả: ${String(err.message).slice(0, 300)}` }).catch(() => {});
+        }
+      }
     } finally {
       clearInterval(beat);
       // Always release the per-profile mutex — even on throw — or sibling
@@ -781,7 +827,7 @@ class CommandPoller {
       //
       // Scoped to the browse-only scripts. Publish keeps its profile open on
       // purpose: one profile serves several platform uploads back-to-back.
-      const CLOSE_AFTER = new Set(['nurture_facebook', 'warmup_facebook', 'warmup_youtube', 'warmup_tiktok', 'fetch_facebook_reel_stats', 'comment_facebook']);
+      const CLOSE_AFTER = new Set(['nurture_facebook', 'warmup_facebook', 'warmup_youtube', 'warmup_tiktok', 'fetch_facebook_reel_stats']);
       // Cờ vừa bị TẮT trên web → bỏ profile khỏi sổ giữ mở, để nó quay về vòng
       // đời đóng-mở bình thường ngay từ lượt này.
       if (!keepOpen.enabled && this._keptOpenProfiles) this._keptOpenProfiles.delete(profileId);
@@ -797,6 +843,10 @@ class CommandPoller {
         // automation (vd "Kiểm tra Page ngay" lúc người vừa tạo Page còn ngồi
         // trong cửa sổ) → không phải browser của mình, để nguyên cho người đó.
         console.log(`[commands/pw] ${scriptName}: nối vào profile ${profileId} đang mở sẵn — để nguyên, không hẹn đóng`);
+      } else if (scriptName === 'comment_facebook' && this.nst) {
+        // Hẹn đóng NGẮN thay vì đóng ngay — món kế của cùng bài dùng lại
+        // browser này (xem COMMENT_IDLE_CLOSE_MS).
+        this._schedulePwClose(profileId, scriptName, COMMENT_IDLE_CLOSE_MS);
       } else if (CLOSE_AFTER.has(scriptName) && this.nst) {
         try {
           await this.nst.stopProfile(profileId);

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "channel-worker",
-  "version": "2.5.150",
+  "version": "2.5.152",
   "description": "Channel Manager worker daemon — runs on remote machines to execute video pipeline jobs",
   "main": "lib/daemon.js",
   "bin": {

package/scripts/comment_facebook.js

@@ -29,7 +29,7 @@
 // script khai thành công theo thao tác của chính nó, không theo thứ trang web
 // hiện ra. API hạ mọi kết quả thiếu `verified` xuống 'failed'.
 
-const { assertAccountUsable, readPublishBlock } = require('./lib/fb-guard');
+const { assertAccountUsable, assertSessionOnContentPage, readPublishBlock } = require('./lib/fb-guard');
 const { humanClick, humanType, pause, randInt } = require('./lib/human');
 
 // Chụp màn hình lúc trượt — mượn của upload_facebook, nhưng require MUỘN và có
@@ -255,20 +255,18 @@ async function run({ page, payload = {}, log }) {
   if (!link) throw new Error('thiếu link — không có gì để đọc lại xác minh');
   if (!text.includes(link)) throw new Error('text không chứa link — API dựng sai câu bình luận');
 
-  // Ghé trang chủ TRƯỚC rồi mới sang bài, dù biết thừa link bài.
+  // Vào THẲNG bài, kiểm phiên ngay tại đó.
   //
-  // Lý do không kiểm tra phiên ngay trên trang bài: lib/fb-guard đọc chữ trong
-  // body để đoán checkpoint/khoá tài khoản, mà trang bài thì đầy BÌNH LUẬN của
-  // người lạ — một người bình luận "tài khoản của bạn đã bị vô hiệu hoá" là đủ
-  // để script tự kết luận kênh mình chết. Trang chủ có feed thật, fb-guard
-  // thấy feed là trả 'ok' ngay, không cần đọc chữ.
-  await page.goto('https://www.facebook.com/', { waitUntil: 'domcontentloaded', timeout: NAV_TIMEOUT_MS }).catch(() => {});
-  await pause(page, 2200);
-  await assertAccountUsable(page, log);
-
+  // Bản trước ghé trang chủ trước để fb-guard đọc phiên trên một trang có feed
+  // thật: kiểm đủ (đọc chữ trong body) trên trang bài là dính bẫy BÌNH LUẬN của
+  // người lạ — ai đó viết "tài khoản của bạn đã bị vô hiệu hoá" là script tự
+  // kết luận kênh mình chết. Chuyến ghé đó tốn 5-8s mỗi lượt thả (đo prod
+  // 06/10/2026, lượt 50s trên win-worker). assertSessionOnContentPage chỉ xét
+  // URL bị đá đi và form đăng nhập — hai thứ người lạ không bình luận ra được.
   log('info', `[fb-cmt] mở bài ${postUrl}`);
   await page.goto(postUrl, { waitUntil: 'domcontentloaded', timeout: NAV_TIMEOUT_MS });
   await pause(page, 2600);
+  await assertSessionOnContentPage(page, log);
 
   // Trang bài mở ra là trang LỖI / bài đã xoá thì dừng ngay, đừng đi tìm ô soạn
   // rồi báo "không thấy ô bình luận" — hai chuyện khác hẳn nhau khi đọc log.

package/scripts/lib/fb-guard.js

@@ -42,13 +42,19 @@ const CHECKPOINT_RE = /(xác nhận danh tính)|(xác minh danh tính)|(hãy xá
 
 // Read the account state of whatever page is currently open.
 // Returns { status: 'ok'|'logged_out'|'checkpoint'|'banned', detail }.
-async function readAccountState(page) {
-  const url = page.url() || '';
-  // URL is the strongest signal — FB redirects hard on all three states.
+// URL is the strongest signal — FB redirects hard on all three states.
+function readRedirect(url) {
   if (/\/checkpoint\//i.test(url)) return { status: 'checkpoint', detail: `redirected to ${url.slice(0, 120)}` };
   if (/facebook\.com\/(login|recover)\b|login\.php|\/login\/device-based/i.test(url)) {
     return { status: 'logged_out', detail: `redirected to ${url.slice(0, 120)}` };
   }
+  return null;
+}
+
+async function readAccountState(page) {
+  const url = page.url() || '';
+  const redirected = readRedirect(url);
+  if (redirected) return redirected;
 
   const dom = await page.evaluate(() => {
     const vis = (el) => {
@@ -95,7 +101,37 @@ async function readAccountState(page) {
 // checkpoint is common — FB throws one the moment automated-looking activity
 // trips a threshold).
 async function assertAccountUsable(page, log) {
-  const st = await readAccountState(page);
+  return throwIfUnusable(await readAccountState(page), log);
+}
+
+// Kiểm phiên NGAY TRÊN trang bài/reel, khỏi ghé trang chủ trước — lượt thả
+// bình luận mất 5-8s cho riêng chuyến ghé đó (đo prod 06/10/2026).
+//
+// Chỉ dùng tín hiệu KHÔNG thể đến từ bình luận của người lạ: URL bị đá sang
+// checkpoint/đăng nhập, và form đăng nhập hiện trên trang (trang của người đã
+// đăng nhập không có ô email/mật khẩu). KHÔNG đọc chữ trong body như
+// readAccountState: trang bài đầy chữ người lạ, một bình luận "tài khoản của
+// bạn đã bị vô hiệu hoá" là đủ để kết luận oan kênh mình chết. Form đăng nhập
+// xét mà KHÔNG cần vắng bài: reel công khai vẫn vẽ bài cho người chưa đăng
+// nhập, kèm hộp mời đăng nhập — "có bài" ở đây không chứng minh phiên sống.
+async function readSessionOnContentPage(page) {
+  const redirected = readRedirect(page.url() || '');
+  if (redirected) return redirected;
+  const hasLoginForm = await page.evaluate(() => {
+    const el = document.querySelector("input[name='email'], input[name='pass'], input#email, input#pass");
+    if (!el) return false;
+    const r = el.getBoundingClientRect();
+    return r.width > 8 && r.height > 8 && el.offsetParent !== null;
+  }).catch(() => false);
+  if (hasLoginForm) return { status: 'logged_out', detail: 'login form on post page (session expired)' };
+  return { status: 'ok', detail: '' };
+}
+
+async function assertSessionOnContentPage(page, log) {
+  return throwIfUnusable(await readSessionOnContentPage(page), log);
+}
+
+function throwIfUnusable(st, log) {
   if (st.status === 'ok') return st;
   const code = CODES[st.status];
   const human = st.status === 'banned'
@@ -199,6 +235,8 @@ function publishRateLimitError(blockHit) {
 module.exports = {
   readAccountState,
   assertAccountUsable,
+  readSessionOnContentPage,
+  assertSessionOnContentPage,
   readProfileMode,
   classifyProfileModeSignals,
   pageNotConfiguredError,