channel-worker 2.5.149 → 2.5.151

package/lib/api-client.js

@@ -1,7 +1,21 @@
+// Final-result reports (done / failed / pending) ride out an API restart:
+// one lost PUT left the command 'running' until the stale cleanup marked it
+// "Timed out — có thể bài ĐÃ lên" and the scheduler stopped retrying the
+// idea. ~2.5 minutes covers a pm2 restart with room to spare.
+const REPORT_RETRY_DELAYS_MS = [2000, 4000, 8000, 15000, 30000, 30000, 60000];
+
+// The API never answered: connection refused/reset, a gateway 502/503/504, or
+// a non-JSON page while it restarts. An answer from the API itself — success:
+// false, even a 500 from a handler — is final: repeating it changes nothing.
+class ApiUnreachableError extends Error {}
+const GATEWAY_STATUSES = new Set([502, 503, 504]);
+
 class ApiClient {
   constructor(baseUrl, workerToken) {
     this.baseUrl = baseUrl.replace(/\/$/, '');
     this.workerToken = workerToken || '';
+    this.reportRetryDelaysMs = REPORT_RETRY_DELAYS_MS;
+    this.sleep = ms => new Promise(resolve => setTimeout(resolve, ms));
   }
 
   async request(method, path, body = null) {
@@ -15,8 +29,21 @@ class ApiClient {
     };
     if (body) options.body = JSON.stringify(body);
 
-    const res = await fetch(url, options);
-    const json = await res.json();
+    let res;
+    try {
+      res = await fetch(url, options);
+    } catch (err) {
+      throw new ApiUnreachableError(`API unreachable: ${err.message}`);
+    }
+    let json;
+    try {
+      json = await res.json();
+    } catch {
+      throw new ApiUnreachableError(`API error ${res.status} (no JSON body)`);
+    }
+    if (GATEWAY_STATUSES.has(res.status) && !json?.success) {
+      throw new ApiUnreachableError(json?.message || `API error ${res.status}`);
+    }
 
     if (!json.success) {
       throw new Error(json.message || `API error ${res.status}`);
@@ -24,6 +51,21 @@ class ApiClient {
     return json.data;
   }
 
+  // Same request, retried while the API is unreachable. Only for writes that
+  // are safe to repeat — every report here sets a final state.
+  async reportRequest(method, path, body) {
+    for (let attempt = 0; ; attempt++) {
+      try {
+        return await this.request(method, path, body);
+      } catch (err) {
+        const delay = this.reportRetryDelaysMs[attempt];
+        if (!(err instanceof ApiUnreachableError) || delay === undefined) throw err;
+        console.warn(`[api] ${method} ${path} failed (${err.message}) — retry ${attempt + 1}/${this.reportRetryDelaysMs.length} in ${Math.round(delay / 1000)}s`);
+        await this.sleep(delay);
+      }
+    }
+  }
+
   // Worker
   async register(workerData) {
     return this.request('POST', '/workers/register', workerData);
@@ -79,8 +121,12 @@ class ApiClient {
     return this.request('GET', `/workers/commands?worker_id=${workerId}&types=${encodeURIComponent(workerTypes)}`);
   }
 
+  // A 'running' touch is a liveness beat: NOT retried — a beat landing late
+  // would overwrite the final 'done' that followed it.
   async updateCommand(commandId, data) {
-    return this.request('PUT', `/workers/commands/${commandId}`, data);
+    const path = `/workers/commands/${commandId}`;
+    if (data?.status === 'running') return this.request('PUT', path, data);
+    return this.reportRequest('PUT', path, data);
   }
 
   // Report a command result via the extension-style endpoint, which also
@@ -88,7 +134,7 @@ class ApiClient {
   // idea UI reflects pw-pipeline outcomes the same way it does for extension
   // uploads). Use this for upload_*_pw results.
   async postCommandResult(commandId, { status, result, error } = {}) {
-    return this.request('POST', `/extension/commands/${commandId}/result`, { status, result: result || {}, error: error || null });
+    return this.reportRequest('POST', `/extension/commands/${commandId}/result`, { status, result: result || {}, error: error || null });
   }
 
   // Shopee scraper callbacks — worker ships parsed products, API upserts into
@@ -222,4 +268,4 @@ class ApiClient {
   }
 }
 
-module.exports = { ApiClient };
+module.exports = { ApiClient, ApiUnreachableError, REPORT_RETRY_DELAYS_MS };

package/lib/command-poller.js

@@ -2,6 +2,7 @@ const { NstManager } = require('./nst-manager');
 const { refreshPinnedAgentAddress } = require('./nst-agent-locator');
 const { checkAndUpdateExtension } = require('./extension-updater');
 const { StatsSyncer } = require('./stats-syncer');
+const { ApiUnreachableError } = require('./api-client');
 
 // Quãng RẢNH trước khi đóng profile của luồng đăng bài. Phải đủ dài để lượt
 // upload nền tảng kế tiếp (facebook → youtube → tiktok của cùng một idea) kịp
@@ -284,11 +285,23 @@ class CommandPoller {
       )), ms);
     });
     try {
-      const patch = await Promise.race([job, deadline]);
-      await this.api.updateCommand(command._id, patch);
-    } catch (err) {
-      console.error(`${failLog}: ${err.message}`);
-      await this.api.updateCommand(command._id, { status: 'failed', error: String(err.message || err).slice(0, 500) });
+      let patch;
+      try {
+        patch = await Promise.race([job, deadline]);
+      } catch (err) {
+        console.error(`${failLog}: ${err.message}`);
+        patch = { status: 'failed', error: String(err.message || err).slice(0, 500) };
+      }
+      // Outside the work's try: a report that cannot reach the API must not
+      // turn a finished job into 'failed'.
+      try {
+        await this.api.updateCommand(command._id, patch);
+      } catch (err) {
+        console.error(`${failLog}: ${patch?.status} NOT reported: ${err.message}`);
+        if (!(err instanceof ApiUnreachableError) && patch?.status !== 'failed') {
+          await this.api.updateCommand(command._id, { status: 'failed', error: String(err.message || err).slice(0, 500) }).catch(() => {});
+        }
+      }
     } finally {
       clearTimeout(timer);
       abandoned = true;
@@ -747,23 +760,43 @@ class CommandPoller {
     }, RUN_BEAT_MS);
 
     try {
-      const result = await runPlaywrightScript({
-        nst: this.nst,
-        profileId,
-        scriptName,
-        payload,
-        log,
-        keepOpen: keepOpen.enabled,
-        info: runInfo,
-      });
-      // postCommandResult (not updateCommand) so the existing extension-side
-      // logic mirrors status into ContentJob + ContentIdea.publish_results +
-      // broadcasts the WS update — pw and extension paths share idea-state UX.
-      await this.api.postCommandResult(command._id, { status: 'done', result: result || {} });
-      console.log(`[commands/pw] ${command.type} done`);
-    } catch (err) {
-      console.error(`[commands/pw] ${command.type} failed: ${err.message}`);
-      await this.api.postCommandResult(command._id, { status: 'failed', error: String(err.message || err).slice(0, 500) });
+      let outcome;
+      try {
+        const result = await runPlaywrightScript({
+          nst: this.nst,
+          profileId,
+          scriptName,
+          payload,
+          log,
+          keepOpen: keepOpen.enabled,
+          info: runInfo,
+        });
+        outcome = { status: 'done', result: result || {} };
+        console.log(`[commands/pw] ${command.type} done`);
+      } catch (err) {
+        console.error(`[commands/pw] ${command.type} failed: ${err.message}`);
+        outcome = { status: 'failed', error: String(err.message || err).slice(0, 500) };
+      }
+      // Stop the 'running' beat first: a beat landing after the result would
+      // put the command back to 'running'.
+      clearInterval(beat);
+      // Reported once, outside the script's try: a report that cannot reach
+      // the API used to fall into the catch above and report the posted video
+      // as 'failed'. postCommandResult (not updateCommand) so the existing
+      // extension-side logic mirrors status into ContentJob +
+      // ContentIdea.publish_results + broadcasts the WS update — pw and
+      // extension paths share idea-state UX.
+      try {
+        await this.api.postCommandResult(command._id, outcome);
+      } catch (err) {
+        console.error(`[commands/pw] ${command.type} ${outcome.status} NOT reported: ${err.message}`);
+        // The API answered and refused it: settle the command as failed
+        // rather than leave it 'running'. Unreachable after every retry:
+        // nothing more can be sent.
+        if (!(err instanceof ApiUnreachableError) && outcome.status !== 'failed') {
+          await this.api.postCommandResult(command._id, { status: 'failed', error: `API từ chối kết quả: ${String(err.message).slice(0, 300)}` }).catch(() => {});
+        }
+      }
     } finally {
       clearInterval(beat);
       // Always release the per-profile mutex — even on throw — or sibling

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "channel-worker",
-  "version": "2.5.149",
+  "version": "2.5.151",
   "description": "Channel Manager worker daemon — runs on remote machines to execute video pipeline jobs",
   "main": "lib/daemon.js",
   "bin": {

package/scripts/lib/download.js

@@ -8,8 +8,20 @@ const path = require('path');
 const https = require('https');
 const http = require('http');
 
+// Thư mục tải về nằm dưới HOME của daemon, không phải os.tmpdir(). File >50 MB
+// đi đường CDP DOM.setFileInputFiles chỉ truyền ĐƯỜNG DẪN — trình duyệt tự mở
+// file bằng quyền user Windows của NÓ. Sự cố 02-04/10 (kênh 78, win-worker-2):
+// daemon chạy user gatoasang94, os.tmpdir() = C:\Users\gatoa\AppData\Local\Temp
+// (riêng user đó) trong khi trình duyệt NST chạy user gatoasang95 → không mở
+// được file, FB báo "Không thể tải file của bạn lên" 21/21 lượt. HOME của
+// worker-2 (C:\agents\worker2-home) được dựng sẵn cho mọi user đọc; HOME của
+// worker-1 cùng user với trình duyệt của nó.
+function uploadDir() {
+  return path.join(os.homedir(), '.channel-worker', 'upload-tmp');
+}
+
 async function downloadToTemp(url, { prefix = 'pw', ext = '.mp4', maxRedirects = 5 } = {}) {
-  const dir = path.join(os.tmpdir(), 'cm-worker-pw');
+  const dir = uploadDir();
   try { fs.mkdirSync(dir, { recursive: true }); } catch {}
   const dest = path.join(dir, `${prefix}-${Date.now()}-${Math.random().toString(36).slice(2, 8)}${ext}`);
 
@@ -47,4 +59,4 @@ function safeUnlink(p) {
   try { fs.unlinkSync(p); } catch {}
 }
 
-module.exports = { downloadToTemp, safeUnlink };
+module.exports = { downloadToTemp, safeUnlink, uploadDir };

package/scripts/upload_facebook.js

@@ -439,7 +439,9 @@ async function dismissBsOnboarding(page, log) {
 // fileChooser.setFiles() throws and the upload never starts. Bypass via the raw
 // CDP command DOM.setFileInputFiles: the browser reads the path off its OWN
 // local disk (worker + Nstbrowser are co-located on the same machine), so no
-// bytes cross the wire and there is no size cap. Unlike an in-page fetch() this
+// bytes cross the wire and there is no size cap. Cùng máy CHƯA đủ: trình duyệt
+// mở file bằng quyền user Windows của nó, nên thư mục tải về phải cho user đó
+// đọc — xem probeBrowserRead bên dưới. Unlike an in-page fetch() this
 // is also immune to facebook.com's strict connect-src CSP. We tag the exact
 // <input> with a unique attribute so CDP resolves its nodeId unambiguously
 // (the page carries several file inputs).
@@ -463,6 +465,68 @@ async function cdpSetInputFiles(page, inputHandle, filePath, log, tag) {
   }
 }
 
+// Trình duyệt có tự đọc được file không? Đường CDP chỉ truyền ĐƯỜNG DẪN nên
+// nếu trình duyệt chạy dưới user Windows khác daemon mà thư mục không cấp quyền
+// đọc, FB chỉ báo "Không thể tải file của bạn lên" — trông y như FB chê file
+// to. Sự cố 02-04/10 kênh 78 (win-worker-2): 21/21 lượt, câu lỗi cũ khuyên nén
+// file làm lạc hướng. Đo trên Chrome thật: file bị chặn quyền vẫn báo đủ
+// size nhưng đọc thì NotReadableError; file không tồn tại thì size 0. Nên đọc
+// thử 64 KB đầu trên một <input> RIÊNG gắn vào <html> (ngoài cây React của FB,
+// không kích hoạt luồng upload), rồi gỡ đi.
+const READ_PROBE_BYTES = 64 * 1024;
+
+function readProbeVerdict(result, localSize) {
+  if (!result) return { ok: false, detail: 'không lấy được kết quả đọc thử' };
+  if (result.err) return { ok: false, detail: result.err };
+  const want = Math.min(READ_PROBE_BYTES, localSize);
+  if ((result.read || 0) < want) {
+    return { ok: false, detail: `trình duyệt đọc được ${result.read || 0}/${want} byte (size thấy ${result.size || 0}, trên đĩa ${localSize})` };
+  }
+  return { ok: true };
+}
+
+// Trả { ok, detail } khi đọc thử được; null khi bản thân phép thử hỏng (khi đó
+// cứ nạp file như cũ — phép thử chỉ được CHẶN khi có bằng chứng không đọc được).
+async function probeBrowserRead(page, filePath, log, tag) {
+  const ID = 'cm-read-probe';
+  let cdp;
+  try {
+    const localSize = fs.statSync(filePath).size;
+    await page.evaluate((id) => {
+      document.getElementById(id)?.remove();
+      const el = document.createElement('input');
+      el.type = 'file';
+      el.id = id;
+      el.style.display = 'none';
+      document.documentElement.appendChild(el);
+    }, ID);
+    cdp = await page.context().newCDPSession(page);
+    const { root } = await cdp.send('DOM.getDocument', { depth: 0 });
+    const { nodeId } = await cdp.send('DOM.querySelector', { nodeId: root.nodeId, selector: `#${ID}` });
+    if (!nodeId) throw new Error('probe input not attached');
+    await cdp.send('DOM.setFileInputFiles', { files: [filePath], nodeId });
+    const result = await page.evaluate(async ({ id, bytes }) => {
+      const el = document.getElementById(id);
+      const file = el && el.files && el.files[0];
+      try {
+        if (!file) return { err: 'input không nhận file' };
+        const buf = await file.slice(0, bytes).arrayBuffer();
+        return { size: file.size, read: buf.byteLength };
+      } catch (e) {
+        return { size: file.size, err: `${e.name}: ${e.message}` };
+      } finally {
+        if (el) el.remove();
+      }
+    }, { id: ID, bytes: READ_PROBE_BYTES });
+    return readProbeVerdict(result, localSize);
+  } catch (e) {
+    log('warn', `[${tag}] đọc thử file từ trình duyệt không chạy được (${String(e.message || '').slice(0, 80)}) — nạp file như cũ`);
+    return null;
+  } finally {
+    if (cdp) await cdp.detach().catch(() => {});
+  }
+}
+
 // Set a video file on a file <input>, transparently bypassing the CDP 50MB cap.
 // Tries Playwright's native path first (fine for <50MB / thumbnails), then
 // falls back to the CDP command only on the size error.
@@ -487,6 +551,13 @@ async function setVideoFile(page, inputHandle, filePath, log, tag = 'fb-pw') {
   } catch (e) {
     log('info', `[${tag}] native setInputFiles không xong (${String(e.message || '').slice(0, 70)}) — chuyển sang DOM.setFileInputFiles…`);
   }
+  const probe = await probeBrowserRead(page, filePath, log, tag);
+  if (probe && !probe.ok) {
+    // Mã FB_PUBLISH_ để run() không đi dò tài khoản. Tránh chữ "Không thể tải
+    // file" để PublishRetry không xếp nhầm vào luật fb_rejected_file.
+    throw new Error(`FB_PUBLISH_FILE_UNREADABLE: trình duyệt không đọc được file video ${filePath} (${probe.detail}) — trình duyệt NST chạy dưới user Windows khác daemon và thư mục tải về không cho user đó đọc; nén file KHÔNG giúp gì, phải sửa quyền thư mục trên máy worker`);
+  }
+  if (probe) log('info', `[${tag}] trình duyệt đọc thử được file (${READ_PROBE_BYTES / 1024} KB đầu)`);
   await cdpSetInputFiles(page, inputHandle, filePath, log, tag);
 }
 
@@ -4150,7 +4221,7 @@ async function runOnce({ page, payload, log }) {
           if (waitResult.rejected) {
             // Mã FB_PUBLISH_ để run() không đi dò tài khoản (không phải lỗi
             // đăng nhập), và PublishRetry phân loại đúng "file bị từ chối".
-            throw new Error(`FB_PUBLISH_REJECTED: Facebook từ chối file video ("${waitResult.rejected.slice(0, 100)}") — thường gặp với file >50 MB đi đường CDP; nén/render lại nhỏ hơn rồi đăng`);
+            throw new Error(`FB_PUBLISH_REJECTED: Facebook từ chối file video ("${waitResult.rejected.slice(0, 100)}") — lỗi quyền đọc file (máy nhiều user Windows) đã báo riêng mã FB_PUBLISH_FILE_UNREADABLE; lặp lại thì nén/render lại nhỏ hơn rồi đăng`);
           }
           // Bảng cài đặt không tải → đóng composer, chạy lại cả lượt upload
           // TRONG PHIÊN (đường safe-retry sẵn có: bắt đầu lại từ trang chủ nên
@@ -4844,5 +4915,9 @@ module.exports.__testables = {
   REEL_ENTRY_SELECTORS,
   ADD_VIDEO_SELECTORS,
   setVideoFile,
+  // Đọc thử file từ phía trình duyệt trước khi đi đường CDP (máy nhiều user
+  // Windows: trình duyệt không mở được file daemon tải về).
+  probeBrowserRead,
+  readProbeVerdict,
   FB_REEL_CREATE_URL,
 };