channel-worker 2.5.89 → 2.5.91

package/bin/cli.js

@@ -159,6 +159,10 @@ if (cmd === 'pair') {
         console.log(`[channel-worker] Tiếp quản khoá của PID ${res.stolen.pid} `
           + `(${args.force ? 'ép bằng --force' : 'đã chết hoặc treo quá lâu'}).`);
       }
+      if (res.corrupted) {
+        console.log('[channel-worker] daemon.lock cũ hỏng (không đọc ra nội dung — '
+          + 'dấu hiệu điển hình của mất điện giữa chừng) — đã ghi đè và chạy tiếp.');
+      }
       // Ghi ĐÚNG pid của daemon thật — updater/restart trước đây ghi pid của
       // tiến trình bọc, nên "stop" bắn trượt và để lại mồ côi.
       fs.writeFileSync(path.join(CONFIG_DIR, 'daemon.pid'), String(process.pid));

package/lib/command-poller.js

@@ -2,6 +2,11 @@ const { NstManager } = require('./nst-manager');
 const { checkAndUpdateExtension } = require('./extension-updater');
 const { StatsSyncer } = require('./stats-syncer');
 
+// Quãng RẢNH trước khi đóng profile của luồng đăng bài. Phải đủ dài để lượt
+// upload nền tảng kế tiếp (facebook → youtube → tiktok của cùng một idea) kịp
+// tới và dùng lại browser, nhưng không được để mở qua đêm.
+const PW_IDLE_CLOSE_MS = Number(process.env.PW_IDLE_CLOSE_MS || 5 * 60 * 1000);
+
 class CommandPoller {
   constructor(api, config) {
     this.api = api;
@@ -149,11 +154,20 @@ class CommandPoller {
     return true;
   }
 
-  // Ensure a profile (by name) is running and return a puppeteer-core browser
+  // Ensure a profile (by name) is running and return a playwright BrowserContext
   // attached over CDP via its local debug port. Worker runs ON the same box as
   // Nstbrowser, so localhost:<remoteDebuggingPort> is reachable directly.
+  //
+  // Dùng playwright-core, KHÔNG puppeteer-core: gói này chưa bao giờ nằm trong
+  // dependencies của worker (07/09: chạy thật lần đầu → MODULE_NOT_FOUND, hai
+  // lệnh Shopee chết ngay tại đây). Cả worker đã chạy playwright rồi.
+  //
+  // Trả CONTEXT chứ không phải browser, và người gọi phải dùng context đó:
+  // `browser.newPage()` của playwright đẻ ra một context MỚI — trắng cookie,
+  // nghĩa là mất sạch phiên đăng nhập Shopee của profile. Chỉ context sẵn có
+  // (contexts()[0]) mới mang cookie thật.
   async _connectNstProfileByName(name) {
-    const puppeteer = require('puppeteer-core');
+    const { chromium } = require('playwright-core');
     const profileId = await this.nst.findProfile(name);
     if (!profileId) throw new Error(`NST profile "${name}" not found`);
     let running = (await this.nst.getRunningBrowsers()).find(b => b.profileId === profileId);
@@ -167,8 +181,11 @@ class CommandPoller {
     }
     const port = running?.remoteDebuggingPort;
     if (!port) throw new Error(`No debug port for profile "${name}" (launch failed?)`);
-    const browser = await puppeteer.connect({ browserURL: `http://127.0.0.1:${port}`, defaultViewport: null });
-    return { browser, disconnect: () => browser.disconnect() };
+    const browser = await chromium.connectOverCDP(`http://127.0.0.1:${port}`);
+    const context = browser.contexts()[0] || await browser.newContext();
+    // browser.close() trên kết nối CDP chỉ CẮT kết nối, không tắt Chrome của
+    // Nstbrowser (đo thật trên relabs03 07/09: profile vẫn chạy sau khi đóng).
+    return { browser, context, disconnect: () => browser.close().catch(() => {}) };
   }
 
   // Flow 1 — quét affiliate offer list (sort theo hoa hồng) → upsert vào kho.
@@ -180,7 +197,7 @@ class CommandPoller {
     let conn;
     try {
       conn = await this._connectNstProfileByName(profileName);
-      const res = await scraper.scrapeOffers(conn.browser, {
+      const res = await scraper.scrapeOffers(conn.context, {
         category: payload.category || 'women_clothes',   // Tier-1 default: quần áo nữ
         match_id: payload.match_id || null,
         sort_types: payload.sort_types || [2, 3],         // commission + sales, merged
@@ -223,7 +240,7 @@ class CommandPoller {
     let conn;
     try {
       conn = await this._connectNstProfileByName(profileName);
-      const product = await scraper.ingestProduct(conn.browser, ids);
+      const product = await scraper.ingestProduct(conn.context, ids);
       console.log(`[shopee] ingested: ${product.name} (${product.images.length} imgs)`);
       await this.api.ingestShopeeResult(product, { user_id: command.user_id, idea_id: payload.idea_id || null });
       await this.api.updateCommand(command._id, { status: 'done', result: { name: product.name, images: product.images.length } });
@@ -253,6 +270,11 @@ class CommandPoller {
     // publish click). Different profiles still run in parallel — this lock
     // only serializes within a profile. Wait up to 30 min with 5s polling
     // (upload typically 1-3 min); stale-cleanup picks up zombies separately.
+    // Lượt mới của cùng profile → huỷ hẹn đóng, giữ browser cho nó dùng lại.
+    if (this._pwCloseTimers && this._pwCloseTimers.has(profileId)) {
+      clearTimeout(this._pwCloseTimers.get(profileId));
+      this._pwCloseTimers.delete(profileId);
+    }
     if (!this._pwInFlight) this._pwInFlight = new Map();
     const MUTEX_MAX_WAIT_MS = 30 * 60 * 1000;
     const waitStart = Date.now();
@@ -341,10 +363,45 @@ class CommandPoller {
         } catch (e) {
           console.warn(`[commands/pw] close after ${scriptName} failed: ${e.message}`);
         }
+      } else if (this.nst) {
+        // ĐĂNG BÀI: giữ profile mở để lượt upload nền tảng kế tiếp dùng lại,
+        // nhưng phải có hạn. Trước 2026-09-07 KHÔNG AI đóng nó cả — cả ba đường
+        // đều hụt: không nằm trong CLOSE_AFTER, lệnh close_profile của API chỉ
+        // phát trong nhánh nuôi acc, còn bộ quét profile rảnh thì bỏ qua vì
+        // luồng _pw không ghi _profileLastActivity. Đo 24h: 78 lượt đăng, 0
+        // lệnh đóng, 141 tiến trình Nstbrowser còn sống trên win-worker.
+        //
+        // KHÔNG dùng bộ quét rảnh sẵn có: nó thoát sớm khi hàng đợi render còn
+        // việc, mà win-worker vừa đăng bài vừa render — profile đăng bài sẽ kẹt
+        // mở vô hạn đúng vào lúc máy bận nhất.
+        this._schedulePwClose(profileId, scriptName);
       }
     }
   }
 
+  // Hẹn đóng profile sau một quãng RẢNH. Lượt _pw kế tiếp của cùng profile huỷ
+  // hẹn (xem đầu handlePlaywrightCommand), nên chuỗi upload nhiều nền tảng liên
+  // tiếp vẫn dùng chung một browser như thiết kế cũ.
+  _schedulePwClose(profileId, scriptName) {
+    if (!this._pwCloseTimers) this._pwCloseTimers = new Map();
+    const prev = this._pwCloseTimers.get(profileId);
+    if (prev) clearTimeout(prev);
+    const t = setTimeout(async () => {
+      this._pwCloseTimers.delete(profileId);
+      // Có lệnh khác vừa chiếm profile này → để yên, lượt đó sẽ tự hẹn lại.
+      if (this._pwInFlight && this._pwInFlight.has(profileId)) return;
+      try {
+        await this.nst.stopProfile(profileId);
+        console.log(`[commands/pw] đóng profile ${profileId} sau ${PW_IDLE_CLOSE_MS / 1000}s rảnh (${scriptName})`);
+      } catch (e) {
+        console.warn(`[commands/pw] đóng trễ ${profileId} lỗi: ${e.message}`);
+      }
+    }, PW_IDLE_CLOSE_MS);
+    // Đừng giữ tiến trình sống chỉ vì một cái hẹn đóng browser.
+    if (typeof t.unref === 'function') t.unref();
+    this._pwCloseTimers.set(profileId, t);
+  }
+
   async handleLaunchProfile(command) {
     const { profile_id, channel_id } = command.payload || {};
     console.log(`[commands] Launching Nstbrowser profile: ${profile_id}`);

package/lib/shopee-scraper.js

@@ -65,9 +65,13 @@ function parsePdpItem(item) {
 
 // Open the PDP and resolve with the get_pc payload the page fires. We listen at
 // the response layer because a hand-rolled fetch gets error 90309999 (no sig).
-async function ingestProduct(browser, { shop_id, item_id, timeoutMs = 60000 } = {}) {
+//
+// `ctx` là một playwright BrowserContext (KHÔNG phải Browser): trang phải mở
+// trong đúng context của profile thì mới mang cookie đăng nhập Shopee — mở từ
+// Browser là playwright đẻ context mới, trắng phiên.
+async function ingestProduct(ctx, { shop_id, item_id, timeoutMs = 60000 } = {}) {
   if (!shop_id || !item_id) throw new Error('ingestProduct needs shop_id + item_id');
-  const page = await browser.newPage();
+  const page = await ctx.newPage();
   try {
     const captured = new Promise((resolve) => {
       page.on('response', async (res) => {
@@ -93,6 +97,13 @@ function parseOfferRow(row) {
   const card = row.batch_item_for_item_card_full || row.item_card_displayed_asset || {};
   const shopId = String(card.shopid || card.shop_id || '');
   const itemId = String(row.item_id || card.itemid || card.item_id || '');
+  // Đo thật 08/09/2026 trên cả tab XTRA lẫn tab ngành hàng:
+  //   default_commission_rate = TỔNG hoa hồng affiliate (đã gồm Xtra)
+  //   seller_commission_rate  = phần NGƯỜI BÁN tài trợ, tức chính là Xtra
+  //   default − seller        = hoa hồng nền Shopee theo ngành (thời trang 7%,
+  //                             hoá phẩm / điện tử nhỏ 2,5%)
+  //   max_commission_rate     = 0% ở MỌI dòng đo được → đừng tin field này,
+  //                             nó chỉ đứng làm đường lui khi thiếu default.
   const rate = pctToNumber(row.default_commission_rate ?? row.max_commission_rate ?? row.commission_rate);
   const sellerRate = pctToNumber(row.seller_commission_rate);
   const price = (Number(card.price || card.price_min) || 0) / 100000;
@@ -123,11 +134,26 @@ function parseOfferRow(row) {
 // Affiliate offer-page category tabs → match_id (read from rc-tabs node keys,
 // confirmed live). Tier-1 fashion focus first; the offer page has NO dedicated
 // Shoes/Bags/Accessories tab → those come later via keyword search.
+// Đọc thẳng từ dãy tab trên affiliate.shopee.vn/offer/product_offer, đối chiếu
+// lại ngày 08/09/2026 — dãy này ĐỔI theo thời gian: 'grocery' (100629) và
+// Moms/Kids có hồi 06/2026 nay không còn tab, đổi lại có thêm Đồ gia dụng và
+// Máy tính & phụ kiện. Thấy quét ra rỗng thì việc đầu tiên là mở trang xem tab
+// còn không, đừng đổ tại phiên đăng nhập.
+//
+// Hai kiểu danh sách KHÁC NHAU, đừng trộn (đo thật 08/09: truyền XTRA như một
+// ngành hàng thì trả về 0 dòng, http 200 code 0 — hỏng im lặng):
+//   • ngành hàng   → list_type=3&match_type=2&match_id=<id>
+//   • Commissions XTRA → list_type=7, KHÔNG có match_id
 const AFFILIATE_CATEGORIES = {
-  women_clothes: { match_id: 100017, label: 'Quần áo nữ', group: 'fashion' },
-  beauty:        { match_id: 100630, label: 'Làm đẹp',    group: 'beauty' },
-  home_living:   { match_id: 100636, label: 'Nhà cửa',    group: 'other' },
-  grocery:       { match_id: 100629, label: 'Tạp hoá',    group: 'other' },
+  women_clothes:   { match_id: 100017, label: 'Quần áo nữ',         group: 'fashion' },
+  beauty:          { match_id: 100630, label: 'Làm đẹp',            group: 'beauty' },
+  home_living:     { match_id: 100636, label: 'Nhà cửa & đời sống', group: 'other' },
+  home_appliances: { match_id: 100010, label: 'Đồ gia dụng',        group: 'other' },
+  computer:        { match_id: 100644, label: 'Máy tính & phụ kiện', group: 'other' },
+  // Không phải ngành hàng mà là "sản phẩm có hoa hồng Xtra" — cắt ngang mọi
+  // ngành. Không đặt group để khỏi tự bật lọc nhóm và vứt mất hàng ngoài
+  // fashion, vì chính cái tab này mới là chỗ hoa hồng cao nhất.
+  xtra:            { list_type: 7, label: 'Hoa hồng XTRA' },
 };
 
 const sleep = (ms) => new Promise((r) => setTimeout(r, ms));
@@ -147,10 +173,24 @@ function applyFilters(rows, f = {}) {
   return rows.filter((p) => {
     if (f.category_groups?.length && !f.category_groups.includes(p.category_group)) return false;
     if (f.min_commission != null && (p.commission_rate || 0) < f.min_commission) return false;
+    // Lọc theo phần NGƯỜI BÁN tài trợ (Xtra). Cần cửa riêng vì quét tab XTRA
+    // không đồng nghĩa với Xtra cao: đo 08/09 thấy tab ngành hàng thường cũng
+    // có dòng tài trợ 10%, còn trong chính tab XTRA vẫn có dòng chỉ 8%.
+    if (f.min_seller_commission != null && (p.commission_seller_rate || 0) < f.min_seller_commission) return false;
+    // Cổng theo TIỀN mỗi đơn. Ngưỡng phần trăm không so được giữa các ngành:
+    // hoa hồng nền của thời trang là 7% còn gia dụng/điện tử chỉ 2,5%, nên bộ
+    // Tier-1 (≥12%) vốn chỉnh cho thời trang đem áp lên gia dụng thì quét gần
+    // như trắng — đo 08/09/2026 trên tab Đồ gia dụng: 19/20 món rớt ĐÚNG ở
+    // cổng 12%, trong khi không món nào rớt vì doanh số, sao hay ảnh.
+    if (f.min_commission_value != null && (p.commission_value || 0) < f.min_commission_value) return false;
     if (f.price_min != null && (p.price || 0) < f.price_min) return false;
     if (f.price_max != null && (p.price || 0) > f.price_max) return false;
     if (f.min_sold != null && (p.sold_count || 0) < f.min_sold) return false;
-    if (f.min_rating != null && p.rating != null && p.rating < f.min_rating) return false;
+    // Hàng CHƯA có đánh giá cũng rớt, không được đi cửa sau. Điều kiện cũ là
+    // "có rating VÀ rating < ngưỡng thì loại" — nghĩa là sản phẩm rating rỗng
+    // lọt thẳng qua cổng chất lượng, đúng loại hàng mới đăng chưa ai mua mà
+    // mình không muốn đem đi làm video.
+    if (f.min_rating != null && !(Number(p.rating) >= f.min_rating)) return false;
     if (f.min_images != null && (p.images?.length || 0) < f.min_images) return false;
     return true;
   });
@@ -162,7 +202,9 @@ function applyFilters(rows, f = {}) {
 //   { status: 'ok'|'needs_verify', products: [...], raw_count }
 // Never throws on a blocked session — returns status:'needs_verify' so the
 // worker reports it cleanly instead of failing + retrying into more captchas.
-async function scrapeOffers(browser, {
+// `ctx` = playwright BrowserContext của profile affiliate đã đăng nhập — xem
+// ghi chú ở ingestProduct về việc vì sao không nhận Browser.
+async function scrapeOffers(ctx, {
   category = null,        // key in AFFILIATE_CATEGORIES (e.g. 'women_clothes')
   match_id = null,        // explicit category id override
   sort_types = [2],      // [2]=commission; pass [2,3] to merge commission+sales
@@ -180,15 +222,18 @@ async function scrapeOffers(browser, {
   // Default the category_groups filter to the category's own group (so a
   // Women-Clothes scrape keeps only fashion rows even though the tab mixes in
   // a few accessories), unless the caller overrides.
-  if (cat && !filters.category_groups) filters = { ...filters, category_groups: [cat.group] };
+  if (cat?.group && !filters.category_groups) filters = { ...filters, category_groups: [cat.group] };
+  const listType = cat?.list_type || null;
 
-  const pagesOpen = await browser.pages();
+  const pagesOpen = ctx.pages();
   let page = pagesOpen.find((p) => p.url().includes('affiliate.shopee.vn'));
   let opened = false;
-  if (!page) { page = await browser.newPage(); opened = true; }
+  if (!page) { page = await ctx.newPage(); opened = true; }
   try {
     if (!page.url().includes('affiliate.shopee.vn/offer')) {
-      await page.goto('https://affiliate.shopee.vn/offer/product_offer', { waitUntil: 'networkidle2', timeout: timeoutMs }).catch(() => {});
+      // 'networkidle' (playwright), KHÔNG 'networkidle2' (tên của puppeteer —
+      // playwright coi là giá trị lạ và ném lỗi).
+      await page.goto('https://affiliate.shopee.vn/offer/product_offer', { waitUntil: 'networkidle', timeout: timeoutMs }).catch(() => {});
       await sleep(1500);
     }
     if (isBlockedState(page.url(), null)) {
@@ -201,13 +246,15 @@ async function scrapeOffers(browser, {
       for (let i = 0; i < pages; i++) {
         const offset = i * page_limit;
         const res = await page.evaluate(async (q) => {
-          const cat = q.mid ? `&list_type=3&match_type=2&match_id=${q.mid}` : '&list_type=0';
+          const cat = q.listType
+            ? `&list_type=${q.listType}`
+            : (q.mid ? `&list_type=3&match_type=2&match_id=${q.mid}` : '&list_type=0');
           const url = `/api/v3/offer/product/list?sort_type=${q.st}&page_offset=${q.offset}&page_limit=${q.page_limit}&client_type=1${cat}`;
           try {
             const r = await fetch(url, { credentials: 'include' });
             return { status: r.status, json: await r.json().catch(() => null) };
           } catch (e) { return { status: 0, error: String(e.message) }; }
-        }, { st, offset, page_limit, mid });
+        }, { st, offset, page_limit, mid, listType });
 
         if (isBlockedState(page.url(), res) || res.json?.code === 90309999) {
           return { status: 'needs_verify', products: [...byId.values()], raw_count: rawCount, reason: `blocked mid-scrape (http ${res.status}, code ${res.json?.code})` };

package/lib/singleton.js

@@ -84,7 +84,7 @@ const sleep = (ms) => new Promise((r) => setTimeout(r, ms));
 
 /**
  * Giành khoá cho tiến trình hiện tại.
- * @returns {{ok: true, stolen?: object} | {ok: false, holder: object}}
+ * @returns {{ok: true, stolen?: object, corrupted?: boolean} | {ok: false, holder: object}}
  */
 async function acquire(configDir, { waitMs = 0, force = false, info = {}, pollMs = 1000 } = {}) {
   const started_at = new Date().toISOString();
@@ -97,7 +97,19 @@ async function acquire(configDir, { waitMs = 0, force = false, info = {}, pollMs
         return { ok: true };
       } catch (err) {
         if (err.code !== 'EEXIST') throw err;
-        continue; // đứa khác chen vào giữa hai nhịp — đọc lại rồi xử tiếp
+        // File có thật mà readLock không đọc ra. Hai ca khác hẳn nhau:
+        //   a) đứa khác vừa chen vào giữa hai nhịp → đọc lại ra khoá hợp lệ,
+        //      quay vòng xử như bình thường (chờ / cướp nếu đã rác);
+        //   b) file HỎNG, đọc lại vẫn không ra gì → không có chủ nào để chờ.
+        // Ca (b) mới là cái giết máy: mất điện 07/09/2026 để lại daemon.lock
+        // dài 139 byte TOÀN NUL (NTFS đã cấp cỡ, chưa kịp ghi nội dung).
+        // `continue` trần khi ấy thành vòng lặp KHÔNG sleep, không hạn giờ:
+        // 3 daemon trên win-worker quay tít 100% CPU suốt 4 giờ, không ghi nổi
+        // một dòng log, không bao giờ tới Daemon.start() — cả đàn video ngừng
+        // đăng mà nhìn từ ngoài y như "daemon không tự chạy sau khi bật máy".
+        if (readLock(configDir)) continue;
+        writeLock(configDir, { ...info, started_at }, { overwrite: true });
+        return { ok: true, corrupted: true };
       }
     }
     if (lock.pid === process.pid) return { ok: true }; // đã là của mình

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "channel-worker",
-  "version": "2.5.89",
+  "version": "2.5.91",
   "description": "Channel Manager worker daemon — runs on remote machines to execute video pipeline jobs",
   "main": "lib/daemon.js",
   "bin": {