channel-worker 2.5.90 → 2.5.92

package/bin/cli.js

@@ -159,6 +159,10 @@ if (cmd === 'pair') {
         console.log(`[channel-worker] Tiếp quản khoá của PID ${res.stolen.pid} `
           + `(${args.force ? 'ép bằng --force' : 'đã chết hoặc treo quá lâu'}).`);
       }
+      if (res.corrupted) {
+        console.log('[channel-worker] daemon.lock cũ hỏng (không đọc ra nội dung — '
+          + 'dấu hiệu điển hình của mất điện giữa chừng) — đã ghi đè và chạy tiếp.');
+      }
       // Ghi ĐÚNG pid của daemon thật — updater/restart trước đây ghi pid của
       // tiến trình bọc, nên "stop" bắn trượt và để lại mồ côi.
       fs.writeFileSync(path.join(CONFIG_DIR, 'daemon.pid'), String(process.pid));
@@ -197,6 +201,42 @@ if (cmd === 'pair') {
     process.exit(0);
   }
 
+} else if (cmd === 'selftest') {
+  // Nạp thử MỌI module trong lib/ rồi thoát 0. Bộ tự-cập-nhật chạy lệnh này
+  // sau khi cài và chỉ khởi động lại khi nó xanh.
+  //
+  // Vì sao cần: 08/09/2026, một bản npm publish làm mọi daemon tự lao vào
+  // `npm install -g` ĐÈ LÊN CHÍNH MODULE ĐANG CHẠY. Trên Windows npm xoá cây
+  // cũ trước khi ghi cây mới, và lượt đó dừng giữa chừng: lib/daemon.js và
+  // lib/command-poller.js biến mất, package.json vẫn ghi version mới nên nhìn
+  // vào đó thấy "cài xong". Daemon thay thế chết ngay MODULE_NOT_FOUND, hai
+  // máy Windows tắt lịm ĐÚNG LÚC đang đăng 9 video — 9 lượt đăng thành "mập
+  // mờ" phải kiểm tay. Đọc version là không đủ; phải nạp thử thật.
+  const fs = require('fs');
+  const libDir = path.join(__dirname, '..', 'lib');
+  const bad = [];
+  let files = [];
+  try {
+    files = fs.readdirSync(libDir).filter((f) => f.endsWith('.js')).sort();
+  } catch (e) {
+    console.error(`[channel-worker] selftest FAILED — không đọc nổi ${libDir}: ${e.code || e.message}`);
+    process.exit(1);
+  }
+  if (files.length < 10) {
+    // Cây đủ có 15 file; ít hơn 10 là chắc chắn cụt, không cần require từng cái.
+    console.error(`[channel-worker] selftest FAILED — lib/ chỉ còn ${files.length} file (cây cài dở).`);
+    process.exit(1);
+  }
+  for (const f of files) {
+    try { require(path.join(libDir, f)); } catch (e) { bad.push(`${f}: ${e.code || e.message}`); }
+  }
+  if (bad.length) {
+    console.error(`[channel-worker] selftest FAILED — ${bad.length}/${files.length} module không nạp được:\n  ${bad.join('\n  ')}`);
+    process.exit(1);
+  }
+  console.log(`[channel-worker] selftest OK — v${require('../package.json').version}, ${files.length} module nạp được.`);
+  process.exit(0);
+
 } else if (cmd === 'update') {
   const { checkAndUpdate, getLocalVersion } = require('../lib/updater');
   console.log(`[channel-worker] Current version: ${getLocalVersion()}`);

package/lib/command-poller.js

@@ -154,11 +154,20 @@ class CommandPoller {
     return true;
   }
 
-  // Ensure a profile (by name) is running and return a puppeteer-core browser
+  // Ensure a profile (by name) is running and return a playwright BrowserContext
   // attached over CDP via its local debug port. Worker runs ON the same box as
   // Nstbrowser, so localhost:<remoteDebuggingPort> is reachable directly.
+  //
+  // Dùng playwright-core, KHÔNG puppeteer-core: gói này chưa bao giờ nằm trong
+  // dependencies của worker (07/09: chạy thật lần đầu → MODULE_NOT_FOUND, hai
+  // lệnh Shopee chết ngay tại đây). Cả worker đã chạy playwright rồi.
+  //
+  // Trả CONTEXT chứ không phải browser, và người gọi phải dùng context đó:
+  // `browser.newPage()` của playwright đẻ ra một context MỚI — trắng cookie,
+  // nghĩa là mất sạch phiên đăng nhập Shopee của profile. Chỉ context sẵn có
+  // (contexts()[0]) mới mang cookie thật.
   async _connectNstProfileByName(name) {
-    const puppeteer = require('puppeteer-core');
+    const { chromium } = require('playwright-core');
     const profileId = await this.nst.findProfile(name);
     if (!profileId) throw new Error(`NST profile "${name}" not found`);
     let running = (await this.nst.getRunningBrowsers()).find(b => b.profileId === profileId);
@@ -172,8 +181,11 @@ class CommandPoller {
     }
     const port = running?.remoteDebuggingPort;
     if (!port) throw new Error(`No debug port for profile "${name}" (launch failed?)`);
-    const browser = await puppeteer.connect({ browserURL: `http://127.0.0.1:${port}`, defaultViewport: null });
-    return { browser, disconnect: () => browser.disconnect() };
+    const browser = await chromium.connectOverCDP(`http://127.0.0.1:${port}`);
+    const context = browser.contexts()[0] || await browser.newContext();
+    // browser.close() trên kết nối CDP chỉ CẮT kết nối, không tắt Chrome của
+    // Nstbrowser (đo thật trên relabs03 07/09: profile vẫn chạy sau khi đóng).
+    return { browser, context, disconnect: () => browser.close().catch(() => {}) };
   }
 
   // Flow 1 — quét affiliate offer list (sort theo hoa hồng) → upsert vào kho.
@@ -185,7 +197,7 @@ class CommandPoller {
     let conn;
     try {
       conn = await this._connectNstProfileByName(profileName);
-      const res = await scraper.scrapeOffers(conn.browser, {
+      const res = await scraper.scrapeOffers(conn.context, {
         category: payload.category || 'women_clothes',   // Tier-1 default: quần áo nữ
         match_id: payload.match_id || null,
         sort_types: payload.sort_types || [2, 3],         // commission + sales, merged
@@ -228,7 +240,7 @@ class CommandPoller {
     let conn;
     try {
       conn = await this._connectNstProfileByName(profileName);
-      const product = await scraper.ingestProduct(conn.browser, ids);
+      const product = await scraper.ingestProduct(conn.context, ids);
       console.log(`[shopee] ingested: ${product.name} (${product.images.length} imgs)`);
       await this.api.ingestShopeeResult(product, { user_id: command.user_id, idea_id: payload.idea_id || null });
       await this.api.updateCommand(command._id, { status: 'done', result: { name: product.name, images: product.images.length } });

package/lib/shopee-scraper.js

@@ -65,9 +65,13 @@ function parsePdpItem(item) {
 
 // Open the PDP and resolve with the get_pc payload the page fires. We listen at
 // the response layer because a hand-rolled fetch gets error 90309999 (no sig).
-async function ingestProduct(browser, { shop_id, item_id, timeoutMs = 60000 } = {}) {
+//
+// `ctx` là một playwright BrowserContext (KHÔNG phải Browser): trang phải mở
+// trong đúng context của profile thì mới mang cookie đăng nhập Shopee — mở từ
+// Browser là playwright đẻ context mới, trắng phiên.
+async function ingestProduct(ctx, { shop_id, item_id, timeoutMs = 60000 } = {}) {
   if (!shop_id || !item_id) throw new Error('ingestProduct needs shop_id + item_id');
-  const page = await browser.newPage();
+  const page = await ctx.newPage();
   try {
     const captured = new Promise((resolve) => {
       page.on('response', async (res) => {
@@ -93,6 +97,13 @@ function parseOfferRow(row) {
   const card = row.batch_item_for_item_card_full || row.item_card_displayed_asset || {};
   const shopId = String(card.shopid || card.shop_id || '');
   const itemId = String(row.item_id || card.itemid || card.item_id || '');
+  // Đo thật 08/09/2026 trên cả tab XTRA lẫn tab ngành hàng:
+  //   default_commission_rate = TỔNG hoa hồng affiliate (đã gồm Xtra)
+  //   seller_commission_rate  = phần NGƯỜI BÁN tài trợ, tức chính là Xtra
+  //   default − seller        = hoa hồng nền Shopee theo ngành (thời trang 7%,
+  //                             hoá phẩm / điện tử nhỏ 2,5%)
+  //   max_commission_rate     = 0% ở MỌI dòng đo được → đừng tin field này,
+  //                             nó chỉ đứng làm đường lui khi thiếu default.
   const rate = pctToNumber(row.default_commission_rate ?? row.max_commission_rate ?? row.commission_rate);
   const sellerRate = pctToNumber(row.seller_commission_rate);
   const price = (Number(card.price || card.price_min) || 0) / 100000;
@@ -123,11 +134,26 @@ function parseOfferRow(row) {
 // Affiliate offer-page category tabs → match_id (read from rc-tabs node keys,
 // confirmed live). Tier-1 fashion focus first; the offer page has NO dedicated
 // Shoes/Bags/Accessories tab → those come later via keyword search.
+// Đọc thẳng từ dãy tab trên affiliate.shopee.vn/offer/product_offer, đối chiếu
+// lại ngày 08/09/2026 — dãy này ĐỔI theo thời gian: 'grocery' (100629) và
+// Moms/Kids có hồi 06/2026 nay không còn tab, đổi lại có thêm Đồ gia dụng và
+// Máy tính & phụ kiện. Thấy quét ra rỗng thì việc đầu tiên là mở trang xem tab
+// còn không, đừng đổ tại phiên đăng nhập.
+//
+// Hai kiểu danh sách KHÁC NHAU, đừng trộn (đo thật 08/09: truyền XTRA như một
+// ngành hàng thì trả về 0 dòng, http 200 code 0 — hỏng im lặng):
+//   • ngành hàng   → list_type=3&match_type=2&match_id=<id>
+//   • Commissions XTRA → list_type=7, KHÔNG có match_id
 const AFFILIATE_CATEGORIES = {
-  women_clothes: { match_id: 100017, label: 'Quần áo nữ', group: 'fashion' },
-  beauty:        { match_id: 100630, label: 'Làm đẹp',    group: 'beauty' },
-  home_living:   { match_id: 100636, label: 'Nhà cửa',    group: 'other' },
-  grocery:       { match_id: 100629, label: 'Tạp hoá',    group: 'other' },
+  women_clothes:   { match_id: 100017, label: 'Quần áo nữ',         group: 'fashion' },
+  beauty:          { match_id: 100630, label: 'Làm đẹp',            group: 'beauty' },
+  home_living:     { match_id: 100636, label: 'Nhà cửa & đời sống', group: 'other' },
+  home_appliances: { match_id: 100010, label: 'Đồ gia dụng',        group: 'other' },
+  computer:        { match_id: 100644, label: 'Máy tính & phụ kiện', group: 'other' },
+  // Không phải ngành hàng mà là "sản phẩm có hoa hồng Xtra" — cắt ngang mọi
+  // ngành. Không đặt group để khỏi tự bật lọc nhóm và vứt mất hàng ngoài
+  // fashion, vì chính cái tab này mới là chỗ hoa hồng cao nhất.
+  xtra:            { list_type: 7, label: 'Hoa hồng XTRA' },
 };
 
 const sleep = (ms) => new Promise((r) => setTimeout(r, ms));
@@ -147,10 +173,24 @@ function applyFilters(rows, f = {}) {
   return rows.filter((p) => {
     if (f.category_groups?.length && !f.category_groups.includes(p.category_group)) return false;
     if (f.min_commission != null && (p.commission_rate || 0) < f.min_commission) return false;
+    // Lọc theo phần NGƯỜI BÁN tài trợ (Xtra). Cần cửa riêng vì quét tab XTRA
+    // không đồng nghĩa với Xtra cao: đo 08/09 thấy tab ngành hàng thường cũng
+    // có dòng tài trợ 10%, còn trong chính tab XTRA vẫn có dòng chỉ 8%.
+    if (f.min_seller_commission != null && (p.commission_seller_rate || 0) < f.min_seller_commission) return false;
+    // Cổng theo TIỀN mỗi đơn. Ngưỡng phần trăm không so được giữa các ngành:
+    // hoa hồng nền của thời trang là 7% còn gia dụng/điện tử chỉ 2,5%, nên bộ
+    // Tier-1 (≥12%) vốn chỉnh cho thời trang đem áp lên gia dụng thì quét gần
+    // như trắng — đo 08/09/2026 trên tab Đồ gia dụng: 19/20 món rớt ĐÚNG ở
+    // cổng 12%, trong khi không món nào rớt vì doanh số, sao hay ảnh.
+    if (f.min_commission_value != null && (p.commission_value || 0) < f.min_commission_value) return false;
     if (f.price_min != null && (p.price || 0) < f.price_min) return false;
     if (f.price_max != null && (p.price || 0) > f.price_max) return false;
     if (f.min_sold != null && (p.sold_count || 0) < f.min_sold) return false;
-    if (f.min_rating != null && p.rating != null && p.rating < f.min_rating) return false;
+    // Hàng CHƯA có đánh giá cũng rớt, không được đi cửa sau. Điều kiện cũ là
+    // "có rating VÀ rating < ngưỡng thì loại" — nghĩa là sản phẩm rating rỗng
+    // lọt thẳng qua cổng chất lượng, đúng loại hàng mới đăng chưa ai mua mà
+    // mình không muốn đem đi làm video.
+    if (f.min_rating != null && !(Number(p.rating) >= f.min_rating)) return false;
     if (f.min_images != null && (p.images?.length || 0) < f.min_images) return false;
     return true;
   });
@@ -162,7 +202,9 @@ function applyFilters(rows, f = {}) {
 //   { status: 'ok'|'needs_verify', products: [...], raw_count }
 // Never throws on a blocked session — returns status:'needs_verify' so the
 // worker reports it cleanly instead of failing + retrying into more captchas.
-async function scrapeOffers(browser, {
+// `ctx` = playwright BrowserContext của profile affiliate đã đăng nhập — xem
+// ghi chú ở ingestProduct về việc vì sao không nhận Browser.
+async function scrapeOffers(ctx, {
   category = null,        // key in AFFILIATE_CATEGORIES (e.g. 'women_clothes')
   match_id = null,        // explicit category id override
   sort_types = [2],      // [2]=commission; pass [2,3] to merge commission+sales
@@ -180,15 +222,18 @@ async function scrapeOffers(browser, {
   // Default the category_groups filter to the category's own group (so a
   // Women-Clothes scrape keeps only fashion rows even though the tab mixes in
   // a few accessories), unless the caller overrides.
-  if (cat && !filters.category_groups) filters = { ...filters, category_groups: [cat.group] };
+  if (cat?.group && !filters.category_groups) filters = { ...filters, category_groups: [cat.group] };
+  const listType = cat?.list_type || null;
 
-  const pagesOpen = await browser.pages();
+  const pagesOpen = ctx.pages();
   let page = pagesOpen.find((p) => p.url().includes('affiliate.shopee.vn'));
   let opened = false;
-  if (!page) { page = await browser.newPage(); opened = true; }
+  if (!page) { page = await ctx.newPage(); opened = true; }
   try {
     if (!page.url().includes('affiliate.shopee.vn/offer')) {
-      await page.goto('https://affiliate.shopee.vn/offer/product_offer', { waitUntil: 'networkidle2', timeout: timeoutMs }).catch(() => {});
+      // 'networkidle' (playwright), KHÔNG 'networkidle2' (tên của puppeteer —
+      // playwright coi là giá trị lạ và ném lỗi).
+      await page.goto('https://affiliate.shopee.vn/offer/product_offer', { waitUntil: 'networkidle', timeout: timeoutMs }).catch(() => {});
       await sleep(1500);
     }
     if (isBlockedState(page.url(), null)) {
@@ -201,13 +246,15 @@ async function scrapeOffers(browser, {
       for (let i = 0; i < pages; i++) {
         const offset = i * page_limit;
         const res = await page.evaluate(async (q) => {
-          const cat = q.mid ? `&list_type=3&match_type=2&match_id=${q.mid}` : '&list_type=0';
+          const cat = q.listType
+            ? `&list_type=${q.listType}`
+            : (q.mid ? `&list_type=3&match_type=2&match_id=${q.mid}` : '&list_type=0');
           const url = `/api/v3/offer/product/list?sort_type=${q.st}&page_offset=${q.offset}&page_limit=${q.page_limit}&client_type=1${cat}`;
           try {
             const r = await fetch(url, { credentials: 'include' });
             return { status: r.status, json: await r.json().catch(() => null) };
           } catch (e) { return { status: 0, error: String(e.message) }; }
-        }, { st, offset, page_limit, mid });
+        }, { st, offset, page_limit, mid, listType });
 
         if (isBlockedState(page.url(), res) || res.json?.code === 90309999) {
           return { status: 'needs_verify', products: [...byId.values()], raw_count: rawCount, reason: `blocked mid-scrape (http ${res.status}, code ${res.json?.code})` };

package/lib/singleton.js

@@ -84,7 +84,7 @@ const sleep = (ms) => new Promise((r) => setTimeout(r, ms));
 
 /**
  * Giành khoá cho tiến trình hiện tại.
- * @returns {{ok: true, stolen?: object} | {ok: false, holder: object}}
+ * @returns {{ok: true, stolen?: object, corrupted?: boolean} | {ok: false, holder: object}}
  */
 async function acquire(configDir, { waitMs = 0, force = false, info = {}, pollMs = 1000 } = {}) {
   const started_at = new Date().toISOString();
@@ -97,7 +97,19 @@ async function acquire(configDir, { waitMs = 0, force = false, info = {}, pollMs
         return { ok: true };
       } catch (err) {
         if (err.code !== 'EEXIST') throw err;
-        continue; // đứa khác chen vào giữa hai nhịp — đọc lại rồi xử tiếp
+        // File có thật mà readLock không đọc ra. Hai ca khác hẳn nhau:
+        //   a) đứa khác vừa chen vào giữa hai nhịp → đọc lại ra khoá hợp lệ,
+        //      quay vòng xử như bình thường (chờ / cướp nếu đã rác);
+        //   b) file HỎNG, đọc lại vẫn không ra gì → không có chủ nào để chờ.
+        // Ca (b) mới là cái giết máy: mất điện 07/09/2026 để lại daemon.lock
+        // dài 139 byte TOÀN NUL (NTFS đã cấp cỡ, chưa kịp ghi nội dung).
+        // `continue` trần khi ấy thành vòng lặp KHÔNG sleep, không hạn giờ:
+        // 3 daemon trên win-worker quay tít 100% CPU suốt 4 giờ, không ghi nổi
+        // một dòng log, không bao giờ tới Daemon.start() — cả đàn video ngừng
+        // đăng mà nhìn từ ngoài y như "daemon không tự chạy sau khi bật máy".
+        if (readLock(configDir)) continue;
+        writeLock(configDir, { ...info, started_at }, { overwrite: true });
+        return { ok: true, corrupted: true };
       }
     }
     if (lock.pid === process.pid) return { ok: true }; // đã là của mình

package/lib/updater.js

@@ -31,6 +31,28 @@ function installUpdate(version) {
   console.log(`[updater] Installed ${PKG_NAME}@${version}`);
 }
 
+/**
+ * Cây vừa cài có nạp được không? `channel-worker selftest` require từng file
+ * trong lib/ và thoát 0 nếu đủ.
+ *
+ * npm cài ĐÈ LÊN module đang chạy, và trên Windows nó xoá cây cũ trước khi ghi
+ * cây mới. Lượt cài dừng giữa chừng để lại package.json version MỚI cạnh một
+ * lib/ THIẾU FILE — nhìn version thì thấy "cài xong". 08/09/2026 daemon thay
+ * thế chết ngay MODULE_NOT_FOUND (lib/daemon.js + lib/command-poller.js biến
+ * mất), hai máy Windows tắt giữa lúc đăng 9 video.
+ */
+function verifyInstall() {
+  const { spawnSync } = require('child_process');
+  const isWindows = process.platform === 'win32';
+  const bin = isWindows ? 'channel-worker.cmd' : 'channel-worker';
+  const out = spawnSync(bin, ['selftest'], {
+    shell: isWindows, windowsHide: true, encoding: 'utf8', timeout: 120000,
+  });
+  // status null = không chạy nổi (timeout, binary không thấy) → coi như hỏng.
+  const detail = `${out.stdout || ''}${out.stderr || ''}`.trim().split('\n').slice(-6).join(' | ');
+  return { ok: out.status === 0, detail: detail.slice(-600) };
+}
+
 async function checkAndUpdate({ autoRestart = false } = {}) {
   const local = getLocalVersion();
   const latest = await getLatestVersion();
@@ -42,6 +64,26 @@ async function checkAndUpdate({ autoRestart = false } = {}) {
   console.log(`[updater] Update available: ${local} → ${latest}`);
   installUpdate(latest);
 
+  // Cài xong CHƯA CHẮC chạy được — xem verifyInstall(). Hỏng thì thử cài lại
+  // đúng một lần, vẫn hỏng thì Ở YÊN: tiến trình này vẫn đang chạy code cũ đã
+  // nạp trong bộ nhớ, nên không restart là còn worker; restart vào cây cụt là
+  // mất worker. Bản mới sẽ vào ở lượt kiểm kế tiếp, hoặc do người cài tay.
+  let check = verifyInstall();
+  if (!check.ok) {
+    console.warn(`[updater] Bản vừa cài KHÔNG nạp được (${check.detail}) — cài lại một lần.`);
+    try {
+      installUpdate(latest);
+      check = verifyInstall();
+    } catch (e) {
+      check = { ok: false, detail: `cài lại lỗi: ${e.message}` };
+    }
+  }
+  if (!check.ok) {
+    console.error('[updater] BỎ khởi động lại: cây cài dở, daemon cũ chạy tiếp. '
+      + `Cần cài tay: npm i -g ${PKG_NAME}@${latest} --prefer-online (dừng daemon trước). Chi tiết: ${check.detail}`);
+    return { updated: false, local, latest, verifyFailed: true, detail: check.detail };
+  }
+
   if (autoRestart) {
     console.log('[updater] Restarting daemon with new version...');
     const { spawn } = require('child_process');

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "channel-worker",
-  "version": "2.5.90",
+  "version": "2.5.92",
   "description": "Channel Manager worker daemon — runs on remote machines to execute video pipeline jobs",
   "main": "lib/daemon.js",
   "bin": {