channel-worker 2.5.148 → 2.5.149

package/lib/command-poller.js

@@ -27,6 +27,8 @@ const SHOPEE_DEADLINE_MS = {
   get_affiliate_link: 3 * 60 * 1000,
   ingest_shopee_product: 3 * 60 * 1000,
 };
+// Mỗi lượt gửi báo cáo về API mang tối đa ngần này đơn và ngần này click.
+const REPORT_INGEST_BATCH = 5000;
 // Tripo Studio: một lượt HD multiview gồm tải ảnh + tạo (vài phút tới hơn
 // chục phút tuỳ hàng chờ của Tripo) + xuất GLB. Hết hạn thì bỏ lượt, Studio
 // vẫn chạy nốt trong tab — người mở profile vẫn thấy model.
@@ -549,14 +551,31 @@ class CommandPoller {
       days: payload.days || 90,
       log: (message) => console.log(message),
     });
+    // Click hỏng thì ĐƠN đã đọc xong vẫn phải lưu — 03/10/2026 click Shopee2
+    // vượt trần 100 trang, ba lượt sáng vứt luôn phần đơn đọc được. Biểu đồ
+    // tính mốc chốt click theo giờ đồng bộ của CLICK, nên lưu riêng đơn không
+    // làm ngày chưa có click bị gắn "đã chốt".
     if (clickResult.status === 'needs_verify') {
+      const saved = await this._sendAffiliateReport(result.rows, [], {
+        last_report_date: result.last_report_date,
+        last_update_time: result.last_update_time,
+      });
       return {
         status: 'done',
-        result: { needs_verify: true, reason: clickResult.reason, count: result.rows.length, click_count: clickResult.rows?.length || 0 },
+        result: {
+          needs_verify: true, reason: clickResult.reason,
+          count: result.rows.length, saved: saved.saved,
+          click_count: clickResult.rows?.length || 0,
+        },
       };
     }
     if (clickResult.status !== 'ok') {
-      return { status: 'failed', error: String(clickResult.reason || 'Không đọc được báo cáo click Shopee').slice(0, 500) };
+      const saved = await this._sendAffiliateReport(result.rows, [], {
+        last_report_date: result.last_report_date,
+        last_update_time: result.last_update_time,
+      });
+      const why = clickResult.reason || 'Không đọc được báo cáo click Shopee';
+      return { status: 'failed', error: `Click lỗi: ${why}; đã lưu ${saved.saved}/${result.rows.length} đơn`.slice(0, 500) };
     }
 
     // Danh sách page đã liên kết với tài khoản Shopee — đi CHUNG lượt này vì
@@ -576,8 +595,7 @@ class CommandPoller {
     }
     if (mediaError) console.warn(`[shopee-report] không đọc được danh sách liên kết: ${mediaError}`);
 
-    const saved = await this.api.affiliateReportResult(result.rows, {
-      clicks: clickResult.rows,
+    const saved = await this._sendAffiliateReport(result.rows, clickResult.rows, {
       // `null` = KHÔNG đọc được, khác hẳn `[]` = đọc được và tài khoản chưa
       // liên kết page nào. API phải phân biệt để không xoá sạch bản ghi cũ
       // chỉ vì một lượt đọc hỏng.
@@ -587,18 +605,18 @@ class CommandPoller {
       from: result.from,
       to: result.to,
     });
-    console.log(`[shopee-report] đã lưu ${saved?.saved || 0}/${result.rows.length} đơn, ${saved?.click_saved || 0}/${clickResult.rows.length} click`);
+    console.log(`[shopee-report] đã lưu ${saved.saved}/${result.rows.length} đơn, ${saved.click_saved}/${clickResult.rows.length} click`);
     return {
       status: 'done',
       result: {
         count: result.rows.length,
-        saved: saved?.saved || 0,
-        matched: saved?.matched || 0,
-        unmatched: saved?.unmatched || 0,
+        saved: saved.saved,
+        matched: saved.matched,
+        unmatched: saved.unmatched,
         click_count: clickResult.rows.length,
-        click_saved: saved?.click_saved || 0,
-        click_matched: saved?.click_matched || 0,
-        click_unmatched: saved?.click_unmatched || 0,
+        click_saved: saved.click_saved,
+        click_matched: saved.click_matched,
+        click_unmatched: saved.click_unmatched,
         media_accounts: mediaAccounts ? mediaAccounts.length : null,
         media_error: mediaError || undefined,
         last_report_date: result.last_report_date,
@@ -606,6 +624,25 @@ class CommandPoller {
     };
   }
 
+  // Gửi đơn + click về API theo lô. API chỉ nhận 10.000 đơn / 20.000 click
+  // mỗi lượt gửi (AffiliateReportController.workerIngest cắt phần thừa, không
+  // báo gì) — đọc được quá trần 100 trang Shopee rồi mà gửi một cục thì vẫn mất.
+  // `media_accounts` chỉ đi ở lô đầu: lô sau thiếu trường đó = API giữ nguyên.
+  async _sendAffiliateReport(orders, clicks, { media_accounts, ...meta } = {}) {
+    const sum = { saved: 0, matched: 0, unmatched: 0, click_saved: 0, click_matched: 0, click_unmatched: 0 };
+    const lots = Math.max(1, Math.ceil(orders.length / REPORT_INGEST_BATCH), Math.ceil(clicks.length / REPORT_INGEST_BATCH));
+    for (let i = 0; i < lots; i++) {
+      const cut = (list) => list.slice(i * REPORT_INGEST_BATCH, (i + 1) * REPORT_INGEST_BATCH);
+      const res = await this.api.affiliateReportResult(cut(orders), {
+        ...meta,
+        clicks: cut(clicks),
+        ...(i === 0 && media_accounts !== undefined ? { media_accounts } : {}),
+      });
+      for (const key of Object.keys(sum)) sum[key] += Number(res?.[key] || 0);
+    }
+    return sum;
+  }
+
   async handlePlaywrightCommand(command) {
     const { runPlaywrightScript } = require('./playwright-runner');
     const payload = command.payload || {};

package/lib/shopee-report.js

@@ -13,6 +13,87 @@ function reportWindow(days = 90, nowMs = Date.now()) {
   return { start, end, days: safeDays };
 }
 
+// Shopee chỉ cho mỗi truy vấn danh sách báo cáo đọc tới trang 100. Đo 03/10/2026
+// trên store maithithu (Shopee2): 10.410 click trong 90 ngày, page_size 100 →
+// trang 1–100 trả đủ, trang 101 trả `msg: "page num out of limit"` và cả lượt
+// đồng bộ chết. Chưa thử page_size khác nên chưa biết trần tính theo số trang
+// hay theo vị trí dòng — lấy mức thấp hơn của hai cách hiểu.
+const SHOPEE_MAX_PAGE = 100;
+const SHOPEE_MAX_ROWS = 10000;
+const PAGE_LIMIT_RE = /page num out of limit/i;
+// Khoảng ngắn hơn mức này mà vẫn quá trần thì thôi chẻ, báo lỗi.
+const MIN_SPLIT_SEC = 3600;
+
+function vnDay(sec) {
+  return new Date(sec * 1000 + 7 * 3600e3).toISOString().slice(0, 10);
+}
+
+// Đọc mọi dòng của khoảng [start, end] (giây). `readPage(pageNum, start, end)`
+// gọi Shopee một trang, trả { status: 'ok', batch, total } hoặc
+// { status: 'needs_verify' | 'failed', reason }. Khoảng nào Shopee báo nhiều
+// dòng hơn một truy vấn đọc được thì chẻ đôi rồi đọc từng nửa. Hai nửa dùng
+// CHUNG mốc giữa (chưa rõ Shopee có tính dòng nằm đúng mốc cuối không) nên
+// dòng ở mốc đó có thể về hai lần — lọc trùng bằng `keyOf`.
+async function readRange(readPage, {
+  start, end, pageSize, maxPages, delayMs, keyOf, name, log,
+}) {
+  const cap = Math.min(pageSize * SHOPEE_MAX_PAGE, SHOPEE_MAX_ROWS);
+  const rows = [];
+  const seen = new Set();
+
+  const take = (batch) => {
+    for (const row of batch) {
+      const key = keyOf(row);
+      if (key) {
+        if (seen.has(key)) continue;
+        seen.add(key);
+      }
+      rows.push(row);
+    }
+  };
+
+  async function split(s, e, why) {
+    const mid = Math.floor((s + e) / 2);
+    if (log) log(`[shopee-report] ${name} ${vnDay(s)}→${vnDay(e)}: ${why} — chia đôi khoảng đọc`);
+    const first = await read(s, mid);
+    if (first.status !== 'ok') return first;
+    await sleep(delayMs);
+    return read(mid, e);
+  }
+
+  async function read(s, e) {
+    let got = 0;
+    let total = null;
+    for (let pageNum = 1; pageNum <= maxPages; pageNum++) {
+      const r = await readPage(pageNum, s, e);
+      if (r.status !== 'ok') {
+        // Lưới thứ hai: trần thật thấp hơn mức đã đo thì Shopee vẫn chặn giữa chừng.
+        if (r.status === 'failed' && PAGE_LIMIT_RE.test(r.reason || '') && e - s > MIN_SPLIT_SEC) {
+          return split(s, e, `Shopee chặn ở trang ${pageNum}`);
+        }
+        return r;
+      }
+      total = r.total;
+      if (pageNum === 1 && total > cap) {
+        if (e - s > MIN_SPLIT_SEC) return split(s, e, `${total} dòng > ${cap} dòng/lượt đọc`);
+        return { status: 'failed', reason: `${name} ${vnDay(s)}: ${total} dòng trong chưa tới 1 giờ, vượt trần Shopee ${cap} dòng/lượt đọc` };
+      }
+      got += r.batch.length;
+      take(r.batch);
+      if (log) log(`[shopee-report] ${name} trang ${pageNum}: ${r.batch.length} dòng (${got}/${total})`);
+      if (!r.batch.length || got >= total || r.batch.length < pageSize) break;
+      await sleep(delayMs);
+    }
+    if (total != null && got < total) {
+      return { status: 'failed', reason: `${name}: phân trang dừng ở ${got}/${total} dòng` };
+    }
+    return { status: 'ok' };
+  }
+
+  const outcome = await read(start, end);
+  return { ...outcome, rows };
+}
+
 async function fetchConversionReport(ctx, {
   days = 90,
   pageSize = 100,
@@ -41,8 +122,6 @@ async function fetchConversionReport(ctx, {
     }
 
     const window = reportWindow(days);
-    const rows = [];
-    let total = null;
     let lastReportDate = null;
     let lastUpdateTime = null;
 
@@ -68,7 +147,7 @@ async function fetchConversionReport(ctx, {
     lastReportDate = updated?.data?.conversionReportUpdateTime?.lastReportDate || null;
     lastUpdateTime = updated?.data?.conversionReportUpdateTime?.lastUpdateTime || null;
 
-    for (let pageNum = 1; pageNum <= maxPages; pageNum++) {
+    const readPage = async (pageNum, start, end) => {
       const result = await evaluateWithin(page, async (q) => {
         const url = `/api/v3/report/list?page_size=${q.pageSize}&page_num=${q.pageNum}`
           + `&purchase_time_s=${q.start}&purchase_time_e=${q.end}&version=1`;
@@ -78,33 +157,35 @@ async function fetchConversionReport(ctx, {
         } catch (e) {
           return { status: 0, error: String(e?.message || e) };
         }
-      }, { pageSize, pageNum, start: window.start, end: window.end }, evalTimeoutMs);
+      }, { pageSize, pageNum, start, end }, evalTimeoutMs);
 
       if (isAntiBotBody(result.json)) {
-        return { status: 'needs_verify', rows, reason: ANTI_BOT_REASON };
+        return { status: 'needs_verify', reason: ANTI_BOT_REASON };
       }
       if (isBlockedState(page.url(), result)) {
-        return { status: 'needs_verify', rows, reason: `blocked while reading report (http ${result.status}, code ${result.json?.code})` };
+        return { status: 'needs_verify', reason: `blocked while reading report (http ${result.status}, code ${result.json?.code})` };
       }
       if (result.status !== 200 || result.json?.code !== 0) {
-        return { status: 'failed', rows, reason: result.json?.msg || result.error || `report HTTP ${result.status}` };
+        return { status: 'failed', reason: result.json?.msg || result.error || `report HTTP ${result.status}` };
       }
 
       const data = result.json?.data || {};
-      const batch = Array.isArray(data.list) ? data.list : [];
-      total = Number(data.total_count || 0);
-      rows.push(...batch);
-      if (log) log(`[shopee-report] trang ${pageNum}: ${batch.length} dòng (${rows.length}/${total})`);
-      if (!batch.length || rows.length >= total || batch.length < pageSize) break;
-      await sleep(delayMs);
-    }
+      return {
+        status: 'ok',
+        batch: Array.isArray(data.list) ? data.list : [],
+        total: Number(data.total_count || 0),
+      };
+    };
 
-    if (total != null && rows.length < total) {
-      return { status: 'failed', rows, reason: `report pagination stopped at ${rows.length}/${total} rows` };
-    }
+    const read = await readRange(readPage, {
+      start: window.start, end: window.end, pageSize, maxPages, delayMs,
+      keyOf: (row) => row?.checkout_id, name: 'đơn', log,
+    });
+    const { rows } = read;
+    if (read.status !== 'ok') return { status: read.status, rows, reason: read.reason };
 
     return {
-      status: 'ok', rows, total: total ?? rows.length,
+      status: 'ok', rows, total: rows.length,
       from: new Date(window.start * 1000).toISOString(),
       to: new Date(window.end * 1000).toISOString(),
       last_report_date: lastReportDate,
@@ -143,10 +224,8 @@ async function fetchClickReport(ctx, {
     }
 
     const window = reportWindow(days);
-    const rows = [];
-    let total = null;
 
-    for (let pageNum = 1; pageNum <= maxPages; pageNum++) {
+    const readPage = async (pageNum, start, end) => {
       const result = await evaluateWithin(page, async (q) => {
         const url = `/api/v1/click_report/list?page_size=${q.pageSize}&page_num=${q.pageNum}`
           + `&click_time_s=${q.start}&click_time_e=${q.end}`;
@@ -156,40 +235,43 @@ async function fetchClickReport(ctx, {
         } catch (e) {
           return { status: 0, error: String(e?.message || e) };
         }
-      }, { pageSize, pageNum, start: window.start, end: window.end }, evalTimeoutMs);
+      }, { pageSize, pageNum, start, end }, evalTimeoutMs);
 
       if (isAntiBotBody(result.json)) {
-        return { status: 'needs_verify', rows, reason: ANTI_BOT_REASON };
+        return { status: 'needs_verify', reason: ANTI_BOT_REASON };
       }
       if (isBlockedState(page.url(), result)) {
-        return { status: 'needs_verify', rows, reason: `blocked while reading click report (http ${result.status}, code ${result.json?.code})` };
+        return { status: 'needs_verify', reason: `blocked while reading click report (http ${result.status}, code ${result.json?.code})` };
       }
       if (result.status !== 200 || result.json?.code !== 0) {
-        return { status: 'failed', rows, reason: result.json?.msg || result.error || `click report HTTP ${result.status}` };
+        return { status: 'failed', reason: result.json?.msg || result.error || `click report HTTP ${result.status}` };
       }
 
       const data = result.json?.data || {};
       const batch = Array.isArray(data.list) ? data.list : [];
-      total = Number(data.total_count || 0);
-      rows.push(...batch.map((row) => ({
-        click_id: row.click_id,
-        click_time: row.click_time,
-        sub_id: row.sub_id,
-        click_region: row.click_region,
-        referrer: row.referrer,
-        direct_source: row.direct_source,
-      })));
-      if (log) log(`[shopee-report] click trang ${pageNum}: ${batch.length} dòng (${rows.length}/${total})`);
-      if (!batch.length || rows.length >= total || batch.length < pageSize) break;
-      await sleep(delayMs);
-    }
+      return {
+        status: 'ok',
+        batch: batch.map((row) => ({
+          click_id: row.click_id,
+          click_time: row.click_time,
+          sub_id: row.sub_id,
+          click_region: row.click_region,
+          referrer: row.referrer,
+          direct_source: row.direct_source,
+        })),
+        total: Number(data.total_count || 0),
+      };
+    };
 
-    if (total != null && rows.length < total) {
-      return { status: 'failed', rows, reason: `click pagination stopped at ${rows.length}/${total} rows` };
-    }
+    const read = await readRange(readPage, {
+      start: window.start, end: window.end, pageSize, maxPages, delayMs,
+      keyOf: (row) => row.click_id, name: 'click', log,
+    });
+    const { rows } = read;
+    if (read.status !== 'ok') return { status: read.status, rows, reason: read.reason };
 
     return {
-      status: 'ok', rows, total: total ?? rows.length,
+      status: 'ok', rows, total: rows.length,
       from: new Date(window.start * 1000).toISOString(),
       to: new Date(window.end * 1000).toISOString(),
     };

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "channel-worker",
-  "version": "2.5.148",
+  "version": "2.5.149",
   "description": "Channel Manager worker daemon — runs on remote machines to execute video pipeline jobs",
   "main": "lib/daemon.js",
   "bin": {