benchmark-collector 1.4.0 → 1.5.1

package/README.md

@@ -9,7 +9,8 @@
 - **零闪烁采集** — 使用 CDP 直接截图 + Runtime.evaluate，不触发 Playwright 内部钩子
 - **iframe 深度采集** — 通过 CDP frame targeting 采集页面内所有 iframe（含跨域）的 DOM 和可交互元素，支持 ERP 等多 iframe 页面
 - **Cookie 自动注入** — 从本地 Chrome 提取并解密 Cookie，保留登录态（支持 macOS / Windows / Linux）
-- **对话采集** — 支持采集客服系统中的对话消息
+- **对话采集** — 支持 DOM 检测和 API 拦截两种模式采集客服对话消息，内置平台预设选择器自动匹配，消息自动去重
+- **平台预设** — 内置常见客服平台（抖店、拼多多等）的对话容器选择器，无需手动指定
 - **长时间录制优化** — 写入节流、原子保存、CDP 自动清理，支持数小时连续采集
 - **增量保存** — 每步操作实时保存，进程异常退出也不丢数据
 - **跨平台** — 支持 macOS / Windows / Linux
@@ -31,14 +32,20 @@ npm install benchmark-collector
 ### CLI 方式
 
 ```bash
-# 基本用法（自动提取本地 Chrome Cookie 保留登录态）
+# 基本用法（自动注入本地 Chrome Cookie 保留登录态）
 benchmark-collect --task "处理退款" --url "https://mms.pinduoduo.com"
 
-# 采集客服对话（指定对话容器选择器）
-benchmark-collect --task "客服对话" --url "https://im.jinritemai.com/pc_seller_v2/main/workspace" --chat-selector ".msg-list"
+# 采集抖店客服对话（已内置预设，无需指定 --chat-selector）
+benchmark-collect --task "客服对话" --url "https://im.jinritemai.com/pc_seller_v2/main/workspace" --cookie
 
-# 跳过 Cookie 注入（未登录状态）
-benchmark-collect --task "测试" --url "https://www.example.com" --no-cookie
+# 采集拼多多客服对话（已内置预设，无需指定 --chat-selector）
+benchmark-collect --task "客服对话" --url "https://mms.pinduoduo.com/chat-merchant/index.html" --cookie
+
+# 手动指定对话容器选择器（覆盖平台预设）
+benchmark-collect --task "客服对话" --url "https://example.com/chat" --chat-selector ".my-chat-list"
+
+# 使用 API 拦截模式采集对话（适用于动态加载的 IM 系统）
+benchmark-collect --task "客服对话" --url "https://example.com" --chat-api "im/message/list"
 
 # 开启 Trace 录制（⚠️ 长时间采集可能产生大文件）
 benchmark-collect --task "测试" --url "https://www.example.com" --trace
@@ -50,15 +57,39 @@ benchmark-collect --task "测试" --url "https://www.example.com" --trace
 |------|------|--------|
 | `--task` | 任务名称，用于目录命名 | `未命名任务` |
 | `--url` | 起始 URL | `https://www.example.com` |
-| `--chat-selector` | 对话容器的 CSS 选择器 | 自动检测 |
-| `--no-cookie` | 跳过本地 Chrome Cookie 注入 | 默认注入 |
+| `--chat-selector` | 对话容器的 CSS 选择器（已内置常见平台预设，通常无需手动指定） | 自动匹配或自动检测 |
+| `--chat-api` | API 拦截模式的 URL 匹配模式 | 无 |
+| `--cookie` | 从本地 Chrome 提取 Cookie 并注入 | 默认关闭 |
 | `--trace` | 开启 Playwright Trace 录制 | 默认关闭 |
 
-启动后浏览器会自动打开，**手动操作页面**，所有操作会被实时录制。操作完成后按 `Ctrl+C` 结束采集。
+### 平台预设选择器
+
+以下平台已内置对话容器选择器，使用时无需手动指定 `--chat-selector`：
+
+| 平台 | URL 特征 | 预设选择器 |
+|------|----------|------------|
+| 抖店（飞鸽 IM） | `im.jinritemai.com` | `.messageList` |
+| 拼多多（商家后台） | `mms.pinduoduo.com` | `#msgListContainer` |
+
+> 如需新增平台预设，编辑 `src/collector.ts` 中的 `PLATFORM_CHAT_SELECTORS` 映射表即可。
+
+### 对话采集模式
+
+工具支持两种对话采集模式：
+
+1. **DOM 检测模式**（默认）：从页面 DOM 中提取对话消息
+   - 优先使用 `--chat-selector` 或平台预设选择器精确定位
+   - 未指定时自动评分检测最佳对话容器
+   - 内置消息去重：过滤重复内容、时间戳噪声、加载提示等
+
+2. **API 拦截模式**（`--chat-api`）：拦截 IM 系统的网络请求，从接口返回数据中提取消息
+   - 适用于消息通过 API 动态加载的 IM 系统
+   - 支持自动分页和消息累积
+   - 消息按时间排序并自动去重
 
 ### Cookie 自动注入
 
-工具默认会从本地 Chrome 浏览器提取目标站点的 Cookie 并注入，实现免登录采集。
+使用 `--cookie` 参数时，工具会从本地 Chrome 浏览器提取目标站点的 Cookie 并注入，实现免登录采集。
 
 - **macOS**: 通过 Keychain 获取加密密钥，支持 Chrome 127+ 新版加密格式
 - **Windows**: 通过 DPAPI + AES-256-GCM 解密
@@ -74,9 +105,10 @@ benchmark-collect --task "测试" --url "https://www.example.com" --trace
 import { BenchmarkCollector } from 'benchmark-collector';
 
 const collector = new BenchmarkCollector('处理退款', 'https://mms.pinduoduo.com', 'output', {
-  chatSelector: '.msg-list',  // 可选：对话选择器
-  noCookie: false,             // 可选：跳过 Cookie 注入
-  trace: false,                // 可选：开启 Trace
+  chatSelector: '.custom-chat',   // 可选：覆盖平台预设选择器
+  chatApiPattern: 'im/msg/list',  // 可选：API 拦截模式
+  cookie: true,                   // 可选：注入本地 Chrome Cookie
+  trace: false,                   // 可选：开启 Trace 录制
 });
 await collector.start();
 ```
@@ -90,6 +122,7 @@ output/处理退款_2026-03-22T10-00-00/
 ├── session.json              # 完整会话记录（元数据 + 所有步骤）
 ├── recorded-script.js        # 可直接 node 执行的 Playwright 回放脚本
 ├── trace.zip                 # Playwright Trace 文件（仅 --trace 模式）
+├── history-{id}.json         # API 拦截模式的累积对话记录
 └── steps/
     ├── 0000_clean.png        # 纯净截图
     ├── 0000_som.png          # SoM 标注截图
@@ -107,11 +140,12 @@ output/处理退款_2026-03-22T10-00-00/
 | `session.json` | 会话元数据、每步的 action / selector / timestamp / URL | 训练数据主文件 |
 | `recorded-script.js` | Codegen 原始代码片段（干净的操作序列） | 算法训练 action 数据、集成到测试框架 |
 | `trace.zip` | Playwright Trace（仅 `--trace` 模式） | `npx playwright show-trace trace.zip` 可视化回放 |
+| `history-{id}.json` | API 拦截模式累积的对话消息 | 客服对话训练数据（API 模式） |
 | `*_clean.png` | 纯净页面截图 | 视觉模型输入 |
 | `*_som.png` | SoM 标注截图（彩色编号框标记可交互元素） | 视觉 grounding 训练 |
 | `*_elements.json` | 可交互元素列表（tag / role / text / bbox / attributes） | 结构化 grounding 数据 |
 | `*_dom.html` | 页面 DOM 快照（含 iframe 内容） | DOM-based agent 训练 |
-| `*_conversation.json` | 对话消息（角色 / 内容 / 时间戳） | 客服对话训练数据 |
+| `*_conversation.json` | 对话消息（角色 / 内容 / 时间戳 / 附件） | 客服对话训练数据（DOM 模式） |
 
 ## 回放与调试
 

package/dist/scripts/collect.js

@@ -13,6 +13,7 @@ function hasFlag(name) {
 const task = getArg('task', '未命名任务');
 const url = getArg('url', 'https://www.example.com');
 const chatSelector = getArg('chat-selector', '');
+const chatApi = getArg('chat-api', '');
 const cookie = hasFlag('cookie');
 const trace = hasFlag('trace');
 console.log(`Benchmark 数据采集器`);
@@ -20,12 +21,15 @@ console.log(`  任务: ${task}`);
 console.log(`  URL:  ${url}`);
 if (chatSelector)
     console.log(`  对话选择器: ${chatSelector}`);
+if (chatApi)
+    console.log(`  对话接口: ${chatApi}`);
 if (cookie)
     console.log(`  Cookie: 自动从本地 Chrome 提取并注入`);
 if (trace)
     console.log(`  Trace: 开启（⚠️ 长时间采集可能产生大文件）`);
 const collector = new collector_1.BenchmarkCollector(task, url, 'output', {
     chatSelector: chatSelector || undefined,
+    chatApiPattern: chatApi || undefined,
     cookie,
     trace,
 });

package/dist/src/api-conversation-capture.d.ts

@@ -0,0 +1,115 @@
+/**
+ * 通过拦截网络 API 响应来采集对话数据。
+ *
+ * 适用场景：
+ * - DOM 检测不准确时，直接从接口获取结构化数据
+ * - 接口分页加载（如 拼多多 plateau/chat/list），需要累积多次响应
+ * - 数据比 DOM 更完整（含历史消息、被折叠的消息等）
+ *
+ * 自动翻页：
+ *   检测到首次请求后，自动读取 start_msg_id 对应字段，
+ *   用响应中最早消息的 msg_id 作为下一页的 start_msg_id，
+ *   循环拉取直到没有更多消息。
+ *
+ * 使用方式：
+ *   --chat-api "plateau/chat/list"          匹配 URL 包含该字符串的响应
+ *   --chat-api "/api/im/messages"           支持多种 IM 接口
+ */
+import { ChatMessage } from './types';
+/** 捕获的请求模板（用于重放翻页） */
+export interface CapturedRequest {
+    url: string;
+    method: string;
+    headers: Record<string, string>;
+    postData?: string;
+    /** 会话标识（如 data.list.with.id） */
+    conversationId?: string;
+}
+/** processResponse 的返回结果 */
+export interface ProcessResult {
+    /** 本次响应新增的消息数 */
+    newMessageCount: number;
+    /** 本次响应的消息总数（含已有重复） */
+    responseMessageCount: number;
+    /** 最早消息的 ID（用作下一页 start_msg_id） */
+    oldestMsgId?: string;
+    /** 是否还有更多历史消息（newCount > 0 且非全部重复） */
+    hasMore: boolean;
+}
+/** API 对话采集器 */
+export declare class ApiConversationCapture {
+    /** URL 匹配模式 */
+    private pattern;
+    /** 已采集的消息（按 ID 去重） */
+    private messageMap;
+    /** 原始响应缓存（用于调试） */
+    private rawResponses;
+    /** 变更回调 */
+    private onChange?;
+    /** 捕获的请求模板（首次匹配的请求，用于翻页重放） */
+    capturedRequest?: CapturedRequest;
+    /** 当前正在自动翻页 */
+    private _paginating;
+    constructor(pattern: string, onChange?: () => void);
+    /** 检查 URL 是否匹配 */
+    matches(url: string): boolean;
+    get isPaginating(): boolean;
+    set isPaginating(v: boolean);
+    /** 保存请求模板 */
+    saveRequestTemplate(req: CapturedRequest): void;
+    /** 处理一个 API 响应体，返回翻页信息 */
+    processResponse(url: string, body: string): ProcessResult;
+    /**
+     * 构建翻页请求的 postData。
+     * 在原始请求体中替换 start_msg_id 为新的 cursor。
+     */
+    buildPageRequestBody(oldestMsgId: string): string | undefined;
+    /** 递归替换分页 cursor 字段 */
+    private replacePageCursor;
+    /** 获取累积的完整对话（按时间排序，去重后） */
+    getMessages(): ChatMessage[];
+    /** 获取消息数量 */
+    get messageCount(): number;
+    /** 获取诊断信息 */
+    getDiagnostics(): {
+        pattern: string;
+        responseCount: number;
+        messageCount: number;
+        conversationId: string | undefined;
+        lastResponseTime: number | null;
+    };
+    /** 检测响应中是否有 has_more 字段 */
+    private detectHasMore;
+    /** 在原始 JSON 中找到消息数组（未经解析的原始对象），用于提取 pre_msg_id 等 */
+    private findRawMessageArray;
+    /**
+     * 递归搜索 JSON 中的消息数组。
+     * 支持常见 IM 接口返回格式：
+     *   { data: { list: [...] } }
+     *   { result: { messages: [...] } }
+     *   { data: { chat_list: [...] } }
+     *   { messages: [...] }
+     *   [...] (直接数组)
+     */
+    private extractMessages;
+    /** 尝试将数组解析为消息列表 */
+    private tryParseMessageArray;
+    /** 检查一个对象是否像消息 */
+    private looksLikeMessage;
+    /** 解析单条消息 */
+    private parseOneMessage;
+    /** 提取消息文本内容 */
+    private extractContent;
+    /** 提取角色 */
+    private extractRole;
+    /** 提取时间 */
+    private extractTime;
+    /** 从 API 消息对象中提取媒体附件 */
+    private extractMediaFromApi;
+}
+/**
+ * 从请求体中提取会话 ID。
+ * 支持：data.list.with.id（拼多多）, conversation_id, session_id 等
+ */
+export declare function extractConversationId(postData: string): string | undefined;
+//# sourceMappingURL=api-conversation-capture.d.ts.map