deepspider 0.3.1 → 0.4.0

package/.env.example

@@ -5,6 +5,9 @@ DEEPSPIDER_API_KEY=your_api_key_here
 DEEPSPIDER_BASE_URL=https://api.openai.com/v1
 DEEPSPIDER_MODEL=gpt-4o
 
+# 浏览器持久化（可选，保持登录态）
+# DEEPSPIDER_PERSIST_BROWSER=true
+
 # LangSmith 追踪配置（可选）
 LANGSMITH_TRACING=true
 LANGSMITH_API_KEY=your_langsmith_api_key_here

package/README.md

@@ -5,6 +5,8 @@
 
 > 智能爬虫工程平台 - 基于 DeepAgents + Patchright 的 AI 爬虫 Agent
 
+[English](README_EN.md)
+
 从 JS 逆向到完整爬虫脚本的一站式 AI Agent 解决方案。
 
 ## 特性
@@ -53,6 +55,7 @@ DeepSpider 需要配置 LLM API 才能运行。支持任何兼容 OpenAI 格式
 | `apiKey` | `DEEPSPIDER_API_KEY` | API 密钥 |
 | `baseUrl` | `DEEPSPIDER_BASE_URL` | API 地址 |
 | `model` | `DEEPSPIDER_MODEL` | 模型名称 |
+| `persistBrowserData` | `DEEPSPIDER_PERSIST_BROWSER` | 持久化浏览器数据（保持登录态） |
 
 优先级：环境变量 > 配置文件 (`~/.deepspider/config/settings.json`) > 默认值
 
@@ -92,6 +95,9 @@ deepspider config set model deepseek-chat
 # 启动 Agent - 指定目标网站
 deepspider https://example.com
 
+# 启动 Agent - 持久化浏览器数据（一次性）
+deepspider --persist https://example.com
+
 # 启动 Agent - 纯交互模式
 deepspider
 
@@ -103,6 +109,9 @@ deepspider config list            # 查看所有配置
 deepspider config set apiKey sk-xxx
 deepspider config set model gpt-4o
 
+# 持久化浏览器数据（需要登录的网站，下次启动自动恢复登录态）
+deepspider config set persistBrowserData true
+
 # 检查更新
 deepspider update
 ```
@@ -132,11 +141,15 @@ pnpm test
 
 ### 使用流程
 
-1. **启动**: `pnpm run agent https://target-site.com`
+1. **启动**: `deepspider https://target-site.com`
 2. **等待**: 浏览器打开，系统自动记录数据（不消耗 API）
 3. **操作**: 在网站上登录、翻页、触发目标请求
 4. **选择**: 点击面板的选择按钮 ⦿，进入选择模式
-5. **分析**: 点击目标数据，确认后发送给 Agent
+5. **分析**: 点击目标数据元素，选择快捷操作：
+   - **追踪数据来源** — 定位选中数据的 API 接口
+   - **分析加密参数** — 识别并逆向加密参数
+   - **完整分析并生成爬虫** — 端到端：逆向、验证、生成代码
+   - **提取页面结构** — 分析 DOM 结构，生成选择器和字段配置
 6. **对话**: 在面板或 CLI 继续提问，深入分析
 
 ## 架构
@@ -150,19 +163,14 @@ pnpm test
        ┌───────────────┼───────────────┐
        ▼               ▼               ▼
 ┌─────────────┐ ┌─────────────┐ ┌─────────────┐
-│static-agent │ │captcha-agent│ │anti-detect  │
-│ 静态分析    │ │ 验证码处理  │ │ 反检测      │
+│reverse-agent│ │captcha-agent│ │anti-detect  │
+│ 逆向分析    │ │ 验证码处理  │ │ 反检测      │
 └──────┬──────┘ └─────────────┘ └─────────────┘
        ▼
 ┌─────────────┐
-│dynamic-agent│
-│ 动态调试    │
-└──────┬──────┘
-       ▼
-┌─────────────┐     ┌─────────────┐
-│sandbox-agent│ ──▶ │js2python    │
-│ 沙箱验证    │     │ 代码转换    │
-└─────────────┘     └─────────────┘
+│js2python    │
+│ 代码转换    │
+└─────────────┘
 ```
 
 ### 子代理体系
@@ -170,9 +178,7 @@ pnpm test
 | 子代理 | 职责 | 核心工具 |
 |--------|------|----------|
 | crawler | 爬虫编排：整合各模块、生成完整脚本 | file, store, crawler |
-| static | 静态分析：解包、反混淆、加密定位 | webcrack, deobfuscate, analyze |
-| dynamic | 动态分析：浏览器控制、Hook、数据采集 | browser, debug, capture |
-| sandbox | 沙箱执行：环境补全、代码执行 | sandbox, env, patch |
+| reverse | 逆向分析全流程：反混淆、断点调试、Hook、沙箱验证、补环境 | tracing, deobfuscate, debug, capture, sandbox, env |
 | js2python | JS转Python：加密代码转换、验证 | python, analyzer |
 | captcha | 验证码处理：OCR、滑块、点选 | captcha_ocr, captcha_slide |
 | anti-detect | 反检测：指纹管理、代理池 | proxy, fingerprint |

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "deepspider",
-  "version": "0.3.1",
+  "version": "0.4.0",
   "description": "智能爬虫工程平台 - 基于 DeepAgents + Patchright 的 AI 爬虫 Agent",
   "type": "module",
   "main": "src/index.js",
@@ -19,11 +19,11 @@
     "cli": "node bin/cli.js",
     "mcp": "node src/mcp/server.js",
     "agent": "node bin/cli.js",
-    "test": "node --test test/",
+    "test": "node --test 'test/*.test.js'",
     "lint": "eslint src/",
     "lint:fix": "eslint src/ --fix",
     "setup:crypto": "uv venv .venv --python 3.11 2>/dev/null || true && uv pip install -r requirements-crypto.txt",
-    "postinstall": "patchright install chromium && npm rebuild isolated-vm 2>/dev/null || true",
+    "postinstall": "patchright install chromium && npm rebuild isolated-vm better-sqlite3 2>/dev/null || true",
     "prepare": "husky"
   },
   "keywords": [
@@ -54,20 +54,22 @@
     "@babel/parser": "^7.28.6",
     "@babel/traverse": "^7.28.6",
     "@babel/types": "^7.28.6",
-    "@langchain/anthropic": "^1.3.12",
-    "@langchain/core": "^1.1.17",
+    "@langchain/anthropic": "^1.3.17",
+    "@langchain/core": "^1.1.24",
     "@langchain/langgraph": "^1.1.2",
+    "@langchain/langgraph-checkpoint-sqlite": "^1.0.1",
     "@langchain/openai": "^1.2.3",
     "@modelcontextprotocol/sdk": "^1.26.0",
+    "better-sqlite3": "^12.6.2",
     "crypto-js": "^4.2.0",
-    "deepagents": "^1.6.0",
+    "deepagents": "^1.7.6",
     "dotenv": "^17.2.3",
     "hono": "4.11.7",
     "isolated-vm": "^6.0.2",
     "js-md5": "^0.8.3",
     "js-sha256": "^0.11.1",
     "jsencrypt": "^3.5.4",
-    "langchain": "^1.2.15",
+    "langchain": "^1.2.24",
     "marked": "^17.0.1",
     "patchright": "^1.57.0",
     "sm-crypto": "^0.4.0",

package/src/agent/core/PanelBridge.js

@@ -1,22 +1,12 @@
 /**
  * DeepSpider - 面板通信桥接
- * 处理与浏览器面板的消息通信
+ * 处理与浏览器面板的结构化消息通信
  */
 
 export class PanelBridge {
   constructor(browserGetter, debugFn = () => {}) {
     this.getBrowser = browserGetter;
     this.debug = debugFn;
-    this.textBuffer = '';
-    this.hasStartedAssistantMsg = false;
-  }
-
-  /**
-   * 重置状态
-   */
-  reset() {
-    this.textBuffer = '';
-    this.hasStartedAssistantMsg = false;
   }
 
   /**
@@ -28,10 +18,16 @@ export class PanelBridge {
     if (!cdp) return null;
 
     try {
-      const result = await cdp.send('Runtime.evaluate', {
-        expression: code,
-        returnByValue: true,
-      });
+      // 3s 超时：断点暂停时 Runtime.evaluate 会永远挂住，必须限时
+      const result = await Promise.race([
+        cdp.send('Runtime.evaluate', {
+          expression: code,
+          returnByValue: true,
+        }),
+        new Promise((_, reject) =>
+          setTimeout(() => reject(new Error('evaluateInPage timeout (debugger paused?)')), 3000)
+        ),
+      ]);
       return result.result?.value;
     } catch (e) {
       this.debug('evaluateInPage 失败:', e.message);
@@ -40,81 +36,51 @@ export class PanelBridge {
   }
 
   /**
-   * 发送消息到前端面板
+   * 等待面板 JS 初始化完成
    */
-  async sendToPanel(role, content) {
-    if (!content?.trim()) return;
-
-    const browser = this.getBrowser();
-    const page = browser?.getPage?.();
-    if (!page) return;
-
-    try {
-      const escaped = JSON.stringify(content.trim());
-      const code = `window.__deepspider__?.addMessage?.('${role}', ${escaped})`;
-      await this.evaluateInPage(code);
-    } catch {
-      // ignore
+  async waitForPanel(timeoutMs = 5000) {
+    const start = Date.now();
+    while (Date.now() - start < timeoutMs) {
+      const ready = await this.evaluateInPage('!!window.__deepspider__?.addStructuredMessage');
+      if (ready) return true;
+      await new Promise(r => setTimeout(r, 200));
     }
+    return false;
   }
 
   /**
-   * 累积文本到缓冲区（用于 LLM 流式输出）
+   * 批量发送消息到面板（单次 CDP 调用）
    */
-  async appendToPanel(text) {
-    if (!text) return;
-    this.textBuffer += text;
-
-    // 每累积一定量或遇到换行时刷新
-    if (this.textBuffer.length > 200 || text.includes('\n')) {
-      await this.flushPanelText();
-    }
+  async sendBatch(messages) {
+    if (!messages?.length) return;
+    const escaped = JSON.stringify(messages);
+    await this.evaluateInPage(
+      `(function(msgs){var ds=window.__deepspider__;if(!ds)return;msgs.forEach(function(m){ds.addStructuredMessage?.(m.type,m.data);})})(${escaped})`
+    );
   }
 
   /**
-   * 刷新累积的文本到面板
+   * 发送结构化消息到前端面板
    */
-  async flushPanelText() {
-    if (!this.textBuffer.trim()) return;
-
-    const browser = this.getBrowser();
-    const page = browser?.getPage?.();
-    if (!page) {
-      this.textBuffer = '';
-      return;
-    }
-
+  async sendMessage(type, data) {
     try {
-      const content = this.textBuffer.trim();
-      const escaped = JSON.stringify(content);
-
-      if (!this.hasStartedAssistantMsg) {
-        const code = `(function() {
-          const fn = window.__deepspider__?.addMessage;
-          if (typeof fn === 'function') {
-            fn('assistant', ${escaped});
-            return { ok: true };
-          }
-          return { ok: false };
-        })()`;
-        await this.evaluateInPage(code);
-        this.hasStartedAssistantMsg = true;
-      } else {
-        const code = `(function() {
-          const fn = window.__deepspider__?.appendToLastMessage;
-          if (typeof fn === 'function') {
-            fn('assistant', ${escaped});
-            return { ok: true };
-          }
-          return { ok: false };
-        })()`;
-        await this.evaluateInPage(code);
-      }
+      const escapedType = JSON.stringify(type);
+      const escapedData = JSON.stringify(data);
+      await this.evaluateInPage(
+        `window.__deepspider__?.addStructuredMessage?.(${escapedType}, ${escapedData})`
+      );
     } catch {
       // ignore
     }
+  }
 
-    this.textBuffer = '';
+  /**
+   * 按 role 发送消息到前端面板
+   */
+  async sendToPanel(role, content) {
+    if (!content?.trim()) return;
+    const type = role === 'system' ? 'system' : role === 'user' ? 'user' : 'text';
+    await this.sendMessage(type, { content: content.trim() });
   }
 
   /**
@@ -125,9 +91,21 @@ export class PanelBridge {
   }
 
   /**
-   * 完成消息，触发渲染
+   * 删除面板中最后一条 assistant 消息
+   * 用于 interrupt 场景：LLM 在调用 interrupt 工具前输出的冗余描述文字需要清除
    */
-  async finalizeMessage(role) {
-    await this.evaluateInPage(`window.__deepspider__?.finalizeMessage?.("${role}")`);
+  async removeLastAssistantMessage() {
+    await this.evaluateInPage(`
+      (function() {
+        const ds = window.__deepspider__;
+        if (!ds?.chatMessages) return;
+        for (let i = ds.chatMessages.length - 1; i >= 0; i--) {
+          if (ds.chatMessages[i].role === 'assistant') {
+            ds.chatMessages.splice(i, 1);
+            break;
+          }
+        }
+      })()
+    `);
   }
 }