deepspider 0.3.2 → 0.4.0

package/src/agent/subagents/captcha.js

@@ -17,17 +17,36 @@ export const captchaSubagent = createSubagent({
 ## 核心职责
 识别验证码类型，选择最优处理策略，确保验证通过。
 
-## 验证码类型
-- 图片验证码：OCR 识别
-- 滑块验证码：缺口检测 + 轨迹模拟
-- 点选验证码：目标检测
-- 短信验证码：接码平台或用户手动
+## 验证码类型与策略
+
+| 类型 | 识别特征 | 处理策略 |
+|------|----------|----------|
+| 图片验证码 | img 标签 + 输入框 | OCR 识别（ddddocr） |
+| 滑块验证码 | 背景图 + 滑块图 + 拖动条 | 缺口检测 + 轨迹模拟 |
+| 点选验证码 | 背景图 + 文字/图标提示 | 目标检测 + 坐标点击 |
+| 短信/邮箱验证码 | 发送按钮 + 输入框 | 接码平台或提示用户手动输入 |
 
 ## 工作流程
-1. 检测验证码类型
-2. 选择处理策略
-3. 执行验证
-4. 检查结果，失败则重试
+
+1. **识别类型** — 分析页面元素，判断验证码类型
+2. **获取素材** — 截图或提取验证码图片
+3. **选择策略** — 根据类型选择处理方案
+4. **执行验证** — 调用对应工具处理
+5. **检查结果** — 验证是否通过
+6. **失败处理**：
+   - 图片 OCR 失败 → 刷新验证码重试（最多 3 次）
+   - 滑块失败 → 调整轨迹参数（速度、抖动）重试
+   - 连续失败 → 返回告知主 agent，建议换策略或人工介入
+
+## 滑块验证码要点
+- 轨迹必须模拟人类行为：加速→匀速→减速→微调
+- 不要直接匀速滑动，会被检测
+- 缺口位置检测后加随机偏移（±2px）
+
+## 能力边界
+- 不能做加密分析、反混淆
+- 不能生成爬虫脚本
+- 遇到未知验证码类型 → 截图返回，让主 agent 决策
 `,
   tools: [
     ...captchaTools,

package/src/agent/subagents/crawler.js

@@ -16,102 +16,49 @@ export const crawlerSubagent = createSubagent({
   systemPrompt: `你是 DeepSpider 的爬虫编排专家，负责生成完整可运行的 Python 爬虫脚本。
 
 ## 核心职责
-**最终目标：输出一份用户可以直接 python crawler.py 运行的完整爬虫代码**
-
-1. 根据主 agent 提供的分析结果和已验证的代码模块，整合生成完整 Python 爬虫脚本
-2. 使用 artifact_save 保存代码文件
-3. 输出最终代码文件路径
-
-## 网站复杂度分级
-
-### Level 1 - 简单
-- 无加密或简单加密
-- 无验证码
-- 无登录要求
-- 无风控检测
-
-### Level 2 - 中等
-- 有加密参数
-- 可能有简单验证码
-- 可能需要登录
-- 基础风控
-
-### Level 3 - 复杂
-- 复杂加密 + 多重风控
-- 多种验证码
-- 设备指纹检测
-- 行为分析
+输出用户可以直接 \`python crawler.py\` 运行的完整爬虫代码。
 
 ## 输入来源
-
-主 agent 会在 task description 中提供：
+主 agent 在 task description 中提供：
 - 接口分析结果（URL、方法、参数、Headers）
 - 已验证的加密代码文件路径（如有）
 - 用户选择的框架（requests / scrapy / playwright 等）
 
-你的任务是基于这些信息整合生成完整爬虫脚本，不需要自己分析加密或调度其他子代理。
+你不需要自己分析加密或调度其他子代理。
 如需查看已有的加密代码，用 \`query_store\` 或 \`artifact_load\` 读取。
 
-## 输出规范
+## 工作流程
 
-**重要：必须输出完整可运行的 Python 代码文件**
+1. **读取输入** — 从 task description 和 store 中获取分析结果、加密代码
+2. **生成代码** — 整合为完整可运行的 Python 爬虫脚本
+3. **自验证** — 检查代码完整性：
+   - 所有 import 是否齐全
+   - 加密模块是否正确整合（路径、函数名、参数）
+   - Headers/Cookies 是否从分析结果中完整复制
+   - if __name__ 入口是否可运行
+4. **保存** — artifact_save 保存文件 + requirements.txt
+5. **输出路径** — 告知文件保存位置
+
+## 输出规范
 
-### 输出要求
-1. 使用 artifact_save 保存完整 .py 文件
+1. 使用 artifact_save 保存 .py 文件
 2. 代码必须可以直接 \`python xxx.py\` 运行
-3. 包含所有依赖的 import
-4. 包含使用示例（if __name__ == "__main__"）
-5. 包含 requirements.txt
+3. 包含完整 import、使用示例（if __name__）、requirements.txt
+4. 禁止在对话中输出大段代码片段代替文件
 
-### 复杂网站 - 项目结构
+### 复杂网站 — 多文件结构
 \`\`\`
-<domain>_crawler/
-├── config.py          # 配置（可选的代理、账号等）
+{domain}_crawler/
+├── config.py          # 配置
 ├── crypto.py          # 加密模块（来自 js2python）
-├── captcha.py         # 验证码处理（如需要）
 ├── crawler.py         # 主爬虫逻辑
-└── requirements.txt   # 依赖列表
+└── requirements.txt
 \`\`\`
 
-### 代码模板
-
-\`\`\`python
-"""
-<domain> 爬虫 - 由 DeepSpider 生成
-"""
-import requests
-
-class Crawler:
-    def __init__(self):
-        self.session = requests.Session()
-        self.session.headers.update({...})
-
-    def encrypt(self, data):
-        # 加密逻辑
-        ...
-
-    def login(self, username, password):
-        # 登录流程（如需要）
-        ...
-
-    def fetch(self, params):
-        # 请求逻辑
-        encrypted = self.encrypt(params)
-        resp = self.session.post(url, data=encrypted)
-        return resp.json()
-
-if __name__ == "__main__":
-    c = Crawler()
-    # c.login("user", "pass")  # 如需要
-    data = c.fetch({"page": 1})
-    print(data)
-\`\`\`
-
-## 工作流程
-1. 读取主 agent 提供的分析结果和已有代码模块（query_store / artifact_load）
-2. 整合为完整可运行的 Python 爬虫脚本
-3. 使用 artifact_save 保存文件
-4. 输出文件路径
+## 常见问题处理
+- 加密代码路径找不到 → query_store 搜索，或返回告知主 agent
+- 分析结果中缺少关键 Headers → 从原始请求详情中补全，不要猜测
+- 框架不熟悉 → 用 requests 作为降级方案，说明原因
 `,
   tools: [
     ...crawlerTools,

package/src/agent/subagents/factory.js

@@ -16,13 +16,33 @@ import { evolveTools } from '../tools/evolve.js';
 const SUBAGENT_RUN_LIMIT = 80;
 
 /**
- * 子代理执行纪律提示（精简版）
- * 强制纪律通过 middleware 实现，而非提示词
+ * 子代理执行纪律提示
+ * 注入所有子代理的公共行为规范
  */
 export const SUBAGENT_DISCIPLINE_PROMPT = `
 
 ## 执行纪律
-- 先用最小代价验证假设（一次工具调用），确认可行后再展开`;
+
+### 先验证再展开
+- 先用最小代价验证假设（一次工具调用），确认可行后再展开
+- 不要一上来就拉全量数据或启动完整流程
+
+### Think/Reflect — 异常时暂停
+遇到以下情况，先输出思考过程再行动：
+- 执行结果与预期不符
+- 连续 2 次工具调用失败
+- 需要在多个方案中选择
+
+### 循环检测
+同一操作最多重试 3 次。第 3 次失败后：
+1. 分析失败模式，不要简单重试
+2. 尝试替代方案（换工具、换参数、换思路）
+3. 替代方案也失败 → 总结当前进度和卡点，返回给主 agent
+
+### 信息优先级
+1. 已捕获的数据（请求/响应/Hook 记录）— 最可靠
+2. 工具实时获取的结果 — 需验证
+3. 模型推断 — 仅作参考，必须验证后才能作为结论`;
 
 /**
  * 创建工具调用次数限制中间件
@@ -33,7 +53,7 @@ export const SUBAGENT_DISCIPLINE_PROMPT = `
  * 注意：callCount 通过闭包持有，假设同一子代理不会被并行调用。
  * deepagents 当前是串行调度子代理，如果未来支持并行需改为 per-invocation 计数。
  */
-function createToolCallLimitMiddleware(runLimit = SUBAGENT_RUN_LIMIT) {
+export function createToolCallLimitMiddleware(runLimit = SUBAGENT_RUN_LIMIT) {
   let callCount = 0;
 
   return createMiddleware({

package/src/agent/subagents/js2python.js

@@ -16,38 +16,40 @@ export const js2pythonSubagent = createSubagent({
   systemPrompt: `你是 DeepSpider 的 JS 转 Python 专家，负责将 JS 加密逻辑转换为 Python 代码。
 
 ## 核心职责
-将 JS 加密算法转换为 Python 实现，保证可以成功运行。
+将 JS 加密算法转换为 Python 实现，保证输出与原始 JS 结果完全一致。
 
 ## 转换策略
 
 ### 策略一：纯 Python 重写（优先）
-适用：标准加密算法（AES、MD5、SHA、RSA、国密）
+适用：标准加密算法（AES、MD5、SHA、HMAC、RSA、国密 SM2/SM3/SM4）
+常用库：pycryptodome、hashlib、hmac、gmssl
 
 ### 策略二：execjs 执行原始 JS
-适用：复杂自定义算法、混淆代码难还原
+适用：复杂自定义算法、混淆代码难还原、位运算密集型
 
 ## 工作流程
-1. 分析 JS 代码，识别加密算法类型
-2. 使用 run_node_code 执行原始 JS 获取基准结果
-3. 选择转换策略
-4. 生成 Python 代码
-5. 验证结果一致性
-6. 使用 artifact_save 保存文件
 
-## 输出规范
+1. **获取基准** — run_node_code 执行原始 JS，用固定输入获取基准输出
+2. **识别算法** — 分析 JS 代码，判断加密类型和关键参数（key、iv、mode、padding）
+3. **选择策略** — 标准算法走纯 Python，复杂算法走 execjs
+4. **生成代码** — 编写 Python 实现
+5. **验证一致性** — 用相同输入运行 Python 代码，对比输出是否与基准完全一致
+6. **保存文件** — artifact_save 保存 .py 文件
 
-**重要：必须输出完整可运行的 Python 文件**
+## 常见坑
+- AES padding 差异：JS 的 CryptoJS 默认 PKCS7，Python 需手动实现
+- 编码差异：JS 的 toString() 可能是 hex/base64，注意对齐
+- 字节序：JS 的 charCodeAt 返回 UTF-16，Python 的 ord 返回 Unicode code point
+- 大数运算：JS 的位运算是 32 位有符号，Python 是任意精度，需要 & 0xFFFFFFFF 截断
 
+## 输出规范
 1. 使用 artifact_save 保存 .py 文件
 2. 文件必须可以直接 python xxx.py 运行
 3. 包含完整 import、函数定义、使用示例
-4. 禁止在对话中输出大段代码片段代替完整文件
+4. 禁止在对话中输出大段代码片段代替文件
 
 ## 降级策略
-
-纯 Python 转换失败 3 次 → 改用 execjs 方案
-
-目标是保证最终输出可用的代码。
+纯 Python 转换失败 3 次 → 改用 execjs 方案。目标是保证最终输出可用的代码。
 `,
   tools: [
     ...pythonTools,

package/src/agent/tools/analysis.js

@@ -7,16 +7,26 @@ import { tool } from '@langchain/core/tools';
 import { getBrowserClient } from '../../browser/index.js';
 
 /**
- * 通过 CDP 执行 JS（复用 session）
+ * 通过 CDP 执行 JS（复用 session，带超时保护）
  */
-async function evaluateViaCDP(client, expression) {
+async function evaluateViaCDP(client, expression, timeout = 5000) {
   const cdp = await client.getCDPSession();
   if (!cdp) return null;
-  const result = await cdp.send('Runtime.evaluate', {
-    expression,
-    returnByValue: true,
-  });
-  return result.result?.value;
+  try {
+    const result = await Promise.race([
+      cdp.send('Runtime.evaluate', {
+        expression,
+        returnByValue: true,
+      }),
+      new Promise((_, reject) =>
+        setTimeout(() => reject(new Error('CDP evaluate timeout')), timeout)
+      ),
+    ]);
+    return result.result?.value;
+  } catch (e) {
+    console.error('[analysis:evaluateViaCDP] 超时或错误:', e.message);
+    return null;
+  }
 }
 
 /**

package/src/agent/tools/browser.js

@@ -9,16 +9,29 @@ import { getBrowser } from '../../browser/index.js';
 import { getScreenshotPath } from './utils.js';
 
 /**
- * 通过 CDP 执行 JS
+ * 安全获取 CDP session，断开时返回友好错误而非 TypeError
  */
-async function cdpEvaluate(browser, expression, returnByValue = true) {
+async function safeCDP(browser) {
   const cdp = await browser.getCDPSession();
-  if (!cdp) throw new Error('CDP session not available');
-  const result = await cdp.send('Runtime.evaluate', {
-    expression,
-    returnByValue,
-    awaitPromise: true,
-  });
+  if (!cdp) throw new Error('CDP session 不可用，浏览器可能已关闭或断开连接');
+  return cdp;
+}
+
+/**
+ * 通过 CDP 执行 JS（带超时保护）
+ */
+async function cdpEvaluate(browser, expression, returnByValue = true, timeout = 5000) {
+  const cdp = await safeCDP(browser);
+  const result = await Promise.race([
+    cdp.send('Runtime.evaluate', {
+      expression,
+      returnByValue,
+      awaitPromise: true,
+    }),
+    new Promise((_, reject) =>
+      setTimeout(() => reject(new Error('cdpEvaluate timeout (page loading/paused?)')), timeout)
+    ),
+  ]);
   if (result.exceptionDetails) {
     throw new Error(result.exceptionDetails.text || 'CDP evaluate error');
   }
@@ -112,7 +125,7 @@ export const waitForSelector = tool(
 export const reloadPage = tool(
   async () => {
     const browser = await getBrowser();
-    const cdp = await browser.getCDPSession();
+    const cdp = await safeCDP(browser);
     await cdp.send('Page.reload');
     const url = await cdpEvaluate(browser, 'location.href');
     return JSON.stringify({ success: true, url });
@@ -130,7 +143,7 @@ export const reloadPage = tool(
 export const goBack = tool(
   async () => {
     const browser = await getBrowser();
-    const cdp = await browser.getCDPSession();
+    const cdp = await safeCDP(browser);
     const history = await cdp.send('Page.getNavigationHistory');
     if (history.currentIndex > 0) {
       const entry = history.entries[history.currentIndex - 1];
@@ -152,7 +165,7 @@ export const goBack = tool(
 export const goForward = tool(
   async () => {
     const browser = await getBrowser();
-    const cdp = await browser.getCDPSession();
+    const cdp = await safeCDP(browser);
     const history = await cdp.send('Page.getNavigationHistory');
     if (history.currentIndex < history.entries.length - 1) {
       const entry = history.entries[history.currentIndex + 1];
@@ -174,7 +187,7 @@ export const goForward = tool(
 export const scrollPage = tool(
   async ({ direction, distance }) => {
     const browser = await getBrowser();
-    const cdp = await browser.getCDPSession();
+    const cdp = await safeCDP(browser);
     const deltaY = direction === 'up' ? -distance : distance;
     await cdp.send('Input.dispatchMouseEvent', {
       type: 'mouseWheel', x: 100, y: 100, deltaX: 0, deltaY
@@ -350,7 +363,7 @@ export const getElementHtml = tool(
 export const getCookies = tool(
   async ({ domain, format }) => {
     const browser = await getBrowser();
-    const cdp = await browser.getCDPSession();
+    const cdp = await safeCDP(browser);
 
     // 获取当前页面 URL 用于过滤
     const currentUrl = await cdpEvaluate(browser, 'location.href');

package/src/agent/tools/crawler.js

@@ -108,7 +108,7 @@ export const e2eTest = tool(
     description: '端到端测试爬虫脚本',
     schema: z.object({
       script_path: z.string().describe('脚本路径'),
-      test_params: z.record(z.string(), z.unknown()).optional().describe('测试参数'),
+      test_params: z.object({}).passthrough().optional().describe('测试参数'),
     }),
   }
 );

package/src/agent/tools/crawlerGenerator.js

@@ -73,8 +73,8 @@ export const delegateCrawlerGeneration = tool(
             xpath: z.string(),
             type: z.string(),
           })),
-          entry: z.any().nullable(),
-          pagination: z.any().nullable(),
+          entry: z.string().optional().describe('入口 URL 或选择器'),
+          pagination: z.string().optional().describe('分页选择器或 URL 模式'),
         })),
       }).describe('爬虫配置'),
       domain: z.string().describe('目标网站域名'),

package/src/agent/tools/index.js

@@ -54,7 +54,7 @@ import { profileTools } from './profile.js';
 import { runtimeTools } from './runtime.js';
 import { debugTools } from './debug.js';
 import { captureTools } from './capture.js';
-import { browserTools } from './browser.js';
+import { browserTools, clickElement, scrollPage, fillInput, getInteractiveElements, getPageInfo, hoverElement, pressKey } from './browser.js';
 import { reportTools } from './report.js';
 import { webcrackTools } from './webcrack.js';
 import { preprocessTools } from './preprocess.js';
@@ -147,4 +147,6 @@ export const coreTools = [
   ...scratchpadTools,
   // 爬虫代码生成（带 HITL 确认）
   ...crawlerGeneratorTools,
+  // 页面交互（自主数据搜寻：滚动加载、点击触发请求）
+  clickElement, scrollPage, fillInput, getInteractiveElements, getPageInfo, hoverElement, pressKey,
 ];

package/src/agent/tools/patch.js

@@ -21,7 +21,7 @@ export const generatePatch = tool(
     description: '为缺失的环境属性生成补丁代码。',
     schema: z.object({
       property: z.string().describe('缺失的属性路径，如 navigator.userAgent'),
-      context: z.record(z.string(), z.unknown()).optional().describe('上下文信息'),
+      context: z.object({}).passthrough().optional().describe('上下文信息'),
     }),
   }
 );

package/src/agent/tools/store.js

@@ -30,7 +30,7 @@ export const saveToStore = tool(
       type: z.enum(['env-module', 'crypto-pattern', 'obfuscation']).describe('类型'),
       name: z.string().describe('名称'),
       code: z.string().describe('代码'),
-      metadata: z.record(z.string(), z.unknown()).optional().describe('元数据'),
+      metadata: z.object({}).passthrough().optional().describe('元数据'),
     }),
   }
 );

package/src/browser/client.js

@@ -206,7 +206,11 @@ export class BrowserClient extends EventEmitter {
 
       try {
         // 通过简单的 Runtime.evaluate 验证 session 是否还活着
-        await this.cdpSession.send('Runtime.evaluate', { expression: '1' });
+        // 必须加超时：页面 loading/断点暂停时 Runtime.evaluate 会永远挂住
+        await Promise.race([
+          this.cdpSession.send('Runtime.evaluate', { expression: '1' }),
+          new Promise((_, reject) => setTimeout(() => reject(new Error('CDP health check timeout')), 3000)),
+        ]);
         this._cdpLastCheck = now;
         return this.cdpSession;
       } catch {

package/src/browser/ui/analysisPanel.js

@@ -657,6 +657,22 @@ export function getAnalysisPanelScript() {
       .deepspider-confirm-no {
         background: rgba(255,255,255,0.05); border: 1px solid rgba(255,255,255,0.15); color: #8b949e;
       }
+      /* 恢复 session 横幅 */
+      .deepspider-resume-banner {
+        background: rgba(99, 179, 237, 0.08); border: 1px solid rgba(99, 179, 237, 0.2);
+        border-radius: 10px; padding: 12px 14px; margin: 4px 0;
+      }
+      .deepspider-resume-btn {
+        width: 100%; padding: 8px; border-radius: 8px; border: none;
+        background: linear-gradient(135deg, #63b3ed, #4299e1); color: #fff;
+        font-size: 12px; font-weight: 500; cursor: pointer; transition: all 0.2s;
+      }
+      .deepspider-resume-btn:hover { opacity: 0.85; }
+      .deepspider-resume-dismiss {
+        width: 100%; padding: 6px; border: none; background: none;
+        color: #8b949e; font-size: 11px; cursor: pointer; margin-top: 4px;
+      }
+      .deepspider-resume-dismiss:hover { color: #c9d1d9; }
       .deepspider-msg-system {
         background: transparent;
         text-align: center;
@@ -1270,6 +1286,7 @@ export function getAnalysisPanelScript() {
         bindFilePathClicks(messagesEl);
         bindChoiceClicks(messagesEl);
         bindConfirmClicks(messagesEl);
+        bindResumeClicks(messagesEl);
       }
       messagesEl.scrollTop = messagesEl.scrollHeight;
     }
@@ -1286,6 +1303,10 @@ export function getAnalysisPanelScript() {
           return renderChoicesMessage(m);
         case 'confirm':
           return renderConfirmMessage(m);
+        case 'resume-available':
+          return renderResumeMessage(m);
+        case 'file-saved':
+          return renderFileSavedMessage(m);
         default:
           return '<div class="deepspider-msg deepspider-msg-system">' + escapeHtml(JSON.stringify(m.data)) + '</div>';
       }
@@ -1326,6 +1347,32 @@ export function getAnalysisPanelScript() {
       return html;
     }
 
+    function renderResumeMessage(m) {
+      if (m.answered) return '';
+      const d = m.data;
+      return '<div class="deepspider-resume-banner">' +
+        '<div style="margin-bottom:6px;">检测到上次未完成的分析</div>' +
+        '<div style="font-size:11px;color:#8b949e;margin-bottom:8px;">' +
+          escapeHtml(d.domain) + ' · ' + escapeHtml(d.timeAgo) + ' · ' + escapeHtml(String(d.messageCount)) + '条消息</div>' +
+        '<button class="deepspider-resume-btn" data-resume-thread="' + escapeHtml(d.threadId) + '">恢复上次分析</button>' +
+        '<button class="deepspider-resume-dismiss" data-resume-dismiss="true">忽略</button>' +
+        '</div>';
+    }
+
+    function renderFileSavedMessage(m) {
+      var d = m.data;
+      var icon = d.type === 'py' ? '🐍' : d.type === 'report' ? '📊' : '📄';
+      var label = d.type === 'py' ? 'Python 脚本' : d.type === 'report' ? '分析报告' : '文件';
+      return '<div class="deepspider-msg deepspider-msg-system" style="background:#1a2332;border-left:3px solid #388bfd;padding:8px 12px;">' +
+        '<div style="display:flex;align-items:center;gap:6px;">' +
+        '<span>' + icon + '</span>' +
+        '<span style="color:#58a6ff;">' + escapeHtml(label) + '已保存</span>' +
+        '</div>' +
+        '<div class="deepspider-file-path" style="font-size:11px;color:#8b949e;margin-top:4px;cursor:pointer;" data-file-path="' + escapeHtml(d.path) + '">' +
+        escapeHtml(d.path) +
+        '</div></div>';
+    }
+
     function bindChoiceClicks(container) {
       container.querySelectorAll('.deepspider-choice-btn:not([style*="pointer-events"])').forEach(btn => {
         btn.onclick = () => {
@@ -1367,6 +1414,31 @@ export function getAnalysisPanelScript() {
       });
     }
 
+    function bindResumeClicks(container) {
+      container.querySelectorAll('.deepspider-resume-btn').forEach(btn => {
+        btn.onclick = () => {
+          const threadId = btn.dataset.resumeThread;
+          const msgs = deepspider.chatMessages;
+          for (let i = msgs.length - 1; i >= 0; i--) {
+            if (msgs[i].type === 'resume-available') { msgs[i].answered = true; break; }
+          }
+          addMessage('system', '正在恢复上次分析...');
+          if (typeof __deepspider_send__ === 'function') {
+            __deepspider_send__(JSON.stringify({ __ds__: true, type: 'resume', threadId }));
+          }
+        };
+      });
+      container.querySelectorAll('.deepspider-resume-dismiss').forEach(btn => {
+        btn.onclick = () => {
+          const msgs = deepspider.chatMessages;
+          for (let i = msgs.length - 1; i >= 0; i--) {
+            if (msgs[i].type === 'resume-available') { msgs[i].answered = true; break; }
+          }
+          renderMessages();
+        };
+      });
+    }
+
     function escapeHtml(str) {
       return String(str).replace(/&/g,'&amp;').replace(/</g,'&lt;').replace(/>/g,'&gt;');
     }