deepspider 0.1.0

package/CLAUDE.md

@@ -0,0 +1,292 @@
+# DeepSpider - 智能爬虫工程平台
+
+> 基于 DeepAgents + Patchright 的智能爬虫 Agent，覆盖爬虫全生命周期
+
+## 功能
+
+### 逆向分析
+- 真实浏览器动态分析 (Patchright + CDP)
+- Webpack/Browserify 解包 (webcrack)
+- 混淆代码分析与反混淆
+- 加密算法识别 (CryptoJS/RSA Hook)
+- 请求参数追踪
+- JS 转 Python 代码生成
+
+### 验证码处理
+- 图片验证码 OCR 识别 (ddddocr)
+- 滑块验证码轨迹模拟
+- 点选验证码目标检测
+- 打码平台集成
+
+### 反检测与风控
+- 浏览器指纹管理
+- 代理 IP 池管理
+- 请求特征伪装
+- 风控规避策略
+
+### 爬虫编排
+- 智能流程规划
+- 完整爬虫脚本生成
+- 端到端测试验证
+- 按需调用，灵活组合
+
+## 项目结构
+
+```
+deepspider/
+├── src/
+│   ├── agent/               # DeepAgent 系统
+│   │   ├── index.js         # 主入口
+│   │   ├── run.js           # Agent 运行入口
+│   │   ├── tools/           # 工具集（90+）
+│   │   ├── subagents/       # 子代理
+│   │   └── prompts/         # 系统提示
+│   ├── browser/             # 浏览器运行时
+│   │   ├── client.js        # Patchright 客户端
+│   │   ├── cdp.js           # CDP 会话管理
+│   │   ├── defaultHooks.js  # 默认注入的 Hook
+│   │   ├── interceptors/    # CDP 拦截器
+│   │   │   ├── NetworkInterceptor.js
+│   │   │   └── ScriptInterceptor.js
+│   │   ├── ui/              # 浏览器内 UI
+│   │   │   └── analysisPanel.js
+│   │   └── hooks/           # Hook 脚本
+│   ├── store/               # 数据存储
+│   │   └── DataStore.js     # 文件系统存储
+│   ├── analyzer/            # 静态分析器
+│   ├── core/                # 核心模块
+│   ├── env/                 # 环境补丁模块
+│   └── mcp/                 # MCP 服务
+├── bin/cli.js               # CLI 入口
+└── test/                    # 测试
+```
+
+## 依赖版本
+
+```json
+{
+  "@babel/parser": "^7.26.0",
+  "@babel/traverse": "^7.26.0",
+  "@babel/generator": "^7.26.0",
+  "deepagents": "^1.6.0",
+  "@langchain/core": "^1.1.17",
+  "@langchain/anthropic": "^1.3.12",
+  "patchright": "^1.51.1",
+  "webcrack": "^2.15.1",
+  "isolated-vm": "^6.0.2",
+  "zod": "^4.3.6"
+}
+```
+
+## 架构
+
+### 子代理体系
+
+| 子代理 | 职责 | 核心工具 |
+|--------|------|----------|
+| crawler | 爬虫编排：整合各模块、生成完整脚本 | file, store, crawler |
+| static | 静态分析：解包、反混淆、加密定位 | webcrack, deobfuscate, analyze |
+| dynamic | 动态分析：浏览器控制、Hook、数据采集 | browser, debug, capture |
+| sandbox | 沙箱执行：环境补全、代码执行 | sandbox, env, patch |
+| js2python | JS转Python：加密代码转换、验证 | python, analyzer |
+| env-agent | 环境补全：生成浏览器环境模拟代码 | env, sandbox |
+| captcha | 验证码处理：OCR、滑块、点选 | captcha_ocr, captcha_slide |
+| anti-detect | 反检测：指纹管理、代理池 | proxy, fingerprint |
+
+### 智能调度流程
+
+根据目标网站复杂度，按需调用子代理：
+
+```
+用户：爬取目标网站
+         ↓
+┌─────────────────────────────────────┐
+│  crawler-agent 分析目标             │
+│  判断网站复杂度，规划流程           │
+└─────────────────────────────────────┘
+         ↓
+┌─────────────────────────────────────┐
+│  按需调用子代理                     │
+│                                     │
+│  Level 1 简单: static → js2python   │
+│  Level 2 中等: + captcha + dynamic  │
+│  Level 3 复杂: + anti-detect + e2e  │
+└─────────────────────────────────────┘
+         ↓
+┌─────────────────────────────────────┐
+│  输出完整爬虫脚本                   │
+│  简单: 单文件脚本                   │
+│  复杂: 完整项目结构                 │
+└─────────────────────────────────────┘
+```
+
+### 浏览器交互流程
+
+```
+pnpm run agent https://example.com
+         ↓
+┌─────────────────────────────────────┐
+│  浏览器启动，自动注入 Hook          │
+│  CDP 拦截器记录请求/脚本            │
+│  数据存储到 .deepspider-data/          │
+└─────────────────────────────────────┘
+         ↓
+┌─────────────────────────────────────┐
+│  用户在网站操作（登录、翻页等）     │
+│  系统持续记录数据                   │
+└─────────────────────────────────────┘
+         ↓
+┌─────────────────────────────────────┐
+│  用户点击面板选择按钮(⦿)           │
+│  选择元素 → 显示操作菜单            │
+│                                     │
+│  操作选项：                         │
+│  - 添加为字段（爬虫配置）           │
+│  - 追踪数据来源                     │
+│  - 分析加密逻辑                     │
+│  - 完整流程分析                     │
+└─────────────────────────────────────┘
+         ↓
+┌─────────────────────────────────────┐
+│  选择多个字段后点击"生成配置"      │
+│  crawler 子代理整合分析结果         │
+│  输出 config.json + crawler.py      │
+└─────────────────────────────────────┘
+```
+
+## 代码规范
+
+### 浏览器交互
+
+与浏览器的交互优先使用 CDP（Chrome DevTools Protocol）方式，而非 `page.evaluate()`。
+
+CDP session 应复用，通过 `browser.getCDPSession()` 获取：
+
+```javascript
+// 复用 CDP session 执行 JS
+async function evaluateViaCDP(browser, expression) {
+  const cdp = await browser.getCDPSession();
+  if (!cdp) return null;
+  const result = await cdp.send('Runtime.evaluate', {
+    expression,
+    returnByValue: true,
+  });
+  return result.result?.value;
+}
+
+// 使用示例
+const logs = await evaluateViaCDP(browser, `window.__deepspider__?.getAllLogs?.()`);
+```
+
+### Babel AST 遍历
+
+使用 `@babel/traverse` 而非 acorn-walk：
+
+```javascript
+import { parse } from '@babel/parser';
+import traverse from '@babel/traverse';
+
+// 解析代码
+const ast = parse(code, {
+  sourceType: 'unambiguous',
+  plugins: ['jsx', 'typescript', 'decorators-legacy'],
+  errorRecovery: true,
+});
+
+// 遍历 AST
+traverse.default(ast, {
+  FunctionDeclaration(path) {
+    const node = path.node;
+    // 处理函数声明
+  },
+  CallExpression(path) {
+    const node = path.node;
+    // 处理调用表达式
+  }
+});
+
+// 遍历子节点（在 visitor 内部）
+path.traverse({
+  Identifier(innerPath) {
+    // 处理内部标识符
+  }
+});
+```
+
+### LangChain 工具定义
+
+使用 `@langchain/core/tools`：
+
+```javascript
+import { z } from 'zod';
+import { tool } from '@langchain/core/tools';
+
+const myTool = tool(
+  async ({ param1, param2 }) => {
+    // 工具逻辑
+    return result;
+  },
+  {
+    name: 'tool_name',
+    description: '工具描述',
+    schema: z.object({
+      param1: z.string().describe('参数1描述'),
+      param2: z.number().optional().default(100),
+    }),
+  }
+);
+```
+
+### DeepAgent 创建
+
+```javascript
+import { ChatAnthropic } from '@langchain/anthropic';
+import { createDeepAgent } from 'deepagents';
+
+export const agent = createDeepAgent({
+  model: new ChatAnthropic({
+    model: 'claude-sonnet-4-20250514',
+    temperature: 0,
+  }),
+  tools: [tool1, tool2],
+  systemPrompt: '系统提示',
+});
+```
+
+## 运行
+
+```bash
+# 安装依赖
+pnpm install
+
+# 安装 Python 加密库（用于运行生成的 Python 代码）
+pnpm run setup:crypto
+
+# 配置环境变量
+cp .env.example .env
+# 编辑 .env 填入:
+#   LLM_API_KEY=your-api-key
+#   LLM_BASE_URL=https://api.openai.com/v1  # 可选，兼容 OpenAI 格式的任意供应商
+#   LLM_MODEL=gpt-4o                        # 可选，默认 gpt-4o
+
+# Agent 模式（推荐）- 指定目标网站
+pnpm run agent https://example.com
+
+# Agent 模式 - 纯交互（不启动浏览器）
+pnpm run agent
+
+# MCP 服务（供 Claude Code 等调用）
+pnpm run mcp
+
+# 测试
+pnpm test
+```
+
+### Agent 使用流程
+
+1. **启动**: `pnpm run agent https://target-site.com`
+2. **等待**: 浏览器打开，系统自动记录数据（不消耗 API）
+3. **操作**: 在网站上登录、翻页、触发目标请求
+4. **选择**: 点击面板的选择按钮(⦿)，进入选择模式
+5. **分析**: 点击目标数据，确认后发送给 Agent
+6. **对话**: 在面板或 CLI 继续提问，深入分析

package/README.md

@@ -0,0 +1,134 @@
+# DeepSpider
+
+> 智能爬虫工程平台 - 基于 DeepAgents + Patchright
+
+从 JS 逆向分析到完整爬虫脚本的一站式 AI Agent 解决方案。
+
+## 特性
+
+- **逆向分析**: Webpack 解包、反混淆、加密算法识别与定位
+- **动态调试**: 真实浏览器 + CDP 断点调试、Hook 注入
+- **代码转换**: JS 加密逻辑自动转 Python
+- **验证码处理**: 滑块、点选、图片验证码
+- **反检测**: 指纹伪装、代理轮换、风控规避
+- **爬虫编排**: 智能调度，输出可运行的 Python 爬虫
+
+## 快速开始
+
+### 安装
+
+```bash
+# 安装依赖
+pnpm install
+
+# 安装 Python 加密库（用于运行生成的 Python 代码）
+pnpm run setup:crypto
+
+# 配置环境变量
+cp .env.example .env
+# 编辑 .env 填入 LLM_API_KEY
+```
+
+### 使用
+
+```bash
+# Agent 模式（推荐）- 指定目标网站
+pnpm run agent https://example.com
+
+# Agent 模式 - 纯交互（不启动浏览器）
+pnpm run agent
+
+# MCP 服务（供 Claude Code 等调用）
+pnpm run mcp
+
+# 运行测试
+pnpm test
+```
+
+### 使用流程
+
+1. **启动**: `pnpm run agent https://target-site.com`
+2. **等待**: 浏览器打开，系统自动记录数据（不消耗 API）
+3. **操作**: 在网站上登录、翻页、触发目标请求
+4. **选择**: 点击面板的选择按钮 ⦿，进入选择模式
+5. **分析**: 点击目标数据，确认后发送给 Agent
+6. **对话**: 在面板或 CLI 继续提问，深入分析
+
+## 架构
+
+```
+┌─────────────────────────────────────────────────────┐
+│                   DeepSpider                        │
+│              (爬虫编排 - 智能调度)                   │
+└──────────────────────┬──────────────────────────────┘
+                       │ 按需调用
+       ┌───────────────┼───────────────┐
+       ▼               ▼               ▼
+┌─────────────┐ ┌─────────────┐ ┌─────────────┐
+│static-agent │ │captcha-agent│ │anti-detect  │
+│ 静态分析    │ │ 验证码处理  │ │ 反检测      │
+└──────┬──────┘ └─────────────┘ └─────────────┘
+       ▼
+┌─────────────┐
+│dynamic-agent│
+│ 动态调试    │
+└──────┬──────┘
+       ▼
+┌─────────────┐     ┌─────────────┐
+│sandbox-agent│ ──▶ │js2python    │
+│ 沙箱验证    │     │ 代码转换    │
+└─────────────┘     └─────────────┘
+```
+
+### 子代理体系
+
+| 子代理 | 职责 | 核心工具 |
+|--------|------|----------|
+| crawler | 爬虫编排：整合各模块、生成完整脚本 | file, store, crawler |
+| static | 静态分析：解包、反混淆、加密定位 | webcrack, deobfuscate, analyze |
+| dynamic | 动态分析：浏览器控制、Hook、数据采集 | browser, debug, capture |
+| sandbox | 沙箱执行：环境补全、代码执行 | sandbox, env, patch |
+| js2python | JS转Python：加密代码转换、验证 | python, analyzer |
+| captcha | 验证码处理：OCR、滑块、点选 | captcha_ocr, captcha_slide |
+| anti-detect | 反检测：指纹管理、代理池 | proxy, fingerprint |
+
+## 项目结构
+
+```
+deepspider/
+├── src/
+│   ├── agent/               # DeepAgent 系统
+│   │   ├── tools/           # 工具集（90+）
+│   │   ├── subagents/       # 子代理
+│   │   ├── skills/          # 领域技能
+│   │   └── prompts/         # 系统提示
+│   ├── browser/             # 浏览器运行时
+│   │   ├── client.js        # Patchright 客户端
+│   │   ├── cdp.js           # CDP 会话管理
+│   │   ├── defaultHooks.js  # 默认注入的 Hook
+│   │   ├── interceptors/    # CDP 拦截器
+│   │   └── ui/              # 浏览器内 UI 面板
+│   ├── analyzer/            # 静态分析器
+│   ├── env/                 # 环境补丁模块
+│   ├── store/               # 数据存储
+│   └── mcp/                 # MCP 服务
+├── bin/cli.js               # CLI 入口
+└── test/                    # 测试
+```
+
+## 核心技术
+
+- **DeepAgents**: 多代理协作框架
+- **Patchright**: 反检测浏览器自动化
+- **CDP**: Chrome DevTools Protocol 深度集成
+- **webcrack**: Webpack/Browserify 解包
+- **isolated-vm**: 安全沙箱执行
+
+## 文档
+
+- [开发使用指南](docs/GUIDE.md)
+- [调试指南](docs/DEBUG.md)
+
+## License
+
+MIT

package/agents/deepspider.md

@@ -0,0 +1,142 @@
+---
+description: JavaScript 逆向分析专家。动态调试、代码解包、反混淆、加密捕获、环境补全。
+capabilities: ["动态调试", "代码解包", "反混淆", "加密捕获", "环境补全"]
+---
+
+你是 DeepSpider，一个专业的 JavaScript 逆向工程专家。
+
+## 核心能力
+
+1. **动态调试** - Patchright 反检测浏览器 + CDP 断点调试
+2. **代码解包** - Webpack/Browserify 自动解包 (webcrack)
+3. **反混淆** - AST 解析、控制流还原、字符串解密
+4. **加密捕获** - Hook 捕获 CryptoJS/RSA 加密调用
+5. **环境补全** - 检测并补全浏览器环境依赖
+
+## 工作原则
+
+1. **最小补丁**: 只补充必要的环境，避免过度补丁
+2. **迭代验证**: 每次补丁后验证执行结果
+3. **清晰输出**: 生成可独立运行的代码
+
+## 工作流程
+
+### 完整分析流程
+```
+1. preprocess_code 预处理（自动解包或反混淆）
+2. deobfuscate 深度反混淆
+3. analyze_encryption 定位加密入口
+4. launch_browser 启动浏览器
+5. set_breakpoint 设置断点
+6. collect_env 采集环境数据
+7. generate_patch 生成补丁
+8. sandbox_execute 沙箱验证
+```
+
+### 补环境任务
+```
+1. 读取目标 JS 代码
+2. 使用 sandbox_execute 执行，捕获错误
+3. 分析缺失的环境属性
+4. 使用 generate_patch 生成补丁
+5. 使用 sandbox_inject 注入补丁
+6. 重复直到成功
+```
+
+### 加密分析任务
+```
+1. launch_browser 打开目标页面
+2. 注入 Hook 脚本捕获加密调用
+3. 触发页面操作
+4. get_hook_logs 获取捕获的密钥和参数
+5. 输出分析报告
+```
+
+## 环境补丁模板
+
+### Navigator
+```javascript
+const navigator = {
+  userAgent: 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
+  platform: 'Win32',
+  language: 'zh-CN',
+  languages: ['zh-CN', 'en'],
+  cookieEnabled: true,
+  onLine: true,
+  hardwareConcurrency: 8
+};
+Object.defineProperty(navigator, 'webdriver', { get: () => false });
+```
+
+### Document
+```javascript
+const document = {
+  cookie: '',
+  referrer: '',
+  domain: 'example.com',
+  title: '',
+  createElement: (tag) => ({ tagName: tag, style: {} }),
+  getElementById: () => null,
+  querySelector: () => null,
+  querySelectorAll: () => []
+};
+```
+
+### Window
+```javascript
+const window = {
+  innerWidth: 1920,
+  innerHeight: 1080,
+  devicePixelRatio: 1,
+  location: { href: 'https://example.com/', hostname: 'example.com', protocol: 'https:' },
+  navigator,
+  document,
+  localStorage: { getItem: () => null, setItem: () => {} },
+  sessionStorage: { getItem: () => null, setItem: () => {} },
+  atob: (s) => Buffer.from(s, 'base64').toString(),
+  btoa: (s) => Buffer.from(s).toString('base64')
+};
+```
+
+## 加密模式识别
+
+| 模式 | 特征 |
+|------|------|
+| MD5 | `md5(`, 32位十六进制输出 |
+| SHA256 | `sha256`, `SHA256`, 64位十六进制输出 |
+| AES | `CryptoJS.AES`, `aes.*encrypt` |
+| RSA | `JSEncrypt`, `RSAKey` |
+| Base64 | `btoa`, `atob` |
+| HMAC | `hmac`, `HMAC` |
+
+## 输出格式
+
+分析完成后，输出：
+1. **执行结果**: 代码执行的返回值
+2. **补丁代码**: 完整的环境补丁（可独立运行）
+3. **分析报告**: 检测到的加密算法、关键函数等
+
+## Hook 模板
+
+### CryptoJS Hook (自动注入)
+```javascript
+// 由 browser/hooks/crypto.js 自动注入
+// 捕获 CryptoJS.AES.encrypt 等调用
+// 输出: Key, IV, Mode, 明文, 密文
+```
+
+### RSA Hook (自动注入)
+```javascript
+// 由 browser/hooks/crypto.js 自动注入
+// 捕获 JSEncrypt.encrypt 调用
+// 输出: 公钥, 明文, 密文
+```
+
+### 自定义函数 Hook
+```javascript
+const _orig = window.func;
+window.func = function(...args) {
+  console.log('[Hook] func:', args);
+  return _orig.apply(this, args);
+};
+```

package/docs/DEBUG.md

@@ -0,0 +1,42 @@
+# DeepSpider 调试指南
+
+## 1. MCP 服务测试
+
+```bash
+# 启动 MCP 服务
+pnpm run mcp
+
+# MCP Inspector 测试
+npx @modelcontextprotocol/inspector node src/mcp/server.js
+```
+
+## 2. 浏览器调试
+
+```bash
+# 测试浏览器启动
+node test/browser.test.js
+```
+
+浏览器使用 Patchright (反检测 Playwright)，默认非 headless 模式。
+
+## 3. 工具验证
+
+```bash
+# 验证所有工具导入
+node -e "import('./src/agent/tools/index.js').then(m => console.log('工具数:', m.allTools.length))"
+
+# 测试单个工具
+node -e "
+import { preprocessCode } from './src/agent/tools/preprocess.js';
+preprocessCode.invoke({ code: 'var a=1' }).then(console.log);
+"
+```
+
+## 4. 常见问题
+
+| 问题 | 排查方法 |
+|------|----------|
+| MCP 启动失败 | `node src/mcp/server.js` |
+| 浏览器启动失败 | 检查 patchright 安装 |
+| 沙箱执行失败 | 检查 isolated-vm 依赖 |
+| webcrack 解包失败 | 确认是 Webpack/Browserify 格式 |