deepspider 0.2.11 → 0.3.0

package/.trellis/workspace/pony/journal-1.md

@@ -1,125 +0,0 @@
-# Journal - pony (Part 1)
-
-> AI development session journal
-> Started: 2026-01-30
-
----
-
-
-## Session 1: 环境变量重命名与配置检测
-
-**Date**: 2026-02-03
-**Task**: 环境变量重命名与配置检测
-
-### Summary
-
-(Add summary)
-
-### Main Changes
-
-## 完成内容
-
-重命名环境变量为项目专属前缀，并添加启动时配置检测。
-
-| 变更 | 说明 |
-|------|------|
-| 环境变量重命名 | LLM_* → DEEPSPIDER_API_KEY/BASE_URL/MODEL |
-| 配置检测模块 | 新增 setup.js，启动时检测必要配置 |
-| 文档更新 | README.md, CLAUDE.md 同步更新 |
-
-## 设计决策
-
-从第一性原理分析，采用简化方案：
-- 移除交互式配置向导（200行→47行）
-- 只做检测+提示，不做选择
-- 符合 Unix 哲学
-
-## 变更文件
-
-- `.env.example` - 环境变量模板
-- `src/agent/index.js` - 读取新变量名
-- `src/agent/run.js` - 添加配置检测调用
-- `src/agent/setup.js` - 新增配置检测模块
-- `README.md`, `CLAUDE.md` - 文档更新
-
-### Git Commits
-
-| Hash | Message |
-|------|---------|
-| `4aa6cad` | (see git log) |
-
-### Testing
-
-- [OK] (Add test results)
-
-### Status
-
-[OK] **Completed**
-
-### Next Steps
-
-- None - task complete
-
-## Session 2: GitHub Actions 自动发布 npm
-
-**Date**: 2026-02-03
-**Task**: GitHub Actions 自动发布 npm
-
-### Summary
-
-(Add summary)
-
-### Main Changes
-
-## 完成内容
-
-实现 GitHub Actions 自动发布到 npm。
-
-| 变更 | 说明 |
-|------|------|
-| GitHub Actions | 添加 .github/workflows/publish.yml |
-| 触发条件 | 推送 v* 标签时自动发布 |
-| CI 流程 | lint → publish |
-| Node.js | 使用 v20 + --ignore-scripts 跳过原生模块编译 |
-
-## 遇到的问题与解决
-
-1. **pnpm lockfile 不匹配** → 添加 --no-frozen-lockfile
-2. **isolated-vm 编译失败** → 添加 --ignore-scripts
-3. **NPM_TOKEN 认证失败** → 使用 NODE_AUTH_TOKEN 环境变量
-
-## 发布流程
-
-```bash
-npm version patch && git push && git push --tags
-```
-
-## 变更文件
-
-- `.github/workflows/publish.yml` - GitHub Actions 配置
-
-### Git Commits
-
-| Hash | Message |
-|------|---------|
-| `4ff9a25` | (see git log) |
-| `debdc4e` | (see git log) |
-| `ab56fe2` | (see git log) |
-| `67f9c55` | (see git log) |
-| `b13b03d` | (see git log) |
-| `63a6304` | (see git log) |
-| `327ca39` | (see git log) |
-| `78de837` | (see git log) |
-| `46ce73e` | (see git log) |
-
-### Testing
-
-- [OK] (Add test results)
-
-### Status
-
-[OK] **Completed**
-
-### Next Steps
-
-- None - task complete

package/.trellis/worktree.yaml

@@ -1,47 +0,0 @@
-# Worktree Configuration for Multi-Agent Pipeline
-# Used for worktree initialization in multi-agent workflows
-#
-# All paths are relative to project root
-
-#-------------------------------------------------------------------------------
-# Paths
-#-------------------------------------------------------------------------------
-
-# Worktree storage directory (relative to project root)
-worktree_dir: ../trellis-worktrees
-
-#-------------------------------------------------------------------------------
-# Files to Copy
-#-------------------------------------------------------------------------------
-
-# Files to copy to each worktree (each worktree needs independent copy)
-# These files contain sensitive info or need worktree-independent config
-copy:
-  # Environment variables (uncomment and customize as needed)
-  # - .env
-  # - .env.local
-  # Workflow config
-  - .trellis/.developer
-
-#-------------------------------------------------------------------------------
-# Post-Create Hooks
-#-------------------------------------------------------------------------------
-
-# Commands to run after creating worktree
-# Executed in worktree directory, in order, abort on failure
-post_create:
-  # Install dependencies (uncomment based on your package manager)
-  # - npm install
-  # - pnpm install --frozen-lockfile
-  # - yarn install --frozen-lockfile
-
-#-------------------------------------------------------------------------------
-# Check Agent Verification (Ralph Loop)
-#-------------------------------------------------------------------------------
-
-# Commands to verify code quality before allowing check agent to finish
-# If configured, Ralph Loop will run these commands - all must pass to allow completion
-# If not configured or empty, trusts agent's completion markers
-verify:
-  # - pnpm lint
-  # - pnpm typecheck

package/AGENTS.md

@@ -1,18 +0,0 @@
-<!-- TRELLIS:START -->
-# Trellis Instructions
-
-These instructions are for AI assistants working in this project.
-
-Use the `/trellis:start` command when starting a new session to:
-- Initialize your developer identity
-- Understand current project context
-- Read relevant guidelines
-
-Use `@/.trellis/` to learn:
-- Development workflow (`workflow.md`)
-- Project structure guidelines (`spec/`)
-- Developer workspace (`workspace/`)
-
-Keep this managed block so 'trellis update' can refresh the instructions.
-
-<!-- TRELLIS:END -->

package/CLAUDE.md

@@ -1,315 +0,0 @@
-# DeepSpider - 智能爬虫工程平台
-
-> 基于 DeepAgents + Patchright 的智能爬虫 Agent，覆盖爬虫全生命周期
-
-## 分析方法论
-
-** 每次都分别从资深爬虫工程师和资深技术架构师的两个角度进行理性的辩论性的分析。**
-从最佳实践出发，结合当前项目的实际架构。
-
-## 功能
-
-### 逆向分析
-- 真实浏览器动态分析 (Patchright + CDP)
-- Webpack/Browserify 解包 (webcrack)
-- 混淆代码分析与反混淆
-- 加密算法识别 (CryptoJS/RSA Hook)
-- 请求参数追踪
-- JS 转 Python 代码生成
-
-### 验证码处理
-- 图片验证码 OCR 识别 (ddddocr)
-- 滑块验证码轨迹模拟
-- 点选验证码目标检测
-- 打码平台集成
-
-### 反检测与风控
-- 浏览器指纹管理
-- 代理 IP 池管理
-- 请求特征伪装
-- 风控规避策略
-
-### 爬虫编排
-- 智能流程规划
-- 完整爬虫脚本生成
-- 端到端测试验证
-- 按需调用，灵活组合
-
-## 项目结构
-
-```
-deepspider/
-├── src/
-│   ├── agent/               # DeepAgent 系统
-│   │   ├── index.js         # 主入口
-│   │   ├── run.js           # Agent 运行入口
-│   │   ├── tools/           # 工具集（90+）
-│   │   ├── subagents/       # 子代理
-│   │   └── prompts/         # 系统提示
-│   ├── browser/             # 浏览器运行时
-│   │   ├── client.js        # Patchright 客户端
-│   │   ├── cdp.js           # CDP 会话管理
-│   │   ├── defaultHooks.js  # 默认注入的 Hook
-│   │   ├── interceptors/    # CDP 拦截器
-│   │   │   ├── NetworkInterceptor.js
-│   │   │   └── ScriptInterceptor.js
-│   │   ├── ui/              # 浏览器内 UI
-│   │   │   └── analysisPanel.js
-│   │   └── hooks/           # Hook 脚本
-│   ├── store/               # 数据存储
-│   │   └── DataStore.js     # 文件系统存储
-│   ├── analyzer/            # 静态分析器
-│   ├── core/                # 核心模块
-│   ├── env/                 # 环境补丁模块
-│   └── mcp/                 # MCP 服务
-├── bin/cli.js               # CLI 入口
-└── test/                    # 测试
-```
-
-## 依赖版本
-
-```json
-{
-  "@babel/parser": "^7.26.0",
-  "@babel/traverse": "^7.26.0",
-  "@babel/generator": "^7.26.0",
-  "deepagents": "^1.6.0",
-  "@langchain/core": "^1.1.17",
-  "@langchain/anthropic": "^1.3.12",
-  "patchright": "^1.51.1",
-  "webcrack": "^2.15.1",
-  "isolated-vm": "^6.0.2",
-  "zod": "^4.3.6"
-}
-```
-
-## 架构
-
-### 子代理体系
-
-| 子代理 | 职责 | 核心工具 |
-|--------|------|----------|
-| crawler | 爬虫编排：整合各模块、生成完整脚本 | file, store, crawler |
-| static | 静态分析：解包、反混淆、加密定位 | webcrack, deobfuscate, analyze |
-| dynamic | 动态分析：浏览器控制、Hook、数据采集 | browser, debug, capture |
-| sandbox | 沙箱执行：环境补全、代码执行 | sandbox, env, patch |
-| js2python | JS转Python：加密代码转换、验证 | python, analyzer |
-| env-agent | 环境补全：生成浏览器环境模拟代码 | env, sandbox |
-| captcha | 验证码处理：OCR、滑块、点选 | captcha_ocr, captcha_slide |
-| anti-detect | 反检测：指纹管理、代理池 | proxy, fingerprint |
-
-### 智能调度流程
-
-根据目标网站复杂度，按需调用子代理：
-
-```
-用户：爬取目标网站
-         ↓
-┌─────────────────────────────────────┐
-│  crawler-agent 分析目标             │
-│  判断网站复杂度，规划流程           │
-└─────────────────────────────────────┘
-         ↓
-┌─────────────────────────────────────┐
-│  按需调用子代理                     │
-│                                     │
-│  Level 1 简单: static → js2python   │
-│  Level 2 中等: + captcha + dynamic  │
-│  Level 3 复杂: + anti-detect + e2e  │
-└─────────────────────────────────────┘
-         ↓
-┌─────────────────────────────────────┐
-│  输出完整爬虫脚本                   │
-│  简单: 单文件脚本                   │
-│  复杂: 完整项目结构                 │
-└─────────────────────────────────────┘
-```
-
-### 浏览器交互流程
-
-```
-pnpm run agent https://example.com
-         ↓
-┌─────────────────────────────────────┐
-│  浏览器启动，自动注入 Hook          │
-│  CDP 拦截器记录请求/脚本            │
-│  数据存储到 .deepspider-data/          │
-└─────────────────────────────────────┘
-         ↓
-┌─────────────────────────────────────┐
-│  用户在网站操作（登录、翻页等）     │
-│  系统持续记录数据                   │
-└─────────────────────────────────────┘
-         ↓
-┌─────────────────────────────────────┐
-│  用户点击面板选择按钮(⦿)           │
-│  选择元素 → 显示操作菜单            │
-│                                     │
-│  操作选项：                         │
-│  - 添加为字段（爬虫配置）           │
-│  - 追踪数据来源                     │
-│  - 分析加密逻辑                     │
-│  - 完整流程分析                     │
-└─────────────────────────────────────┘
-         ↓
-┌─────────────────────────────────────┐
-│  选择多个字段后点击"生成配置"      │
-│  crawler 子代理整合分析结果         │
-│  输出 config.json + crawler.py      │
-└─────────────────────────────────────┘
-```
-
-## 代码规范
-
-### Hook 内部数据过滤
-
-系统内部操作（消息存储、前后端通信）不应触发 Hook 记录。使用统一标记过滤：
-
-```javascript
-// Storage: 使用 deepspider_ 前缀
-sessionStorage.setItem('deepspider_messages', data);  // 不触发 Hook
-
-// JSON: 使用 __ds__ 标记
-const msg = { __ds__: true, type: 'chat', text: '...' };  // 不触发 Hook
-```
-
-| 场景 | 过滤方式 | 示例 |
-|------|----------|------|
-| sessionStorage | `deepspider_` 前缀 | `deepspider_chat_messages` |
-| 发送到后端的消息 | `__ds__: true` | `{ __ds__: true, type: 'chat' }` |
-| 面板消息对象 | `__ds__: true` | `{ __ds__: true, role, content }` |
-
-### 浏览器交互
-
-与浏览器的交互优先使用 CDP（Chrome DevTools Protocol）方式，而非 `page.evaluate()`。
-
-CDP session 应复用，通过 `browser.getCDPSession()` 获取：
-
-```javascript
-// 复用 CDP session 执行 JS
-async function evaluateViaCDP(browser, expression) {
-  const cdp = await browser.getCDPSession();
-  if (!cdp) return null;
-  const result = await cdp.send('Runtime.evaluate', {
-    expression,
-    returnByValue: true,
-  });
-  return result.result?.value;
-}
-
-// 使用示例
-const logs = await evaluateViaCDP(browser, `window.__deepspider__?.getAllLogs?.()`);
-```
-
-### Babel AST 遍历
-
-使用 `@babel/traverse` 而非 acorn-walk：
-
-```javascript
-import { parse } from '@babel/parser';
-import traverse from '@babel/traverse';
-
-// 解析代码
-const ast = parse(code, {
-  sourceType: 'unambiguous',
-  plugins: ['jsx', 'typescript', 'decorators-legacy'],
-  errorRecovery: true,
-});
-
-// 遍历 AST
-traverse.default(ast, {
-  FunctionDeclaration(path) {
-    const node = path.node;
-    // 处理函数声明
-  },
-  CallExpression(path) {
-    const node = path.node;
-    // 处理调用表达式
-  }
-});
-
-// 遍历子节点（在 visitor 内部）
-path.traverse({
-  Identifier(innerPath) {
-    // 处理内部标识符
-  }
-});
-```
-
-### LangChain 工具定义
-
-使用 `@langchain/core/tools`：
-
-```javascript
-import { z } from 'zod';
-import { tool } from '@langchain/core/tools';
-
-const myTool = tool(
-  async ({ param1, param2 }) => {
-    // 工具逻辑
-    return result;
-  },
-  {
-    name: 'tool_name',
-    description: '工具描述',
-    schema: z.object({
-      param1: z.string().describe('参数1描述'),
-      param2: z.number().optional().default(100),
-    }),
-  }
-);
-```
-
-### DeepAgent 创建
-
-```javascript
-import { ChatAnthropic } from '@langchain/anthropic';
-import { createDeepAgent } from 'deepagents';
-
-export const agent = createDeepAgent({
-  model: new ChatAnthropic({
-    model: 'claude-sonnet-4-20250514',
-    temperature: 0,
-  }),
-  tools: [tool1, tool2],
-  systemPrompt: '系统提示',
-});
-```
-
-## 运行
-
-```bash
-# 安装依赖
-pnpm install
-
-# 安装 Python 加密库（用于运行生成的 Python 代码）
-pnpm run setup:crypto
-
-# 配置环境变量
-cp .env.example .env
-# 编辑 .env 填入:
-#   DEEPSPIDER_API_KEY=your-api-key
-#   DEEPSPIDER_BASE_URL=https://api.openai.com/v1
-#   DEEPSPIDER_MODEL=gpt-4o
-
-# Agent 模式（推荐）- 指定目标网站
-pnpm run agent https://example.com
-
-# Agent 模式 - 纯交互（不启动浏览器）
-pnpm run agent
-
-# MCP 服务（供 Claude Code 等调用）
-pnpm run mcp
-
-# 测试
-pnpm test
-```
-
-### Agent 使用流程
-
-1. **启动**: `pnpm run agent https://target-site.com`
-2. **等待**: 浏览器打开，系统自动记录数据（不消耗 API）
-3. **操作**: 在网站上登录、翻页、触发目标请求
-4. **选择**: 点击面板的选择按钮(⦿)，进入选择模式
-5. **分析**: 点击目标数据，确认后发送给 Agent
-6. **对话**: 在面板或 CLI 继续提问，深入分析

package/agents/deepspider.md

@@ -1,142 +0,0 @@
----
-description: 智能爬虫 Agent。JS逆向、动态调试、代码解包、反混淆、加密捕获、爬虫生成。
-capabilities: ["JS逆向", "动态调试", "代码解包", "反混淆", "加密捕获", "爬虫生成"]
----
-
-你是 DeepSpider，一个智能爬虫 Agent。
-
-## 核心能力
-
-1. **动态调试** - Patchright 反检测浏览器 + CDP 断点调试
-2. **代码解包** - Webpack/Browserify 自动解包 (webcrack)
-3. **反混淆** - AST 解析、控制流还原、字符串解密
-4. **加密捕获** - Hook 捕获 CryptoJS/RSA 加密调用
-5. **环境补全** - 检测并补全浏览器环境依赖
-
-## 工作原则
-
-1. **最小补丁**: 只补充必要的环境，避免过度补丁
-2. **迭代验证**: 每次补丁后验证执行结果
-3. **清晰输出**: 生成可独立运行的代码
-
-## 工作流程
-
-### 完整分析流程
-```
-1. preprocess_code 预处理（自动解包或反混淆）
-2. deobfuscate 深度反混淆
-3. analyze_encryption 定位加密入口
-4. launch_browser 启动浏览器
-5. set_breakpoint 设置断点
-6. collect_env 采集环境数据
-7. generate_patch 生成补丁
-8. sandbox_execute 沙箱验证
-```
-
-### 补环境任务
-```
-1. 读取目标 JS 代码
-2. 使用 sandbox_execute 执行，捕获错误
-3. 分析缺失的环境属性
-4. 使用 generate_patch 生成补丁
-5. 使用 sandbox_inject 注入补丁
-6. 重复直到成功
-```
-
-### 加密分析任务
-```
-1. launch_browser 打开目标页面
-2. 注入 Hook 脚本捕获加密调用
-3. 触发页面操作
-4. get_hook_logs 获取捕获的密钥和参数
-5. 输出分析报告
-```
-
-## 环境补丁模板
-
-### Navigator
-```javascript
-const navigator = {
-  userAgent: 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
-  platform: 'Win32',
-  language: 'zh-CN',
-  languages: ['zh-CN', 'en'],
-  cookieEnabled: true,
-  onLine: true,
-  hardwareConcurrency: 8
-};
-Object.defineProperty(navigator, 'webdriver', { get: () => false });
-```
-
-### Document
-```javascript
-const document = {
-  cookie: '',
-  referrer: '',
-  domain: 'example.com',
-  title: '',
-  createElement: (tag) => ({ tagName: tag, style: {} }),
-  getElementById: () => null,
-  querySelector: () => null,
-  querySelectorAll: () => []
-};
-```
-
-### Window
-```javascript
-const window = {
-  innerWidth: 1920,
-  innerHeight: 1080,
-  devicePixelRatio: 1,
-  location: { href: 'https://example.com/', hostname: 'example.com', protocol: 'https:' },
-  navigator,
-  document,
-  localStorage: { getItem: () => null, setItem: () => {} },
-  sessionStorage: { getItem: () => null, setItem: () => {} },
-  atob: (s) => Buffer.from(s, 'base64').toString(),
-  btoa: (s) => Buffer.from(s).toString('base64')
-};
-```
-
-## 加密模式识别
-
-| 模式 | 特征 |
-|------|------|
-| MD5 | `md5(`, 32位十六进制输出 |
-| SHA256 | `sha256`, `SHA256`, 64位十六进制输出 |
-| AES | `CryptoJS.AES`, `aes.*encrypt` |
-| RSA | `JSEncrypt`, `RSAKey` |
-| Base64 | `btoa`, `atob` |
-| HMAC | `hmac`, `HMAC` |
-
-## 输出格式
-
-分析完成后，输出：
-1. **执行结果**: 代码执行的返回值
-2. **补丁代码**: 完整的环境补丁（可独立运行）
-3. **分析报告**: 检测到的加密算法、关键函数等
-
-## Hook 模板
-
-### CryptoJS Hook (自动注入)
-```javascript
-// 由 browser/hooks/crypto.js 自动注入
-// 捕获 CryptoJS.AES.encrypt 等调用
-// 输出: Key, IV, Mode, 明文, 密文
-```
-
-### RSA Hook (自动注入)
-```javascript
-// 由 browser/hooks/crypto.js 自动注入
-// 捕获 JSEncrypt.encrypt 调用
-// 输出: 公钥, 明文, 密文
-```
-
-### 自定义函数 Hook
-```javascript
-const _orig = window.func;
-window.func = function(...args) {
-  console.log('[Hook] func:', args);
-  return _orig.apply(this, args);
-};
-```

package/docs/DEBUG.md

@@ -1,42 +0,0 @@
-# DeepSpider 调试指南
-
-## 1. MCP 服务测试
-
-```bash
-# 启动 MCP 服务
-pnpm run mcp
-
-# MCP Inspector 测试
-npx @modelcontextprotocol/inspector node src/mcp/server.js
-```
-
-## 2. 浏览器调试
-
-```bash
-# 测试浏览器启动
-node test/browser.test.js
-```
-
-浏览器使用 Patchright (反检测 Playwright)，默认非 headless 模式。
-
-## 3. 工具验证
-
-```bash
-# 验证所有工具导入
-node -e "import('./src/agent/tools/index.js').then(m => console.log('工具数:', m.allTools.length))"
-
-# 测试单个工具
-node -e "
-import { preprocessCode } from './src/agent/tools/preprocess.js';
-preprocessCode.invoke({ code: 'var a=1' }).then(console.log);
-"
-```
-
-## 4. 常见问题
-
-| 问题 | 排查方法 |
-|------|----------|
-| MCP 启动失败 | `node src/mcp/server.js` |
-| 浏览器启动失败 | 检查 patchright 安装 |
-| 沙箱执行失败 | 检查 isolated-vm 依赖 |
-| webcrack 解包失败 | 确认是 Webpack/Browserify 格式 |