deepspider 0.1.0

package/src/agent/subagents/anti-detect.js

@@ -0,0 +1,45 @@
+/**
+ * DeepSpider - 反检测子代理
+ * 浏览器指纹管理、代理池、风控规避
+ */
+
+import { createSkillsMiddleware } from 'deepagents';
+import { SKILLS, skillsBackend } from '../skills/config.js';
+import { createFilterToolsMiddleware } from '../middleware/filterTools.js';
+
+import { antiDetectTools } from '../tools/index.js';
+import { browserTools } from '../tools/browser.js';
+import { fileTools } from '../tools/file.js';
+import { evolveTools } from '../tools/evolve.js';
+
+export const antiDetectSubagent = {
+  name: 'anti-detect',
+  description: '反检测专家。当目标网站有风控检测、IP封禁、指纹识别时使用，适用于：代理IP配置、浏览器指纹伪装、请求特征修改、风控规避。',
+  systemPrompt: `你是 DeepSpider 的反检测专家，负责绑过网站的反爬虫检测。
+
+## 核心职责
+配置反检测环境，规避风控系统，确保爬虫稳定运行。
+
+## 检测类型
+- IP 检测：代理轮换
+- 浏览器指纹：指纹伪装
+- 行为检测：模拟人类操作
+- TLS 指纹：使用真实浏览器
+
+## 经验记录
+完成反检测配置后，如发现有价值的经验，使用 evolve_skill 记录：
+- skill: "anti-detect"`,
+  tools: [
+    ...antiDetectTools,
+    ...browserTools,
+    ...fileTools,
+    ...evolveTools,
+  ],
+  middleware: [
+    createFilterToolsMiddleware(),
+    createSkillsMiddleware({
+      backend: skillsBackend,
+      sources: [SKILLS.antiDetect],
+    }),
+  ],
+};

package/src/agent/subagents/captcha.js

@@ -0,0 +1,51 @@
+/**
+ * DeepSpider - 验证码处理子代理
+ * 识别和绕过各类验证码
+ */
+
+import { createSkillsMiddleware } from 'deepagents';
+import { SKILLS, skillsBackend } from '../skills/config.js';
+import { createFilterToolsMiddleware } from '../middleware/filterTools.js';
+
+import { captchaTools } from '../tools/captcha.js';
+import { browserTools } from '../tools/browser.js';
+import { fileTools } from '../tools/file.js';
+import { evolveTools } from '../tools/evolve.js';
+
+export const captchaSubagent = {
+  name: 'captcha',
+  description: '验证码处理专家。当遇到验证码需要识别或绕过时使用，适用于：图片验证码OCR、滑块验证码、点选验证码、短信验证码处理。',
+  systemPrompt: `你是 DeepSpider 的验证码处理专家，负责识别和绕过各类验证码。
+
+## 核心职责
+识别验证码类型，选择最优处理策略，确保验证通过。
+
+## 验证码类型
+- 图片验证码：OCR 识别
+- 滑块验证码：缺口检测 + 轨迹模拟
+- 点选验证码：目标检测
+- 短信验证码：接码平台或用户手动
+
+## 工作流程
+1. 检测验证码类型
+2. 选择处理策略
+3. 执行验证
+4. 检查结果，失败则重试
+
+## 经验记录
+完成验证码处理后，如发现有价值的经验，使用 evolve_skill 记录：
+- skill: "captcha"`,
+  tools: [
+    ...captchaTools,
+    ...browserTools,
+    ...fileTools,
+    ...evolveTools,
+  ],
+  middleware: [
+    createFilterToolsMiddleware(),
+    createSkillsMiddleware({
+      backend: skillsBackend,
+      sources: [SKILLS.captcha],
+    }),
+  ],
+};

package/src/agent/subagents/crawler.js

@@ -0,0 +1,138 @@
+/**
+ * DeepSpider - 爬虫编排子代理
+ * 智能调度、流程规划、脚本生成
+ */
+
+import { createSkillsMiddleware } from 'deepagents';
+import { SKILLS, skillsBackend } from '../skills/config.js';
+import { createFilterToolsMiddleware } from '../middleware/filterTools.js';
+
+import { crawlerTools } from '../tools/crawler.js';
+import { fileTools } from '../tools/file.js';
+import { evolveTools } from '../tools/evolve.js';
+import { storeTools } from '../tools/store.js';
+
+export const crawlerSubagent = {
+  name: 'crawler',
+  description: '爬虫编排专家。当需要规划完整爬虫流程、生成爬虫脚本、进行端到端测试时使用。负责分析目标网站复杂度，按需调度其他子代理，输出完整可运行的爬虫代码。',
+  systemPrompt: `你是 DeepSpider 的爬虫编排专家，负责生成完整可运行的 Python 爬虫脚本。
+
+## 核心职责
+**最终目标：输出一份用户可以直接 python crawler.py 运行的完整爬虫代码**
+
+1. 分析目标网站，识别需要处理的环节
+2. 调度其他子代理获取各模块代码
+3. 整合所有模块，生成完整 Python 爬虫脚本
+4. E2E 测试验证脚本可运行
+5. 输出最终代码文件
+
+## 网站复杂度分级
+
+### Level 1 - 简单
+- 无加密或简单加密
+- 无验证码
+- 无登录要求
+- 无风控检测
+
+### Level 2 - 中等
+- 有加密参数
+- 可能有简单验证码
+- 可能需要登录
+- 基础风控
+
+### Level 3 - 复杂
+- 复杂加密 + 多重风控
+- 多种验证码
+- 设备指纹检测
+- 行为分析
+
+## 调度策略
+
+根据网站特征，按需调用子代理获取代码模块：
+
+| 网站特征 | 调用子代理 | 获取模块 |
+|----------|-----------|----------|
+| 有加密参数 | static → js2python | crypto.py |
+| 有验证码 | captcha 分析 | 生成验证码处理代码 |
+| 有风控 | anti-detect 分析 | 生成反检测配置代码 |
+| 需要登录 | dynamic 分析 | 生成登录流程代码 |
+
+## 输出规范
+
+**重要：必须输出完整可运行的 Python 代码文件**
+
+### 输出要求
+1. 使用 artifact_save 保存完整 .py 文件
+2. 代码必须可以直接 \`python xxx.py\` 运行
+3. 包含所有依赖的 import
+4. 包含使用示例（if __name__ == "__main__"）
+5. 包含 requirements.txt
+
+### 复杂网站 - 项目结构
+\`\`\`
+<domain>_crawler/
+├── config.py          # 配置（可选的代理、账号等）
+├── crypto.py          # 加密模块（来自 js2python）
+├── captcha.py         # 验证码处理（如需要）
+├── crawler.py         # 主爬虫逻辑
+└── requirements.txt   # 依赖列表
+\`\`\`
+
+### 代码模板
+
+\`\`\`python
+"""
+<domain> 爬虫 - 由 DeepSpider 生成
+"""
+import requests
+
+class Crawler:
+    def __init__(self):
+        self.session = requests.Session()
+        self.session.headers.update({...})
+
+    def encrypt(self, data):
+        # 加密逻辑
+        ...
+
+    def login(self, username, password):
+        # 登录流程（如需要）
+        ...
+
+    def fetch(self, params):
+        # 请求逻辑
+        encrypted = self.encrypt(params)
+        resp = self.session.post(url, data=encrypted)
+        return resp.json()
+
+if __name__ == "__main__":
+    c = Crawler()
+    # c.login("user", "pass")  # 如需要
+    data = c.fetch({"page": 1})
+    print(data)
+\`\`\`
+
+## 工作流程
+1. 分析网站特征
+2. 调度子代理获取模块
+3. 整合为完整脚本
+4. E2E 验证
+5. 输出文件
+
+## 经验记录
+完成爬虫编排后，如发现有价值的经验，使用 evolve_skill 记录：
+- skill: "crawler"`,
+  tools: [
+    ...crawlerTools,
+    ...fileTools,
+    ...evolveTools,
+    ...storeTools,
+  ],
+  middleware: [
+    createFilterToolsMiddleware(),
+    createSkillsMiddleware({
+      backend: skillsBackend,
+      sources: [SKILLS.crawler, SKILLS.xpath],
+    }),
+  ],
+};

package/src/agent/subagents/dynamic.js

@@ -0,0 +1,64 @@
+/**
+ * DeepSpider - 动态分析子代理
+ */
+
+import { createSkillsMiddleware } from 'deepagents';
+import { SKILLS, skillsBackend } from '../skills/config.js';
+import { createFilterToolsMiddleware } from '../middleware/filterTools.js';
+
+import { runtimeTools } from '../tools/runtime.js';
+import { debugTools } from '../tools/debug.js';
+import { captureTools } from '../tools/capture.js';
+import { browserTools } from '../tools/browser.js';
+import { cryptoHookTools } from '../tools/cryptohook.js';
+import { correlateTools } from '../tools/correlate.js';
+import { tracingTools } from '../tools/tracing.js';
+import { evolveTools } from '../tools/evolve.js';
+
+export const dynamicSubagent = {
+  name: 'dynamic-agent',
+  description: '动态分析专家。当需要在浏览器中调试分析时使用，适用于：设置断点捕获运行时数据、分析请求与加密的关联、采集真实环境数据。',
+  systemPrompt: `你是 DeepSpider 的动态分析专家。
+
+## 职责
+- 控制浏览器执行
+- 设置断点捕获运行时数据
+- 采集真实环境数据
+- 收集 Hook 日志
+- 分析请求与加密的关联
+
+## 浏览器状态检查
+**在执行任何操作前，先判断浏览器状态：**
+- 如果任务描述中包含"浏览器已就绪"等关键词，不要调用 launch_browser
+- 先使用 get_hook_logs 检查是否有数据
+- 只有确认浏览器未启动时，才执行启动流程
+
+## 工作流程
+1. 检查浏览器状态
+2. 如需启动：launch_browser → navigate_to
+3. 等待 Hook 捕获加密调用
+4. 分析请求与加密的关联
+5. 必要时设置断点深入分析
+6. 采集环境数据
+
+## 经验记录
+完成分析后，如发现有价值的经验，使用 evolve_skill 记录：
+- skill: "dynamic-analysis"`,
+  tools: [
+    ...runtimeTools,
+    ...debugTools,
+    ...captureTools,
+    ...browserTools,
+    ...cryptoHookTools,
+    ...correlateTools,
+    ...tracingTools,
+    ...evolveTools,
+  ],
+  middleware: [
+    createFilterToolsMiddleware(),
+    createSkillsMiddleware({
+      backend: skillsBackend,
+      sources: [SKILLS.dynamic],
+    }),
+  ],
+};

package/src/agent/subagents/env-agent.js

@@ -0,0 +1,82 @@
+/**
+ * DeepSpider - 补环境子代理
+ * 方向：通过补全浏览器环境让代码直接运行
+ */
+
+import { createSkillsMiddleware } from 'deepagents';
+import { SKILLS, skillsBackend } from '../skills/config.js';
+import { createFilterToolsMiddleware } from '../middleware/filterTools.js';
+
+import { sandboxTools } from '../tools/sandbox.js';
+import { nodejsTools } from '../tools/nodejs.js';
+import { envDumpTools } from '../tools/envdump.js';
+import { extractTools } from '../tools/extract.js';
+import { patchTools } from '../tools/patch.js';
+import { envTools } from '../tools/env.js';
+import { profileTools } from '../tools/profile.js';
+import { storeTools } from '../tools/store.js';
+import { hookTools } from '../tools/hook.js';
+import { antiDebugTools } from '../tools/antidebug.js';
+import { asyncTools } from '../tools/async.js';
+import { evolveTools } from '../tools/evolve.js';
+
+export const envAgentSubagent = {
+  name: 'env-agent',
+  description: '补环境专家。当需要让混淆代码在沙箱中直接运行时使用，适用于：环境检测多、算法复杂难还原、需要快速获取结果的场景。',
+  systemPrompt: `你是 DeepSpider 的补环境专家。
+
+## 分析方向
+补环境是 JS 逆向的黑盒方向，目标是让混淆代码在沙箱中直接运行，无需理解算法逻辑。
+
+## 核心流程
+1. **环境自吐** - 发现代码访问了哪些环境
+2. **浏览器提取** - 从真实浏览器获取环境值
+3. **生成补丁** - 转换为可注入的代码
+4. **沙箱执行** - 运行并获取结果
+
+## 判断标准
+适合补环境的场景：
+- 环境检测多（webdriver、chrome对象等）
+- 算法复杂难以还原
+- 需要快速获取结果
+- 代码频繁更新
+
+## 快速模式
+如果只需快速验证代码能否运行：
+1. list_env_modules 查看预置模块
+2. load_all_env_modules 加载全部
+3. sandbox_inject 注入
+4. sandbox_execute 执行
+
+## 执行工具选择
+- sandbox_execute: 隔离沙箱，适合补环境后的代码执行
+- run_node_code: Node.js 执行，适合需要 require npm 包的场景
+
+## 失败处理
+如果补环境多次失败，建议切换到纯算分析方向。
+
+## 经验记录
+完成分析后，如发现有价值的经验，使用 evolve_skill 记录：
+- skill: "env"`,
+  tools: [
+    ...sandboxTools,
+    ...nodejsTools,
+    ...envDumpTools,
+    ...extractTools,
+    ...patchTools,
+    ...envTools,
+    ...profileTools,
+    ...hookTools,
+    ...antiDebugTools,
+    ...asyncTools,
+    ...storeTools,
+    ...evolveTools,
+  ],
+  middleware: [
+    createFilterToolsMiddleware(),
+    createSkillsMiddleware({
+      backend: skillsBackend,
+      sources: [SKILLS.env],
+    }),
+  ],
+};

package/src/agent/subagents/index.js

@@ -0,0 +1,37 @@
+/**
+ * DeepSpider - 子代理索引
+ */
+
+// 编排层
+export { crawlerSubagent } from './crawler.js';
+
+// 逆向分析
+export { staticSubagent } from './static.js';
+export { dynamicSubagent } from './dynamic.js';
+export { sandboxSubagent } from './sandbox.js';
+export { js2pythonSubagent } from './js2python.js';
+export { envAgentSubagent } from './env-agent.js';
+
+// 爬虫能力
+export { captchaSubagent } from './captcha.js';
+export { antiDetectSubagent } from './anti-detect.js';
+
+import { crawlerSubagent } from './crawler.js';
+import { staticSubagent } from './static.js';
+import { dynamicSubagent } from './dynamic.js';
+import { sandboxSubagent } from './sandbox.js';
+import { js2pythonSubagent } from './js2python.js';
+import { envAgentSubagent } from './env-agent.js';
+import { captchaSubagent } from './captcha.js';
+import { antiDetectSubagent } from './anti-detect.js';
+
+export const allSubagents = [
+  crawlerSubagent,
+  staticSubagent,
+  dynamicSubagent,
+  sandboxSubagent,
+  js2pythonSubagent,
+  envAgentSubagent,
+  captchaSubagent,
+  antiDetectSubagent,
+];

package/src/agent/subagents/js2python.js

@@ -0,0 +1,72 @@
+/**
+ * DeepSpider - JS 转 Python 子代理
+ * 将 JS 加密逻辑转换为 Python 代码
+ */
+
+import { createSkillsMiddleware } from 'deepagents';
+import { SKILLS, skillsBackend } from '../skills/config.js';
+import { createFilterToolsMiddleware } from '../middleware/filterTools.js';
+
+import { pythonTools } from '../tools/python.js';
+import { nodejsTools } from '../tools/nodejs.js';
+import { analyzerTools } from '../tools/analyzer.js';
+import { fileTools } from '../tools/file.js';
+import { evolveTools } from '../tools/evolve.js';
+
+export const js2pythonSubagent = {
+  name: 'js2python',
+  description: 'JS转Python专家。当需要将JS加密代码转换为Python时使用，适用于：爬虫项目需要Python实现、标准加密算法转换、复杂算法使用execjs方案。',
+  systemPrompt: `你是 DeepSpider 的 JS 转 Python 专家，负责将 JS 加密逻辑转换为 Python 代码。
+
+## 核心职责
+将 JS 加密算法转换为 Python 实现，保证可以成功运行。
+
+## 转换策略
+
+### 策略一：纯 Python 重写（优先）
+适用：标准加密算法（AES、MD5、SHA、RSA、国密）
+
+### 策略二：execjs 执行原始 JS
+适用：复杂自定义算法、混淆代码难还原
+
+## 工作流程
+1. 分析 JS 代码，识别加密算法类型
+2. 使用 run_node_code 执行原始 JS 获取基准结果
+3. 选择转换策略
+4. 生成 Python 代码
+5. 验证结果一致性
+6. 使用 artifact_save 保存文件
+
+## 输出规范
+
+**重要：必须输出完整可运行的 Python 文件**
+
+1. 使用 artifact_save 保存 .py 文件
+2. 文件必须可以直接 python xxx.py 运行
+3. 包含完整 import、函数定义、使用示例
+4. 禁止在对话中输出大段代码片段代替完整文件
+
+## 降级策略
+
+纯 Python 转换失败 3 次 → 改用 execjs 方案
+
+目标是保证最终输出可用的代码。
+
+## 经验记录
+完成转换后，如发现有价值的经验，使用 evolve_skill 记录：
+- skill: "js2python"`,
+  tools: [
+    ...pythonTools,
+    ...nodejsTools,
+    ...analyzerTools,
+    ...fileTools,
+    ...evolveTools,
+  ],
+  middleware: [
+    createFilterToolsMiddleware(),
+    createSkillsMiddleware({
+      backend: skillsBackend,
+      sources: [SKILLS.js2python],
+    }),
+  ],
+};

package/src/agent/subagents/sandbox.js

@@ -0,0 +1,55 @@
+/**
+ * DeepSpider - 沙箱验证子代理
+ */
+
+import { createSkillsMiddleware } from 'deepagents';
+import { SKILLS, skillsBackend } from '../skills/config.js';
+import { createFilterToolsMiddleware } from '../middleware/filterTools.js';
+
+import { sandboxTools } from '../tools/sandbox.js';
+import { nodejsTools } from '../tools/nodejs.js';
+import { patchTools } from '../tools/patch.js';
+import { envTools } from '../tools/env.js';
+import { verifyTools } from '../tools/verify.js';
+import { fileTools } from '../tools/file.js';
+import { evolveTools } from '../tools/evolve.js';
+
+export const sandboxSubagent = {
+  name: 'sandbox-agent',
+  description: '沙箱验证专家。当需要验证提取的代码能否正确执行时使用，适用于：验证加密算法、补全缺失环境、生成可独立运行的脚本。',
+  systemPrompt: `你是 DeepSpider 的验证执行专家。
+
+## 职责
+- 在沙箱中验证提取的加密算法
+- 补全缺失的环境
+- 生成可独立运行的脚本
+- 验证加密结果是否正确
+
+## 执行工具选择
+- sandbox_execute: 隔离沙箱，适合不需要外部依赖的代码
+- run_node_code: Node.js 执行，适合需要 require npm 包的代码（如 crypto-js）
+
+## 输出
+- 验证结果
+- 可执行的 JS 模块
+
+## 经验记录
+完成验证后，如发现有价值的经验，使用 evolve_skill 记录：
+- skill: "sandbox"`,
+  tools: [
+    ...sandboxTools,
+    ...nodejsTools,
+    ...patchTools,
+    ...envTools,
+    ...verifyTools,
+    ...fileTools,
+    ...evolveTools,
+  ],
+  middleware: [
+    createFilterToolsMiddleware(),
+    createSkillsMiddleware({
+      backend: skillsBackend,
+      sources: [SKILLS.sandbox],
+    }),
+  ],
+};

package/src/agent/subagents/static.js

@@ -0,0 +1,66 @@
+/**
+ * DeepSpider - 静态分析子代理
+ */
+
+import { createSkillsMiddleware } from 'deepagents';
+import { SKILLS, skillsBackend } from '../skills/config.js';
+import { createFilterToolsMiddleware } from '../middleware/filterTools.js';
+
+import { analyzerTools } from '../tools/analyzer.js';
+import { deobfuscatorTools } from '../tools/deobfuscator.js';
+import { traceTools } from '../tools/trace.js';
+import { webcrackTools } from '../tools/webcrack.js';
+import { preprocessTools } from '../tools/preprocess.js';
+import { extractorTools } from '../tools/extractor.js';
+import { storeTools } from '../tools/store.js';
+import { verifyTools } from '../tools/verify.js';
+import { correlateTools } from '../tools/correlate.js';
+import { evolveTools } from '../tools/evolve.js';
+
+export const staticSubagent = {
+  name: 'static-agent',
+  description: '静态代码分析专家。当需要分析混淆代码、还原加密算法时使用，适用于：Webpack解包、反混淆、定位加密入口、算法还原验证。',
+  systemPrompt: `你是 DeepSpider 的静态分析专家。
+
+## 职责
+- 预处理打包代码（Webpack/Vite/Rollup）
+- 反混淆处理
+- 定位加密函数入口
+- 还原算法逻辑
+- 验证算法正确性
+
+## 工作流程
+1. preprocess_code 预处理
+2. 如有 bundle 则解包
+3. deobfuscate 反混淆
+4. analyze_encryption 定位入口
+5. 验证算法
+
+## 输出
+- 加密函数位置
+- 断点建议
+- 算法分析结果
+
+## 经验记录
+完成分析后，如发现有价值的经验，使用 evolve_skill 记录：
+- skill: "static-analysis"`,
+  tools: [
+    ...preprocessTools,
+    ...webcrackTools,
+    ...analyzerTools,
+    ...deobfuscatorTools,
+    ...traceTools,
+    ...extractorTools,
+    ...verifyTools,
+    ...correlateTools,
+    ...storeTools,
+    ...evolveTools,
+  ],
+  middleware: [
+    createFilterToolsMiddleware(),
+    createSkillsMiddleware({
+      backend: skillsBackend,
+      sources: [SKILLS.static],
+    }),
+  ],
+};