deepspider 0.4.0 → 0.5.0

package/README.md

@@ -48,7 +48,7 @@ pnpm run setup:crypto  # 安装 Python 加密库（可选）
 
 ### 配置
 
-DeepSpider 需要配置 LLM API 才能运行。支持任何兼容 OpenAI 格式的供应商。
+DeepSpider 支持兼容 Anthropic 格式的 API 供应商。推荐使用 Claude API 以获得最佳效果。
 
 | 配置键 | 环境变量 | 说明 |
 |--------|----------|------|
@@ -59,33 +59,23 @@ DeepSpider 需要配置 LLM API 才能运行。支持任何兼容 OpenAI 格式
 
 优先级：环境变量 > 配置文件 (`~/.deepspider/config/settings.json`) > 默认值
 
-**方式一：使用 CLI 命令（推荐）**
+**方式一：CLI 命令（推荐）**
 
 ```bash
-deepspider config set apiKey sk-xxx
-deepspider config set baseUrl https://api.openai.com/v1
-deepspider config set model gpt-4o
+deepspider config set apiKey sk-ant-api03-xxx
+deepspider config set baseUrl https://api.anthropic.com
+deepspider config set model claude-opus-4-6
 ```
 
 **方式二：环境变量**
 
 ```bash
-export DEEPSPIDER_API_KEY=sk-xxx
-export DEEPSPIDER_BASE_URL=https://api.openai.com/v1
-export DEEPSPIDER_MODEL=gpt-4o
+export DEEPSPIDER_API_KEY=sk-ant-api03-xxx
+export DEEPSPIDER_BASE_URL=https://api.anthropic.com
+export DEEPSPIDER_MODEL=claude-opus-4-6
 ```
 
-**常用供应商示例**：
-
-```bash
-# OpenAI
-deepspider config set baseUrl https://api.openai.com/v1
-deepspider config set model gpt-4o
-
-# DeepSeek
-deepspider config set baseUrl https://api.deepseek.com/v1
-deepspider config set model deepseek-chat
-```
+> **提示**：也支持其他兼容 Anthropic 格式的 API 供应商。
 
 ### 使用
 

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "deepspider",
-  "version": "0.4.0",
+  "version": "0.5.0",
   "description": "智能爬虫工程平台 - 基于 DeepAgents + Patchright 的 AI 爬虫 Agent",
   "type": "module",
   "main": "src/index.js",

package/src/agent/core/StreamHandler.js

@@ -55,6 +55,20 @@ export class StreamHandler {
     this.fullResponse = '';
   }
 
+  /**
+   * 从 on_chat_model_end 提取最终响应
+   * 优先使用流式累积的 fullResponse，兜底使用 end 事件内容
+   */
+  _extractFinalResponse(output) {
+    if (!output?.content) return null;
+    const streamContent = this.fullResponse;
+    const endContent = typeof output.content === 'string'
+      ? output.content
+      : output.content.filter(c => c.type === 'text').map(c => c.text).join('');
+    // 使用较长的一方（通常流式累积的内容更完整）
+    return streamContent.length >= endContent.length ? streamContent : endContent;
+  }
+
   /**
    * 流式对话 - 显示思考过程（带重试）
    */
@@ -99,12 +113,10 @@ export class StreamHandler {
         await this._handleStreamEvent(event);
 
         if (event.event === 'on_chat_model_end') {
-          const output = event.data?.output;
-          if (output?.content) {
-            finalResponse = typeof output.content === 'string'
-              ? output.content
-              : output.content.filter(c => c.type === 'text').map(c => c.text).join('');
-            this.debug(`chatStream: 收到最终响应, 长度=${finalResponse.length}`);
+          const extracted = this._extractFinalResponse(event.data?.output);
+          if (extracted) {
+            finalResponse = extracted;
+            this.debug(`chatStream: 最终响应, 长度=${finalResponse.length}`);
           }
         }
       }
@@ -165,11 +177,8 @@ export class StreamHandler {
 
         if (event.event === 'on_chat_model_end') {
           const output = event.data?.output;
-          if (output?.content) {
-            finalResponse = typeof output.content === 'string'
-              ? output.content
-              : output.content.filter(c => c.type === 'text').map(c => c.text).join('');
-          }
+          const extracted = this._extractFinalResponse(output);
+          if (extracted) finalResponse = extracted;
         }
       }
 
@@ -245,11 +254,8 @@ export class StreamHandler {
 
         if (event.event === 'on_chat_model_end') {
           const output = event.data?.output;
-          if (output?.content) {
-            finalResponse = typeof output.content === 'string'
-              ? output.content
-              : output.content.filter(c => c.type === 'text').map(c => c.text).join('');
-          }
+          const extracted = this._extractFinalResponse(output);
+          if (extracted) finalResponse = extracted;
         }
       }
 
@@ -415,12 +421,23 @@ export class StreamHandler {
     switch (eventType) {
       case 'on_chat_model_stream':
         let chunk = data?.chunk?.content;
-        if (chunk && typeof chunk === 'string') {
-          chunk = cleanDSML(chunk);
+        // 处理多种内容格式：字符串或数组
+        let textChunk = '';
+        if (typeof chunk === 'string') {
+          textChunk = chunk;
+        } else if (Array.isArray(chunk)) {
+          // 数组格式：提取所有 text 类型的内容
+          textChunk = chunk.filter(c => c.type === 'text').map(c => c.text).join('');
+        } else if (chunk?.text) {
+          // 对象格式：提取 text 字段
+          textChunk = chunk.text;
+        }
+        if (textChunk) {
+          textChunk = cleanDSML(textChunk);
           // CLI 侧仍流式输出
-          process.stdout.write(chunk);
+          process.stdout.write(textChunk);
           // 面板侧只累积，不推送
-          this.fullResponse = (this.fullResponse || '') + chunk;
+          this.fullResponse = (this.fullResponse || '') + textChunk;
         }
         break;
 

package/src/agent/prompts/system.js

@@ -44,11 +44,25 @@ export const systemPrompt = `你是 DeepSpider，一个智能爬虫 Agent。你
 
 1. **已捕获的数据**（浏览器拦截的请求/响应、Hook 记录）— 最可靠
 2. **用户提供的信息**（选中的元素、补充说明）— 直接采信
-3. **工具实时获取**（run_node_code 验证、get_request_detail 查看）— 需验证
+3. **工具实时获取**（run_node_code / run_python_code 验证、get_request_detail 查看）— 需验证
 4. **模型推断**（基于经验猜测加密类型、参数含义）— 仅作参考，必须验证
 
 **禁止仅凭推断就下结论。所有关键判断必须有数据支撑。**
 
+## 代码执行能力
+
+你有两个代码执行工具可用：
+
+| 工具 | 用途 | 示例 |
+|------|------|------|
+| \`run_node_code\` | JS代码快速验证、加密库调用测试 | \`const CryptoJS = require('crypto-js'); ...\` |
+| \`run_python_code\` | Python代码验证、加密算法对比、数据处理 | \`from gmssl import sm2; ...\` |
+
+**使用原则**：
+- 快速验证假设时优先用 \`run_node_code\`（JS环境与浏览器更接近）
+- 需要验证 Python 加密实现时用 \`run_python_code\`
+- 复杂的加密代码转换仍需委托 js2python 子代理
+
 ## 浏览器面板
 
 当用户通过浏览器面板发送消息时（消息以"[浏览器已就绪]"开头）：

package/src/agent/skills/crawler/SKILL.md

@@ -68,3 +68,89 @@ class Crawler:
 - 请求间隔随机化（1-3s）
 - 异常重试（网络超时、频控返回）
 - 数据去重（基于唯一标识）
+
+## 加密参数处理
+
+### AES-CFB 加密请求
+**场景**：招标采购等政府网站常用 AES-CFB 加密请求参数
+
+**实现要点**：
+```python
+from Crypto.Cipher import AES
+import base64
+
+def encrypt_cfb(data, key, iv):
+    # CFB 模式，segment_size=128 与 CryptoJS 兼容
+    cipher = AES.new(key[:16], AES.MODE_CFB, iv[:16], segment_size=128)
+    encrypted = cipher.encrypt(data.encode())
+    return base64.b64encode(encrypted).decode()
+```
+
+**注意**：CFB 模式不需要填充，segment_size=128 是 CryptoJS 默认配置
+
+### 特殊字符编码
+**场景**：某些竞赛/测试站点使用特殊分隔符
+
+**示例 - 猿人学 m 参数**：
+```python
+import hashlib
+import urllib.parse
+
+timestamp = int(time.time() * 1000) + 100000000
+md5_val = hashlib.md5(str(timestamp).encode()).hexdigest()
+# 注意：使用中文竖线 '丨' 而非英文 '|'
+m = f"{md5_val}丨{timestamp}"
+m_encoded = urllib.parse.quote(m)  # URL 编码
+```
+
+## 政府公示网站爬虫
+
+**典型架构**：列表接口 + 详情接口分离设计
+
+**推荐策略**：
+```python
+# 第一步：获取所有 ID
+list_response = fetch_list(page)
+ids = extract_ids(list_response)
+
+# 第二步：批量请求详情（添加友好延迟）
+for id in ids:
+    detail = fetch_detail(id)
+    save(detail)
+    time.sleep(random.uniform(0.5, 1))  # 友好延迟
+```
+
+**注意事项**：
+- 第 1 页可能不需要 page 参数，第 2+ 页需要
+- 政府网站建议 0.5-1 秒随机延迟
+- 关注数据更新频率，避免过度抓取
+
+## 端到端验证
+
+### Sign 参数验证失败排查
+当加密逻辑正确但请求仍失败时，检查：
+
+**1. 请求头完整性**
+```python
+# 某些接口需要特定请求头配合
+headers = {
+    'UUIDAH': uuid_value,  # 可能需要在页面中获取
+    'X-Requested-With': 'XMLHttpRequest',
+    # ... 其他必要头
+}
+```
+
+**2. Sign 时效性**
+- 检查 sign 是否绑定了时间戳
+- 确认服务器时间差（本地时间 vs 服务器时间）
+- 验证 sign 有效期（有些只有几分钟）
+
+**3. 验证流程**
+```
+浏览器生成 sign → 复制到 Python 测试
+        ↓
+    是否一致？
+        ↓
+    是 → 检查请求头/时效性
+    否 → 检查加密参数（模式、编码、密钥）
+```

package/src/agent/skills/crawler/evolved.md

@@ -1,24 +1,25 @@
 ---
-total: 3
-last_merged: null
+total: 0
+last_merged: 2026-03-03
 ---
 
 ## 核心经验
 
 <!-- 经过验证的高价值经验 -->
+<!-- [已合并] AES-CFB 加密爬虫实现 → SKILL.md 加密参数处理章节 -->
+<!-- [已合并] 猿人学 m 参数生成 → SKILL.md 特殊字符编码章节 -->
+<!-- [已合并] 政府公示网站爬虫最佳实践 → SKILL.md 政府公示网站爬虫章节 -->
+
+## 近期发现
+
+<!-- 最近发现，FIFO 滚动，最多保留 10 条 -->
+
+
+
+
+
 
-### [2026-02-02] AES-CFB 加密爬虫实现模式
-**场景**: 招标采购网站使用 AES-CFB 加密请求参数，Key和IV为 "jinrun2024secret"，需要实现 Python 加密模块并集成到爬虫中
-**经验**: AES-CFB 加密网站爬虫开发时，使用 pycryptodome 的 AES.MODE_CFB 模式，segment_size=128，密钥和IV需要截取16字节。加密后Base64编码，请求体直接发送密文字符串。
 
-### [2026-02-13] 猿人学题目m参数生成规范
-**场景**: 猿人学第1题，需要生成m参数：timestamp = Date.now() + 100000000，md5 = MD5(timestamp)，m = md5 + '丨' + timestamp
-**经验**: 注意使用中文竖线'丨'而非英文竖线'|'，需要对m参数进行URL编码，第1页不传page参数，第2-5页需要page参数
 
-### [2026-02-14] 政府公示网站爬虫最佳实践
-**场景**: 金昌市信用公示网站行政处罚数据爬取，采用列表+详情两步爬取策略
-**经验**: 政府公示网站通常采用列表接口+详情接口的分离设计，应先获取所有ID再批量请求详情，并添加0.5-1秒随机延迟以示友好
 
-## 近期发现
 
-<!-- 最近发现，FIFO 滚动，最多保留 10 条 -->

package/src/agent/skills/general/evolved.md

@@ -1,12 +1,23 @@
 ---
 total: 0
-last_merged: null
+last_merged: 2026-03-03
 ---
 
 ## 核心经验
 
 <!-- 经过验证的高价值经验 -->
+<!-- [已合并] SM2 sign 验证问题 → crawler/SKILL.md 端到端验证章节 -->
 
 ## 近期发现
 
 <!-- 最近发现，FIFO 滚动，最多保留 10 条 -->
+
+
+
+
+
+
+
+
+
+

package/src/agent/skills/js2python/SKILL.md

@@ -25,6 +25,46 @@ description: |
 
 **CFB 模式 segment_size：** CryptoJS AES-CFB 默认 CFB128，PyCryptodome 默认 CFB8。必须指定 `segment_size=128`。
 
+## 国密 SM2 转换
+
+### 模式对齐（重要）
+**关键经验**：gmssl 默认使用 C1C2C3 模式 (mode=0)，而 sm-crypto 默认使用 C1C3C2 模式 (mode=1)，必须显式设置 mode=1 才能兼容。
+
+| 模式 | sm-crypto (JS) | gmssl (Python) |
+|------|----------------|----------------|
+| C1C2C3 | mode=0 | mode=0 (默认) |
+| C1C3C2 | mode=1 (默认) | mode=1 |
+
+**正确转换**：
+```python
+from gmssl import sm2
+
+# JS: sm2.doEncrypt(plain, pubKey, 1)  # mode=1, C1C3C2
+# Python 必须显式设置 mode=1 才能兼容
+sm2_crypt = sm2.CryptSM2(public_key=pub_key, private_key="", mode=1)
+cipher = sm2_crypt.encrypt(plain_bytes)
+```
+
+### 明文编码差异
+**陷阱**：sm-crypto 的 `doEncrypt` 接收 **hex 字符串**，Python gmssl 接收 **bytes**
+
+```python
+# JS: sm2.doEncrypt(sha1Hex, pubKey, 1)
+# sha1Hex 是 hex 字符串如 "a1b2c3..."
+
+# Python 错误做法
+plain_bytes = bytes.fromhex(sha1_hex)  # ❌
+
+# Python 正确做法
+plain_bytes = sha1_hex.encode()  # ✅ 直接编码字符串
+```
+
+### SM2 加密随机性
+SM2 加密结果每次不同（内置随机数），这是正常现象。验证时应：
+1. 解密验证是否能还原原文
+2. 对比密文长度和格式（04 开头 hex）
+3. 多次执行确认稳定性
+
 ## 降级策略
 
 纯 Python 失败 3 次 → 改用 execjs 直接执行 JS。

package/src/agent/skills/js2python/evolved.md

@@ -1,17 +1,25 @@
 ---
-total: 1
-last_merged: 2026-02-02
+total: 0
+last_merged: 2026-03-03
 ---
 
 ## 核心经验
 
 <!-- 经过验证的高价值经验 -->
 <!-- [已合并] CFB segment_size 差异 → SKILL.md -->
-
-### [2026-03-02] sm-crypto doEncrypt 明文是 hex 字符串而非字节
-**场景**: credit.ah.gov.cn SM2 sign 生成，JS 用 sm-crypto doEncrypt(sha1Hex, pubKey, 1)，传入的是 hex 字符串，Python 需用 sha1_hex.encode() 而非 bytes.fromhex(sha1_hex)
-**经验**: sm-crypto 的 doEncrypt 接收字符串明文，Python gmssl 接收 bytes，两者对齐时需用 str.encode() 而非 bytes.fromhex()
+<!-- [已合并] sm-crypto 明文编码差异 → SKILL.md 国密 SM2 转换章节 -->
+<!-- [已合并] SM2 模式对齐 → SKILL.md 国密 SM2 转换章节 -->
 
 ## 近期发现
 
 <!-- 最近发现，FIFO 滚动，最多保留 10 条 -->
+
+
+
+
+
+
+
+
+
+

package/src/agent/skills/sandbox/SKILL.md

@@ -55,3 +55,36 @@ description: |
 - 加密结果：如果有 IV/随机数，固定后再比较
 - 时间戳相关：Hook Date.now() 返回固定值
 - 多次执行：确认结果稳定性（排除随机因素）
+
+## Python 加密代码验证
+
+### JS-to-Python 交叉验证流程
+当把 JS 加密转换为 Python 后，验证正确性：
+
+```python
+# 1. 分析算法参数
+# - 密钥长度、IV、模式、填充方式
+
+# 2. 交叉验证（推荐 Web Crypto API 或 NodeJS）
+# 用原始 JS 生成测试用例，对比 Python 输出
+
+# 3. 边界测试
+ test_cases = [
+    "",                    # 空字符串
+    "abc",                 # 普通 ASCII
+    "中文测试",             # 中文
+    "!@#$%^&*()",         # 特殊字符
+    "a" * 1000,           # 长文本
+]
+```
+
+### AES-CFB 验证要点
+```python
+from Crypto.Cipher import AES
+import base64
+
+# 与 Web Crypto API 对比时确认：
+# - segment_size=128（不是 8）
+# - CFB 模式不需要填充
+# - 密钥和 IV 截取 16 字节
+```

package/src/agent/skills/sandbox/evolved.md

@@ -1,16 +1,23 @@
 ---
-total: 1
-last_merged: null
+total: 0
+last_merged: 2026-03-03
 ---
 
 ## 核心经验
 
 <!-- 经过验证的高价值经验 -->
+<!-- [已合并] Python 加密代码验证流程 → SKILL.md Python 加密代码验证章节 -->
 
 ## 近期发现
 
 <!-- 最近发现，FIFO 滚动，最多保留 10 条 -->
 
-### [2026-02-02] Python 加密代码验证流程
-**场景**: 验证 zbcg_zg_encrypt.py 的 AES-CFB 加密实现
-**经验**: 验证 Python 加密代码时，先分析算法参数（密钥长度、IV、模式），然后用 JavaScript Web Crypto API 进行交叉验证，最后创建完整的测试用例覆盖边界情况（空字符串、特殊字符、中文等）。AES-CFB 模式不需要填充，pycryptodome 的默认 segment_size=128 与 Web Crypto API 兼容。
+
+
+
+
+
+
+
+
+

package/src/agent/skills/static-analysis/SKILL.md

@@ -16,6 +16,19 @@ description: |
 
 **从请求参数反推：** 找到加密参数名（如 `sign`），全局搜索赋值位置。
 
+**混淆代码中的常量定位：**
+混淆代码中的关键密钥/常量往往以简单变量赋值形式存在：
+- 搜索模式：`varName='...'` 或 `_0xabc='...'`（混淆变量名=字符串）
+- 优先检查：代码顶部或函数外部的直接字符串赋值
+- 技巧：比搜索密钥内容更有效，因为混淆后的变量名是固定的
+
+**示例：**
+```javascript
+// 混淆代码中直接定义的常量
+var _tt='43e02a48ffb79f98e5bf5872e1e052f80d3300...'
+var _0x5f2e='SM2_PUBLIC_KEY'
+```
+
 ## 混淆器识别
 
 | 特征 | 类型 | 难度 |
@@ -172,6 +185,12 @@ C1C2C3 格式 (旧):
 
 **判断技巧**: 以 `04` 开头的hex + 长度约97+N = SM2
 
+**SM2 公钥提取技巧**：
+- 搜索关键词：`SM2`, `SM2Cipher`, `sm2.encrypt`, `sm2.doEncrypt`
+- 公钥特征：以 `04` 开头的 130+ 字符 hex 字符串（未压缩公钥点）
+- 模式标识：查找 `C1C3C2` 或 `C1C2C3` 模式参数
+- 政企网站中 SM2 越来越常见，优先检查国密算法
+
 ### JWT Token 特征
 
 ```
@@ -297,6 +316,26 @@ sign = MD5(timestamp + token + data)
 - 同一个请求有多个加密参数 → 可能共享中间值
 - 参数名含 `sign`/`token`/`ticket` → 通常是最外层
 
+### 多层哈希嵌套识别（重要）
+
+**场景**：哈希计算结果与预期不符时，检查是否存在嵌套模式
+
+**常见嵌套模式：**
+```
+单层: SHA1(data)
+双层: SHA1(Base64(SHA1(data)))
+三层: SHA1(SHA1(Base64(SHA1(data))))
+```
+
+**识别方法：**
+1. 逐行分析 CryptoJS 调用链
+2. 关注中间结果的编码转换（Base64/Hex）
+3. 检查同一数据是否被多次哈希
+
+**线索关键词：**
+- 连续的 `.SHA1(`, `.MD5(`, `.encrypt(` 调用
+- 中间穿插的 `.Base64.stringify(`, `.Hex.stringify(`
+
 ### 参数来源分类
 
 | 来源 | 特征 | 追踪方式 |

package/src/agent/skills/static-analysis/evolved.md

@@ -1,16 +1,98 @@
 ---
-total: 1
-last_merged: null
+total: 3
+last_merged: 2026-03-03
 ---
 
 ## 核心经验
 
 <!-- 经过验证的高价值经验 -->
+<!-- [已合并] 混淆代码常量定位 → SKILL.md 加密入口定位章节 -->
+<!-- [已合并] 多层哈希嵌套识别 → SKILL.md 加密链路追踪章节 -->
+<!-- [已合并] SM2 公钥提取技巧 → SKILL.md 国密 SM2 密文特征章节 -->
+
+### [2026-03-03] SM2加密公钥格式
+
+**一句话结论**: SM2加密时，公钥需要以04开头，格式为：'04' + x坐标(64字符) + y坐标(64字符)，总共130字符
+
+**场景**: 安徽省信用信息公示平台sign生成使用SM2加密，公钥需要04前缀
+
+**技术细节**:
+| 项目 | 值/说明 |
+|------|---------|
+| 公钥格式 | 04 + x(64) + y(64) = 130字符 |
+| 加密模式 | C1C3C2 |
+| 加密结果长度 | 明文长度决定，56字节明文加密后得到304字符(去掉04前缀) |
+| 原始密钥长度 | 128字符(64+64) |
+
+**正确做法**:
+```python
+const publicKey = '04' + key.substring(0, 64) + key.substring(64);
+```
+
+**错误陷阱** ⚠️:
+```python
+const publicKey = key.substring(0, 64); // 缺少04前缀和y坐标
+```
+
+**为什么**: SM2算法使用非压缩格式的公钥表示，04表示非压缩点，后面跟着x和y坐标
+
+### [2026-03-03] 国密SM2算法逆向分析
+
+**一句话结论**: 当遇到国密SM2加密时，可以使用sm-crypto库进行还原，公钥通常以04开头(非压缩格式)
+
+**场景**: 安徽省信用信息公共服务平台使用SM2国密算法进行请求签名加密
+
+**技术细节**:
+| 项目 | 值/说明 |
+|------|---------|
+| 算法类型 | SM2国密加密 |
+| 加密格式 | |sha1_hash|activeTitle|timestamp| |
+| 公钥格式 | 04 + 128位十六进制字符串 |
+| 依赖库 | sm-crypto |
+| 哈希算法 | SHA1 |
+
+**正确做法**:
+```python
+const smCrypto = require('sm-crypto');
+const publicKey = '04' + '3e02a48...';
+const encrypted = smCrypto.sm2.doEncrypt(data, publicKey, 1);
+```
+
+**为什么**: 国密算法是中国标准，使用专门的sm-crypto库比通用加密库更可靠
+
+**举一反三**:
+- 国密SM3/SM4算法
+- SM2签名验证
+- CryptoJS与sm-crypto对比
+
+### [2026-03-03] 安徽省信用信息公示平台SM2 Sign分析
+
+**一句话结论**: 列表页和详情页的sign生成逻辑不同：列表页使用浏览器指纹SHA1+Base64+SM2加密；详情页使用serverId+columnId拼接后SHA1+Base64+SM2加密。两者使用相同的SM2公钥和C1C3C2模式。
+
+**场景**: 分析credit.ah.gov.cn网站的sign参数加密，发现列表页和详情页使用不同的加密逻辑
+
+**技术细节**:
+| 项目 | 值/说明 |
+|------|---------|
+| sign前缀 | 04 |
+| sign长度 | 306字符 |
+| 公钥 | 04e7780d97a923e7fa1e2d8c4f1f0c54006aabca7f95b6aaa339ab03c6130edde50bf676ce8781f3f82fa8a5b85385b0bb28e381dda21e7fd4cb17d6d910e8d389 |
+| 加密算法 | SM2 C1C3C2 |
+| 哈希算法 | SHA1 |
+| 编码方式 | Base64 |
+
+**正确做法**:
+```python
+详情页：data = serverId + columnId → SHA1 → Base64 → SM2加密
+列表页：data = SHA1(fingerprint) → Base64 → SM2加密
+```
+
+**为什么**: 网站不同接口可能使用不同的加密数据源，需要分别分析每个接口的sign生成逻辑，不能假设所有接口使用相同的算法
+
+**举一反三**:
+- 其他政府网站可能也有类似的区分
+- SM2加密在政务系统中广泛使用
 
 ## 近期发现
 
 <!-- 最近发现，FIFO 滚动，最多保留 10 条 -->
-
-### [2026-03-02] 混淆JS中硬编码密钥定位技巧
-**场景**: 在分析 credit.ah.gov.cn 的 sign 参数加密时，发现密钥通过混淆代码中的变量赋值。通过搜索 `_aa=`, `_bb=` 等模式，成功定位到硬编码的 SM2 公钥和常量。
-**经验**: 混淆代码中的硬编码密钥通常以简单变量赋值形式存在，搜索 `varName=` 或 `constName=` 模式比搜索密钥内容更有效。

package/src/agent/tools/evolve.js

@@ -79,9 +79,10 @@ last_merged: null
 
 /**
  * evolve_skill 工具
+ * 使用结构化格式记录经验，符合 evolved.md 模板规范
  */
 export const evolveSkill = tool(
-  async ({ skill, title, scenario, insight, isCore }) => {
+  async ({ skill, title, scenario, conclusion, technicalDetails, correctExample, incorrectExample, why, extensions, isCore }) => {
     const skillInfo = getSkillPath(skill);
     if (!skillInfo) {
       return JSON.stringify({
@@ -109,11 +110,44 @@ export const evolveSkill = tool(
 
     const data = parseEvolvedMd(content);
 
-    // 生成新条目
+    // 生成新条目（结构化格式）
     const date = new Date().toISOString().split('T')[0];
-    const entry = `### [${date}] ${title}
-**场景**: ${scenario}
-**经验**: ${insight}`;
+    let entry = `### [${date}] ${title}
+
+**一句话结论**: ${conclusion}
+
+**场景**: ${scenario}`;
+
+    // 技术细节（表格形式）
+    if (technicalDetails && Object.keys(technicalDetails).length > 0) {
+      entry += '\n\n**技术细节**:\n| 项目 | 值/说明 |\n|------|---------|';
+      for (const [key, value] of Object.entries(technicalDetails)) {
+        entry += `\n| ${key} | ${value} |`;
+      }
+    }
+
+    // 正确做法
+    if (correctExample) {
+      entry += `\n\n**正确做法**:\n\`\`\`python\n${correctExample}\n\`\`\``;
+    }
+
+    // 错误陷阱
+    if (incorrectExample) {
+      entry += `\n\n**错误陷阱** ⚠️:\n\`\`\`python\n${incorrectExample}\n\`\`\``;
+    }
+
+    // 原因解释
+    if (why) {
+      entry += `\n\n**为什么**: ${why}`;
+    }
+
+    // 举一反三
+    if (extensions && extensions.length > 0) {
+      entry += '\n\n**举一反三**:';
+      for (const item of extensions) {
+        entry += `\n- ${item}`;
+      }
+    }
 
     if (isCore) {
       // 追加到核心经验
@@ -153,13 +187,18 @@ export const evolveSkill = tool(
   },
   {
     name: 'evolve_skill',
-    description: '记录分析过程中学到的经验。支持现有 skill 或 new:<name> 创建新 skill',
+    description: '记录分析过程中学到的经验。使用结构化格式（一句话结论、技术细节、正确/错误示例、陷阱标记）',
     schema: z.object({
       skill: z.string().describe('目标 skill: static-analysis, dynamic-analysis, sandbox, env, js2python, crawler, captcha, anti-detect, report, general，或 new:<name> 创建新 skill'),
       title: z.string().describe('经验标题，简短描述'),
       scenario: z.string().describe('具体场景/案例'),
-      insight: z.string().describe('一句话总结经验'),
-      isCore: z.boolean().default(false).describe('是否为核心经验'),
+      conclusion: z.string().describe('一句话核心结论（merge时必须提取到SKILL.md最前面）'),
+      technicalDetails: z.record(z.string(), z.string()).optional().describe('技术细节表格，如 {"参数类型": "int", "默认值": "0", "取值范围": "0或1"}'),
+      correctExample: z.string().optional().describe('正确代码示例'),
+      incorrectExample: z.string().optional().describe('错误代码示例（带陷阱标记）'),
+      why: z.string().optional().describe('解释根本原因'),
+      extensions: z.array(z.string()).optional().describe('类似场景列表（举一反三）'),
+      isCore: z.boolean().default(false).describe('是否为核心经验（已验证的高价值经验）'),
     }),
   }
 );

package/src/agent/tools/index.js

@@ -38,10 +38,9 @@ export { antiDetectTools } from './anti-detect.js';
 export { crawlerTools } from './crawler.js';
 export { crawlerGeneratorTools, generateCrawlerWithConfirm, delegateCrawlerGeneration } from './crawlerGenerator.js';
 export { nodejsTools, runNodeCode } from './nodejs.js';
+export { pythonTools, executePythonCode } from './python.js';
 export { hookManagerTools, listHooks, enableHook, disableHook, injectHook, setHookConfig } from './hookManager.js';
 export { scratchpadTools, saveMemo, loadMemo, listMemo } from './scratchpad.js';
-// pythonTools 只在 js2python 子代理中使用，不导出到主工具集
-
 // 所有工具
 import { sandboxTools } from './sandbox.js';
 import { analyzerTools } from './analyzer.js';
@@ -76,6 +75,7 @@ import { antiDetectTools } from './anti-detect.js';
 import { crawlerTools } from './crawler.js';
 import { crawlerGeneratorTools } from './crawlerGenerator.js';
 import { nodejsTools } from './nodejs.js';
+import { executePythonCode } from './python.js';
 import { hookManagerTools } from './hookManager.js';
 import { scratchpadTools } from './scratchpad.js';
 
@@ -143,6 +143,8 @@ export const coreTools = [
   ...evolveTools,
   // Node.js 执行（委托前快速验证假设）- 已添加网络请求防护
   ...nodejsTools,
+  // Python 执行（用于加密验证、数据处理等任务）
+  executePythonCode,
   // 工作记忆
   ...scratchpadTools,
   // 爬虫代码生成（带 HITL 确认）