deepspider 0.1.0

package/src/agent/skills/crawler/evolved.md

@@ -0,0 +1,16 @@
+---
+total: 1
+last_merged: null
+---
+
+## 核心经验
+
+<!-- 经过验证的高价值经验 -->
+
+### [2026-02-02] AES-CFB 加密爬虫实现模式
+**场景**: 招标采购网站使用 AES-CFB 加密请求参数，Key和IV为 "jinrun2024secret"，需要实现 Python 加密模块并集成到爬虫中
+**经验**: AES-CFB 加密网站爬虫开发时，使用 pycryptodome 的 AES.MODE_CFB 模式，segment_size=128，密钥和IV需要截取16字节。加密后Base64编码，请求体直接发送密文字符串。
+
+## 近期发现
+
+<!-- 最近发现，FIFO 滚动，最多保留 10 条 -->

package/src/agent/skills/dynamic-analysis/SKILL.md

@@ -0,0 +1,91 @@
+---
+name: dynamic-analysis
+description: |
+  JS 动态调试经验。断点技巧、Hook 策略、反调试绕过。
+  触发：运行时调试、拦截加密调用、绕过反调试。
+---
+
+# 动态分析经验
+
+## 定位技巧
+
+**XHR 断点法（最高效）：**
+1. 在目标请求 URL 设断点
+2. 触发请求，断住后看调用栈
+3. 从下往上找 encrypt/sign 相关函数
+
+**Hook 观察法：**
+1. 注入通用加密 Hook
+2. 触发操作，观察日志
+3. 根据日志定位具体函数
+
+## 反调试绕过
+
+**无限 debugger：**
+- 原理：`Function("debugger")()` 或 `eval("debugger")`
+- 绕过：重写 Function.prototype.constructor
+
+**控制台检测：**
+- 原理：检测 `console.log` 执行时间或 `devtools` 对象
+- 绕过：Hook console 方法，固定返回值
+
+**时间检测：**
+- 原理：`Date.now()` 前后差值判断是否被调试
+- 绕过：Hook Date.now()，返回递增固定值
+
+## 调用追踪
+
+### 追踪方法
+
+1. 搜索目标参数名
+2. 定位赋值位置
+3. 向上追溯来源
+4. 找到生成函数
+
+### Hook 模板
+
+```javascript
+// 函数 Hook
+const _orig = obj.func;
+obj.func = function(...args) {
+  console.log('args:', args);
+  const r = _orig.apply(this, args);
+  console.log('return:', r);
+  return r;
+};
+```
+
+## Hook 策略经验
+
+### 何时调整 Hook
+
+**日志刷屏时**：
+- 现象：控制台被 DOM 查询日志淹没
+- 原因：网站频繁操作 DOM（如虚拟滚动、实时更新）
+- 经验：关闭 dom Hook，专注于 crypto/xhr 日志
+
+**定位 Canvas 指纹时**：
+- 现象：需要追踪指纹生成逻辑
+- 经验：启用 env Hook，观察 toDataURL/getImageData 调用
+
+**自定义加密函数**：
+- 现象：crypto 日志没有捕获到加密调用
+- 原因：网站用了自定义函数名（如 `window.encrypt`、`utils.sign`）
+- 经验：注入针对性 Hook，监控特定函数
+
+### 常见陷阱
+
+**Hook 被检测**：
+- 现象：网站检测到 Hook 后行为异常
+- 原因：检查了 `Function.prototype.toString`
+- 经验：DeepSpider 已内置 toString 伪装，一般不会触发
+
+**日志丢失**：
+- 现象：明明有加密调用，但日志里没有
+- 原因：加密库在 Hook 注入前就加载了
+- 经验：使用 `add_init_script` 确保 Hook 最先执行
+
+**性能问题**：
+- 现象：页面变卡
+- 原因：调用栈记录开销大
+- 经验：关闭 `captureStack` 或启用 `silent` 模式

package/src/agent/skills/dynamic-analysis/evolved.md

@@ -0,0 +1,12 @@
+---
+total: 0
+last_merged: null
+---
+
+## 核心经验
+
+<!-- 经过验证的高价值经验 -->
+
+## 近期发现
+
+<!-- 最近发现，FIFO 滚动，最多保留 10 条 -->

package/src/agent/skills/env/SKILL.md

@@ -0,0 +1,72 @@
+---
+name: env
+description: |
+  浏览器环境补全经验。检测点、指纹伪造、绕过技巧。
+  触发：环境检测绕过、补环境、指纹伪造。
+---
+
+# 补环境经验
+
+## 高频检测点
+
+**必补：**
+- `navigator.webdriver` → `undefined`
+- `window.chrome` → 完整对象
+- `navigator.plugins` → 非空数组
+- `navigator.languages` → `['zh-CN', 'zh']`
+
+**指纹类：**
+- Canvas 指纹：`toDataURL()` 返回固定值
+- WebGL 指纹：`getParameter()` 返回固定值
+- 音频指纹：`AudioContext` 返回固定值
+
+## 绕过技巧
+
+**不要用 Proxy：** 很多网站检测 Proxy，用 `Object.defineProperty` 代替。
+
+**原型链完整性：** `toString.call(obj)` 要返回正确类型。
+
+**native code 伪装：** 函数的 `toString()` 要返回 `function xxx() { [native code] }`。
+
+## 环境自吐
+
+代码报错时，错误信息会暴露缺失的属性路径，按路径补全即可。
+
+## 常见错误与补丁
+
+| 错误 | 缺失环境 |
+|------|----------|
+| `window is not defined` | window |
+| `document is not defined` | document |
+| `navigator is not defined` | navigator |
+| `localStorage is not defined` | localStorage |
+
+## 补丁模板
+
+**window：**
+```javascript
+var window = global;
+window.location = {
+  href: 'https://example.com/',
+  hostname: 'example.com',
+  protocol: 'https:'
+};
+```
+
+**document：**
+```javascript
+var document = {
+  cookie: '',
+  createElement: (t) => ({tagName: t, style: {}}),
+  getElementById: () => null
+};
+```
+
+## 指纹检测绕过
+
+| 检测项 | 代码特征 |
+|--------|----------|
+| webdriver | `navigator.webdriver` |
+| headless | `navigator.plugins.length` |
+| canvas | `toDataURL()` |
+| WebGL | `getParameter()` |

package/src/agent/skills/env/evolved.md

@@ -0,0 +1,12 @@
+---
+total: 0
+last_merged: null
+---
+
+## 核心经验
+
+<!-- 经过验证的高价值经验 -->
+
+## 近期发现
+
+<!-- 最近发现，FIFO 滚动，最多保留 10 条 -->

package/src/agent/skills/evolve.js

@@ -0,0 +1,79 @@
+/**
+ * DeepSpider - 自我进化 Skills 中间件
+ * 合并静态 SKILL.md + 动态 evolved.md
+ */
+
+import fs from 'fs';
+import path from 'path';
+
+// 配置
+const MAX_RECENT_ITEMS = 10;
+const MERGE_THRESHOLD = 20;
+
+/**
+ * 解析 evolved.md 文件
+ */
+function parseEvolvedMd(content) {
+  const result = {
+    total: 0,
+    lastMerged: null,
+    core: '',
+    recent: [],
+  };
+
+  if (!content) return result;
+
+  // 解析 frontmatter
+  const frontmatterMatch = content.match(/^---\n([\s\S]*?)\n---/);
+  if (frontmatterMatch) {
+    const fm = frontmatterMatch[1];
+    const totalMatch = fm.match(/total:\s*(\d+)/);
+    const mergedMatch = fm.match(/last_merged:\s*(.+)/);
+    if (totalMatch) result.total = parseInt(totalMatch[1], 10);
+    if (mergedMatch && mergedMatch[1] !== 'null') {
+      result.lastMerged = mergedMatch[1].trim();
+    }
+  }
+
+  // 解析核心经验
+  const coreMatch = content.match(/## 核心经验\n([\s\S]*?)(?=## 近期发现|$)/);
+  if (coreMatch) {
+    result.core = coreMatch[1].trim();
+  }
+
+  // 解析近期发现
+  const recentMatch = content.match(/## 近期发现\n([\s\S]*?)$/);
+  if (recentMatch) {
+    const recentContent = recentMatch[1].trim();
+    // 按 ### 分割
+    const items = recentContent.split(/(?=### \[)/);
+    result.recent = items.filter(item => item.trim()).slice(-MAX_RECENT_ITEMS);
+  }
+
+  return result;
+}
+
+/**
+ * 生成 evolved.md 内容
+ */
+function generateEvolvedMd(data) {
+  const { total, lastMerged, core, recent } = data;
+
+  let content = `---
+total: ${total}
+last_merged: ${lastMerged || 'null'}
+---
+
+## 核心经验
+
+${core || '<!-- 经过验证的高价值经验 -->'}
+
+## 近期发现
+
+${recent.length > 0 ? recent.join('\n\n') : '<!-- 最近发现，FIFO 滚动，最多保留 10 条 -->'}
+`;
+
+  return content;
+}
+
+export { parseEvolvedMd, generateEvolvedMd, MAX_RECENT_ITEMS, MERGE_THRESHOLD };

package/src/agent/skills/general/SKILL.md

@@ -0,0 +1,12 @@
+---
+name: general
+description: |
+  通用经验。存放跨领域或未分类的经验。
+  触发：不属于特定分析方向的通用技巧。
+---
+
+# 通用经验
+
+存放跨领域或暂时无法分类的经验。
+
+当某类经验积累较多时，考虑拆分为独立 skill。

package/src/agent/skills/general/evolved.md

@@ -0,0 +1,12 @@
+---
+total: 0
+last_merged: null
+---
+
+## 核心经验
+
+<!-- 经过验证的高价值经验 -->
+
+## 近期发现
+
+<!-- 最近发现，FIFO 滚动，最多保留 10 条 -->

package/src/agent/skills/js2python/SKILL.md

@@ -0,0 +1,30 @@
+---
+name: js2python
+description: |
+  JS 转 Python 经验。加密算法转换、库对照、常见陷阱。
+  触发：将 JS 加密转为 Python、爬虫需要 Python 实现。
+---
+
+# JS 转 Python 经验
+
+## 库对照表
+
+| JS | Python | 用途 |
+|----|--------|------|
+| CryptoJS | pycryptodome | AES/DES/MD5/SHA |
+| JSEncrypt | rsa/pycryptodome | RSA |
+| sm-crypto | gmssl | 国密 |
+
+## 常见陷阱
+
+**CryptoJS 字符串密钥：** 会自动用 OpenSSL KDF 派生，Python 需手动实现。
+
+**编码差异：** JS 自动 UTF-8，Python 需显式 `.encode('utf-8')`。
+
+**填充方式：** 确认 PKCS7/PKCS5 是否一致。
+
+**CFB 模式 segment_size：** CryptoJS AES-CFB 默认 CFB128，PyCryptodome 默认 CFB8。必须指定 `segment_size=128`。
+
+## 降级策略
+
+纯 Python 失败 3 次 → 改用 execjs 直接执行 JS。

package/src/agent/skills/js2python/evolved.md

@@ -0,0 +1,13 @@
+---
+total: 0
+last_merged: 2026-02-02
+---
+
+## 核心经验
+
+<!-- 经过验证的高价值经验 -->
+<!-- [已合并] CFB segment_size 差异 → SKILL.md -->
+
+## 近期发现
+
+<!-- 最近发现，FIFO 滚动，最多保留 10 条 -->

package/src/agent/skills/report/SKILL.md

@@ -0,0 +1,21 @@
+---
+name: report
+description: |
+  分析结果输出。保存代码、记录发现。
+  触发：保存分析结果、导出脚本。
+---
+
+# 输出规范
+
+## 代码输出
+
+提取的代码应包含：
+- 完整的依赖函数
+- 必要的环境补丁
+- 调用示例
+
+## 命名建议
+
+- `encrypt.js` - 加密函数
+- `env.js` - 环境补丁
+- `crypto.py` - Python 实现

package/src/agent/skills/report/evolved.md

@@ -0,0 +1,12 @@
+---
+total: 0
+last_merged: null
+---
+
+## 核心经验
+
+<!-- 经过验证的高价值经验 -->
+
+## 近期发现
+
+<!-- 最近发现，FIFO 滚动，最多保留 10 条 -->

package/src/agent/skills/sandbox/SKILL.md

@@ -0,0 +1,22 @@
+---
+name: sandbox
+description: |
+  沙箱执行经验。代码验证、常见问题处理。
+  触发：验证加密算法、测试代码能否运行。
+---
+
+# 沙箱执行经验
+
+## 常见问题
+
+**异步代码：** 加密函数可能返回 Promise，需要 await。
+
+**随机值不一致：** Hook `Math.random()` 返回固定值。
+
+**时间戳不一致：** Hook `Date.now()` 返回固定时间。
+
+**模块依赖：** 提取代码时要包含依赖的工具函数。
+
+## 验证技巧
+
+用浏览器控制台的输入输出作为测试用例，对比沙箱执行结果。

package/src/agent/skills/sandbox/evolved.md

@@ -0,0 +1,16 @@
+---
+total: 1
+last_merged: null
+---
+
+## 核心经验
+
+<!-- 经过验证的高价值经验 -->
+
+## 近期发现
+
+<!-- 最近发现，FIFO 滚动，最多保留 10 条 -->
+
+### [2026-02-02] Python 加密代码验证流程
+**场景**: 验证 zbcg_zg_encrypt.py 的 AES-CFB 加密实现
+**经验**: 验证 Python 加密代码时，先分析算法参数（密钥长度、IV、模式），然后用 JavaScript Web Crypto API 进行交叉验证，最后创建完整的测试用例覆盖边界情况（空字符串、特殊字符、中文等）。AES-CFB 模式不需要填充，pycryptodome 的默认 segment_size=128 与 Web Crypto API 兼容。

package/src/agent/skills/static-analysis/SKILL.md

@@ -0,0 +1,93 @@
+---
+name: static-analysis
+description: |
+  JS 静态代码分析经验。混淆识别、加密定位、代码还原技巧。
+  触发：分析混淆代码、定位加密函数、还原算法逻辑。
+---
+
+# 静态分析经验
+
+## 加密入口定位
+
+**高频关键词：**
+- 加密相关：encrypt, decrypt, sign, verify, hash
+- 参数相关：token, signature, timestamp, nonce
+- 算法名：MD5, SHA, AES, RSA, HMAC, SM2, SM3, SM4
+
+**从请求参数反推：** 找到加密参数名（如 `sign`），全局搜索赋值位置。
+
+## 混淆器识别
+
+| 特征 | 类型 | 难度 |
+|------|------|------|
+| `_0x` 开头变量 + 大数组 | obfuscator.io | 中 |
+| `eval(function(p,a,c,k,e,d)` | Packer | 低 |
+| 大量 switch-case 嵌套 | 控制流平坦化 | 高 |
+| 字符串全是 `\x` 转义 | 字符串混淆 | 低 |
+| 所有函数名是随机字符 | 标识符混淆 | 中 |
+
+**控制流平坦化：** 静态难还原，建议配合动态分析。
+
+## 加密库特征
+
+**CryptoJS：**
+- 关键词：`WordArray`, `enc.Utf8`, `enc.Hex`, `enc.Base64`
+- 调用模式：`CryptoJS.AES.encrypt(data, key)`
+
+**JSEncrypt (RSA)：**
+- 关键词：`setPublicKey`, `setPrivateKey`, `encrypt`, `decrypt`
+- 通常有 PEM 格式公钥字符串
+
+**国密：**
+- 关键词：`sm2.doEncrypt`, `sm3`, `sm4.encrypt`
+- 注意 C1C3C2 和 C1C2C3 模式区别
+
+## Webpack 解包要点
+
+- 入口模块：找 `__webpack_require__.s` 或数组最后一个元素
+- 异步加载：搜索 `webpackJsonp` 或 `__webpack_require__.e`
+- 模块 ID：可能是数字或哈希字符串
+
+## 加密算法特征速查
+
+### 哈希算法
+
+| 算法 | 特征 | 输出长度 |
+|------|------|----------|
+| MD5 | `md5(`, `CryptoJS.MD5` | 32位hex |
+| SHA1 | `sha1`, `CryptoJS.SHA1` | 40位hex |
+| SHA256 | `sha256`, `CryptoJS.SHA256` | 64位hex |
+| SM3 | `sm3(`, `SM3` | 64位hex |
+
+### 对称加密
+
+| 算法 | 特征 | 模式 |
+|------|------|------|
+| AES | `AES.encrypt`, `CryptoJS.AES` | CBC/ECB/CTR/GCM |
+| DES | `DES.encrypt`, `CryptoJS.DES` | CBC/ECB |
+| SM4 | `sm4(`, `SM4.encrypt` | CBC/ECB |
+
+### 非对称加密
+
+| 算法 | 特征 | 用途 |
+|------|------|------|
+| RSA | `RSAKey`, `JSEncrypt`, `KEYUTIL` | 加密/签名 |
+| SM2 | `sm2(`, `SM2.encrypt`, `sm2.doEncrypt` | 加密/签名 |
+
+## 反混淆处理
+
+### 混淆类型识别
+
+| 类型 | 特征 |
+|------|------|
+| eval | `eval(` 包装 |
+| 字符串数组 | `_0x` 变量 |
+| 控制流 | switch-case 嵌套 |
+| Unicode | `\u0061` 编码 |
+
+### 处理步骤
+
+1. 识别混淆类型
+2. 解码字符串
+3. 简化控制流
+4. 重命名变量

package/src/agent/skills/static-analysis/evolved.md

@@ -0,0 +1,12 @@
+---
+total: 0
+last_merged: null
+---
+
+## 核心经验
+
+<!-- 经过验证的高价值经验 -->
+
+## 近期发现
+
+<!-- 最近发现，FIFO 滚动，最多保留 10 条 -->

package/src/agent/skills/xpath/SKILL.md

@@ -0,0 +1,119 @@
+---
+name: xpath
+description: |
+  XPath 表达式编写最佳实践。生成通用、健壮的 XPath，避免脆弱的路径。
+---
+
+# XPath 最佳实践
+
+## 核心原则
+
+1. **使用唯一特征** - 优先用 id、class、data-* 属性
+2. **避免过于具体** - 不要写死完整路径
+3. **使用属性匹配** - 比位置索引更稳定
+4. **考虑页面变化** - 结构变化时仍能工作
+
+## 基础语法
+
+### 节点选择
+```
+//*           # 所有节点
+//li          # 所有 li 节点
+//li/a        # li 的直接子节点 a
+//li//a       # li 的所有子孙节点 a
+//a/..        # a 的父节点
+```
+
+### 文本和属性
+```
+//a/text()              # 获取文本
+//a/@href               # 获取属性值
+//a[@href='link.html']  # 属性匹配
+```
+
+## 推荐写法 vs 不推荐写法
+
+### 列表项选择
+```
+# 推荐 - 使用 class 属性
+//li[@class="item"]
+//li[contains(@class, "item")]
+
+# 不推荐 - 使用完整路径
+/html/body/div/ul/li
+```
+
+### 下一页按钮
+```
+# 推荐 - 使用文本或位置
+//a[contains(text(), "下一页")]
+//ul[@class="pagination"]/li[last()-1]/a
+
+# 不推荐 - 硬编码索引
+//ul/li[7]/a
+```
+
+## 高级技巧
+
+### 多属性匹配
+```
+//li[contains(@class, "item") and @data-type="link"]
+//li[@class="item" or @class="active"]
+```
+
+### 属性多值匹配
+```
+# class="li li-first" 的情况
+//li[contains(@class, "li-first")]
+```
+
+### 位置选择
+```
+//li[1]              # 第一个
+//li[last()]         # 最后一个
+//li[position()<=3]  # 前三个
+//li[position()>1]   # 除第一个外
+```
+
+### 兄弟节点
+```
+//li[@class="current"]/following-sibling::li[1]  # 下一个兄弟
+//li[@class="current"]/preceding-sibling::li[1]  # 上一个兄弟
+```
+
+## 常见场景
+
+### 列表页标题
+```
+//ul[@class="list"]//a/text()
+//div[contains(@class, "item")]//h3/text()
+```
+
+### 列表页链接
+```
+//ul[@class="list"]//a/@href
+//div[contains(@class, "item")]//a/@href
+```
+
+### 分页-下一页
+```
+//a[contains(text(), "下一页")]
+//a[contains(text(), "下页")]
+//li[last()-1]/a
+//a[@class="next"]
+```
+
+### 分页-无下一页按钮
+```
+//a[@class="current"]/following-sibling::a[1]
+```
+
+## 常用方法
+
+| 方法 | 说明 | 示例 |
+|------|------|------|
+| contains() | 包含匹配 | `//li[contains(@class, "item")]` |
+| text() | 获取文本 | `//a/text()` |
+| last() | 最后位置 | `//li[last()]` |
+| position() | 当前位置 | `//li[position()<3]` |
+| normalize-space() | 去空白 | `normalize-space(text())` |