deepspider 0.2.6 → 0.2.7

package/.trellis/spec/backend/ci-cd-guidelines.md

@@ -0,0 +1,73 @@
+# CI/CD Guidelines
+
+> GitHub Actions 自动发布规范
+
+---
+
+## npm 自动发布
+
+### 触发条件
+
+推送 `v*` 标签时自动触发发布流程。
+
+```bash
+npm version patch && git push && git push --tags
+```
+
+### Workflow 配置要点
+
+#### 1. 原生模块处理
+
+项目包含 `isolated-vm` 等原生模块，在 CI 环境编译可能失败。
+
+**解决方案**：使用 `--ignore-scripts` 跳过编译
+
+```yaml
+- run: pnpm install --no-frozen-lockfile --ignore-scripts
+```
+
+#### 2. NPM_TOKEN 认证
+
+**正确配置**：
+
+1. 在 npmjs.com 生成 **Automation** 类型的 token
+2. 添加为 GitHub **Repository secret**（不是 Environment secret）
+3. 使用 `NODE_AUTH_TOKEN` 环境变量
+
+```yaml
+- uses: actions/setup-node@v4
+  with:
+    node-version: '20'
+    registry-url: 'https://registry.npmjs.org'
+
+- run: npm publish
+  env:
+    NODE_AUTH_TOKEN: ${{ secrets.NPM_TOKEN }}
+```
+
+---
+
+## 常见问题
+
+### pnpm lockfile 不匹配
+
+**错误**：`ERR_PNPM_LOCKFILE_CONFIG_MISMATCH`
+
+**解决**：添加 `--no-frozen-lockfile`
+
+### isolated-vm 编译失败
+
+**错误**：`v8::SourceLocation does not name a type`
+
+**原因**：isolated-vm 与新版 Node.js V8 API 不兼容
+
+**解决**：添加 `--ignore-scripts` 跳过原生模块编译
+
+### NPM_TOKEN 认证失败
+
+**错误**：`ENEEDAUTH` 或 `Access token expired`
+
+**检查**：
+1. Token 类型是否为 Automation
+2. Secret 是否为 Repository secret
+3. 使用 `NODE_AUTH_TOKEN` 而非直接写入 `.npmrc`

package/.trellis/spec/backend/index.md

@@ -22,6 +22,7 @@ DeepSpider 是基于 DeepAgents + Patchright 的智能爬虫 Agent。
 | [State Management](./state-management.md) | Agent 状态与数据存储 | Done |
 | [Quality Guidelines](./quality-guidelines.md) | 代码质量规范 | Done |
 | [Type Safety](./type-safety.md) | Zod 类型验证规范 | Done |
+| [CI/CD Guidelines](./ci-cd-guidelines.md) | GitHub Actions 自动发布规范 | Done |
 
 ---
 

package/.trellis/spec/backend/quality-guidelines.md

@@ -113,6 +113,42 @@ proc.on('close', () => {
 
 **原因**: `spawn` 的 options 不包含 `timeout`，这是 `execSync` 的选项。使用 spawn 时必须手动实现超时逻辑。
 
+### 6. 用正则替换 HTML 字符串
+
+```javascript
+// ❌ 禁止：正则替换 HTML 字符串会破坏结构
+function linkifyPaths(html) {
+  return html.replace(/(\/[\w.\-\/]+)/g, '<a href="$1">$1</a>');
+}
+// 会把 </strong> 中的 /strong 也匹配成路径！
+
+// ✅ 使用 DOM TreeWalker 遍历文本节点
+function linkifyPaths(container) {
+  const walker = document.createTreeWalker(container, NodeFilter.SHOW_TEXT);
+  const textNodes = [];
+  while (walker.nextNode()) textNodes.push(walker.currentNode);
+
+  textNodes.forEach(node => {
+    // 只处理纯文本，不会影响 HTML 标签
+  });
+}
+```
+
+**原因**: 正则无法区分 HTML 标签和文本内容，容易误匹配导致结构破坏。
+
+### 7. LLM 工具参数传递大段代码
+
+```javascript
+// ❌ 禁止：直接传递大段代码内容，可能被 LLM 截断
+await saveReport({ pythonCode: longCodeString });
+
+// ✅ 先保存到文件，再传递文件路径
+await artifactSave({ path: 'domain/decrypt.py', content: code });
+await saveReport({ pythonCodeFile: 'domain/decrypt.py' });
+```
+
+**原因**: LLM 输出有长度限制，大段代码作为参数传递时可能被截断。分步保存确保代码完整性。
+
 ---
 
 ## Required Patterns

package/.trellis/workspace/pony/index.md

@@ -8,7 +8,7 @@
 
 <!-- @@@auto:current-status -->
 - **Active File**: `journal-1.md`
-- **Total Sessions**: 1
+- **Total Sessions**: 2
 - **Last Active**: 2026-02-03
 <!-- @@@/auto:current-status -->
 
@@ -19,7 +19,7 @@
 <!-- @@@auto:active-documents -->
 | File | Lines | Status |
 |------|-------|--------|
-| `journal-1.md` | ~61 | Active |
+| `journal-1.md` | ~125 | Active |
 <!-- @@@/auto:active-documents -->
 
 ---
@@ -29,6 +29,7 @@
 <!-- @@@auto:session-history -->
 | # | Date | Title | Commits |
 |---|------|-------|---------|
+| 2 | 2026-02-03 | GitHub Actions 自动发布 npm | `4ff9a25`, `debdc4e`, `ab56fe2`, `67f9c55`, `b13b03d`, `63a6304`, `327ca39`, `78de837`, `46ce73e` |
 | 1 | 2026-02-03 | 环境变量重命名与配置检测 | `4aa6cad` |
 <!-- @@@/auto:session-history -->
 

package/.trellis/workspace/pony/journal-1.md

@@ -59,3 +59,67 @@
 ### Next Steps
 
 - None - task complete
+
+## Session 2: GitHub Actions 自动发布 npm
+
+**Date**: 2026-02-03
+**Task**: GitHub Actions 自动发布 npm
+
+### Summary
+
+(Add summary)
+
+### Main Changes
+
+## 完成内容
+
+实现 GitHub Actions 自动发布到 npm。
+
+| 变更 | 说明 |
+|------|------|
+| GitHub Actions | 添加 .github/workflows/publish.yml |
+| 触发条件 | 推送 v* 标签时自动发布 |
+| CI 流程 | lint → publish |
+| Node.js | 使用 v20 + --ignore-scripts 跳过原生模块编译 |
+
+## 遇到的问题与解决
+
+1. **pnpm lockfile 不匹配** → 添加 --no-frozen-lockfile
+2. **isolated-vm 编译失败** → 添加 --ignore-scripts
+3. **NPM_TOKEN 认证失败** → 使用 NODE_AUTH_TOKEN 环境变量
+
+## 发布流程
+
+```bash
+npm version patch && git push && git push --tags
+```
+
+## 变更文件
+
+- `.github/workflows/publish.yml` - GitHub Actions 配置
+
+### Git Commits
+
+| Hash | Message |
+|------|---------|
+| `4ff9a25` | (see git log) |
+| `debdc4e` | (see git log) |
+| `ab56fe2` | (see git log) |
+| `67f9c55` | (see git log) |
+| `b13b03d` | (see git log) |
+| `63a6304` | (see git log) |
+| `327ca39` | (see git log) |
+| `78de837` | (see git log) |
+| `46ce73e` | (see git log) |
+
+### Testing
+
+- [OK] (Add test results)
+
+### Status
+
+[OK] **Completed**
+
+### Next Steps
+
+- None - task complete

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "deepspider",
-  "version": "0.2.6",
+  "version": "0.2.7",
   "description": "智能爬虫工程平台 - 基于 DeepAgents + Patchright 的 AI 爬虫 Agent",
   "type": "module",
   "main": "src/index.js",

package/src/agent/prompts/system.js

@@ -127,19 +127,36 @@ export const systemPrompt = `你是 DeepSpider，一个智能爬虫 Agent。你
 
 **禁止**：未经验证就直接保存报告或输出代码
 
-### 输出与保存（验证通过后才能执行）
-- \`save_analysis_report\` - 保存分析报告，生成 Markdown、HTML 和代码文件
+### 输出与保存（分步保存，避免代码截断）
+
+**推荐流程**（分步保存）：
+1. 先用 \`artifact_save\` 保存 Python 代码到文件（如 \`{domain}/decrypt.py\`）
+2. 再调用 \`save_analysis_report\`，传入 \`pythonCodeFile\` 文件路径
+3. **必须在最终输出中告知用户文件保存路径**
+
+**为什么要分步保存**：
+- 直接传代码内容可能被 LLM 截断
+- 分步保存确保代码完整性
 
 **调用 save_analysis_report 的前提条件**（必须全部满足）：
 1. 已使用 \`execute_python\` 或 \`verify_with_python\` 验证代码能正确运行
-2. 验证结果与预期一致（能解密出目标数据，或能生成正确的签名）
-3. 如果验证失败，必须先修复代码再次验证，直到成功
+2. 验证结果与预期一致
+3. 已用 \`artifact_save\` 保存代码文件
 
 **参数要求**：
 - domain: 网站域名
-- markdown: 简洁的分析摘要（不要太长）
-- pythonCode: **经过验证的、完整可运行的 Python 代码**（必须）
-- jsCode: JavaScript 代码（可选）
+- markdown: 简洁的分析摘要
+- pythonCodeFile: Python 代码文件路径（推荐）
+- pythonCode: Python 代码内容（不推荐，可能被截断）
+
+**完成后必须输出文件路径**：
+分析完成后，必须明确告知用户生成的文件路径，格式如：
+\`\`\`
+📁 生成的文件：
+- Python 代码: ~/.deepspider/output/{domain}/decrypt.py
+- 分析报告: ~/.deepspider/output/{domain}/report.html
+\`\`\`
+用户可以点击路径直接打开文件。
 
 ## 输出要求
 
@@ -293,11 +310,15 @@ export const systemPrompt = `你是 DeepSpider，一个智能爬虫 Agent。你
 2. ✅ 分析加密/解密算法
 3. ✅ 生成可运行的代码
 4. ✅ **端到端验证：发送请求能获取到目标数据**
+5. ✅ **保存报告：调用 save_analysis_report 保存分析结果**
+
+**第5步是强制的**：验证成功后必须调用 \`save_analysis_report\`，否则用户无法查看报告和代码文件。
 
 **以下情况不算完成**：
 - ❌ 只验证了加密算法正确，但请求返回错误
 - ❌ 请求返回"参数错误"、"签名无效"、"数据标识不符合要求"等
 - ❌ 没有实际获取到用户要求的目标数据
+- ❌ **验证成功但没有调用 save_analysis_report**
 
 ### 遇到问题时的正确做法
 如果端到端验证失败：

package/src/agent/run.js

@@ -517,6 +517,25 @@ ${JSON.stringify(config.fields, null, 2)}
 请先用 query_store 查询已有的加密代码，然后整合生成配置和脚本。`;
   } else if (data.type === 'chat') {
     userPrompt = `${browserReadyPrefix}${data.text}`;
+  } else if (data.type === 'open-file') {
+    // 打开文件 - 使用系统默认程序
+    let filePath = data.path;
+    if (filePath && typeof filePath === 'string') {
+      // 展开 ~ 为 home 目录
+      if (filePath.startsWith('~/')) {
+        filePath = filePath.replace('~', process.env.HOME || process.env.USERPROFILE);
+      }
+      const { exec } = await import('child_process');
+      const platform = process.platform;
+      const cmd = platform === 'darwin' ? `open "${filePath}"` :
+                  platform === 'win32' ? `start "" "${filePath}"` :
+                  `xdg-open "${filePath}"`;
+      exec(cmd, (err) => {
+        if (err) console.error('[open-file] 打开失败:', err.message);
+        else console.log('[open-file] 已打开:', filePath);
+      });
+    }
+    return;
   } else {
     return;
   }

package/src/agent/skills/static-analysis/SKILL.md

@@ -91,3 +91,123 @@ description: |
 2. 解码字符串
 3. 简化控制流
 4. 重命名变量
+
+## 密文特征识别（重要）
+
+**根据密文数据的格式特征，可以直接推断加密方式，无需分析代码。**
+
+### Base64 编码
+
+| 特征 | 说明 |
+|------|------|
+| 字符集 | `A-Za-z0-9+/=` |
+| 结尾 | 可能有 `=` 或 `==` 填充 |
+| 长度 | 4的倍数 |
+
+```
+示例: SGVsbG8gV29ybGQ=
+URL安全变体: SGVsbG8gV29ybGQ (用 - _ 替代 + /)
+```
+
+### Hex 编码
+
+| 特征 | 说明 |
+|------|------|
+| 字符集 | `0-9a-fA-F` |
+| 长度 | 偶数位 |
+
+```
+示例: 48656c6c6f20576f726c64
+```
+
+### 哈希值特征
+
+| 算法 | 长度(hex) | 长度(bytes) | 示例 |
+|------|-----------|-------------|------|
+| MD5 | 32 | 16 | `d41d8cd98f00b204e9800998ecf8427e` |
+| SHA1 | 40 | 20 | `da39a3ee5e6b4b0d3255bfef95601890afd80709` |
+| SHA256 | 64 | 32 | `e3b0c44298fc1c149afbf4c8996fb924...` |
+| SM3 | 64 | 32 | 与SHA256同长度 |
+
+**判断技巧**: 固定长度 + 纯hex字符 = 大概率是哈希
+
+### AES 密文特征
+
+| 模式 | 特征 |
+|------|------|
+| ECB | 长度是16的倍数，相同明文产生相同密文 |
+| CBC | 长度是16的倍数，通常前16字节是IV |
+| GCM | 末尾有16字节认证标签 |
+
+```
+Base64编码的AES密文: 长度是4的倍数，解码后是16的倍数
+常见格式: IV(16B) + Ciphertext + Tag(GCM)
+```
+
+### RSA 密文特征
+
+| 密钥长度 | 密文长度(bytes) | Base64长度 |
+|----------|-----------------|------------|
+| 1024位 | 128 | ~172 |
+| 2048位 | 256 | ~344 |
+| 4096位 | 512 | ~684 |
+
+**判断技巧**: 固定长度 + 与RSA密钥长度匹配 = RSA加密
+
+### 国密 SM2 密文特征
+
+```
+C1C3C2 格式 (推荐):
+- C1: 65字节 (04开头的未压缩公钥点)
+- C3: 32字节 (SM3哈希)
+- C2: 与明文等长
+
+C1C2C3 格式 (旧):
+- C1: 65字节
+- C2: 与明文等长
+- C3: 32字节
+
+总长度: 97 + 明文长度
+```
+
+**判断技巧**: 以 `04` 开头的hex + 长度约97+N = SM2
+
+### JWT Token 特征
+
+```
+格式: header.payload.signature
+示例: eyJhbGciOiJIUzI1NiJ9.eyJzdWIiOiIxMjM0NTY3ODkwIn0.dozjgNryP4J3jVmNHl0w5N_XgL0n3I9PlFUP0THsR8U
+
+特征:
+- 三段用 . 分隔
+- 每段都是 Base64URL 编码
+- 第一段解码后是 JSON，包含 alg 字段
+```
+
+### 常见组合模式
+
+| 场景 | 典型组合 |
+|------|----------|
+| 接口签名 | `MD5(params + timestamp + secret)` 或 `HMAC-SHA256` |
+| 密码传输 | `RSA(password)` 或 `AES(password)` |
+| 数据加密 | `AES-CBC(data)` + `RSA(aes_key)` |
+| Token | `JWT` 或 `AES(user_id + timestamp)` |
+
+### 快速判断流程
+
+```
+1. 看字符集
+   - 纯hex → 可能是哈希或hex编码的密文
+   - Base64字符 → 解码后再分析
+   - 有 . 分隔 → 可能是JWT
+
+2. 看长度
+   - 32/40/64 hex → 哈希 (MD5/SHA1/SHA256)
+   - 128/256/512 bytes → RSA
+   - 16的倍数 → AES
+
+3. 看格式
+   - 04开头 → SM2 或 ECDSA
+   - ey开头 → JWT
+   - -----BEGIN → PEM格式密钥
+```

package/src/agent/tools/report.js

@@ -6,9 +6,9 @@
 
 import { z } from 'zod';
 import { tool } from '@langchain/core/tools';
-import { writeFileSync } from 'fs';
-import { join } from 'path';
-import { PATHS, ensureDir, getReportDir } from '../../config/paths.js';
+import { writeFileSync, readFileSync, existsSync } from 'fs';
+import { join, basename } from 'path';
+import { PATHS, ensureDir, DEEPSPIDER_HOME } from '../../config/paths.js';
 
 const OUTPUT_DIR = PATHS.REPORTS_DIR;
 
@@ -25,6 +25,31 @@ function escapeHtml(str) {
   return str.replace(/&/g, '&amp;').replace(/</g, '&lt;').replace(/>/g, '&gt;');
 }
 
+/**
+ * 从文件路径读取代码内容
+ * 支持相对路径和绝对路径
+ */
+function readCodeFromFile(filePath) {
+  if (!filePath) return null;
+
+  let fullPath = filePath;
+  if (!fullPath.startsWith('/')) {
+    fullPath = join(PATHS.OUTPUT_DIR, filePath);
+  }
+
+  if (!existsSync(fullPath)) {
+    console.warn('[report] 代码文件不存在:', fullPath);
+    return null;
+  }
+
+  try {
+    return readFileSync(fullPath, 'utf-8');
+  } catch (e) {
+    console.warn('[report] 读取代码文件失败:', e.message);
+    return null;
+  }
+}
+
 /**
  * 生成 HTML 报告页面
  */
@@ -72,34 +97,57 @@ function generateHtmlPage(title, markdown, pythonCode, jsCode) {
 
 /**
  * 保存分析报告
+ * 支持两种模式：
+ * 1. 传入代码文件路径（推荐）- pythonCodeFile/jsCodeFile
+ * 2. 传入代码内容（兼容）- pythonCode/jsCode
  */
 export const saveAnalysisReport = tool(
-  async ({ domain, title, markdown, pythonCode, jsCode }) => {
+  async ({ domain, title, markdown, pythonCode, pythonCodeFile, jsCode, jsCodeFile }) => {
     try {
       const domainDir = join(OUTPUT_DIR, extractDomain(domain));
       ensureDir(domainDir);
 
       const paths = {};
 
+      // 优先从文件读取代码
+      let finalPythonCode = pythonCode;
+      let finalJsCode = jsCode;
+
+      if (pythonCodeFile) {
+        const code = readCodeFromFile(pythonCodeFile);
+        if (code) {
+          finalPythonCode = code;
+          console.log('[report] 从文件读取 Python 代码:', pythonCodeFile);
+        }
+      }
+
+      if (jsCodeFile) {
+        const code = readCodeFromFile(jsCodeFile);
+        if (code) {
+          finalJsCode = code;
+          console.log('[report] 从文件读取 JS 代码:', jsCodeFile);
+        }
+      }
+
       // 保存 Markdown
       paths.markdown = join(domainDir, 'analysis.md');
       writeFileSync(paths.markdown, markdown, 'utf-8');
 
       // 保存 Python 代码
-      if (pythonCode) {
+      if (finalPythonCode) {
         paths.python = join(domainDir, 'decrypt.py');
-        writeFileSync(paths.python, pythonCode, 'utf-8');
+        writeFileSync(paths.python, finalPythonCode, 'utf-8');
       }
 
       // 保存 JS 代码
-      if (jsCode) {
+      if (finalJsCode) {
         paths.javascript = join(domainDir, 'decrypt.js');
-        writeFileSync(paths.javascript, jsCode, 'utf-8');
+        writeFileSync(paths.javascript, finalJsCode, 'utf-8');
       }
 
       // 生成 HTML
       paths.html = join(domainDir, 'report.html');
-      const html = generateHtmlPage(title || domain, markdown, pythonCode, jsCode);
+      const html = generateHtmlPage(title || domain, markdown, finalPythonCode, finalJsCode);
       writeFileSync(paths.html, html, 'utf-8');
 
       console.log('[report] 已保存:', domainDir);
@@ -110,13 +158,15 @@ export const saveAnalysisReport = tool(
   },
   {
     name: 'save_analysis_report',
-    description: '保存加密分析报告。分析完成后必须调用，保存 Markdown、HTML 和代码文件。',
+    description: `保存分析报告。推荐先用 artifact_save 保存代码文件，再传入文件路径。`,
     schema: z.object({
-      domain: z.string().describe('网站域名或 URL'),
+      domain: z.string().describe('网站域名'),
       title: z.string().optional().describe('报告标题'),
-      markdown: z.string().describe('Markdown 分析报告'),
-      pythonCode: z.string().describe('Python 解密代码（必须提供完整可运行代码）'),
-      jsCode: z.string().optional().describe('JavaScript 解密代码'),
+      markdown: z.string().describe('Markdown 摘要'),
+      pythonCodeFile: z.string().optional().describe('Python 代码文件路径（推荐）'),
+      pythonCode: z.string().optional().describe('Python 代码内容（不推荐）'),
+      jsCodeFile: z.string().optional().describe('JS 代码文件路径'),
+      jsCode: z.string().optional().describe('JS 代码内容'),
     }),
   }
 );

package/src/agent/tools/runtime.js

@@ -12,10 +12,12 @@ let hookManager = null;
 
 /**
  * 标记 Hook 已注入（供外部调用）
+ * 注意：Hook 脚本由 browser/client.js 自动注入，此处仅标记状态
  */
 export function markHookInjected() {
   if (!hookManager) {
     hookManager = new HookManager();
+    hookManager.markInjected();
   }
 }
 
@@ -25,13 +27,13 @@ export function markHookInjected() {
 export const launchBrowser = tool(
   async ({ headless }) => {
     const browser = await getBrowser({ headless });
-    // 检查是否已经注入过 Hook
+    // Hook 已由 browser/client.js 自动注入，此处仅标记状态
     if (!hookManager) {
       hookManager = new HookManager();
-      await hookManager.inject(browser.getPage());
-      return JSON.stringify({ success: true, message: '浏览器已启动，Hook 已注入' });
+      hookManager.markInjected();
+      hookManager.bindConsole(browser.getPage());
     }
-    return JSON.stringify({ success: true, message: '浏览器已就绪' });
+    return JSON.stringify({ success: true, message: '浏览器已就绪，Hook 已注入' });
   },
   {
     name: 'launch_browser',