deepspider 0.2.9 → 0.2.11

package/.trellis/spec/backend/quality-guidelines.md

@@ -193,24 +193,48 @@ console.log('[DeepSpider:' + type + ']' + loc, data);
 
 ## Release Process
 
+### 原生模块依赖处理
+
+项目依赖 `isolated-vm` 等原生 C++ 模块，需要编译环境。
+
+**postinstall 自动处理**:
+```json
+{
+  "scripts": {
+    "postinstall": "patchright install chromium && npm rebuild isolated-vm 2>/dev/null || true"
+  }
+}
+```
+
+**编译环境要求**:
+- macOS: `xcode-select --install`
+- Ubuntu: `sudo apt install build-essential`
+- Windows: Visual Studio Build Tools
+
+> **注意**: `2>/dev/null || true` 确保编译失败不会阻塞安装，但沙箱功能可能不可用。
+
+---
+
 ### 版本发布流程
 
-升级版本时必须同步创建 git tag：
+升级版本并推送 tag，GitHub Actions 会自动发布到 npm：
 
 ```bash
 # 1. 升级 package.json 版本
-npm version patch --no-git-tag-version
+# 编辑 package.json 中的 version 字段
 
 # 2. 提交版本变更
 git add package.json
 git commit -m "chore: bump version to x.x.x"
 
 # 3. 创建并推送 git tag
-git tag vx.x.x
+git tag -a vx.x.x -m "vx.x.x"
 git push && git push origin vx.x.x
 ```
 
-**原因**: npm 版本和 git tag 需要保持同步，便于版本追踪和回溯。
+> **注意**: 推送 tag 后 GitHub Actions 会自动触发 npm 发布，无需手动 `npm publish`。
+
+**原因**: 自动化发布避免手动操作失误，确保版本一致性。
 
 ---
 

package/README.md

@@ -22,22 +22,23 @@
 ### 安装
 
 ```bash
-# 方式一：npm 全局安装
+# 方式一：npm 全局安装（推荐）
 npm install -g deepspider
 
-# 方式二：克隆仓库
+# 方式二：pnpm 全局安装
+pnpm approve-builds -g deepspider isolated-vm # 首次需要批准构建脚本
+pnpm install -g deepspider
+
+# 方式三：克隆仓库
 git clone https://github.com/ma-pony/deepspider.git
 cd deepspider
 pnpm install
-
-# 安装 Python 加密库（用于运行生成的 Python 代码）
-pnpm run setup:crypto
-
-# 配置环境变量
-cp .env.example .env
-# 编辑 .env 填入配置（见下方环境变量说明）
+cp .env.example .env  # 配置环境变量
+pnpm run setup:crypto  # 安装 Python 加密库（可选）
 ```
 
+安装完成后，首次运行会提示配置环境变量（LLM API）。
+
 > **注意**: 项目依赖 `isolated-vm` 原生模块，需要 C++ 编译环境：
 > - macOS: `xcode-select --install`
 > - Ubuntu: `sudo apt install build-essential`

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "deepspider",
-  "version": "0.2.9",
+  "version": "0.2.11",
   "description": "智能爬虫工程平台 - 基于 DeepAgents + Patchright 的 AI 爬虫 Agent",
   "type": "module",
   "main": "src/index.js",

package/requirements-crypto.txt

@@ -1,14 +1,20 @@
-# JSForge Python 加密库依赖
+# DeepSpider Python 依赖
 # 安装: uv pip install -r requirements-crypto.txt
 
-# 通用加密库
+# 加密库
 pycryptodome>=3.20.0    # AES/DES/RSA/MD5/SHA 等
+gmssl>=3.2.2            # SM2/SM3/SM4 国密算法
+rsa>=4.9                # RSA
+pyDes>=2.0.1            # DES/3DES
 
-# 国密算法
-gmssl>=3.2.2            # SM2/SM3/SM4
+# HTTP 请求
+requests>=2.31.0        # HTTP 客户端
+httpx>=0.27.0           # 异步 HTTP 客户端
 
-# RSA
-rsa>=4.9
+# JS 执行
+PyExecJS>=1.5.1         # 执行 JS 代码
 
-# 其他常用
-pyDes>=2.0.1            # DES/3DES
+# 数据处理
+lxml>=5.0.0             # HTML/XML 解析
+beautifulsoup4>=4.12.0  # HTML 解析
+parsel>=1.8.0           # XPath/CSS 选择器

package/src/agent/prompts/system.js

@@ -59,7 +59,7 @@ export const fullAnalysisPrompt = `
 
 #### 第一层：算法验证（必须）
 验证加密/解密函数本身是否正确：
-1. 使用 \`execute_python\` 执行加密/解密代码
+1. 使用 \`run_python_code\` 执行加密/解密代码
 2. 检查：encrypt(plaintext) → ciphertext → decrypt() → plaintext
 
 #### 第二层：端到端验证（必须）
@@ -88,7 +88,7 @@ export const fullAnalysisPrompt = `
 3. **必须在最终输出中告知用户文件保存路径**
 
 **调用 save_analysis_report 的前提条件**（必须全部满足）：
-1. 已使用 \`execute_python\` 或 \`verify_with_python\` 验证代码能正确运行
+1. 已使用 \`run_python_code\` 或 \`verify_with_python\` 验证代码能正确运行
 2. 验证结果与预期一致
 3. 已用 \`artifact_save\` 保存代码文件
 

package/src/agent/setup.js

@@ -35,21 +35,15 @@ export function ensureConfig() {
 
 配置方式（任选其一）：
 
-1. 环境变量：
+1. 配置环境变量（推荐）：
    export DEEPSPIDER_API_KEY=sk-xxx
    export DEEPSPIDER_BASE_URL=https://api.openai.com/v1
    export DEEPSPIDER_MODEL=gpt-4o
 
-2. .env 文件（推荐）：
-   cp .env.example .env
-   # 编辑 .env 填入配置
+2. 一行命令：
+   DEEPSPIDER_API_KEY=sk-xxx DEEPSPIDER_BASE_URL=https://api.openai.com/v1 DEEPSPIDER_MODEL=gpt-4o deepspider <url>
 
-3. 一行命令：
-   DEEPSPIDER_API_KEY=sk-xxx DEEPSPIDER_BASE_URL=https://api.openai.com/v1 DEEPSPIDER_MODEL=gpt-4o npx deepspider <url>
-
-常用供应商配置：
-   OpenAI:   BASE_URL=https://api.openai.com/v1      MODEL=gpt-4o
-   DeepSeek: BASE_URL=https://api.deepseek.com/v1   MODEL=deepseek-chat
+请根据提示补全配置后重试。
 `);
 
   return false;

package/src/agent/tools/python.js

@@ -465,19 +465,19 @@ export const generatePythonCrypto = tool(
 );
 
 /**
- * 执行 Python 加密验证代码
+ * 执行 Python 代码
  */
 export const executePythonCode = tool(
   async ({ code, timeout }) => {
-    const result = await executePython(code, timeout || 10000);
+    const result = await executePython(code, timeout || 30000);
     return JSON.stringify(result);
   },
   {
-    name: 'run_python_crypto_test',
-    description: '运行 Python 加密/解密测试代码。仅用于验证标准加密算法（AES、DES、SM4、MD5、SHA等）的 Python 实现是否正确。不要用于执行 JS 代码或调用 subprocess。',
+    name: 'run_python_code',
+    description: '执行 Python 代码。可用于加密验证、HTTP 请求、数据处理等任务。环境已预装 pycryptodome、requests 等常用库。',
     schema: z.object({
-      code: z.string().describe('纯 Python 加密验证代码，不要包含 subprocess 或调用外部程序'),
-      timeout: z.number().optional().default(10000).describe('超时时间（毫秒）'),
+      code: z.string().describe('Python 代码'),
+      timeout: z.number().optional().default(30000).describe('超时时间（毫秒）'),
     }),
   }
 );

package/src/agent/tools/report.js

@@ -129,9 +129,8 @@ export const saveAnalysisReport = tool(
         }
       }
 
-      // 保存 Markdown
+      // 保存 Markdown（先收集所有路径，最后追加文件列表）
       paths.markdown = join(domainDir, 'analysis.md');
-      writeFileSync(paths.markdown, markdown, 'utf-8');
 
       // 保存 Python 代码
       if (finalPythonCode) {
@@ -150,6 +149,13 @@ export const saveAnalysisReport = tool(
       const html = generateHtmlPage(title || domain, markdown, finalPythonCode, finalJsCode);
       writeFileSync(paths.html, html, 'utf-8');
 
+      // 在 markdown 末尾自动追加生成文件列表
+      const fileList = Object.entries(paths)
+        .map(([type, p]) => `- ${type}: \`${p}\``)
+        .join('\n');
+      const finalMarkdown = markdown + '\n\n## 生成文件\n\n' + fileList;
+      writeFileSync(paths.markdown, finalMarkdown, 'utf-8');
+
       console.log('[report] 已保存:', domainDir);
       return JSON.stringify({ success: true, paths, dir: domainDir });
     } catch (e) {