deepspider 0.2.10 → 0.2.11

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "deepspider",
-  "version": "0.2.10",
+  "version": "0.2.11",
   "description": "智能爬虫工程平台 - 基于 DeepAgents + Patchright 的 AI 爬虫 Agent",
   "type": "module",
   "main": "src/index.js",

package/requirements-crypto.txt

@@ -1,14 +1,20 @@
-# JSForge Python 加密库依赖
+# DeepSpider Python 依赖
 # 安装: uv pip install -r requirements-crypto.txt
 
-# 通用加密库
+# 加密库
 pycryptodome>=3.20.0    # AES/DES/RSA/MD5/SHA 等
+gmssl>=3.2.2            # SM2/SM3/SM4 国密算法
+rsa>=4.9                # RSA
+pyDes>=2.0.1            # DES/3DES
 
-# 国密算法
-gmssl>=3.2.2            # SM2/SM3/SM4
+# HTTP 请求
+requests>=2.31.0        # HTTP 客户端
+httpx>=0.27.0           # 异步 HTTP 客户端
 
-# RSA
-rsa>=4.9
+# JS 执行
+PyExecJS>=1.5.1         # 执行 JS 代码
 
-# 其他常用
-pyDes>=2.0.1            # DES/3DES
+# 数据处理
+lxml>=5.0.0             # HTML/XML 解析
+beautifulsoup4>=4.12.0  # HTML 解析
+parsel>=1.8.0           # XPath/CSS 选择器

package/src/agent/prompts/system.js

@@ -59,7 +59,7 @@ export const fullAnalysisPrompt = `
 
 #### 第一层：算法验证（必须）
 验证加密/解密函数本身是否正确：
-1. 使用 \`execute_python\` 执行加密/解密代码
+1. 使用 \`run_python_code\` 执行加密/解密代码
 2. 检查：encrypt(plaintext) → ciphertext → decrypt() → plaintext
 
 #### 第二层：端到端验证（必须）
@@ -88,7 +88,7 @@ export const fullAnalysisPrompt = `
 3. **必须在最终输出中告知用户文件保存路径**
 
 **调用 save_analysis_report 的前提条件**（必须全部满足）：
-1. 已使用 \`execute_python\` 或 \`verify_with_python\` 验证代码能正确运行
+1. 已使用 \`run_python_code\` 或 \`verify_with_python\` 验证代码能正确运行
 2. 验证结果与预期一致
 3. 已用 \`artifact_save\` 保存代码文件
 

package/src/agent/setup.js

@@ -35,7 +35,7 @@ export function ensureConfig() {
 
 配置方式（任选其一）：
 
-1. 环境变量（推荐）：
+1. 配置环境变量（推荐）：
    export DEEPSPIDER_API_KEY=sk-xxx
    export DEEPSPIDER_BASE_URL=https://api.openai.com/v1
    export DEEPSPIDER_MODEL=gpt-4o
@@ -43,9 +43,7 @@ export function ensureConfig() {
 2. 一行命令：
    DEEPSPIDER_API_KEY=sk-xxx DEEPSPIDER_BASE_URL=https://api.openai.com/v1 DEEPSPIDER_MODEL=gpt-4o deepspider <url>
 
-常用供应商配置：
-   OpenAI:   BASE_URL=https://api.openai.com/v1      MODEL=gpt-4o
-   DeepSeek: BASE_URL=https://api.deepseek.com/v1   MODEL=deepseek-chat
+请根据提示补全配置后重试。
 `);
 
   return false;

package/src/agent/tools/python.js

@@ -465,19 +465,19 @@ export const generatePythonCrypto = tool(
 );
 
 /**
- * 执行 Python 加密验证代码
+ * 执行 Python 代码
  */
 export const executePythonCode = tool(
   async ({ code, timeout }) => {
-    const result = await executePython(code, timeout || 10000);
+    const result = await executePython(code, timeout || 30000);
     return JSON.stringify(result);
   },
   {
-    name: 'run_python_crypto_test',
-    description: '运行 Python 加密/解密测试代码。仅用于验证标准加密算法（AES、DES、SM4、MD5、SHA等）的 Python 实现是否正确。不要用于执行 JS 代码或调用 subprocess。',
+    name: 'run_python_code',
+    description: '执行 Python 代码。可用于加密验证、HTTP 请求、数据处理等任务。环境已预装 pycryptodome、requests 等常用库。',
     schema: z.object({
-      code: z.string().describe('纯 Python 加密验证代码，不要包含 subprocess 或调用外部程序'),
-      timeout: z.number().optional().default(10000).describe('超时时间（毫秒）'),
+      code: z.string().describe('Python 代码'),
+      timeout: z.number().optional().default(30000).describe('超时时间（毫秒）'),
     }),
   }
 );

package/src/agent/tools/report.js

@@ -129,9 +129,8 @@ export const saveAnalysisReport = tool(
         }
       }
 
-      // 保存 Markdown
+      // 保存 Markdown（先收集所有路径，最后追加文件列表）
       paths.markdown = join(domainDir, 'analysis.md');
-      writeFileSync(paths.markdown, markdown, 'utf-8');
 
       // 保存 Python 代码
       if (finalPythonCode) {
@@ -150,6 +149,13 @@ export const saveAnalysisReport = tool(
       const html = generateHtmlPage(title || domain, markdown, finalPythonCode, finalJsCode);
       writeFileSync(paths.html, html, 'utf-8');
 
+      // 在 markdown 末尾自动追加生成文件列表
+      const fileList = Object.entries(paths)
+        .map(([type, p]) => `- ${type}: \`${p}\``)
+        .join('\n');
+      const finalMarkdown = markdown + '\n\n## 生成文件\n\n' + fileList;
+      writeFileSync(paths.markdown, finalMarkdown, 'utf-8');
+
       console.log('[report] 已保存:', domainDir);
       return JSON.stringify({ success: true, paths, dir: domainDir });
     } catch (e) {