deepspider 0.1.0 → 0.2.0

package/.env.example

@@ -1,9 +1,9 @@
 # DeepSpider 配置
 
 # LLM API 配置（兼容 OpenAI 格式的任意供应商）
-LLM_API_KEY=your_api_key_here
-LLM_BASE_URL=https://api.openai.com/v1
-LLM_MODEL=gpt-4o
+DEEPSPIDER_API_KEY=your_api_key_here
+DEEPSPIDER_BASE_URL=https://api.openai.com/v1
+DEEPSPIDER_MODEL=gpt-4o
 
 # LangSmith 追踪配置（可选）
 LANGSMITH_TRACING=true

package/.trellis/spec/backend/directory-structure.md

@@ -6,7 +6,7 @@
 
 ## Overview
 
-DeepSpider 是一个 Node.js 后端项目，基于 DeepAgents + Patchright 构建的 JS 逆向分析引擎。
+DeepSpider 是一个 Node.js 后端项目，基于 DeepAgents + Patchright 构建的智能爬虫 Agent。
 项目采用模块化架构，按功能职责划分目录。
 
 ---

package/.trellis/spec/backend/index.md

@@ -6,7 +6,7 @@
 
 ## Overview
 
-DeepSpider 是基于 DeepAgents + Patchright 的 JS 逆向分析引擎。
+DeepSpider 是基于 DeepAgents + Patchright 的智能爬虫 Agent。
 本目录包含项目的开发规范和代码模式。
 
 ---

package/.trellis/workspace/pony/index.md

@@ -8,8 +8,8 @@
 
 <!-- @@@auto:current-status -->
 - **Active File**: `journal-1.md`
-- **Total Sessions**: 0
-- **Last Active**: -
+- **Total Sessions**: 1
+- **Last Active**: 2026-02-03
 <!-- @@@/auto:current-status -->
 
 ---
@@ -19,7 +19,7 @@
 <!-- @@@auto:active-documents -->
 | File | Lines | Status |
 |------|-------|--------|
-| `journal-1.md` | ~0 | Active |
+| `journal-1.md` | ~61 | Active |
 <!-- @@@/auto:active-documents -->
 
 ---
@@ -29,6 +29,7 @@
 <!-- @@@auto:session-history -->
 | # | Date | Title | Commits |
 |---|------|-------|---------|
+| 1 | 2026-02-03 | 环境变量重命名与配置检测 | `4aa6cad` |
 <!-- @@@/auto:session-history -->
 
 ---

package/.trellis/workspace/pony/journal-1.md

@@ -5,3 +5,57 @@
 
 ---
 
+
+## Session 1: 环境变量重命名与配置检测
+
+**Date**: 2026-02-03
+**Task**: 环境变量重命名与配置检测
+
+### Summary
+
+(Add summary)
+
+### Main Changes
+
+## 完成内容
+
+重命名环境变量为项目专属前缀，并添加启动时配置检测。
+
+| 变更 | 说明 |
+|------|------|
+| 环境变量重命名 | LLM_* → DEEPSPIDER_API_KEY/BASE_URL/MODEL |
+| 配置检测模块 | 新增 setup.js，启动时检测必要配置 |
+| 文档更新 | README.md, CLAUDE.md 同步更新 |
+
+## 设计决策
+
+从第一性原理分析，采用简化方案：
+- 移除交互式配置向导（200行→47行）
+- 只做检测+提示，不做选择
+- 符合 Unix 哲学
+
+## 变更文件
+
+- `.env.example` - 环境变量模板
+- `src/agent/index.js` - 读取新变量名
+- `src/agent/run.js` - 添加配置检测调用
+- `src/agent/setup.js` - 新增配置检测模块
+- `README.md`, `CLAUDE.md` - 文档更新
+
+### Git Commits
+
+| Hash | Message |
+|------|---------|
+| `4aa6cad` | (see git log) |
+
+### Testing
+
+- [OK] (Add test results)
+
+### Status
+
+[OK] **Completed**
+
+### Next Steps
+
+- None - task complete

package/CLAUDE.md

@@ -265,9 +265,9 @@ pnpm run setup:crypto
 # 配置环境变量
 cp .env.example .env
 # 编辑 .env 填入:
-#   LLM_API_KEY=your-api-key
-#   LLM_BASE_URL=https://api.openai.com/v1  # 可选，兼容 OpenAI 格式的任意供应商
-#   LLM_MODEL=gpt-4o                        # 可选，默认 gpt-4o
+#   DEEPSPIDER_API_KEY=your-api-key
+#   DEEPSPIDER_BASE_URL=https://api.openai.com/v1
+#   DEEPSPIDER_MODEL=gpt-4o
 
 # Agent 模式（推荐）- 指定目标网站
 pnpm run agent https://example.com

package/README.md

@@ -1,8 +1,11 @@
 # DeepSpider
 
-> 智能爬虫工程平台 - 基于 DeepAgents + Patchright
+[![npm version](https://img.shields.io/npm/v/deepspider.svg)](https://www.npmjs.com/package/deepspider)
+[![License: MIT](https://img.shields.io/badge/License-MIT-yellow.svg)](https://opensource.org/licenses/MIT)
 
-从 JS 逆向分析到完整爬虫脚本的一站式 AI Agent 解决方案。
+> 智能爬虫工程平台 - 基于 DeepAgents + Patchright 的 AI 爬虫 Agent
+
+从 JS 逆向到完整爬虫脚本的一站式 AI Agent 解决方案。
 
 ## 特性
 
@@ -18,7 +21,12 @@
 ### 安装
 
 ```bash
-# 安装依赖
+# 方式一：npm 全局安装
+npm install -g deepspider
+
+# 方式二：克隆仓库
+git clone https://github.com/ma-pony/deepspider.git
+cd deepspider
 pnpm install
 
 # 安装 Python 加密库（用于运行生成的 Python 代码）
@@ -26,7 +34,36 @@ pnpm run setup:crypto
 
 # 配置环境变量
 cp .env.example .env
-# 编辑 .env 填入 LLM_API_KEY
+# 编辑 .env 填入配置（见下方环境变量说明）
+```
+
+### 环境变量配置
+
+DeepSpider 需要配置 LLM API 才能运行。支持任何兼容 OpenAI 格式的供应商。
+
+| 变量名 | 必填 | 说明 |
+|--------|------|------|
+| `DEEPSPIDER_API_KEY` | 是 | API 密钥 |
+| `DEEPSPIDER_BASE_URL` | 是 | API 地址 |
+| `DEEPSPIDER_MODEL` | 是 | 模型名称 |
+
+**常用供应商配置示例**：
+
+```bash
+# OpenAI
+DEEPSPIDER_API_KEY=sk-xxx
+DEEPSPIDER_BASE_URL=https://api.openai.com/v1
+DEEPSPIDER_MODEL=gpt-4o
+
+# DeepSeek
+DEEPSPIDER_API_KEY=sk-xxx
+DEEPSPIDER_BASE_URL=https://api.deepseek.com/v1
+DEEPSPIDER_MODEL=deepseek-chat
+
+# 其他 OpenAI 兼容供应商
+DEEPSPIDER_API_KEY=your-key
+DEEPSPIDER_BASE_URL=https://your-provider.com/v1
+DEEPSPIDER_MODEL=model-name
 ```
 
 ### 使用
@@ -129,6 +166,10 @@ deepspider/
 - [开发使用指南](docs/GUIDE.md)
 - [调试指南](docs/DEBUG.md)
 
+## 贡献
+
+欢迎提交 Issue 和 Pull Request！
+
 ## License
 
 MIT

package/agents/deepspider.md

@@ -1,9 +1,9 @@
 ---
-description: JavaScript 逆向分析专家。动态调试、代码解包、反混淆、加密捕获、环境补全。
-capabilities: ["动态调试", "代码解包", "反混淆", "加密捕获", "环境补全"]
+description: 智能爬虫 Agent。JS逆向、动态调试、代码解包、反混淆、加密捕获、爬虫生成。
+capabilities: ["JS逆向", "动态调试", "代码解包", "反混淆", "加密捕获", "爬虫生成"]
 ---
 
-你是 DeepSpider，一个专业的 JavaScript 逆向工程专家。
+你是 DeepSpider，一个智能爬虫 Agent。
 
 ## 核心能力
 

package/docs/GUIDE.md

@@ -1,6 +1,6 @@
 # DeepSpider 开发使用指南
 
-> JavaScript 逆向分析引擎 - Claude Code Plugin
+> 智能爬虫 Agent - 基于 DeepAgents + Patchright
 
 ## 目录
 
@@ -16,7 +16,7 @@
 
 ## 项目概述
 
-DeepSpider 是一个专业的 JavaScript 逆向分析引擎，作为 Claude Code Plugin 运行。
+DeepSpider 是一个智能爬虫 Agent，基于 DeepAgents + Patchright 构建。
 
 ### 核心能力
 

package/docs/PROMPT.md

@@ -3,7 +3,7 @@
 > 此文件为 Subagent 系统提示的参考文档。
 > 实际 Subagent 定义位于 `.claude/agents/deepspider.md`
 
-你是 DeepSpider，一个专业的 JavaScript 逆向工程 Subagent。
+你是 DeepSpider，一个智能爬虫 Agent。
 
 ## 核心能力
 

package/docs/USAGE.md

@@ -1,6 +1,6 @@
 # DeepSpider 使用指南
 
-> JS 逆向分析引擎 - 四类加密场景分析指南
+> 智能爬虫 Agent - 加密场景分析指南
 
 ## 快速开始
 

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "deepspider",
-  "version": "0.1.0",
+  "version": "0.2.0",
   "description": "智能爬虫工程平台 - 基于 DeepAgents + Patchright 的 AI 爬虫 Agent",
   "type": "module",
   "main": "src/index.js",
@@ -10,7 +10,7 @@
   "scripts": {
     "start": "node src/index.js",
     "dev": "node --watch src/index.js",
-    "cli": "node bin/cli.js",
+    "cli": "node src/agent/run.js",
     "mcp": "node src/mcp/server.js",
     "agent": "node src/agent/run.js",
     "test": "node --test test/",

package/src/agent/index.js

@@ -16,9 +16,9 @@ import { createFilterToolsMiddleware } from './middleware/filterTools.js';
 
 // 从环境变量读取配置
 const config = {
-  apiKey: process.env.LLM_API_KEY,
-  baseUrl: process.env.LLM_BASE_URL,
-  model: process.env.LLM_MODEL || 'gpt-4o',
+  apiKey: process.env.DEEPSPIDER_API_KEY,
+  baseUrl: process.env.DEEPSPIDER_BASE_URL,
+  model: process.env.DEEPSPIDER_MODEL || 'gpt-4o',
 };
 
 /**

package/src/agent/prompts/system.js

@@ -2,7 +2,7 @@
  * DeepSpider - 系统提示
  */
 
-export const systemPrompt = `你是 DeepSpider，一个专业的 JavaScript 逆向分析助手。你的目标是帮助用户分析网站的加密逻辑，提取可复用的加密/解密代码。
+export const systemPrompt = `你是 DeepSpider，一个智能爬虫 Agent。你的目标是帮助用户分析网站的加密逻辑，生成完整可运行的爬虫脚本。
 
 ## 分析思路
 

package/src/agent/run.js

@@ -14,6 +14,7 @@ import { getBrowser } from '../browser/index.js';
 import { markHookInjected } from './tools/runtime.js';
 import { createLogger } from './logger.js';
 import { browserTools } from './tools/browser.js';
+import { ensureConfig } from './setup.js';
 
 const args = process.argv.slice(2);
 const targetUrl = args.find(arg => arg.startsWith('http://') || arg.startsWith('https://'));
@@ -27,7 +28,7 @@ let browser = null;
 let currentPage = null;
 
 console.log('=== DeepSpider Agent ===');
-console.log('JS 逆向分析助手，输入 exit 退出\n');
+console.log('智能爬虫 Agent，输入 exit 退出\n');
 
 // 调试模式
 const DEBUG = process.env.DEBUG === 'true' || process.argv.includes('--debug');
@@ -548,6 +549,12 @@ function prompt() {
 
 async function init() {
   debug('init: 启动');
+
+  // 首次运行检测：确保环境变量已配置
+  if (!ensureConfig()) {
+    process.exit(1);
+  }
+
   if (DEBUG) {
     console.log('[DEBUG] 调试模式已启用');
   }

package/src/agent/setup.js

@@ -0,0 +1,56 @@
+/**
+ * DeepSpider 配置检测
+ * 简单检测 + 清晰提示，不做交互式向导
+ */
+
+/**
+ * 检查环境变量是否已配置
+ */
+export function checkEnvConfig() {
+  return {
+    apiKey: process.env.DEEPSPIDER_API_KEY,
+    baseUrl: process.env.DEEPSPIDER_BASE_URL,
+    model: process.env.DEEPSPIDER_MODEL,
+  };
+}
+
+/**
+ * 检查配置是否完整
+ * @returns {boolean} 是否可以继续运行
+ */
+export function ensureConfig() {
+  const { apiKey, baseUrl, model } = checkEnvConfig();
+  const missing = [];
+
+  if (!apiKey) missing.push('DEEPSPIDER_API_KEY');
+  if (!baseUrl) missing.push('DEEPSPIDER_BASE_URL');
+  if (!model) missing.push('DEEPSPIDER_MODEL');
+
+  if (missing.length === 0) {
+    return true;
+  }
+
+  console.error(`
+错误：缺少必要配置 - ${missing.join(', ')}
+
+配置方式（任选其一）：
+
+1. 环境变量：
+   export DEEPSPIDER_API_KEY=sk-xxx
+   export DEEPSPIDER_BASE_URL=https://api.openai.com/v1
+   export DEEPSPIDER_MODEL=gpt-4o
+
+2. .env 文件（推荐）：
+   cp .env.example .env
+   # 编辑 .env 填入配置
+
+3. 一行命令：
+   DEEPSPIDER_API_KEY=sk-xxx DEEPSPIDER_BASE_URL=https://api.openai.com/v1 DEEPSPIDER_MODEL=gpt-4o npx deepspider <url>
+
+常用供应商配置：
+   OpenAI:   BASE_URL=https://api.openai.com/v1      MODEL=gpt-4o
+   DeepSeek: BASE_URL=https://api.deepseek.com/v1   MODEL=deepseek-chat
+`);
+
+  return false;
+}

package/src/index.js

@@ -1,6 +1,6 @@
 /**
  * DeepSpider - 主入口
- * 基于 DeepAgents 的 JS 逆向分析引擎
+ * 基于 DeepAgents + Patchright 的智能爬虫 Agent
  */
 
 // Agent