opencode-api-security-testing 4.0.1 → 5.0.0

package/references/references/workflows.md

@@ -0,0 +1,192 @@
+# 完整扫描流程
+
+## 场景化扫描流程
+
+**【强制】所有扫描深度都必须使用Playwright进行JS动态采集，禁止降级**
+
+```
+【quick_scan】5分钟快速扫描
+├─ 目标：快速发现明显漏洞
+└─ 流程：
+   ├─ HTTP/HTTPS探测 + 技术栈识别
+   ├─ Playwright全流量采集（必须）
+   ├─ 关键路径探测
+   └─ 快速漏洞测试
+
+【normal_scan】20分钟标准扫描
+├─ 目标：全面发现漏洞
+└─ 流程：
+   ├─ 所有基础探测
+   ├─ Playwright全流量采集（必须）
+   ├─ JS深度分析
+   ├─ 关键端点测试
+   └─ 漏洞验证 + 报告输出
+
+【deep_scan】1小时深度扫描
+├─ 目标：完整渗透测试
+└─ 流程：
+   ├─ Playwright全流量采集（必须）
+   ├─ JS深度分析(AST+正则+路径推断)
+   ├─ 全量API端点测试
+   ├─ 认证绕过测试矩阵
+   ├─ SQL注入深入利用(判断类型+可利用性)
+   ├─ 漏洞链构造
+   └─ 完整报告输出
+```
+
+## SPA应用完整采集流程
+
+### 流程图（循环迭代模型）
+
+```mermaid
+flowchart TD
+    A["开始: 确定测试目标"] --> B["基础探测"]
+    B --> C{"目标可访问?"}
+    C -->|否| D["记录并尝试其他路径"]
+    D --> E{"还有未探测路径?"}
+    E -->|是| B
+    E -->|否| Z["报告: 目标不可达"]
+    C -->|是| F["识别技术栈"]
+    F --> G{"发现新资产?"}
+    G -->|是| H["创建新测试目标"]
+    H --> B
+    G -->|否| I["SPA应用?"]
+    I -->|否| J["直接探测API"]
+    J --> K["API测试"]
+    K --> L{"发现新接口?"}
+    L -->|是| M["深入分析新接口"]
+    M --> K
+    L -->|否| N{"发现新资产?"}
+    N -->|是| H
+    N -->|否| O{"发现漏洞?"}
+    I -->|是| P["全流量采集"]
+    P --> Q["JS采集"]
+    Q --> R{"发现新URL?"}
+    R -->|是| H
+    R -->|否| S["拦截XHR/Fetch"]
+    S --> T{"发现新域名?"}
+    T -->|是| H
+    T -->|否| U["深度分析JS"]
+    U --> V{"发现新API路径?"}
+    V -->|是| M
+    V -->|否| W{"发现新资产?"}
+    W -->|是| H
+    W -->|否| K
+    O -->|是| X["漏洞验证"]
+    X --> Y["输出漏洞报告"]
+    Y --> K
+    O -->|否| K
+```
+
+**核心原则**：渗透测试是**循环迭代**过程，不是线性流程！
+
+## 阶段1：基础探测
+
+```
+1. HTTP探测目标可访问性
+   curl -I http://target.com
+   
+2. 技术栈识别
+   - 检查响应头Server字段
+   - 检查HTML中是否包含Vue/React/Angular关键词
+   - 检查是否包含webpack chunk引用
+   
+3. 判断是否是SPA应用
+   - /api/* 返回HTML → SPA
+   - HTML包含JS chunk路径 → Vue/React应用
+
+4. 全流量监听
+   - 捕获所有出站请求（不只是JS）
+   - 记录所有第三方域名（CDN、分析服务等）
+   - 记录所有静态资源加载
+```
+
+## 阶段2：JS采集【强制·禁止降级】
+
+**【禁止降级采集阶段】必须使用Playwright，不允许降级到Selenium/requests**
+
+**【允许】分析阶段可使用curl进行补充**
+
+```
+【核心目标】捕获所有流量，不只分析JS文件！
+
+1. Playwright全流量采集（必须）
+   - 使用ignore_https_errors=True处理证书问题
+   - 拦截所有请求/响应
+   - 记录流量类型（xhr/fetch/document/script/websocket）
+
+2. 模拟用户操作（必须）
+   - 点击页面触发加载
+   - 滚动触发懒加载
+   - 填写登录表单
+   - 导航到其他页面
+
+3. 多目标队列管理
+   TEST_QUEUE = []  # 待测试目标
+   TESTED = set()   # 已测试目标
+```
+
+## 阶段3：JS深度分析
+
+```
+1. 提取baseURL配置（最优先！）
+   - r'baseURL\s*[:=]\s*["\']([^"\']+)["\']'
+   - r'VUE_APP_\w+["\s]*[:=]["\s]*["\']([^"\']*)["\']'
+
+2. API端点提取
+   - r'["\'](/(?:user|auth|admin|login|logout|api|v\d)[^"\']*)["\']'
+   - r'axios\.[a-z]+\(["\']([^"\']+)["\']'
+   - r'fetch\(["\']([^"\']+)["\']'
+
+3. 敏感信息提取
+   - IP地址、内网地址
+   - Token、API Key
+   - 外部域名
+```
+
+## 阶段4：API测试
+
+```
+base_path获取优先级:
+1. 配置文件: /{app}/_app.config.js 中的 VITE_GLOB_API_URL
+2. baseURL配置
+3. Swagger/OpenAPI文档
+4. nginx反向代理推测
+5. JS路径反推
+6. 多API共同前缀
+7. 字典fallback
+
+【重要】多base_path场景：
+- 一个站点可能存在多个base_path
+- 需要分别测试每个base_path下的端点
+```
+
+## 阶段5：漏洞验证
+
+```
+【多维度误报判断框架】
+
+判断逻辑优先级：
+1. 先看响应内容是否符合漏洞特征
+2. 再看是否为预期响应
+3. 最后验证利用可能性
+
+必须先分析"正常响应应该是什么样的"
+```
+
+## 阶段6：报告输出
+
+```
+1. 收集测试结果
+   - 汇总所有发现的漏洞（高/中/低危）
+   - 整理API端点清单
+   - 记录安全优点
+
+2. 利用链分析
+   - 分析独立漏洞的关联性
+   - 构建完整攻击链
+
+3. 修复建议
+   - 按优先级排序
+   - 提供具体修复方案
+```

package/src/index.ts

@@ -6,18 +6,127 @@ import { existsSync, readFileSync } from "fs";
 const SKILL_DIR = "skills/api-security-testing";
 const CORE_DIR = `${SKILL_DIR}/core`;
 const AGENTS_DIR = ".config/opencode/agents";
+const CONFIG_FILE = "api-security-testing.config.json";
+
+// 默认配置
+const DEFAULT_CONFIG = {
+  agents: {
+    "api-cyber-supervisor": { model: "anthropic/claude-sonnet-4-20250514", temperature: 0.3 },
+    "api-probing-miner": { model: "anthropic/claude-haiku-4-20250514", temperature: 0.5 },
+    "api-resource-specialist": { model: "anthropic/claude-haiku-4-20250514", temperature: 0.4 },
+    "api-vuln-verifier": { model: "anthropic/claude-haiku-4-20250514", temperature: 0.2 }
+  },
+  model_fallback: {
+    supervisor: [
+      "anthropic/claude-sonnet-4-20250514",
+      "openai/gpt-4o",
+      "google/gemini-2.0-flash",
+      "anthropic/claude-haiku-4-20250514"
+    ],
+    subagent: [
+      "anthropic/claude-haiku-4-20250514",
+      "openai/gpt-4o-mini",
+      "google/gemini-2.0-flash-lite"
+    ]
+  },
+  cyber_supervisor: {
+    enabled: true,
+    auto_trigger: true,
+    max_retries: 5,
+    give_up_patterns: [
+      "无法解决", "不能", "需要手动", "环境问题",
+      "超出范围", "建议用户", "I cannot", "I'm unable",
+      "out of scope", "manual"
+    ]
+  },
+  collection_mode: "auto" // auto | static | dynamic
+};
 
 // 赛博监工配置
-const CYBER_SUPERVISOR = {
-  enabled: true,
-  auto_trigger: true,
-  max_retries: 5,
-  give_up_patterns: [
-    "无法解决", "不能", "需要手动", "环境问题",
-    "超出范围", "建议用户", "I cannot", "I'm unable",
-    "out of scope", "manual"
-  ]
-};
+const CYBER_SUPERVISOR = DEFAULT_CONFIG.cyber_supervisor;
+
+// 模型回退状态追踪
+const modelFailureCounts = new Map<string, Map<string, number>>();
+const sessionFailures = new Map<string, number>();
+
+function getConfigPath(ctx: { directory: string }): string {
+  return join(ctx.directory, SKILL_DIR, "assets", CONFIG_FILE);
+}
+
+function loadConfig(ctx: { directory: string }): typeof DEFAULT_CONFIG {
+  const configPath = getConfigPath(ctx);
+  if (existsSync(configPath)) {
+    try {
+      const content = readFileSync(configPath, "utf-8");
+      const loaded = JSON.parse(content);
+      return { ...DEFAULT_CONFIG, ...loaded };
+    } catch (e) {
+      console.log(`[api-security-testing] Failed to load config: ${e}`);
+    }
+  }
+  return DEFAULT_CONFIG;
+}
+
+function getModelFailureCount(sessionID: string, modelID: string): number {
+  const sessionMap = modelFailureCounts.get(sessionID);
+  if (!sessionMap) return 0;
+  return sessionMap.get(modelID) || 0;
+}
+
+function incrementModelFailure(sessionID: string, modelID: string): void {
+  if (!modelFailureCounts.has(sessionID)) {
+    modelFailureCounts.set(sessionID, new Map());
+  }
+  const sessionMap = modelFailureCounts.get(sessionID)!;
+  sessionMap.set(modelID, (sessionMap.get(modelID) || 0) + 1);
+}
+
+function resetModelFailures(sessionID: string): void {
+  modelFailureCounts.delete(sessionID);
+}
+
+function getNextFallbackModel(
+  config: typeof DEFAULT_CONFIG,
+  sessionID: string,
+  currentModel: string,
+  isSupervisor: boolean
+): string | null {
+  const chain = isSupervisor 
+    ? config.model_fallback.supervisor 
+    : config.model_fallback.subagent;
+  
+  const currentIndex = chain.indexOf(currentModel);
+  if (currentIndex === -1 || currentIndex >= chain.length - 1) {
+    return null; // No fallback available
+  }
+  
+  // 检查下一个模型是否也已失败过多
+  const nextModel = chain[currentIndex + 1];
+  const failures = getModelFailureCount(sessionID, nextModel);
+  if (failures >= 3) {
+    // 递归查找下一个可用模型
+    return getNextFallbackModel(config, sessionID, nextModel, isSupervisor);
+  }
+  
+  return nextModel;
+}
+
+function detectModelError(output: string): { isModelError: boolean; modelID?: string } {
+  const errorPatterns = [
+    /model (.+?) (is overloaded|is not available|rate limit|timeout|failed)/i,
+    /(.+?) (rate limit exceeded|context length exceeded)/i,
+    /API error.*model[:\s]*(.+)/i,
+  ];
+  
+  for (const pattern of errorPatterns) {
+    const match = output.match(pattern);
+    if (match) {
+      return { isModelError: true, modelID: match[1]?.trim() };
+    }
+  }
+  
+  return { isModelError: false };
+}
 
 // 压力升级提示词
 const LEVEL_PROMPTS = [
@@ -79,9 +188,6 @@ async function execShell(ctx: unknown, cmd: string): Promise<string> {
   return result.toString();
 }
 
-// 赛博监工状态追踪
-const sessionFailures = new Map<string, number>();
-
 function getFailureCount(sessionID: string): number {
   return sessionFailures.get(sessionID) || 0;
 }
@@ -101,7 +207,8 @@ function detectGiveUpPattern(text: string): boolean {
 }
 
 const ApiSecurityTestingPlugin: Plugin = async (ctx) => {
-  console.log("[api-security-testing] Plugin loaded v4.0.0");
+  const config = loadConfig(ctx);
+  console.log(`[api-security-testing] Plugin loaded v4.0.2 - collection_mode: ${config.collection_mode}`);
 
   return {
     tool: {
@@ -169,22 +276,23 @@ print(result)
       }),
 
       browser_collect: tool({
-        description: "浏览器采集动态内容。参数: url(目标URL)",
+        description: "浏览器采集动态内容。参数: url(目标URL), mode(auto/static/dynamic)",
         args: {
           url: tool.schema.string(),
+          mode: tool.schema.enum(["auto", "static", "dynamic"]).optional(),
         },
         async execute(args, ctx) {
           const deps = checkDeps(ctx);
           const corePath = getCorePath(ctx);
+          const collectionMode = args.mode || config.collection_mode;
           const cmd = `${deps}python3 -c "
 import sys
 sys.path.insert(0, '${corePath}')
-from collectors.browser_collect import BrowserCollector
-collector = BrowserCollector(headless=True)
-endpoints = collector.collect('${args.url}')
-print(f'发现 {len(endpoints)} 个端点:')
-for ep in endpoints:
-    print(ep)
+from collectors.browser_collector import BrowserCollectorFacade
+facade = BrowserCollectorFacade(headless=True)
+result = facade.collect_all('${args.url}', {'mode': '${collectionMode}'})
+import json
+print(json.dumps(result, indent=2))
 "`;
           return await execShell(ctx, cmd);
         },
@@ -328,14 +436,14 @@ print(result)
       }
       
       // 赛博监工压力注入
-      if (CYBER_SUPERVISOR.enabled && CYBER_SUPERVISOR.auto_trigger) {
+      if (config.cyber_supervisor.enabled && config.cyber_supervisor.auto_trigger) {
         const failures = getFailureCount(sessionID);
-        if (failures > 0 && failures <= CYBER_SUPERVISOR.max_retries) {
+        if (failures > 0 && failures <= config.cyber_supervisor.max_retries) {
           const level = Math.min(failures - 1, 4);
           const supervisorPrompt = `
 
 [赛博监工 P9 - 压力等级 L${level}]
-当前失败次数: ${failures}/${CYBER_SUPERVISOR.max_retries}
+当前失败次数: ${failures}/${config.cyber_supervisor.max_retries}
 ${LEVEL_PROMPTS[level]}
 
 记住三条红线：
@@ -355,6 +463,26 @@ ${LEVEL_PROMPTS[level]}
     // 赛博监工 Hook - tool.execute.after
     "tool.execute.after": async (input, output) => {
       const sessionID = input.sessionID;
+      const outputText = output.output || "";
+      
+      // 检测模型错误并触发回退
+      const modelError = detectModelError(outputText);
+      if (modelError.isModelError && modelError.modelID) {
+        incrementModelFailure(sessionID, modelError.modelID);
+        
+        // 获取下一个可用模型
+        const isSupervisor = input.toolName?.includes("supervisor") || 
+                            input.toolName?.includes("scan");
+        const nextModel = getNextFallbackModel(config, sessionID, modelError.modelID, isSupervisor);
+        
+        if (nextModel) {
+          return {
+            ...output,
+            output: outputText + `\n\n[模型回退] ${modelError.modelID} 失败，已切换到 ${nextModel}`,
+            _fallbackModel: nextModel
+          };
+        }
+      }
       
       // 检测工具失败
       if (output.error) {
@@ -362,7 +490,6 @@ ${LEVEL_PROMPTS[level]}
       }
       
       // 检测放弃模式
-      const outputText = output.output || "";
       if (detectGiveUpPattern(outputText)) {
         incrementFailureCount(sessionID);
         const failures = getFailureCount(sessionID);
@@ -398,6 +525,7 @@ ${LEVEL_PROMPTS[level]}
 
         if (sessionID) {
           resetFailureCount(sessionID);
+          resetModelFailures(sessionID);
         }
       }
     },