@chongyan/autospec 1.0.1 → 1.0.3

package/knowledge/guides/stages/test-reviewer.md

@@ -1,76 +0,0 @@
----
-name: test-reviewer
-description: 当测试用例或测试报告完成、需要评审测试策略合理性和覆盖充分性时触发
-type: review
----
-
-## 定位
-测试相关的"审"类skill。审查测试策略和覆盖度是否充分，确保不是"测了很多但关键的没测到"。用于研发自测评审和QA测试方案评审。
-
-> **做审分离（DP2）**：必须由独立于test-generator的AI实例执行。
-
-## 输入
-- 必须输入：测试用例列表或测试方案、测试执行结果/报告、结构化需求文档
-- 可选输入：技术方案文档、关键假设清单（累积至今）
-
-## 评判标准
-必须满足：
-- [ ] 需求文档中所有验收标准有对应的测试用例
-- [ ] 核心逻辑路径有测试覆盖
-- [ ] 所有测试执行结果为通过
-- [ ] 无严重级别的遗漏（Critical功能未测试）
-- [ ] 关键假设有对应的验证测试
-
-建议满足：
-- [ ] 边界条件有测试覆盖
-- [ ] 异常路径有测试覆盖
-- [ ] 测试用例描述清晰（步骤、预期结果明确）
-- [ ] 测试数据合理（不是全用默认值）
-
-## 评审步骤
-1. 对照需求文档验收标准，逐条检查是否有对应测试用例
-   - 证据获取：建立验收标准→测试用例的映射表
-2. 识别核心逻辑路径，检查是否覆盖
-   - 证据获取：列出核心路径及其对应测试
-3. 识别关键边界条件，检查是否覆盖
-4. 识别主要异常路径，检查是否覆盖
-5. 检查测试用例的质量（步骤是否可复现、预期结果是否明确）
-6. 检查测试执行结果
-7. **检查关键假设是否有对应验证测试**
-8. 逐项输出判定结果，**每项附具体证据**
-
-## 输出格式
-
-```
-## 审查结论：通过 / 不通过
-
-### 逐项判定
-| 检查项 | 结论 | 证据 | 备注 |
-|--------|------|------|------|
-| 验收标准覆盖 | ✅/❌ | {映射表} | {遗漏项} |
-| 核心路径覆盖 | ✅/❌ | {路径列表} | {未覆盖路径} |
-| ... | ... | ... | ... |
-
-### 覆盖缺口
-- {未被测试覆盖的需求点/场景}
-
-### 修复建议
-- {需要补充的测试用例方向}
-
-### 关键假设验证
-- 假设X：有对应测试/无对应测试（建议：...）
-```
-
-## 反模式清单（DP7）
-1. **橡皮图章**：不逐条对照就通过。检测：必须建立验收标准→测试用例映射
-2. **只看覆盖率数字**：覆盖率高但关键路径没测。检测：核心路径覆盖是独立检查项
-3. **忽略测试质量**：测试用例存在但不可复现。检测：抽检测试步骤的可执行性
-4. **假设验证遗漏**：不检查关键假设的测试覆盖。检测：输出必须包含假设验证section
-
-## 适用场景与边界
-- 适用：测试用例生成后的质量审查、测试报告的充分性评估
-- 不适用：测试方案的整体设计（那是quality角色的test-planner）
-- 对应做类skill：test-generator
-
-## 示例
-（待从实践中积累第一个完整示例）

package/knowledge/guides/stages/unit-test-runner.md

@@ -1,83 +0,0 @@
----
-name: unit-test-runner
-description: 当需要执行项目的单元测试、验证代码正确性时触发
-type: execute
----
-
-## 定位
-
-测试执行阶段的"执行"类skill。负责运行项目的单元测试，分析测试结果，判断是否通过。
-
-> **使用场景**：代码实现完成后，需要运行测试验证正确性。
-
-## 输入
-
-- 必须输入：项目代码、可运行测试文件
-- 可选输入：测试框架配置、测试命令
-
-## 执行步骤
-
-### Step 1: 检测测试框架
-
-1. 检测项目使用的测试框架：
-   - Python: pytest, unittest, nose2
-   - Java: JUnit (Maven/Gradle)
-   - JS/TS: Jest, Vitest, Mocha
-   - Go: testing, go test
-
-2. 确定测试命令：
-   - pytest: `pytest [options]`
-   - JUnit: `mvn test` 或 `gradle test`
-   - Jest: `npm test` 或 `yarn test`
-
-### Step 2: 执行单元测试
-
-1. 并行执行单元测试（如有多个测试文件/模块）
-2. 收集测试输出和结果
-
-### Step 3: 分析测试结果
-
-1. 解析测试输出
-2. 统计：通过/失败/跳过/错误
-3. 记录失败的测试用例和错误信息
-
-## 输出格式
-
-```
-## 测试执行结果
-
-### 基本信息
-- 测试框架：{framework}
-- 测试命令：{command}
-- 总测试数：{total}
-- 通过：{passed}
-- 失败：{failed}
-- 跳过：{skipped}
-- 错误：{errors}
-
-### 执行时间
-- 开始时间：{start_time}
-- 结束时间：{end_time}
-- 总耗时：{duration}
-
-### 失败详情（如有）
-| 测试文件 | 测试用例 | 错误信息 |
-|----------|----------|----------|
-| ... | ... | ... |
-
-### 结论
-- 测试通过：✅ 是/❌ 否
-- 需要修复：{需要修复的测试数}
-```
-
-## 判定标准
-
-- **通过**：所有测试通过（失败数=0）
-- **不通过**：有测试失败，需要修复
-- **需要人工介入**：测试错误（环境问题、配置问题）
-
-## 适用场景
-
-- 适用：代码实现完成后需要验证正确性
-- 不适用：需要生成新测试用例（使用 test-generator）
-- 对应做类skill：test-generator（生成测试）

package/knowledge/guides/support/ai-agent-analyzer.md

@@ -1,362 +0,0 @@
----
-name: agent-analyzer
-description: 当检测到Agent框架依赖时，分析Agent的能力、工具和架构。用于理解AI智能体系统的结构。
-type: ai
----
-
-## 定位
-
-AI专用技能。分析Agent的能力、可用工具、决策逻辑和协作关系。
-
-## 输入
-
-- 必须输入：Agent代码路径或项目目录
-- 可选输入：框架类型（langchain/crewai/autogen等）
-
-## 输出
-
-```json
-{
-  "framework": "langchain",
-  "agents": [
-    {
-      "name": "ResearchAgent",
-      "role": "信息收集",
-      "description": "负责从网络和文档中收集信息",
-      "tools": [
-        {"name": "web_search", "description": "网络搜索"},
-        {"name": "document_reader", "description": "文档读取"}
-      ],
-      "decisionLogic": "ReAct",
-      "llmConfig": {
-        "model": "gpt-4",
-        "temperature": 0.7
-      },
-      "collaborators": ["WriterAgent"]
-    },
-    {
-      "name": "WriterAgent",
-      "role": "内容生成",
-      "description": "负责根据收集的信息生成内容",
-      "tools": [
-        {"name": "write_file", "description": "写入文件"}
-      ],
-      "decisionLogic": "Plan-Execute",
-      "collaborators": ["ResearchAgent"]
-    }
-  ],
-  "orchestration": {
-    "type": "sequential",
-    "description": "Agent按顺序执行：ResearchAgent → WriterAgent"
-  },
-  "evaluationNeeds": {
-    "dimensions": ["任务完成率", "响应质量", "工具使用正确性"],
-    "suggestions": [
-      "建议测试Agent能否正确使用工具",
-      "建议测试多Agent协作是否正常"
-    ]
-  }
-}
-```
-
-## 执行步骤
-
-### Step 1: 识别框架（确定性）
-
-基于依赖和代码特征识别Agent框架：
-
-```
-框架识别规则：
-- langchain: 依赖langchain，代码中有 Agent, Tool, Chain
-- crewai: 依赖crewai，代码中有 Agent, Crew, Task
-- autogen: 依赖autogen，代码中有 AssistantAgent, UserProxyAgent
-- semantic-kernel: 依赖semantic-kernel，代码中有 Kernel, Plugin
-```
-
-### Step 2: Grep获取Agent定义（高效）
-
-搜索Agent定义模式：
-
-```bash
-# LangChain风格
-grep -r -n -A 10 "Agent\|create_agent\|initialize_agent" --include="*.py" .
-
-# CrewAI风格
-grep -r -n -A 10 "@agent\|class.*Agent\|Agent(" --include="*.py" .
-
-# AutoGen风格
-grep -r -n -A 10 "AssistantAgent\|UserProxyAgent" --include="*.py" .
-```
-
-### Step 3: 分析Agent能力（模型）
-
-基于代码上下文分析Agent：
-
-```
-模型输入：
-{
-  "framework": "langchain",
-  "codeContexts": "
-    # agent.py
-    research_agent = Agent(
-      role='Researcher',
-      tools=[web_search, document_reader],
-      ...
-    )
-  ",
-  "task": "分析Agent的能力、工具、决策逻辑，输出JSON格式"
-}
-```
-
-### Step 4: 分析协作关系（模型）
-
-分析Agent之间的协作：
-
-```
-关注点：
-- Agent之间如何通信
-- 执行顺序（顺序/并行/条件）
-- 共享状态如何管理
-```
-
-### Step 5: 输出结果
-
-汇总Agent分析结果，包括评测建议。
-
-## 工作流模式
-
-根据业界最佳实践，识别以下工作流模式：
-
-### 工作流 vs Agent
-
-| 类型 | 说明 | 适用场景 |
-|------|------|----------|
-| **Workflow** | 预定义代码路径编排LLM和工具 | 确定性任务、可预测 |
-| **Agent** | LLM动态指导自己的流程和工具使用 | 开放性问题、需要灵活性 |
-
-### 工作流模式（从简单到复杂）
-
-| 模式 | 说明 | 适用场景 | 识别特征 |
-|------|------|----------|----------|
-| **Prompt Chaining** | 提示链，将任务分解为顺序步骤 | 任务可分解为固定子任务 | 多步骤LLM调用链 |
-| **Routing** | 路由，将输入分类到专用处理流程 | 复杂任务有明确分类 | 分类器+条件分支 |
-| **Parallelization** | 并行化，同时处理多个子任务 | 独立子任务可并行 | 多LLM调用+聚合 |
-| **Orchestrator-workers** | 编排器-工作者，中心LLM动态分配任务 | 复杂任务无法预知子任务 | 中心调度+动态分发 |
-| **Evaluator-optimizer** | 评估器-优化器，循环优化 | 有明确评估标准 | 生成-评估循环 |
-
-### Agent模式
-
-当LLM具备以下能力时使用Agent：
-- 理解复杂输入
-- 推理和规划
-- 可靠使用工具
-- 从错误中恢复
-
-Agent关键特征：
-- 从环境获取"ground truth"（工具调用结果、代码执行结果）
-- 在检查点暂停等待人类反馈
-- 包含停止条件（如最大迭代次数）
-
-## 工具设计原则
-
-工具设计应遵循以下原则（Agent-Computer Interface, ACI）：
-
-### 工具设计原则
-
-1. **给模型足够token思考**：避免模型在思考过程中被截断
-2. **格式接近自然文本**：让模型容易理解和生成
-3. **无格式化开销**：避免需要精确计数的格式
-4. **像对待HCI一样对待ACI**：投入同样多的精力设计工具接口
-
-### 工具设计检查清单
-
-```
-- [ ] 工具描述清晰，包含示例用法
-- [ ] 参数名称和描述直观
-- [ ] 边界情况有说明
-- [ ] 输入格式要求明确
-- [ ] 与其他工具边界清晰
-- [ ] 测试模型使用工具的错误模式
-- [ ] 使用绝对路径（避免相对路径错误）
-```
-
-## 决策逻辑类型
-
-| 类型 | 说明 | 特点 |
-|------|------|------|
-| **ReAct** | 推理-行动循环 | 每步思考后执行 |
-| **Plan-Execute** | 规划-执行 | 先规划全流程再执行 |
-| **Reflexion** | 反思改进 | 执行后反思优化 |
-| **MRKL** | 模块化推理 | 组合多个专家模块 |
-| **Evaluator-optimizer** | 评估-优化循环 | 基于反馈迭代改进 |
-
-## Agent可靠性设计检查
-
-根据最佳实践，检查Agent设计可靠性：
-
-### 必须检查项
-
-1. **停止条件**
-   - 是否有最大迭代次数限制？
-   - 是否有超时机制？
-   - 是否定义了明确的完成条件？
-
-2. **错误处理**
-   - 工具调用失败如何处理？
-   - 是否有重试机制？
-   - 错误是否可恢复？
-
-3. **检查点机制**
-   - 是否在关键步骤暂停等待确认？
-   - 是否有人类反馈回路？
-   - 是否记录决策点？
-
-4. **透明度**
-   - 是否显示Agent的规划步骤？
-   - 是否可追溯决策过程？
-   - 是否有日志记录？
-
-### 建议检查项
-
-1. **安全性**
-   - 是否有输入验证？
-   - 是否有输出过滤？
-   - 是否有访问控制？
-
-2. **可观测性**
-   - 是否记录每步的输入输出？
-   - 是否有性能指标？
-   - 是否有错误统计？
-
-## 增强的评估建议
-
-根据长时运行Agent测试的最佳实践：
-
-### 评估维度扩展
-
-| 维度 | 指标 | 方法 | 优先级 |
-|------|------|------|--------|
-| **任务完成率** | success_rate, completion_rate | 自动验证 | 高 |
-| **工具使用可靠性** | tool_call_success_rate, error_recovery_rate | 日志分析 | 高 |
-| **决策质量** | reasoning_quality, planning_accuracy | LLM评估 | 高 |
-| **透明度** | decision_traceability, human_oversight | 审计日志 | 中 |
-| **效率** | latency, token_usage, iteration_count | 自动统计 | 中 |
-| **安全性** | guardrail_pass_rate, input_validation | 红队测试 | 高 |
-
-### 长时运行Agent测试
-
-根据harness设计原则：
-
-1. **状态管理测试**
-   - Agent能否正确维护状态？
-   - 状态在长时间运行后是否一致？
-   - 状态恢复机制是否有效？
-
-2. **错误恢复测试**
-   - 工具调用失败后能否恢复？
-   - 是否有优雅降级机制？
-   - 错误累积是否导致失败？
-
-3. **资源管理测试**
-   - 内存使用是否可控？
-   - 是否有资源清理机制？
-   - 长时间运行是否性能下降？
-
-### AI-Resistant评估设计
-
-根据AI-Resistant评估设计原则：
-
-1. **防止评估数据泄露**
-   - 使用未见过的测试用例
-   - 动态生成评估数据
-   - 分离训练和评估数据
-
-2. **防止提示注入**
-   - 评估输入多样化
-   - 边界情况测试
-   - 对抗性测试
-
-3. **真实能力测试**
-   - 开放式任务评估
-   - 多步骤推理测试
-   - 实际场景模拟
-
-## 调用时机
-
-- 检测到Agent框架依赖时
-- AI功能开发前的设计阶段
-- 需要理解现有Agent系统时
-- 需要评估Agent可靠性时
-
-## 示例
-
-**输入**：
-```
-项目目录：/project
-框架：langchain（已检测到依赖）
-```
-
-**Grep搜索**：
-```
-找到文件：agents/researcher.py, agents/writer.py, main.py
-```
-
-**代码上下文**：
-```python
-# agents/researcher.py
-research_agent = Agent(
-    role="Researcher",
-    goal="收集相关信息",
-    tools=[WebSearchTool(), DocumentReaderTool()],
-    verbose=True
-)
-
-# agents/writer.py
-writer_agent = Agent(
-    role="Writer",
-    goal="生成内容",
-    tools=[FileWriterTool()],
-    verbose=True
-)
-
-# main.py
-crew = Crew(
-    agents=[research_agent, writer_agent],
-    tasks=[research_task, write_task],
-    process=Process.sequential
-)
-```
-
-**输出**：
-```json
-{
-  "framework": "langchain",
-  "agents": [
-    {
-      "name": "research_agent",
-      "role": "Researcher",
-      "tools": [
-        {"name": "WebSearchTool", "description": "网络搜索"},
-        {"name": "DocumentReaderTool", "description": "文档读取"}
-      ],
-      "decisionLogic": "ReAct"
-    },
-    {
-      "name": "writer_agent",
-      "role": "Writer",
-      "tools": [
-        {"name": "FileWriterTool", "description": "文件写入"}
-      ],
-      "decisionLogic": "ReAct"
-    }
-  ],
-  "orchestration": {
-    "type": "sequential",
-    "description": "顺序执行"
-  },
-  "evaluationNeeds": {
-    "dimensions": ["任务完成率", "工具使用正确性"],
-    "suggestions": ["测试Agent能否正确调用工具"]
-  }
-}
-```