@chongyan/autospec 1.0.1 → 1.0.2

package/plugins/skills/testing-stage/SKILL.md

@@ -7,15 +7,89 @@ description: "When test case generation, QA testing, test plan creation, or test
 
 你正在执行QA测试阶段。此阶段从用户视角验证产品功能正确性。
 
+## ⚠️ 执行约束（强制）
+
+**【阻塞检查】** 在开始执行前，必须确认以下条件：
+
+```
+□ 上游编码实现阶段已完成（检查 state.json）
+□ 代码已通过 Layer1 验证（编译/测试/Lint）
+□ design.md 文件存在且完整
+□ 已读取复杂度评估结果或重新评估
+□ 已确定参与角色列表
+```
+
+**【跳过检测】** 以下行为将被检测并阻止：
+
+| 行为 | 检测方式 | 处理 |
+|------|----------|------|
+| 直接生成测试没有代码 | 检查上游阶段状态 | 阻止，返回执行编码实现 |
+| 跳过测试执行 | 检查测试执行日志 | 阻止，要求执行测试 |
+| 跳过效果评测（AI功能） | 检查评测报告 | 阻止，要求执行效果评测 |
+| 跳过团队对抗审查 | 检查 Agent 调用记录 | 阻止，要求启动多 Agent 审查 |
+
+**【强制流程】** 必须按顺序完成以下步骤，不可跳过：
+
+```
+Step 1 → Step 2/3/4 → 阶段完成验证 → Layer1 → 团队对抗 → Layer2 → 阶段门禁
+         ↓
+    【强制】测试必须真实执行
+    【强制】AI功能必须有效果评测
+    【禁止】跳过测试直接通过
+```
+
 ## 前置检查
 
 1. 确认代码审查阶段已完成（检查 `.autospec/runtime/state.json`）
-2. 读取 `${KNOWLEDGE}/principles/constitution.md` → 确认红线
+2. 读取 `knowledge/01-principles/09-constitution.md` → 确认红线
 3. 读取需求文档（验收标准是测试用例的基础）
 4. **检查是否为多系统项目**：读取 `.autospec/runtime/config.json` 的 `subsystems` 字段
 5. **检查是否需要效果评测**：检查是否有 ai 类型子系统或 needsEvaluation=true
-6. 如有角色配置，加载 `${KNOWLEDGE}/guides/stages/{角色}-profile.md` 中**QA测试阶段**关注点（如后端关注接口契约测试/数据一致性测试）
-7. 加载认知增强原则：读取 `${KNOWLEDGE}/principles/core-principles.md` → 本阶段重点应用 CP6(错误即信号)、CP10(自我质检)、CP1(合伙人模式)
+6. 如有角色配置，加载 `.clause/agents/roles/{角色}.md` 中**QA测试阶段**关注点（如后端关注接口契约测试/数据一致性测试）
+7. 加载认知增强原则：读取 `${KNOWLEDGE}/principles/02-methodology-principles.md` → 本阶段重点应用 CP6(错误即信号)、CP10(自我质检)、CP1(合伙人模式)
+
+## 阶段检查点（本阶段必须完成）
+
+执行过程中请持续对照以下检查点，确保不遗漏：
+
+**说明**：
+- **检查点表**：快速验证产出是否存在/完成
+- **检查清单（checklists/）**：详细验证产出质量是否达标
+- 通过"检查清单核对完成"一项覆盖所有质量检查，避免重复
+
+| 类别 | 检查项 | 必须完成 | 验证方式 |
+|-----|-------|---------|---------|
+| 流程 | 模式确定完成 | ✅ | 检查 subsystems 字段确定单/多系统模式 |
+| 做类 | 测试方案规划Agent加载完成 | ✅ | 已加载 plan-testing skill |
+| 做类 | 测试方案规划Agent正确执行 | ✅ | 已产出测试方案（策略/范围/资源） |
+| 做类 | 测试代码生成Agent加载完成 | ✅ | 已加载 generate-tests skill |
+| 做类 | 测试代码生成Agent正确执行 | ✅ | 已产出测试用例代码 |
+| 做类 | 测试代码汇总完成 | ✅ | 各测试文件已合并到正确目录 |
+| 流程 | 团队对抗审查执行（审类） | ✅ | 检查是否已调用 team-orchestrator 并汇总审查报告 |
+| 流程 | independent-reviewer Agent 调用 | ✅ | Layer 2 审查必须调用 |
+| 产出 | 检查清单核对完成 | ✅ | 已按 03-test.md 逐项核对并记录（质量检查） |
+| 流程 | Layer 1 验证通过 | ✅ | 所有测试执行通过 |
+| 流程 | Benchmark 评测通过 | ✅ | TST-001~002 全部通过 |
+
+**阶段完成前自检**：
+- [ ] 已确定模式（单系统/多系统）
+- [ ] 已加载测试方案规划Agent（plan-testing skill）
+- [ ] 已执行测试方案规划任务
+- [ ] 已加载测试代码生成Agent（generate-tests skill）
+- [ ] 已执行测试代码生成任务
+- [ ] 测试代码已汇总到正确目录
+- [ ] 已执行团队对抗审查（调用 team-orchestrator）
+- [ ] 已按检查清单（03-test.md）逐项核对（质量检查）
+- [ ] 已调用 independent-reviewer（Layer 2）
+- [ ] Layer 1 验证已通过（测试执行）
+- [ ] Benchmark 评测已通过（Layer 3）
+- [ ] 单元测试已完成
+- [ ] 集成测试已完成
+- [ ] 效果评测已完成（如有AI功能）
+- [ ] 已按检查清单（03-test.md）逐项核对
+- [ ] 已调用 independent-reviewer（Layer 2）
+- [ ] Layer 1 验证已通过（测试执行）
+- [ ] Benchmark 评测已通过（Layer 3）
 
 ## 执行
 
@@ -30,14 +104,460 @@ description: "When test case generation, QA testing, test plan creation, or test
 
 ### Step 2: 单系统模式（普通功能）
 
-1. **【强制】** 加载做类skill：读取 `${KNOWLEDGE}/guides/stages/test-planner.md` → **测试方案规划**
-2. **【强制】** 加载做类skill：读取 `${KNOWLEDGE}/guides/stages/test-generator.md` → **测试代码生成**
-3. 加载方法论原则：读取 `${KNOWLEDGE}/principles/core-principles.md` → 注入 P1(验证为王) 测试原则
+1. **【强制】** 加载做类skill：读取 `${KNOWLEDGE}/03-guides/05-plan-testing.md` → **测试方案规划**
+2. **【强制】** 加载做类skill：读取 `${KNOWLEDGE}/03-guides/06-generate-tests.md` → **测试代码生成**
+3. 加载方法论原则：读取 `${KNOWLEDGE}/principles/02-methodology-principles.md` → 注入 P1(验证为王) 测试原则
 4. 逐条对照需求验收标准，生成测试用例
 5. 生成边界条件和异常路径测试
 6. 针对关键假设设计验证用例
 7. 如有角色特有测试关注点（如后端的"幂等验证"、前端的"跨浏览器兼容"），额外覆盖
 8. 将测试用例转化为可执行的测试代码
+
+## Mock配置最佳实践（多语言）
+
+**通用Mock原则**（适用于所有语言）：
+
+1. **Mock外部依赖**：数据库、API、文件系统等
+2. **保持错误类型匹配**：Mock返回的错误类型必须与实际一致
+3. **生命周期管理**：每个测试前清理Mock，测试后重置
+4. **避免过度Mock**：核心业务逻辑不应被Mock
+
+---
+
+### JavaScript / TypeScript (Jest / Vitest)
+
+```javascript
+// tests/__mocks__/{module}.js
+
+// 1. Mock模块加载
+jest.mock('../../src/modules/auth', () => ({
+  login: jest.fn().mockResolvedValue({ token: 'mock-token' }),
+  logout: jest.fn().mockResolvedValue(true)
+}));
+
+// 2. Mock API调用
+jest.mock('../../src/api', () => ({
+  fetchUser: jest.fn().mockResolvedValue({ id: 1, name: 'Test User' })
+}));
+
+// 3. Mock数据库操作
+jest.mock('../../src/db', () => ({
+  query: jest.fn().mockResolvedValue([])
+}));
+
+// 4. 错误处理Mock（重要：确保错误类型匹配）
+jest.mock('../../src/services/payment', () => ({
+  processPayment: jest.fn().mockRejectedValue(
+    new Error('Payment failed')
+  )
+}));
+
+// 5. 生命周期管理（tests/setupTests.js）
+beforeEach(() => {
+  jest.clearAllMocks();
+});
+
+afterEach(() => {
+  jest.resetAllMocks();
+});
+```
+
+**Vitest变体**：
+```javascript
+import { vi } from 'vitest'
+
+vi.mock('../../src/api', () => ({
+  fetchUser: vi.fn().mockResolvedValue({ id: 1, name: 'Test User' })
+}))
+```
+
+---
+
+### Python (pytest + unittest.mock)
+
+```python
+# tests/conftest.py - pytest fixtures
+
+import pytest
+from unittest.mock import Mock, patch, MagicMock
+
+# 1. Mock模块/类
+@pytest.fixture
+def mock_auth():
+    mock = Mock()
+    mock.login.return_value = {'token': 'mock-token'}
+    mock.logout.return_value = True
+    return mock
+
+# 2. Mock API调用（使用patch装饰器）
+def test_user_service(mock_auth):
+    with patch('src.api.fetchUser') as mock_fetch:
+        mock_fetch.return_value = {'id': 1, 'name': 'Test User'}
+        # 测试代码
+
+# 3. Mock数据库操作
+@pytest.fixture
+def mock_db():
+    mock = MagicMock()
+    mock.query.return_value = []
+    return mock
+
+# 4. 错误处理Mock（确保错误类型匹配）
+def test_payment_failure():
+    with patch('src.services.payment.processPayment') as mock_pay:
+        mock_pay.side_effect = ValueError('Payment failed')
+        # 测试代码
+
+# 5. 生命周期管理（自动清理）
+@pytest.fixture(autouse=True)
+def reset_mocks():
+    yield
+    # pytest自动清理
+```
+
+**unittest.mock常用方法**：
+```python
+from unittest.mock import Mock, patch, call
+
+# Mock对象
+mock_obj = Mock()
+mock_obj.method.return_value = result
+mock_obj.method.side_effect = Exception('error')
+
+# Patch装饰器
+@patch('module.function')
+def test_something(mock_func):
+    mock_func.return_value = 'mocked'
+
+# 断言
+mock_obj.method.assert_called_once()
+mock_obj.method.assert_called_with(arg1, arg2)
+mock_obj.method.assert_not_called()
+```
+
+---
+
+### Java (JUnit 5 + Mockito)
+
+```java
+// src/test/java/.../MyServiceTest.java
+
+import org.junit.jupiter.api.*;
+import static org.mockito.Mockito.*;
+import static org.assertj.core.api.Assertions.*;
+
+@ExtendWith(MockitoExtension.class)
+class MyServiceTest {
+
+    // 1. Mock声明
+    @Mock
+    private AuthRepository authRepository;
+
+    @Mock
+    private ApiClient apiClient;
+
+    @InjectMocks
+    private MyService myService;
+
+    // 2. 生命周期管理
+    @BeforeEach
+    void setUp() {
+        Mockito.reset(authRepository, apiClient);
+    }
+
+    @AfterEach
+    void tearDown() {
+        // 清理资源
+    }
+
+    // 3. Mock行为定义
+    @Test
+    void testLogin() {
+        // 定义Mock行为
+        when(authRepository.findByUsername("test"))
+            .thenReturn(Optional.of(new User("test")));
+
+        // 调用被测试方法
+        User result = myService.login("test");
+
+        // 断言
+        assertThat(result).isNotNull();
+        verify(authRepository, times(1)).findByUsername("test");
+    }
+
+    // 4. 错误处理Mock
+    @Test
+    void testPaymentFailure() {
+        when(paymentService.process(any()))
+            .thenThrow(new PaymentException("Payment failed"));
+
+        assertThatThrownBy(() -> paymentService.process(order))
+            .isInstanceOf(PaymentException.class)
+            .hasMessage("Payment failed");
+    }
+
+    // 5. Mock数据库操作
+    @Test
+    void testDatabaseOperation() {
+        when(repository.findAll()).thenReturn(Collections.emptyList());
+
+        List<Entity> result = repository.findAll();
+        assertThat(result).isEmpty();
+    }
+}
+```
+
+**Mockito常用方法**：
+```java
+// 静态导入
+import static org.mockito.Mockito.*;
+
+// Mock行为
+when(mock.method()).thenReturn(value);
+when(mock.method(any())).thenThrow(exception);
+doNothing().when(mock).voidMethod();
+
+// 验证
+verify(mock).method();
+verify(mock, times(2)).method();
+verify(mock, never()).method();
+verifyNoMoreInteractions(mock);
+```
+
+---
+
+### Go (testing + gomock / testify)
+
+```go
+// myservice_test.go
+
+package myservice
+
+import (
+    "testing"
+    "github.com/golang/mock/gomock"
+    "github.com/stretchr/testify/mock"
+    "errors"
+)
+
+// 使用gomock
+func TestServiceWithGomock(t *testing.T) {
+    ctrl := gomock.NewController(t)
+    defer ctrl.Finish()
+
+    // 1. 创建Mock
+    mockRepo := NewMockRepository(ctrl)
+    mockAPI := NewMockAPIClient(ctrl)
+
+    // 2. 定义Mock行为
+    mockRepo.EXPECT().
+        FindByID(gomock.Eq(1)).
+        Return(&User{ID: 1, Name: "Test"}, nil).
+        Times(1)
+
+    mockAPI.EXPECT().
+        Fetch(gomock.Any()).
+        Return(nil, errors.New("API error"))
+
+    // 3. 执行测试
+    service := NewService(mockRepo, mockAPI)
+    result, err := service.GetUser(1)
+
+    // 4. 断言
+    if err != nil {
+        t.Errorf("expected no error, got %v", err)
+    }
+    if result.Name != "Test" {
+        t.Errorf("expected Test, got %s", result.Name)
+    }
+}
+
+// 使用testify/mock
+type MockRepository struct {
+    mock.Mock
+}
+
+func (m *MockRepository) FindByID(id int) (*User, error) {
+    args := m.Called(id)
+    return args.Get(0).(*User), args.Error(1)
+}
+
+func TestWithTestify(t *testing.T) {
+    mockRepo := new(MockRepository)
+
+    // 定义行为
+    mockRepo.On("FindByID", 1).Return(&User{ID: 1}, nil)
+
+    // 执行测试
+    result, err := mockRepo.FindByID(1)
+
+    // 断言
+    mockRepo.AssertExpectations(t)
+    assert.NoError(t, err)
+    assert.Equal(t, 1, result.ID)
+}
+```
+
+---
+
+### C# (xUnit + Moq)
+
+```csharp
+// MyServiceTests.cs
+
+using Xunit;
+using Moq;
+using System.Threading.Tasks;
+
+public class MyServiceTests
+{
+    // 1. Mock声明
+    private readonly Mock<IAuthRepository> _mockAuth;
+    private readonly Mock<IApiClient> _mockApi;
+    private readonly MyService _service;
+
+    public MyServiceTests()
+    {
+        _mockAuth = new Mock<IAuthRepository>();
+        _mockApi = new Mock<IApiClient>();
+        _service = new MyService(_mockAuth.Object, _mockApi.Object);
+    }
+
+    // 2. 生命周期管理
+    [Fact]
+    public void TestSetup()
+    {
+        _mockAuth.Reset();
+        _mockApi.Reset();
+    }
+
+    // 3. Mock行为定义
+    [Fact]
+    public async Task TestLogin()
+    {
+        _mockAuth.Setup(x => x.LoginAsync("test", "pass"))
+            .ReturnsAsync(new AuthResult { Token = "mock-token" });
+
+        var result = await _service.Login("test", "pass");
+
+        Assert.NotNull(result);
+        _mockAuth.Verify(x => x.LoginAsync("test", "pass"), Times.Once);
+    }
+
+    // 4. 错误处理Mock
+    [Fact]
+    public async Task TestPaymentFailure()
+    {
+        _mockApi.Setup(x => x.ProcessPaymentAsync(It.IsAny<PaymentRequest>()))
+            .ThrowsAsync(new PaymentException("Payment failed"));
+
+        await Assert.ThrowsAsync<PaymentException>(
+            () => _service.ProcessPayment(new PaymentRequest()));
+    }
+
+    // 5. Mock数据库操作
+    [Fact]
+    public void TestDatabaseQuery()
+    {
+        _mockAuth.Setup(x => x.GetAllUsers())
+            .Returns(new List<User>());
+
+        var result = _mockAuth.Object.GetAllUsers();
+
+        Assert.Empty(result);
+    }
+}
+```
+
+---
+
+### Ruby (RSpec)
+
+```ruby
+# spec/services/my_service_spec.rb
+
+require 'rails_helper'
+
+RSpec.describe MyService do
+  # 1. Mock声明
+  let(:mock_auth) { instance_double('AuthRepository') }
+  let(:mock_api) { instance_double('ApiClient') }
+  let(:service) { MyService.new(mock_auth, mock_api) }
+
+  # 2. 生命周期管理（自动清理）
+  afterEach do
+    # RSpec自动清理
+  end
+
+  # 3. Mock行为定义
+  describe '#login' do
+    before do
+      allow(mock_auth).to receive(:login).with('test', 'pass')
+        .return_value(token: 'mock-token')
+    end
+
+    it 'returns auth result' do
+      result = service.login('test', 'pass')
+      expect(result[:token]).to eq('mock-token')
+    end
+  end
+
+  # 4. 错误处理Mock
+  describe '#process_payment' do
+    before do
+      allow(mock_api).to receive(:process_payment)
+        .and_raise(PaymentException.new('Payment failed'))
+    end
+
+    it 'raises PaymentException' do
+      expect { service.process_payment }
+        .to raise_error(PaymentException, 'Payment failed')
+    end
+  end
+
+  # 5. Mock数据库操作
+  describe '#get_users' do
+    before do
+      allow(mock_auth).to receive(:get_all_users).and_return([])
+    end
+
+    it 'returns empty array' do
+      expect(service.get_users).to be_empty
+    end
+  end
+end
+```
+
+---
+
+### 通用Mock原则总结
+
+| 原则 | 说明 |
+|------|------|
+| **最小Mock原则** | 只Mock必要的依赖，不要Mock被测试对象本身 |
+| **行为验证** | 验证调用了什么，而不是如何调用 |
+| **错误类型匹配** | Mock错误必须与实际错误类型一致 |
+| **生命周期管理** | 每个测试独立，Mock状态不共享 |
+| **可读性** | Mock配置应该清晰易懂 |
+
+**覆盖率门禁执行**：
+```bash
+# 运行测试并生成覆盖率报告
+npm test -- --coverage
+
+# 检查覆盖率是否达标
+# - 行覆盖率 >= 70%
+# - 分支覆盖率 >= 60%
+# - 核心功能覆盖率 = 100%
+
+# 覆盖率不达标时自动补充测试
+if coverage < 70%:
+  1. 分析未覆盖的代码路径
+  2. 生成补充测试用例
+  3. 重新运行测试
+  4. 最多重试3次
+```
+
 9. **运行所有测试**，生成测试报告
 
 ### Step 3: 多系统模式
@@ -125,19 +645,74 @@ description: "When test case generation, QA testing, test plan creation, or test
 
 ## 验证
 
+### 阶段完成验证（阻塞检查）
+
+**【强制】【不可跳过】** 在执行 Layer1 验证之前，必须验证以下条件：
+
+```
+验证清单：
+□ 上游代码实现已完成
+□ 测试用例已生成
+□ 测试代码已编写
+□ 效果评测脚本已开发（如有AI功能）
+□ 评测数据集已构建（如有AI功能）
+```
+
+**验证失败处理**：
+
+| 缺失项 | 处理方式 |
+|--------|----------|
+| 代码未完成 | 返回编码实现阶段 |
+| 测试用例未生成 | 执行测试方案规划 |
+| 效果评测未开发 | 执行效果评测开发 |
+
+**【禁止】** 验证未通过时，禁止进入 Layer1 验证。
+
 ### Layer 1: 确定性验证
 - 所有测试用例执行通过
-- 测试覆盖率满足要求
+- **测试覆盖率门禁**：
+  - 行覆盖率 >= 70%
+  - 分支覆盖率 >= 60%
+  - 核心功能覆盖率 = 100%
+  - 覆盖率 < 70% 时自动触发测试补充循环（最多3次）
 - 无跳过或被禁用的测试
 - **多系统模式**：所有子系统测试都通过
 - **效果评测模式**：评测脚本可运行，评测报告已产出
 
+### 团队审查（按复杂度）
+
+**【强制】** 根据复杂度评估结果，启动团队智能体并行审查：
+
+#### 简单任务（score <= 5）
+- 质量工程师：测试策略、覆盖度
+
+#### 中等任务（score 6-8）
+- 质量工程师 + 技术负责人
+
+#### 复杂任务（score >= 9）
+- 质量工程师 + 技术负责人 + 后端工程师 + 前端工程师
+- 如触发强制规则，额外引入安全工程师
+
+**执行方式**：
+```
+**【强制】** 读取 `${KNOWLEDGE}/03-guides/01-team-orchestrator.md`
+并行启动团队智能体审查测试：
+  - 质量工程师 Agent：测试策略、覆盖率、测试质量
+  - 技术负责人 Agent：测试完整性、边界条件覆盖
+  - 后端工程师 Agent：接口测试、数据库测试
+  - 前端工程师 Agent：UI测试、兼容性测试
+  - 数据工程师 Agent：数据质量测试、ETL测试（如涉及数据系统）
+  - AI工程师 Agent：效果评测、模型测试（如涉及AI系统）
+  - 安全工程师 Agent：安全测试覆盖（如触发）
+汇总审查意见，生成团队审查报告
+```
+
 ### Layer 2: AI审查（做审分离）
 使用 **test-coverage-reviewer** Agent（专用测试审查Agent）执行独立审查：
 ```
 **【强制】** 调用 Agent 工具：
   prompt: 请审查以下测试方案和结果。
-    1. 先读取审查标准: ${KNOWLEDGE}/guides/stages/test-reviewer.md
+    1. 先读取审查标准: ${KNOWLEDGE}/03-guides/12-review-testing.md
     2. 测试用例和测试代码
     3. 测试执行报告（或 tests/ 目录）
     4. 上游需求文档: .autospec/specs/{feature}/requirement.md（用于验证覆盖度）