@colin4k1024/tsp 2.4.0

package/skills/error-experience-library/SKILL.md

@@ -0,0 +1,81 @@
+---
+name: error-experience-library
+description: >
+  错误经验库：自动捕获错误模式、根因和解决方案，支持查询和反馈更新。
+  当遇到 build error、runtime error 或需要查找历史错误解决方案时使用。
+---
+
+# Error Experience Library
+
+## 用途
+
+- 自动从错误中学习：每次错误解决后，将根因-解决方案对沉淀到经验库
+- 历史查询：遇到错误时，先查询经验库是否有已知模式
+- 反馈更新：根据实际解决结果更新经验库的成功/失败计数
+- 持续优化：高成功率的模式优先推荐，低成功率的模式标记为警示
+
+## 核心操作
+
+### 1. 记录错误模式 (record)
+
+当成功解决一个错误后，将经验沉淀：
+
+```
+错误类型: [如: build_error, runtime_error, type_error]
+错误信息片段: [可匹配的关键词]
+根因: [为什么会发生]
+解决方案: [如何修复]
+语言/框架: [如: python, typescript, react]
+文件模式: [可选，如: **/*.ts]
+标签: [如: null-check, async, import]
+```
+
+### 2. 查询错误模式 (search)
+
+遇到错误时，先查询经验库：
+
+```
+查询关键词: [错误信息或类型]
+返回: 按成功率排序的匹配模式
+```
+
+### 3. 提供反馈 (feedback)
+
+解决方案验证后，更新成功率：
+
+```
+pattern_id: 模式ID
+success: true/false
+```
+
+## 存储位置
+
+- 本地：`~/.claude/memory/error_experience/patterns/`
+- 每个模式一个 JSON 文件，包含 success_count 和 failure_count
+
+## 触发信号
+
+- 遇到 build error 或 runtime error 时
+- 成功解决错误后，应该记录到经验库
+- 使用 `/error-lookup` 命令快速查询
+
+## 配合约束
+
+1. 记录时尽量包含具体的错误信息片段，便于后续匹配
+2. 根因要具体，不要只写"代码有 bug"
+3. 解决方案要包含具体的修改内容
+4. 标签要准确，便于按领域查询
+5. 验证结果后务必提供反馈，更新成功率
+
+## 相关工具
+
+- `scripts/lib/memory_store.py` - 底层存储接口
+- `search_error_patterns()` - 查询模式
+- `save_error_pattern()` - 保存新模式
+- `record_pattern_feedback()` - 记录反馈
+
+## 命令接入
+
+- `/error-lookup <关键词>` - 查询历史错误模式
+- `/error-record` - 记录当前错误的解决方案
+- `/error-feedback <pattern_id> <success|failure>` - 更新反馈

package/skills/error-experience-library/agents/openai.yaml

@@ -0,0 +1,59 @@
+name: error-experience-library-agent
+description: >
+  Error pattern library specialist. Captures, queries, and updates error root-cause
+  and solution patterns for continuous learning from mistakes.
+version: "1.0"
+entry: docs/runbooks/error-experience-usage.md
+
+inputs:
+  - name: query
+    type: string
+    description: Error message snippet or keyword to search
+    required: false
+  - name: action
+    type: string
+    enum: [search, record, feedback]
+    description: Operation to perform
+    required: false
+  - name: pattern_data
+    type: object
+    description: Pattern data for recording
+    required: false
+  - name: pattern_id
+    type: string
+    description: Pattern ID for feedback
+    required: false
+  - name: success
+    type: boolean
+    description: Whether the solution worked
+    required: false
+
+outputs:
+  - name: matched_patterns
+    type: array
+    description: List of matched error patterns ranked by success rate
+  - name: saved_pattern
+    type: object
+    description: The saved pattern confirmation
+  - name: feedback_result
+    type: object
+    description: Feedback confirmation
+  - name: error
+    type: string
+    description: Error message if operation failed
+
+tool_calls:
+  - name: search_error_patterns
+    description: Search error patterns by keyword
+    arguments:
+      query: string
+      limit: integer
+  - name: save_error_pattern
+    description: Save a new error pattern
+    arguments:
+      pattern: object
+  - name: record_pattern_feedback
+    description: Record success/failure feedback for a pattern
+    arguments:
+      pattern_id: string
+      success: boolean

package/skills/eval-harness/SKILL.md

@@ -0,0 +1,187 @@
+---
+name: eval-harness
+description: >
+  正式评估框架，实现 eval-driven development (EDD) 原则。
+  用于定义 pass/fail 标准、测量 pass@k 指标、创建回归测试套件。
+origin: adapted from ECC
+---
+
+# Eval Harness Skill
+
+一个用于 Claude Code 会话的正式评估框架，实现 eval-driven development (EDD) 原则。
+
+## 何时激活
+
+- 为 AI 辅助工作流设置 EDD
+- 定义 Claude Code 任务完成的 pass/fail 标准
+- 使用 pass@k 指标测量 agent 可靠性
+- 为 prompt 或 agent 更改创建回归测试套件
+- 跨模型版本基准测试 agent 性能
+
+## 理念
+
+Eval-Driven Development 将评估视为"AI 开发的单元测试":
+- **在实现前**定义预期行为
+- 在开发期间**持续运行**评估
+- 用每次变更**追踪回归**
+- 使用 pass@k 指标**测量可靠性**
+
+## 评估类型
+
+### Capability Evals
+测试 Claude 能否做以前不能做的事:
+```markdown
+[CAPABILITY EVAL: points-calculation]
+Task: 计算用户积分并确定等级
+Success Criteria:
+  - [ ] 积分正确累加
+  - [ ] 等级边界正确
+  - [ ] 权益解锁逻辑正确
+Expected Output: 用户总积分 = 1500，等级 = L3
+```
+
+### Regression Evals
+确保变更不破坏现有功能:
+```markdown
+[REGRESSION EVAL: login-flow]
+Baseline: sha-abc123
+Tests:
+  - existing-login: PASS
+  - session-management: PASS
+  - logout-flow: PASS
+Result: 3/3 passed (previously 3/3)
+```
+
+## Grader 类型
+
+### 1. Code-Based Grader
+使用代码的确定性检查:
+```bash
+# 检查文件是否包含预期模式
+grep -q "export function handlePoints" src/points.ts && echo "PASS" || echo "FAIL"
+
+# 检查测试是否通过
+npm test -- --testPathPattern="points" && echo "PASS" || echo "FAIL"
+```
+
+### 2. Model-Based Grader
+使用 Claude 评估开放式输出:
+```markdown
+[MODEL GRADER PROMPT]
+评估以下代码变更：
+1. 它是否解决了陈述的问题？
+2. 结构是否良好？
+3. 边界情况是否处理？
+4. 错误处理是否适当？
+
+Score: 1-5 (1=差, 5=优秀)
+Reasoning: [解释]
+```
+
+### 3. Human Grader
+标记为手动审查:
+```markdown
+[HUMAN REVIEW REQUIRED]
+Change: 描述变更内容
+Reason: 为什么需要人工审查
+Risk Level: LOW/MEDIUM/HIGH
+```
+
+## 指标
+
+### pass@k
+"k 次尝试中至少一次成功"
+- pass@1: 首次尝试成功率
+- pass@3: 3 次内成功
+- 典型目标: pass@3 > 90%
+
+### pass^k
+"所有 k 次试验都成功"
+- 更高可靠性标准
+- 用于关键路径
+
+## 评估工作流
+
+### 1. 定义（编码前）
+```markdown
+## EVAL DEFINITION: points-system
+
+### Capability Evals
+1. 可以计算用户积分
+2. 可以确定用户等级
+3. 可以解锁权益
+
+### Regression Evals
+1. 现有登录仍然有效
+2. 会话管理未改变
+3. 登出流程完整
+
+### Success Metrics
+- pass@3 > 90% for capability evals
+- pass^3 = 100% for regression evals
+```
+
+### 2. 实现
+编写代码通过定义的评估。
+
+### 3. 评估
+```bash
+# 运行 capability evals
+[Run each capability eval, record PASS/FAIL]
+
+# 运行 regression evals
+npm test -- --testPathPattern="existing"
+
+# 生成报告
+```
+
+### 4. 报告
+```markdown
+EVAL REPORT: points-system
+==========================
+
+Capability Evals:
+  calculate-points:  PASS (pass@1)
+  determine-level:  PASS (pass@2)
+  unlock-benefits: PASS (pass@1)
+  Overall:         3/3 passed
+
+Regression Evals:
+  login-flow:      PASS
+  session-mgmt:   PASS
+  logout-flow:    PASS
+  Overall:         3/3 passed
+
+Metrics:
+  pass@1: 67% (2/3)
+  pass@3: 100% (3/3)
+
+Status: READY FOR REVIEW
+```
+
+## 评估存储
+
+在项目中存储评估:
+```
+.claude/
+  evals/
+    points-system.md      # 评估定义
+    points-system.log     # 评估运行历史
+    baseline.json         # 回归基线
+```
+
+## 最佳实践
+
+1. **编码前定义评估** - 强制清晰思考成功标准
+2. **频繁运行评估** - 尽早捕获回归
+3. **追踪 pass@k 趋势** - 监控可靠性趋势
+4. **尽可能使用 code graders** - 确定性 > 概率性
+5. **人工审查安全** - 永远不完全自动化安全检查
+6. **保持评估快速** - 慢评估不会被运行
+7. **版本评估与代码** - 评估是一级 artifacts
+
+## 与 Error Experience Library 的关系
+
+- Error Experience Library 记录**已解决的错误**
+- Eval Harness 验证**新能力是否正确实现**
+- 两者都可用于回归测试

package/skills/eval-harness/agents/openai.yaml

@@ -0,0 +1,4 @@
+interface:
+  display_name: "Eval Harness"
+  short_description: "为 Agent 或功能建立可复用的评测框架"
+  default_prompt: "Use $eval-harness to define evaluation criteria, build repeatable checks, and compare outcomes against the intended quality bar."

package/skills/evolution-core/SKILL.md

@@ -0,0 +1,280 @@
+---
+name: evolution-core
+description: >
+  统一进化资产模型与自进化闭环核心。定义 Gene（策略 DNA）、Capsule（已验证经验快照）、
+  EvolutionEvent（追加式事件日志）三层资产模型，实现 Detect→Select→Replay→Validate→Solidify→Reuse
+  闭环，使 agent 遇到已知问题时先复用已验证经验，跳过重新试错。
+origin: inspired by Oris EvoKernel
+version: 1.0.0
+---
+
+# Evolution Core — 自进化资产模型与闭环
+
+## 用途
+
+- **即时复用**：agent 遇到错误时，先从进化存储中查找匹配的已验证经验（Capsule），尝试重放，成功则跳过 LLM 推理
+- **经验沉淀**：每次成功解决问题后，自动提取信号、生成策略 Gene 和执行快照 Capsule
+- **跨 agent 共享**：不同 agent/项目的验证过经验可以发布到共享网络，其他 agent 直接复用
+- **治理安全**：通过 Governor 控制进化速率、爆炸半径和回归检测，防止低质量策略扩散
+
+## 核心概念
+
+### Gene — 策略 DNA
+
+Gene 是一条可复用的问题解决策略，从一次或多次成功经验中提取并泛化：
+
+```json
+{
+  "gene_id": "g-a1b2c3d4",
+  "signals": [
+    {
+      "signal_type": "compiler_error",
+      "source": "compiler",
+      "pattern": "Cannot find module '(.+)'",
+      "context_hints": ["typescript", "import"]
+    }
+  ],
+  "strategy": {
+    "description": "检查 tsconfig.json paths 配置和 package.json dependencies，确认模块存在后重新安装",
+    "steps": [
+      "检查 tsconfig.json 中 paths 和 baseUrl 配置",
+      "检查 package.json 中是否包含该依赖",
+      "运行 npm install 或对应包管理器安装命令",
+      "若为路径别名问题，更新 tsconfig paths"
+    ],
+    "constraints": ["不要直接删除 node_modules 重装，先定位根因"]
+  },
+  "validation_rules": {
+    "success_indicator": "tsc 编译通过，无 Cannot find module 错误",
+    "timeout_seconds": 120
+  },
+  "confidence": 0.75,
+  "state": "promoted",
+  "tags": ["typescript", "module-resolution", "build-error"],
+  "env_fingerprint": {
+    "languages": ["typescript"],
+    "frameworks": ["next.js"],
+    "tools": ["npm"]
+  },
+  "stats": {
+    "total_uses": 12,
+    "successes": 10,
+    "failures": 2,
+    "last_used": "2026-04-01T10:30:00Z"
+  },
+  "created_at": "2026-03-15T08:00:00Z",
+  "updated_at": "2026-04-01T10:30:00Z"
+}
+```
+
+**Gene 状态生命周期**：
+
+```
+candidate → promoted → archived
+    ↓           ↓
+  revoked    quarantined → (re-promoted | revoked)
+```
+
+| 状态 | 含义 |
+|------|------|
+| `candidate` | 新提取，尚未达到晋升门槛 |
+| `promoted` | 经过多次验证，高置信度可用 |
+| `quarantined` | 从外部导入或连续失败，需本地验证 |
+| `revoked` | 多次失败或人工标记无效 |
+| `archived` | 长期未使用，自动归档 |
+
+### Capsule — 已验证经验快照
+
+Capsule 是 Gene 的一次具体执行记录，包含完整的上下文和结果：
+
+```json
+{
+  "capsule_id": "c-e5f6g7h8",
+  "gene_ref": "g-a1b2c3d4",
+  "execution_context": {
+    "project_id": "proj-xyz",
+    "agent_id": "agent-session-001",
+    "trigger_signal": {
+      "signal_type": "compiler_error",
+      "source": "compiler",
+      "raw_message": "Cannot find module '@/utils/helpers'",
+      "file_path": "src/pages/index.tsx"
+    }
+  },
+  "outcome": {
+    "success": true,
+    "changes_summary": "更新 tsconfig.json paths 配置，添加 @/ → src/ 映射",
+    "diff_hash": "sha256:abc123...",
+    "files_changed": ["tsconfig.json"],
+    "lines_modified": 3,
+    "duration_seconds": 15
+  },
+  "env_fingerprint": {
+    "os": "darwin",
+    "node_version": "20.x",
+    "typescript_version": "5.4",
+    "package_manager": "npm"
+  },
+  "confidence": 0.85,
+  "created_at": "2026-04-01T10:30:00Z"
+}
+```
+
+### EvolutionEvent — 追加式事件日志
+
+EvolutionEvent 是不可变的事件记录，构成进化存储的唯一事实源（single source of truth）：
+
+```json
+{
+  "event_id": "ev-20260401-001",
+  "type": "capsule_reused",
+  "timestamp": "2026-04-01T10:30:00Z",
+  "agent_id": "agent-session-001",
+  "payload": {
+    "gene_id": "g-a1b2c3d4",
+    "capsule_id": "c-e5f6g7h8",
+    "success": true,
+    "confidence_delta": 0.05
+  }
+}
+```
+
+**事件类型**：
+
+| 类型 | 触发时机 |
+|------|----------|
+| `signal_detected` | 检测到错误/问题信号 |
+| `gene_created` | 新 Gene 从成功经验中提取 |
+| `gene_updated` | Gene 置信度、统计或状态更新 |
+| `gene_promoted` | Gene 从 candidate 晋升为 promoted |
+| `gene_revoked` | Gene 被标记为无效 |
+| `gene_quarantined` | Gene 进入隔离区 |
+| `capsule_created` | 新的执行快照产生 |
+| `capsule_reused` | 已有 Capsule 被重放使用 |
+| `replay_attempted` | 尝试重放但未成功 |
+| `governor_blocked` | Governor 阻止了某个操作 |
+| `network_published` | Gene/Capsule 发布到共享网络 |
+| `network_fetched` | 从共享网络获取了资产 |
+
+## 进化闭环流程
+
+```
+┌──────────────────────────────────────────────────────┐
+│                  Evolution Loop                       │
+│                                                       │
+│  ① Detect  ──→  ② Select  ──→  ③ Replay             │
+│     │              │              │                   │
+│     │              │              ├─ 成功 → ⑥ Reuse  │
+│     │              │              │                   │
+│     │              │              └─ 失败 ↓           │
+│     │              │                                  │
+│     │              └──→  ④ Execute (LLM)              │
+│     │                       │                         │
+│     │                       ↓                         │
+│     │               ⑤ Validate                        │
+│     │                  │                              │
+│     │                  ├─ 通过 → Solidify → Gene+     │
+│     │                  │              Capsule          │
+│     │                  └─ 失败 → 记录失败事件          │
+│     │                                                 │
+│     └─── Governor 全程监控速率/半径/回归 ──────────────│
+└──────────────────────────────────────────────────────┘
+```
+
+1. **Detect**: 从工具调用结果（编译错误、测试失败、运行时异常）中提取结构化信号
+2. **Select**: 用信号在 Evolution Store 中查询匹配的 Gene 候选
+3. **Replay**: 取置信度最高的 Capsule 尝试重放其策略
+4. **Execute**: 若无匹配或重放失败，走正常 LLM 推理解决问题
+5. **Validate**: 验证解决方案的正确性（编译通过、测试通过等）
+6. **Solidify**: 验证通过后提取 Gene + Capsule 写入进化存储
+7. **Reuse**: 成功重放时记录复用事件，提升 Gene 置信度
+
+## 存储布局
+
+```
+~/.claude/evolution/
+├── events.jsonl          # 追加式事件日志（唯一事实源）
+├── genes.json            # Gene 投影缓存（从 events 重建）
+├── capsules.json         # Capsule 投影缓存（从 events 重建）
+├── LOCK                  # 并发写入保护
+├── config.json           # 本地配置（Governor 参数等）
+└── shared/               # 跨 agent 共享区
+    ├── published/        # 本地发布的资产
+    └── quarantine/       # 外部导入的待验证资产
+```
+
+## 置信度模型
+
+### 初始置信度
+
+| 来源 | 初始值 |
+|------|--------|
+| 首次成功解决 | 0.40 |
+| 从 error-experience 迁移 | 根据 success_rate 映射 |
+| 从 instinct 迁移 | 保留原有 confidence |
+| 从外部网络导入 | 0.30（进入 quarantine） |
+
+### 置信度变更
+
+```
+成功复用: confidence = min(0.95, confidence + 0.05)
+失败复用: confidence = max(0.10, confidence - 0.10)
+时间衰减: confidence = confidence × e^(-0.001 × days_since_last_use)
+手动标记: confidence = 指定值
+```
+
+### 状态晋升门槛
+
+| 转换 | 条件 |
+|------|------|
+| candidate → promoted | confidence ≥ 0.60 且 successes ≥ 3 |
+| promoted → quarantined | 连续失败 ≥ 3 次 |
+| quarantined → promoted | 本地验证通过 2 次以上 |
+| * → revoked | confidence < 0.15 或手动标记 |
+| promoted → archived | 90 天未使用 |
+
+## 信号匹配算法
+
+信号匹配分三级：
+
+1. **精确匹配** (score=1.0): signal_type + source + pattern 完全匹配
+2. **模糊匹配** (score=0.7): signal_type + source 匹配，pattern 相似度 > 0.8
+3. **上下文匹配** (score=0.4): 仅 tags 和 env_fingerprint 部分重叠
+
+最终匹配分 = match_score × gene_confidence × env_similarity
+
+## 命令接入
+
+| 命令 | 用途 |
+|------|------|
+| `/replay <error>` | 手动查询匹配的 Gene 并尝试重放 |
+| `/evolution-status` | 查看进化存储状态面板 |
+| `/evolve` | 将 instinct 聚类为 Gene（升级版） |
+| `/instinct-export` | 导出进化资产（升级版） |
+| `/instinct-import` | 导入进化资产（升级版） |
+
+## 与现有系统的关系
+
+| 现有系统 | 关系 |
+|----------|------|
+| error-experience-library | Gene 的数据来源之一；迁移后 `/error-lookup` 仍可用，底层查询 Evolution Store |
+| continuous-learning | Instinct 可晋升为 Gene；观察流程继续保留 |
+| instinct-export/import | 升级为 Evolution Asset 导入导出 |
+| session-end hook | 增加 solidify 调用，自动从 git diff 提取 Gene |
+| session-start hook | 增加进化上下文注入 |
+
+## 相关工具
+
+- `scripts/evolution/store.py` — Evolution Store 读写接口
+- `scripts/evolution/replay.py` — Replay-First 执行器
+- `scripts/evolution/governor.py` — Governor 治理层
+- `scripts/evolution/network.py` — 跨 agent 共享网络
+- `scripts/evolution/migrate.py` — 从旧系统迁移数据
+
+## 配合约束
+
+1. 所有进化操作必须产生 EvolutionEvent，事件日志是唯一事实源
+2. Gene/Capsule JSON 缓存可随时从 events.jsonl 重建
+3. 外部导入的资产必须先进 quarantine，本地验证通过后才能 promote
+4. Governor 可全局禁用（用于调试），但生产环境必须启用
+5. 进化能力默认 opt-in，通过 hooks.json 的 enabled flag 控制