code-abyss 1.6.16 → 1.7.1

package/skills/domains/ai/prompt-and-eval.md

@@ -0,0 +1,279 @@
+---
+name: prompt-and-eval
+description: Prompt 工程与模型评估。Prompt 模式（Zero-shot、Few-shot、CoT、ReAct、ToT）、模板设计、RAGAS、LLM-as-Judge、基准测试、A/B 测试、持续监控。当用户提到 Prompt 工程、Few-shot、CoT、模型评估、RAGAS、LLM-as-Judge、基准测试时使用。
+---
+
+# Prompt 工程与模型评估
+
+## 一、Prompt 模式
+
+### 模式对比
+
+| 模式 | 复杂度 | 准确性 | Token 消耗 | 适用场景 |
+|------|--------|--------|------------|----------|
+| Zero-shot | 低 | 中 | 低 | 简单任务、通用问题 |
+| Few-shot | 中 | 高 | 中 | 格式化输出、分类 |
+| CoT | 中 | 高 | 中 | 推理、数学、逻辑 |
+| Self-Consistency | 高 | 极高 | 高 | 关键决策 |
+| ToT | 极高 | 极高 | 极高 | 复杂规划 |
+| ReAct | 高 | 高 | 高 | 工具调用、Agent |
+
+### Zero-shot
+
+```python
+# 关键：清晰指令 + 角色设定 + 输出格式
+prompt = """
+你是一位资深安全工程师。
+任务: 将以下文本分类为正面、负面或中性。
+输入: {text}
+输出格式: JSON {"sentiment": "...", "confidence": 0.0-1.0}
+"""
+```
+
+### Few-shot
+
+```python
+# 关键：2-5 个高质量示例 + 语义相似度选择
+prompt = """
+将评论分类:
+
+评论: 音质很棒，佩戴舒适。 → 正面
+评论: 电池续航太差。 → 负面
+评论: {new_review} →
+"""
+
+# 动态示例选择（LangChain）
+selector = SemanticSimilarityExampleSelector.from_examples(
+    examples, OpenAIEmbeddings(), Chroma, k=2
+)
+```
+
+### Chain-of-Thought (CoT)
+
+```python
+# Zero-shot CoT — 魔法咒语
+prompt = f"问题: {question}\n\n让我们一步步思考:"
+
+# Self-Consistency — 多路投票
+answers = [extract_answer(llm.predict(prompt, temperature=0.7)) for _ in range(5)]
+final = Counter(answers).most_common(1)[0][0]
+```
+
+### ReAct
+
+```python
+# Thought → Action → Observation 循环
+prompt = """
+工具: Search[query], Calculate[expr], Finish[answer]
+
+Thought: 我需要查询埃菲尔铁塔高度
+Action: Search[埃菲尔铁塔高度]
+Observation: 330 米
+Thought: 现在知道答案了
+Action: Finish[330 米]
+"""
+```
+
+### Tree-of-Thoughts (ToT)
+
+```python
+# 生成多条思路 → 评估打分 → Beam Search 选最优 → 递归扩展
+class TreeOfThoughts:
+    def solve(self, problem):
+        thoughts = self._generate(problem, n=3)
+        scored = self._evaluate(problem, thoughts)
+        best = sorted(scored, key=lambda x: x[1], reverse=True)[:self.beam_width]
+        # 递归深入最佳路径
+```
+
+## 二、Prompt 设计技巧
+
+### 模板结构
+
+```python
+messages = [
+    {"role": "system", "content": "角色 + 能力边界 + 输出约束"},
+    {"role": "user", "content": "### 指令\n{task}\n### 输入\n{input}\n### 输出格式\n{format}"},
+]
+```
+
+### 优化原则
+
+| 原则 | 做 | 不做 |
+|------|-----|------|
+| 清晰性 | 具体、可执行、有约束 | 模糊指令 |
+| 结构化 | 分隔符、编号、格式 | 大段文字 |
+| 示例驱动 | 2-5 个高质量示例 | 无示例 |
+| 分步指令 | 步骤 1/2/3 | 一句话包办 |
+| 约束边界 | 说明要做和不做什么 | 无限制 |
+
+### 高级技巧
+
+```python
+# 元提示 — 用 LLM 生成 Prompt
+meta = "你是 Prompt 专家。为以下任务生成最优 Prompt: {task}"
+
+# 自我批评 — 生成 → 批评 → 改进
+answer = llm(question)
+critique = llm(f"批评: {answer}")
+improved = llm(f"基于批评改进: {critique}")
+```
+
+### Prompt 模板速查
+
+```yaml
+代码生成: "生成 {lang} 代码: {desc}。要求: 最佳实践 + 注释 + 异常处理"
+文本摘要: "总结为 {n} 字: {text}。保留关键信息，语言简洁"
+数据提取: "从文本提取 {fields}，输出 JSON: {text}"
+NL2SQL: "将自然语言转 SQL: {query}。表结构: {schema}"
+```
+
+## 三、模型评估
+
+### 评估维度
+
+| 维度 | 指标 | 适用场景 |
+|------|------|----------|
+| 准确性 | Accuracy, F1, Precision, Recall | 分类、NER |
+| 相关性 | Relevance, Context Precision | RAG、检索 |
+| 忠实性 | Faithfulness, Hallucination Rate | 生成任务 |
+| 效率 | Latency P95, Throughput, Cost/1K | 生产部署 |
+
+### RAGAS 框架
+
+```python
+from ragas import evaluate
+from ragas.metrics import faithfulness, answer_relevancy, context_precision, context_recall
+
+dataset = Dataset.from_dict({
+    "question": questions,
+    "answer": answers,
+    "contexts": contexts,
+    "ground_truth": ground_truths,
+})
+
+result = evaluate(dataset, metrics=[
+    faithfulness,        # 答案是否基于上下文（0-1）
+    answer_relevancy,    # 答案与问题相关度（0-1）
+    context_precision,   # 检索上下文中相关信息比例（0-1）
+    context_recall,      # 上下文是否包含所需全部信息（0-1）
+])
+```
+
+### LLM-as-Judge
+
+```python
+class LLMJudge:
+    def evaluate(self, question, answer, criteria):
+        prompt = f"""
+评估答案质量（1-5 分）:
+问题: {question}
+答案: {answer}
+标准: {criteria}
+
+输出 JSON: {{"accuracy": N, "completeness": N, "clarity": N, "overall": N, "feedback": "..."}}
+"""
+        return json.loads(self.llm.predict(prompt))
+
+# 成对比较 + ELO 排名
+def pairwise(q, a, b):
+    # 返回 {"winner": "A"|"B", "confidence": 0-1}
+    ...
+```
+
+### 基准测试速查
+
+| 基准 | 评估能力 | 核心指标 |
+|------|----------|----------|
+| MMLU | 多任务语言理解 | Accuracy |
+| HumanEval | 代码生成 | Pass@k |
+| GSM8K | 数学推理 | Accuracy (CoT) |
+| 自定义 | 业务场景 | 加权评分 + 延迟 |
+
+### 检索指标
+
+```python
+def evaluate_retrieval(retrieved, relevant, k=5):
+    precision_at_k = len(set(retrieved[:k]) & set(relevant)) / k
+    recall_at_k = len(set(retrieved[:k]) & set(relevant)) / len(relevant)
+    # MRR: 第一个相关文档的倒数排名
+    # NDCG: 归一化折损累积增益
+    return {"precision@k": precision_at_k, "recall@k": recall_at_k, "mrr": mrr, "ndcg": ndcg}
+```
+
+### 生成指标
+
+```python
+# ROUGE: 摘要质量（rouge-1, rouge-2, rouge-l）
+# BLEU: 翻译质量
+from rouge import Rouge
+rouge_scores = Rouge().get_scores(predictions, references, avg=True)
+```
+
+## 四、A/B 测试与监控
+
+### A/B 测试
+
+```python
+class ABTest:
+    def __init__(self, variants):  # [Variant(name, model, ratio)]
+        self.variants = variants
+
+    def get_variant(self, user_id):
+        # 一致性哈希分流
+        return self.variants[hash(user_id) % 100 < cumulative_ratio]
+
+    def check_significance(self, a_scores, b_scores, alpha=0.05):
+        t_stat, p_value = stats.ttest_ind(a_scores, b_scores)
+        cohens_d = (mean(a) - mean(b)) / pooled_std
+        return {"p_value": p_value, "significant": p_value < alpha, "effect": cohens_d}
+```
+
+### 持续监控
+
+```python
+from prometheus_client import Counter, Histogram, Gauge
+
+request_count = Counter('llm_requests_total', 'Total', ['model', 'status'])
+latency = Histogram('llm_latency_seconds', 'Latency', ['model'])
+quality = Gauge('llm_quality_score', 'Quality', ['model'])
+
+# 异常检测: Z-score > 2.0 触发告警
+class AnomalyDetector:
+    def check(self, value):
+        z = abs((value - mean(self.window)) / std(self.window))
+        return z > self.threshold
+```
+
+## 五、Checklist
+
+### Prompt 工程
+
+- 清晰指令 + 角色设定 + 输出格式约束
+- 复杂任务用 CoT / ReAct
+- 关键决策用 Self-Consistency 多路投票
+- 版本管理 Prompt，A/B 测试对比效果
+- 迭代优化：测试 → 分析 → 改进
+
+### 模型评估
+
+- 多维度评估：准确性 + 相关性 + 忠实性 + 效率
+- RAG 用 RAGAS 四指标
+- 自动评估 LLM-as-Judge + 定期人工抽检
+- 标准基准（MMLU/HumanEval）+ 业务自定义基准
+- 上线前 A/B 测试，上线后持续监控 + 异常告警
+- 反馈闭环：收集用户反馈持续改进
+
+## 工具速查
+
+| 工具 | 用途 |
+|------|------|
+| RAGAS | RAG 专用评估 |
+| LangSmith | LLM 应用监控 |
+| Phoenix | 可观测性平台 |
+| LangChain | Prompt 模板管理 |
+| Guidance | 结构化生成 |
+| OpenAI Evals | 模型评估框架 |
+| W&B | 实验追踪 |
+
+---

package/skills/domains/architecture/SKILL.md

@@ -1,6 +1,7 @@
 ---
 name: architecture
 description: 架构设计能力索引。API设计、安全架构、云原生、数据安全。当用户提到架构、设计、API、云原生时路由到此。
+license: MIT
 ---
 
 # 🏗 阵法秘典 · 架构设计能力中枢
@@ -11,12 +12,10 @@ description: 架构设计能力索引。API设计、安全架构、云原生、
 | Skill | 定位 | 核心能力 |
 |-------|------|----------|
 | [api-design](api-design.md) | API 设计 | RESTful、GraphQL、OpenAPI |
-| [security-arch](security-arch.md) | 安全架构 | 零信任、IAM、威胁建模 |
+| [security-arch](security-arch.md) | 安全架构 | 零信任、IAM、威胁建模、数据安全、合规审计 |
 | [cloud-native](cloud-native.md) | 云原生 | 容器、K8s、Serverless |
-| [data-security](data-security.md) | 数据安全 | 加密、隐私、合规 |
 | [message-queue](message-queue.md) | 消息队列 | Kafka、RabbitMQ、事件驱动 |
 | [caching](caching.md) | 缓存策略 | Redis、CDN、缓存一致性 |
-| [compliance](compliance.md) | 合规审计 | GDPR、SOC2、审计日志 |
 
 ## 架构原则
 

package/skills/domains/architecture/security-arch.md

@@ -208,3 +208,90 @@ E - Elevation of Privilege (权限提升):
   - [ ] WAF
 ```
 
+## 数据安全
+
+### 数据分类
+| 级别 | 类型 | 保护措施 | 示例 |
+|------|------|----------|------|
+| 公开 | Public | 无特殊要求 | 产品文档 |
+| 内部 | Internal | 访问控制 | 内部Wiki |
+| 机密 | Confidential | 加密+审计 | 客户数据 |
+| 受限 | Restricted | 加密+审计+MFA | 密钥、PII |
+
+### 加密要求
+```yaml
+传输加密:
+  - TLS 1.2+（禁用 1.0/1.1）
+  - 推荐: TLS_AES_256_GCM_SHA384 / TLS_CHACHA20_POLY1305_SHA256
+  - HSTS + 证书管理
+
+存储加密:
+  - AES-256-GCM（对称）+ 密钥与数据分离（KMS/Vault）+ 定期轮换
+
+密码存储:
+  - bcrypt (rounds>=12) 或 argon2，禁止 MD5/SHA1
+```
+
+### 隐私保护
+```yaml
+数据脱敏: 姓名(张**) / 手机(138****1234) / 邮箱(z***@x.com)
+数据最小化: 只收集必要数据 / 限制保留期限 / 定期清理 / 匿名化
+生命周期: 创建(分类)→存储(加密)→使用(审计)→共享(脱敏)→归档(压缩)→销毁(安全删除)
+```
+
+### 数据安全检查清单
+```yaml
+- [ ] 数据资产清单 + 敏感数据识别 + 数据流映射
+- [ ] 传输加密 + 存储加密 + 访问控制 + 数据脱敏
+- [ ] 访问日志 + 异常检测 + DLP
+```
+
+## 合规审计
+
+### 合规框架速查
+| 框架 | 适用范围 | 核心要求 | 处罚 |
+|------|----------|----------|------|
+| GDPR | 欧盟用户数据 | 数据保护、用户权利 | 营收4%或2000万欧 |
+| SOC 2 | SaaS/云服务 | 安全、可用、机密、隐私 | 失去客户信任 |
+| HIPAA | 医疗健康数据 | PHI保护 | $50K-$1.5M/次 |
+| PCI DSS | 支付卡数据 | 持卡人数据保护 | $5K-$100K/月 |
+
+### GDPR 用户权利 (DSAR)
+| 权利 | API | SLA |
+|------|-----|-----|
+| 访问权 | `GET /users/{id}/data-export` | 30天 |
+| 删除权 | `DELETE /users/{id}/data` | 30天 |
+| 可携带权 | `GET /users/{id}/data-export?format=json` | 30天 |
+| 限制处理 | `POST /users/{id}/restrict` | 72小时 |
+
+### SOC 2 关键控制
+```yaml
+访问控制: MFA强制 + RBAC + 最小权限 + 季度审查 + 离职即撤权
+变更管理: PR审查 + 分环境部署 + 审批流程 + 回滚方案
+监控告警: 安全事件监控 + 异常登录检测 + 数据访问审计
+事件响应: IR计划文档化 + 定期演练 + 72小时通知 + 事后复盘
+```
+
+### 审计日志要求
+```yaml
+必须审计: 登录/MFA/密码变更 | 权限/角色变更 | 敏感数据访问/导出/删除 | 配置/部署变更
+存储: 不可篡改(WORM) + 加密 + 异地备份
+保留: 安全事件>=1年 / 访问日志>=90天 / 变更>=3年 / 合规审计>=7年
+```
+
+### 合规即代码 (OPA)
+```rego
+deny[msg] {
+    input.resource_type == "aws_s3_bucket"
+    input.resource.acl == "public-read"
+    msg := sprintf("S3 %s must not be public", [input.resource.name])
+}
+```
+
+### 合规检查清单
+```yaml
+GDPR: 隐私政策 + 同意管理 + DSAR(30天) + 加密 + 保留策略 + 泄露通知(72h)
+SOC2: 访问控制+MFA + 变更管理 + IR计划 + 漏洞管理 + 安全培训
+审计: 日志覆盖关键操作 + 不可篡改 + 保留期限合规
+```
+

package/skills/domains/data-engineering/SKILL.md

@@ -1,43 +1,205 @@
 ---
 name: data-engineering
 description: 数据工程。Airflow、Dagster、Kafka Streams、Flink、dbt、数据管道、流处理、数据质量。当用户提到数据管道、ETL、流处理、数据质量时路由到此。
+license: MIT
 ---
 
-# 🏗️ 数据工程域 · Data Engineering
+# 数据工程域 · Data Engineering
 
 ## 域概览
 
 数据工程域涵盖数据管道编排、流式处理、数据质量保障三大核心领域。
 
-## 秘典索引
+```
+数据管道层                流处理层              质量保障层
+├── Airflow (调度编排)    ├── Kafka Streams     ├── Great Expectations
+├── Dagster (资产管理)    ├── Flink             ├── dbt
+└── Prefect (现代工作流)  └── Spark Streaming   └── Soda Core
+```
+
+---
+
+## 数据管道编排
+
+### 框架对比
+
+| 特性 | Airflow | Dagster | Prefect |
+|------|---------|---------|---------|
+| 核心模型 | DAG + Task | Asset + Op | Flow + Task |
+| 学习曲线 | 陡峭 | 中等 | 平缓 |
+| 资产管理 | 无 | 原生支持 | 无 |
+| 动态任务 | 支持 | 支持 | 支持 |
+| 本地开发 | 复杂 | 简单 | 简单 |
+| 社区生态 | 最大 | 成长中 | 成长中 |
+
+### Airflow 核心模式
+
+- DAG 定义：`with DAG(dag_id, schedule, default_args) as dag`
+- TaskFlow API：`@task` 装饰器，自动 XCom 传递
+- 动态任务：`@task` + `.expand()` 实现 dynamic task mapping
+- Operators：PythonOperator / BashOperator / SQL / HTTP / S3
+- Sensors：FileSensor / HttpSensor / ExternalTaskSensor
+- 重试策略：`retries=3, retry_delay=timedelta(minutes=5), retry_exponential_backoff=True`
+- 失败回调：`on_failure_callback` 发送告警
+- SLA 监控：`sla=timedelta(hours=2)` + `sla_miss_callback`
+
+### Dagster 核心模式
+
+- Asset 定义：`@asset(group_name, deps)` 声明数据资产
+- MaterializeResult：返回元数据（行数、预览等）
+- Resources：`ConfigurableResource` 管理外部连接
+- Jobs：`define_asset_job(selection=AssetSelection.groups(...))`
+- Schedules：`ScheduleDefinition(job, cron_schedule)`
+- Sensors：`@sensor(job)` 监听外部事件触发
+- Partitions：`DailyPartitionsDefinition` 按日分区
+- Asset Checks：`@asset_check` 验证数据新鲜度/质量
+
+### Prefect 核心模式
+
+- Flow/Task：`@flow` + `@task(retries=3, cache_key_fn=task_input_hash)`
+- 并发：`ConcurrentTaskRunner` + `task.map(items)`
+- Deployments：`Deployment.build_from_flow(schedule=CronSchedule(...))`
+- Blocks：`Secret` / `JSON` 管理配置和密钥
+
+### 调度策略 Checklist
+
+- [ ] Cron 表达式正确（`0 2 * * *` 日批 / `*/15 * * * *` 实时）
+- [ ] 事件驱动：文件到达 / S3 / API 触发
+- [ ] 跨 DAG 依赖：ExternalTaskSensor / Asset deps
+- [ ] 幂等性：UPSERT / 分区覆盖写入
+- [ ] 增量处理：`WHERE updated_at > last_run`
+- [ ] 数据血缘：Dagster 原生 / Airflow Lineage / dbt ref()
+
+---
+
+## 流式处理
+
+### 框架对比
+
+| 特性 | Kafka Streams | Flink | Spark Streaming |
+|------|---------------|-------|-----------------|
+| 部署模式 | 嵌入式(JVM) | 独立集群 | 独立集群 |
+| 状态管理 | RocksDB | 内存/RocksDB | 内存 |
+| Exactly-Once | 支持 | 支持 | 支持 |
+| 窗口类型 | 丰富 | 最丰富 | 基础 |
+| 学习曲线 | 平缓 | 陡峭 | 中等 |
+| Python API | kafka-python | PyFlink | PySpark |
+
+### Kafka Streams 核心模式
+
+- 拓扑构建：`StreamsBuilder` → `stream()` → `filter/map/flatMap` → `to()`
+- 聚合：`groupByKey().count()` / `.aggregate()` / `.reduce()`
+- Join：Stream-Stream（时间窗口）/ Stream-Table / Table-Table
+- 状态存储：`Stores.persistentKeyValueStore` + Transformer
+- Exactly-Once：`PROCESSING_GUARANTEE_CONFIG = EXACTLY_ONCE_V2`
+- 性能调优：`NUM_STREAM_THREADS=4` / `CACHE_MAX_BYTES_BUFFERING` / RocksDB 配置
 
-| 秘典 | 覆盖范围 | 触发词 |
-|------|----------|--------|
-| [data-pipeline.md](./data-pipeline.md) | Airflow/Dagster/Prefect/调度编排 | 数据管道、Airflow、Dagster、Prefect、ETL、数据编排 |
-| [stream-processing.md](./stream-processing.md) | Kafka Streams/Flink/实时处理 | 流处理、Kafka Streams、Flink、实时处理、流式计算 |
-| [data-quality.md](./data-quality.md) | Great Expectations/dbt/数据验证 | 数据质量、Great Expectations、dbt、数据验证、数据测试 |
+### Flink 核心模式
 
-## 技术栈
+- DataStream API：`env.addSource()` → `filter/map` → `addSink()`
+- 窗口类型：
+  - 滚动窗口 `TumblingProcessingTimeWindows.of(Time.minutes(5))`
+  - 滑动窗口 `SlidingProcessingTimeWindows.of(size, slide)`
+  - 会话窗口 `ProcessingTimeSessionWindows.withGap(gap)`
+  - 全局窗口 `GlobalWindows.create()` + 自定义 Trigger
+- 窗口聚合：`aggregate(AggregateFunction, WindowFunction)` 增量+全窗口
+- ProcessFunction：低级 API，访问时间戳、注册定时器
+- 状态管理：ValueState / ListState / MapState + TTL 清理
+- Checkpoint：`env.enableCheckpointing(60000)` + EXACTLY_ONCE
+- Savepoint：`flink run -s /path/to/savepoint`
+- 时间语义：Event Time + Watermark（`forBoundedOutOfOrderness`）
+- 延迟数据：`allowedLateness()` + `sideOutputLateData()`
+- 数据倾斜：添加随机前缀打散 key
+
+### 流处理 Checklist
+
+- [ ] 选择时间语义：Event Time vs Processing Time
+- [ ] Watermark 策略：乱序容忍度设置
+- [ ] 窗口类型匹配业务场景
+- [ ] 状态 TTL 防止无限增长
+- [ ] Checkpoint 间隔和超时配置
+- [ ] Exactly-Once 语义端到端保证
+- [ ] 背压监控和处理
+- [ ] 并行度调优
+
+---
+
+## 数据质量
+
+### 质量维度
 
 ```
-数据管道层
-├── Airflow (调度编排)
-├── Dagster (资产管理)
-└── Prefect (现代工作流)
-
-流处理层
-├── Kafka Streams (轻量级)
-├── Flink (分布式流处理)
-└── Spark Streaming (批流一体)
-
-质量保障层
-├── Great Expectations (数据验证)
-├── dbt (数据转换测试)
-└── Soda (数据可观测性)
+完整性(非空) → 准确性(范围) → 一致性(关联) → 及时性(新鲜度) → 有效性(格式)
 ```
 
-## 使用指南
+### 工具对比
+
+| 工具 | 优势 | 适用场景 |
+|------|------|----------|
+| Great Expectations | 丰富 Expectations、Data Docs | Python 生态、复杂验证 |
+| dbt | SQL 原生、血缘追踪 | 数据仓库、转换测试 |
+| Soda Core | 简洁 YAML 配置 | 快速验证、CI/CD |
+
+### Great Expectations 核心模式
+
+- Data Context：`gx.get_context()` → 添加数据源 → 构建批次
+- 常用 Expectations：
+  - `expect_table_row_count_to_be_between(min, max)`
+  - `expect_column_values_to_not_be_null(column)`
+  - `expect_column_values_to_be_unique(column)`
+  - `expect_column_values_to_be_between(column, min, max)`
+  - `expect_column_values_to_be_in_set(column, value_set)`
+  - `expect_column_values_to_match_regex(column, regex)`
+- Checkpoints：批量运行验证 + 生成 Data Docs
+- 自定义 Expectation：继承 `ColumnMapExpectation`
+
+### dbt 测试核心模式
+
+- Schema 测试：`unique` / `not_null` / `accepted_values` / `relationships`
+- Generic 测试：`{% test name(model, column_name, params) %}`
+- Singular 测试：`tests/` 目录下自定义 SQL，返回行 = 失败
+- dbt_expectations 包：`expect_column_mean_to_be_between` / `expect_row_values_to_have_recent_data`
+- 执行：`dbt test` / `dbt test --select model` / `dbt test --store-failures`
+- 血缘：`{{ ref('model') }}` + `{{ source('schema', 'table') }}` → `dbt docs generate`
+
+### Soda Core 核心模式
+
+```yaml
+checks for table_name:
+  - row_count > 100
+  - missing_count(column) = 0
+  - duplicate_count(column) = 0
+  - invalid_count(column) = 0:
+      valid format: email
+  - freshness(timestamp_col) < 1d
+```
+
+### 数据质量 Checklist
+
+- [ ] 分层验证：源数据 → 转换后 → 目标数据
+- [ ] 完整性：必需列非空、无空字符串
+- [ ] 准确性：数值范围、格式正则、逻辑一致
+- [ ] 一致性：跨表主键匹配、值一致
+- [ ] 及时性：数据新鲜度 < 阈值
+- [ ] 唯一性：主键/业务键无重复
+- [ ] 质量指标：完整性/唯一性/有效性加权评分
+- [ ] 告警：指标低于阈值自动通知（Slack/Email/PagerDuty）
+- [ ] 持续监控：定时执行质量检查
+
+---
+
+## 最佳实践
+
+| 实践 | 说明 |
+|------|------|
+| 幂等性设计 | UPSERT / 分区覆盖，重跑不产生副作用 |
+| 增量处理 | 基于时间戳/CDC 增量提取，减少全量扫描 |
+| 数据血缘 | dbt ref() / Dagster Asset deps 追踪上下游 |
+| 分层验证 | 源→转换→目标每层都验证 |
+| 监控告警 | 管道 SLA + 质量指标 + 延迟告警 |
+| 状态管理 | 流处理状态 TTL + Checkpoint + Savepoint |
+| 容错设计 | 重试策略 + 死信队列 + 回滚方案 |
+
+## 触发词
 
-1. **数据管道开发** → 查阅 data-pipeline.md
-2. **实时流处理** → 查阅 stream-processing.md
-3. **数据质量保障** → 查阅 data-quality.md
+数据管道、Airflow、Dagster、Prefect、ETL、流处理、Kafka Streams、Flink、数据质量、Great Expectations、dbt、数据验证、数据血缘

package/skills/domains/development/SKILL.md

@@ -1,6 +1,7 @@
 ---
 name: development
 description: 开发语言能力索引。Python、Go、Rust、TypeScript、Java、C++、Shell。当用户提到编程、开发、代码、语言时路由到此。
+license: MIT
 ---
 
 # 符箓秘典 · 开发语言能力中枢
@@ -16,10 +17,6 @@ description: 开发语言能力索引。Python、Go、Rust、TypeScript、Java
 | [java](java.md) | Java | 企业级、Spring、微服务 |
 | [cpp](cpp.md) | C/C++ | 系统底层、性能优化 |
 | [shell](shell.md) | Bash | 脚本自动化、系统管理 |
-| [php](php.md) | PHP | Laravel、Symfony、Web开发 |
-| [swift](swift.md) | Swift | SwiftUI、iOS开发、Combine |
-| [kotlin](kotlin.md) | Kotlin | Jetpack Compose、Android开发 |
-| [dart](dart.md) | Dart | Flutter、跨平台开发 |
 
 ## 语言选型指南
 

package/skills/domains/devops/SKILL.md

@@ -1,6 +1,7 @@
 ---
 name: devops
 description: DevOps 能力索引。Git、测试、DevSecOps、数据库。当用户提到 DevOps、CI/CD、Git、测试时路由到此。
+license: MIT
 ---
 
 # 🔧 炼器秘典 · DevOps 能力中枢
@@ -11,13 +12,10 @@ description: DevOps 能力索引。Git、测试、DevSecOps、数据库。当用
 | Skill | 定位 | 核心能力 |
 |-------|------|----------|
 | [git-workflow](git-workflow.md) | 版本控制 | Git、分支策略、PR |
-| [testing](testing.md) | 软件测试 | 单元测试、集成测试、TDD |
-| [testing-strategy](testing-strategy.md) | 测试策略 | 测试金字塔、测试左移、契约测试 |
-| [e2e-testing](e2e-testing.md) | E2E测试 | Playwright、Cypress、可视化回归 |
-| [performance-testing](performance-testing.md) | 性能测试 | k6、JMeter、负载测试、压力测试 |
+| [testing](testing.md) | 软件测试 | 单元测试、集成测试、TDD、测试策略、E2E测试 |
 | [devsecops](devsecops.md) | 安全开发 | CI/CD安全、供应链安全 |
 | [database](database.md) | 数据库 | SQL、NoSQL、优化 |
-| [performance](performance.md) | 性能优化 | Profiling、火焰图、基准测试 |
+| [performance](performance.md) | 性能优化 | Profiling、火焰图、基准测试、负载测试、性能测试 |
 | [observability](observability.md) | 可观测性 | 日志、指标、追踪、SLO |
 | [cost-optimization](cost-optimization.md) | 成本优化 | FinOps、右尺寸、Spot、伸缩 |