@umacloud/knowledge 1.0.1

package/ai/03-checklists/ai-project-checklist.md

@@ -0,0 +1,215 @@
+---
+id: ai-project-checklist
+title: AI 项目检查清单 (AI Project Checklist)
+domain: ai
+category: 03-checklists
+difficulty: intermediate
+tags: [ai, checklist, data, evaluation, model, preparation, project, selection]
+quality_score: 70
+last_updated: 2026-06-15
+---
+# AI 项目检查清单 (AI Project Checklist)
+
+> 适用场景：AI/ML 项目全生命周期质量把控，涵盖数据准备、模型选择、评估验证、部署运维、安全合规五大阶段。
+> 通过标准：所有 MUST 项必须通过方可进入下一阶段；SHOULD 项未通过需在评审文档中说明理由和补偿措施。
+
+---
+
+## 1. 数据准备 (Data Preparation)
+
+### 1.1 数据质量
+
+- [ ] **数据来源已审计（MUST）** — 所有训练/评估数据的来源已记录，包括采集方式、时间范围、授权协议。
+- [ ] **数据量级评估完成** — 已评估数据量是否满足模型训练需求，小样本场景已标注并准备数据增强方案。
+- [ ] **缺失值处理策略已定义** — 缺失率统计完成，>5% 缺失的字段有明确处理方案（删除/插值/标记）。
+- [ ] **异常值检测已完成** — 通过 IQR / Z-Score / 可视化等方式识别异常值，处理策略已记录。
+- [ ] **数据分布已分析** — 训练集/验证集/测试集的分布一致性已检查，无显著偏移。
+- [ ] **类别不平衡已评估** — 分类任务中各类别样本比例已统计，>10:1 不平衡已准备过采样/欠采样/加权方案。
+- [ ] **数据版本化已建立（MUST）** — 数据集使用 DVC / LakeFS / Delta Lake 等工具版本化管理。
+- [ ] **数据 Schema 已固定** — 字段名、类型、取值范围已文档化，变更需走审批流程。
+
+### 1.2 数据标注
+
+- [ ] **标注规范已制定（MUST）** — 标注指南文档已编写，包含正例/反例/边界案例示例。
+- [ ] **标注一致性已验证** — 多标注员 Kappa / Fleiss' Kappa >= 0.8，不一致案例已仲裁。
+- [ ] **标注质量抽检已完成** — 至少 10% 样本经高级标注员复审，错误率 < 5%。
+- [ ] **主动学习流程已建立** — 低置信度样本优先标注，标注预算利用率已优化。
+- [ ] **标注工具已选型** — Label Studio / Prodigy / CVAT / Doccano 等工具已部署，工作流已调通。
+
+### 1.3 数据隐私与合规
+
+- [ ] **PII 识别与脱敏已完成（MUST）** — 姓名/身份证/手机号/地址等 PII 已检测并脱敏或匿名化。
+- [ ] **数据使用授权已获取（MUST）** — 已获得数据所有方的明确授权，授权范围覆盖训练/评估/线上推理。
+- [ ] **GDPR / 个保法合规检查** — 数据存储、跨境传输、用户删除权、最小化收集已满足。
+- [ ] **数据保留策略已定义** — 训练数据、中间产物、日志的保留期限和销毁流程已确定。
+- [ ] **模型训练数据可追溯** — 任意输出可溯源到训练数据子集，满足审计要求。
+- [ ] **合成数据使用已标注** — 如使用合成/增强数据，比例和生成方式已在文档中说明。
+
+---
+
+## 2. 模型选择与训练 (Model Selection & Training)
+
+### 2.1 模型选型
+
+- [ ] **问题类型已明确定义（MUST）** — 分类/回归/生成/检索/排序，评估指标与问题类型匹配。
+- [ ] **Baseline 已建立（MUST）** — 简单方案（规则/TF-IDF + LR/启发式）的指标已记录，作为对比基线。
+- [ ] **LLM vs 传统 ML 决策已记录** — 选择理由包括数据量、延迟要求、成本预算、可解释性需求。
+- [ ] **模型许可证已检查** — 开源模型的 License（Apache-2.0 / MIT / LLAMA / RAIL）与商业用途兼容。
+- [ ] **微调 vs Prompt Engineering 决策已评估** — 评估维度包括任务复杂度、数据量、推理成本、迭代速度。
+- [ ] **模型规模与资源匹配** — 模型参数量与可用 GPU 内存匹配，推理延迟满足 SLA。
+
+### 2.2 训练过程
+
+- [ ] **超参数搜索策略已定义** — Grid / Random / Bayesian / Optuna 搜索空间和预算已确定。
+- [ ] **训练可复现性已保证（MUST）** — 随机种子固定，依赖版本锁定，训练脚本版本化。
+- [ ] **过拟合监控已设置** — 训练集/验证集 Loss 曲线实时追踪，Early Stopping 已配置。
+- [ ] **梯度异常监控已配置** — 梯度爆炸/消失检测，NaN/Inf Loss 自动中断训练。
+- [ ] **Checkpoint 策略已定义** — 每 N 步或每 Epoch 保存，最佳模型自动保留，磁盘配额已设置。
+- [ ] **分布式训练配置已验证** — 多卡/多机训练的通信开销已评估，吞吐量线性度 > 0.7。
+- [ ] **实验记录已归档** — MLflow / W&B / TensorBoard 实验追踪已配置，关键指标自动记录。
+
+### 2.3 微调 (Fine-tuning)
+
+- [ ] **微调策略已选择** — Full Fine-tune / LoRA / QLoRA / Adapter / Prefix Tuning，选择理由已记录。
+- [ ] **学习率与 Warmup 已调优** — 微调学习率通常为预训练的 1/10 ~ 1/100，Warmup 比例 5-10%。
+- [ ] **灾难性遗忘已评估** — 微调后在原始任务上的表现衰退幅度已测量，< 5% 为可接受。
+- [ ] **数据混合比例已确定** — 新任务数据与通用数据的混合比例已实验验证。
+
+---
+
+## 3. 评估与验证 (Evaluation & Validation)
+
+### 3.1 离线评估
+
+- [ ] **评估指标已定义（MUST）** — 主指标和辅助指标明确，与业务目标直接关联。
+- [ ] **测试集独立性已保证（MUST）** — 测试集从未参与训练或超参调优，无数据泄漏。
+- [ ] **分层评估已完成** — 按用户群体/场景/难度等维度分层报告指标，非仅全局均值。
+- [ ] **置信区间已计算** — Bootstrap / Cross-Validation 提供指标的置信区间，非单一点估计。
+- [ ] **对比实验已完成** — 与 Baseline 和前版模型对比，差异具有统计显著性（p < 0.05）。
+
+### 3.2 基准测试 (Benchmarking)
+
+- [ ] **标准 Benchmark 已跑通** — 使用领域公认的 Benchmark 数据集（如 MMLU / HumanEval / SQuAD）。
+- [ ] **Benchmark 版本已锁定** — Benchmark 数据集和评估脚本版本已记录，确保可比性。
+- [ ] **Leaderboard 对比已记录** — 与同类模型在同一 Benchmark 上的表现对比已文档化。
+- [ ] **自建评估集已构建** — 面向业务场景的评估集已构建，样本量 >= 500。
+
+### 3.3 人工评估
+
+- [ ] **人工评估流程已定义** — 评估维度（相关性/准确性/流畅性/安全性）、评分标准（1-5 分）已明确。
+- [ ] **评估员已培训** — 评估员已阅读评估指南并完成校准测试。
+- [ ] **评估员间一致性已检查** — Cohen's Kappa >= 0.6，不一致案例已讨论并达成共识。
+- [ ] **盲评已执行** — 评估员不知道哪个回答来自哪个模型，避免偏见。
+
+### 3.4 A/B 测试
+
+- [ ] **A/B 测试方案已设计** — 实验组/对照组划分策略、样本量计算、运行时长已确定。
+- [ ] **核心指标已定义** — 主指标（如 CTR / 转化率 / 满意度）和护栏指标（如延迟 / 错误率）已明确。
+- [ ] **流量分配机制已实现** — 用户级/请求级分流，哈希一致性保证同一用户始终进入同一组。
+- [ ] **统计显著性门槛已设定** — p-value < 0.05，最小可检测效应（MDE）已计算。
+- [ ] **灰度放量计划已制定** — 1% -> 5% -> 20% -> 50% -> 100% 的放量节奏和回滚条件已明确。
+
+---
+
+## 4. 部署与运维 (Deployment & Operations)
+
+### 4.1 推理优化
+
+- [ ] **模型量化已评估** — INT8 / FP16 / GPTQ / AWQ 量化后精度损失 < 1%，延迟降低已量化。
+- [ ] **推理框架已选型** — vLLM / TGI / TensorRT / ONNX Runtime / Triton 选型理由已记录。
+- [ ] **Batch 推理已配置** — 动态 Batching 参数（max_batch_size / max_wait_time）已调优。
+- [ ] **KV Cache 策略已优化** — PagedAttention / 连续 Batching 已配置，GPU 内存利用率 > 80%。
+- [ ] **模型预热已完成** — 首次推理延迟已通过 Warm-up 请求消除。
+- [ ] **推理成本已估算** — 单次推理成本已计算（$/1K tokens 或 $/request），月度预算已审批。
+
+### 4.2 服务部署
+
+- [ ] **容器镜像已构建（MUST）** — Dockerfile 已编写，镜像体积已优化（多阶段构建），安全扫描已通过。
+- [ ] **健康检查已配置（MUST）** — Liveness / Readiness / Startup Probe 已设置，超时阈值合理。
+- [ ] **自动扩缩容已配置** — HPA 基于 GPU 利用率 / 队列深度 / 请求延迟自动扩缩。
+- [ ] **资源限制已设置** — CPU / Memory / GPU 的 Request 和 Limit 已配置，无无限资源占用风险。
+- [ ] **蓝绿 / 金丝雀部署已配置** — 新模型版本通过渐进式发布验证，异常自动回滚。
+- [ ] **模型版本管理已建立** — 模型文件与代码版本绑定，任意线上版本可追溯和回滚。
+
+### 4.3 监控与告警
+
+- [ ] **推理延迟监控已配置（MUST）** — P50 / P95 / P99 延迟实时追踪，超出 SLA 自动告警。
+- [ ] **模型质量监控已配置（MUST）** — 在线评估指标（如 BLEU / 人工评分 / 用户反馈）持续追踪。
+- [ ] **数据漂移检测已部署** — 输入特征分布与训练分布对比，PSI / KL 散度超阈值告警。
+- [ ] **Token 使用量监控已配置** — 输入/输出 Token 数统计，异常长请求自动截断。
+- [ ] **错误率监控已配置** — 模型推理错误（OOM / Timeout / 异常输出）分类统计。
+- [ ] **成本仪表盘已建立** — GPU 小时 / API 调用次数 / 存储成本实时可视化。
+
+### 4.4 回滚与应急
+
+- [ ] **回滚流程已定义（MUST）** — 一键回滚到前一稳定版本，回滚时间 < 5 分钟。
+- [ ] **降级方案已准备** — 模型不可用时降级到规则引擎/缓存结果/小模型。
+- [ ] **熔断机制已配置** — 连续错误超过阈值自动熔断，恢复探测已设置。
+- [ ] **应急预案已演练** — 模型宕机、GPU 不足、数据中毒等场景已进行应急演练。
+
+---
+
+## 5. 安全与合规 (Security & Compliance)
+
+### 5.1 Prompt 安全
+
+- [ ] **Prompt 注入防护已实现（MUST）** — 输入清洗、角色锁定、指令隔离等多层防护已部署。
+- [ ] **System Prompt 防泄漏** — 拒绝输出系统指令的防护已测试，红队测试已通过。
+- [ ] **越狱防护已部署** — 常见越狱 Prompt 库已测试，拦截率 > 95%。
+- [ ] **输出过滤已配置** — 有害内容（暴力/色情/歧视/个人信息）输出过滤器已启用。
+- [ ] **多轮对话上下文安全** — 跨轮次注入攻击已测试，上下文隔离已验证。
+
+### 5.2 数据安全
+
+- [ ] **训练数据不可逆提取（MUST）** — 模型无法通过 Prompt 逐字复述训练数据。
+- [ ] **推理日志脱敏** — 用户输入和模型输出日志已脱敏，PII 自动替换。
+- [ ] **API Key / Token 安全** — 密钥轮换策略已定义，泄漏检测已配置。
+- [ ] **数据传输加密** — 推理请求全链路 TLS 1.2+ 加密，内部通信 mTLS。
+- [ ] **访问控制已配置** — 模型 API 的 RBAC 已实现，审计日志已启用。
+
+### 5.3 偏见与公平性
+
+- [ ] **偏见评估已完成（MUST）** — 性别/种族/年龄/地域等维度的偏见测试已执行。
+- [ ] **公平性指标已定义** — Demographic Parity / Equal Opportunity / Calibration 已选择并量化。
+- [ ] **偏见缓解措施已实施** — 数据平衡/对抗训练/输出校准等至少一种措施已部署。
+- [ ] **偏见监控已上线** — 生产环境中持续监控模型输出的公平性指标。
+- [ ] **模型卡 (Model Card) 已编写** — 包含预期用途、已知局限、偏见评估结果、推荐使用范围。
+
+### 5.4 合规与治理
+
+- [ ] **AI 治理框架已对齐** — 符合 EU AI Act / NIST AI RMF / 国内《生成式 AI 管理办法》。
+- [ ] **可解释性方案已实现** — SHAP / LIME / Attention 可视化 / Chain-of-Thought 至少一种可用。
+- [ ] **人类监督机制已建立** — 高风险决策需人工复核，自动化决策有申诉通道。
+- [ ] **变更审计日志完整** — 模型变更、数据变更、配置变更全记录，保留 >= 1 年。
+
+---
+
+## 6. 成本与效率 (Cost & Efficiency)
+
+- [ ] **训练成本已核算** — GPU 小时数、云资源费用、人力成本已统计，ROI 已评估。
+- [ ] **推理成本已预算** — 单次推理成本和月度总预算已获审批，成本超限有告警。
+- [ ] **资源利用率已优化** — GPU 利用率 > 70%，无长期闲置的训练/推理资源。
+- [ ] **Spot / 竞价实例已评估** — 训练任务是否可用 Spot 实例降低成本已验证。
+- [ ] **模型瘦身已评估** — 量化/蒸馏/剪枝能否在可接受精度损失下降低推理成本。
+- [ ] **缓存策略已实现** — 高频相同请求的推理结果已缓存，避免重复计算。
+- [ ] **成本归因已建立** — 各业务线/团队的 AI 资源消耗可独立统计和归因。
+
+---
+
+## 7. 文档与知识管理 (Documentation & Knowledge)
+
+- [ ] **模型卡已编写（MUST）** — 包含模型用途、训练数据、性能指标、已知局限、伦理考量。
+- [ ] **API 文档已完善** — 推理 API 的输入/输出格式、错误码、速率限制已文档化。
+- [ ] **运维手册已编写** — 常见故障的 Runbook、扩缩容操作、日志查看方法已归档。
+- [ ] **实验记录已归档** — 所有实验的假设、方法、结果、结论已记录在实验追踪系统中。
+- [ ] **决策记录已保存** — 模型选型、架构选择、技术取舍的 ADR 已编写。
+- [ ] **培训材料已准备** — 新成员 Onboarding 所需的技术文档和操作指南已就绪。
+
+---
+
+## Agent Checklist
+
+- [ ] 阅读本检查清单后确认覆盖所有 MUST 项
+- [ ] 根据项目实际情况裁剪 SHOULD 项，裁剪理由已记录
+- [ ] 每阶段完成后更新检查清单状态，未通过项有明确的补偿时间表
+- [ ] 检查清单评审结果已纳入质量门禁判定