@huicai/cli 2026.714.0 → 2026.721.0

package/skills/ai-aiops/SKILL.md

@@ -0,0 +1,73 @@
+---
+name: ai-aiops
+description: 智能运维链 AIOps（建议权在 AI 决策权在人→场景成熟度判据表(告警聚类降噪/日志异常检测/根因推荐 top3/容量预测/Runbook RAG 问答)→排障 Copilot 纪律(只读自动/变更出建议单/结论附证据链)→数据地基=可观测质量→影子模式与信任分级推进→AI 判断也要评测集(历史事件回放)→P1 现场 AI 使用红线）。eng-ai 与 eng-ops 的智能运维孙链:告警风暴治理智能化、AI 辅助排障落地、值班 Copilot 建设、AIOps 立项评估时载入。
+version: 1.0.0
+---
+
+# 智能运维链（AIOps）
+
+eng-ai 与 eng-ops 共同的孙链。定位一句话:**AI 加持运维,不替代 oncall——建议权在 AI,决策权在人**
+(eng-automation 自愈白名单四级与 ai-agent 沙箱分级在运维域的合体)。
+
+## 场景成熟度判据表（按此排建设顺序,别一步登天）
+
+| 场景 | 成熟度 | 要点 |
+|---|---|---|
+| **告警聚类降噪** | 高,先做 | 同源告警合并+摘要进值班群;原始告警可下钻(降噪不吞信息) |
+| **Runbook 问答** | 高,先做 | Runbook/预案/档案 RAG 化(ai-rag)——"这个告警怎么处理"秒答,eng-docs 的 Runbook 质量决定上限 |
+| 日志异常检测 | 中 | 模板化聚类+新异常模式发现(ERROR 零容忍治理的放大器,eng-observability) |
+| 根因推荐 | 中 | **给 top3 嫌疑+证据,不给唯一结论**;变更关联第一权重(排障第一问的自动化) |
+| 容量预测 | 中 | 时序预测+业务日历因子(大促/月结);输出进扩容立项(eng-ops 水位月报增强) |
+| 自动修复 | 低,最后 | 严格走 eng-automation 白名单四级,只做演练过的预案触发建议 |
+
+判据总纲:**先做"信息压缩与检索"类(错了无害),后做"判断与建议"类(要评测),不做"自主变更"类**(建议单+人确认是上限)。
+
+## 排障 Copilot 纪律（AI 进值班室的规矩）
+
+- 引导式采集:AI 按决策树(ops-linux/infra-k8s/db-* 各链)引导执行诊断——**只读诊断可自动执行**(体检快照/日志检索/指标查询),每步动作与输出留痕(eng-ops 时间线自动记录,复盘白捡);
+- **变更类动作出建议单**:AI 产出"建议执行 X,依据 Y,风险 Z,回滚 W"格式的建议,人确认执行(eng-automation 有损级半自动);
+- **结论必附证据链**:每个判断挂上哪条日志/哪个指标/哪次变更(可点开验证)——无证据的"我认为是数据库问题"=噪音;查证据比信结论重要,值班员用 Copilot 的姿势是"帮我把证据摆出来";
+- 覆盖不了要明说:AI 明确说"超出已知模式,转人工"优于硬猜(ai-rag 无据说无据同源);
+- traceId 贯通:Copilot 顺着 traceId 自动串日志-指标-链路(eng-observability 三支柱的自动化行走)。
+
+## 数据地基（垃圾进垃圾出的运维版）
+
+AIOps 的上限=可观测数据质量(eng-observability 是硬前置):
+结构化日志与分级纪律(ERROR 刷屏的系统,异常检测全是噪音)/变更事件流完整(根因推荐吃变更关联,变更不打点=最大权重缺失)/
+拓扑与依赖数据(传播分析靠它,eng-reliability 强弱依赖标注复用)/告警带 Runbook 链接(问答链路的锚点);
+**先把 eng-observability 的纪律执行到位,再谈 AIOps**——观测烂而上 AI=给噪音配了个复读机。
+
+## 信任分级推进（AI 判断的上岗流程）
+
+**影子模式先行**:AI 判断只记录不推送,与人工处置对照跑 4–8 周→准确率达标(按场景定阈值)才进值班群;
+分级推进:摘要类(直接上)→建议类(影子转正)→触发类(演练过的预案+人确认,永远到此为止);
+**误报治理**:AI 建议也进疲劳度月检(eng-observability 告警三问适用于 AI 输出——值班员开始无视 Copilot=信任破产,先降频重校再谈恢复);
+反馈闭环:值班员对建议标注采纳/无用(一键),标注回流评测与调优(ai-eval 在线信号)。
+
+## 评测（AI 判断要考试,ai-eval 方法的运维卷）
+
+**历史事件回放**:拿过去 N 个月真实事件(eng-ops Postmortem 库)喂给 AI:根因推荐命中率(top3 含真根因的比例)/告警聚类纯度/Runbook 问答准确率(值班员盲评);
+评测集持续回流:每次新事件闭环后进回放集(复盘产出的新用途);
+版本纪律:模型/提示/规则变更跑回放集(eng-ai 三元组);
+指标对业务说人话:**"平均定位时长 MTTI 降了多少"是唯一有说服力的汇报口径**(eng-efficiency 度量精神,不是"我们上了大模型")。
+
+## P1 现场 AI 使用红线
+
+P1 战时 AI 建议**双人确认**再执行(恐慌时刻盲从 AI=新风险源,eng-ops 四眼在 AI 建议上加倍适用);
+指挥官唯一(ai 不是指挥官,信息汇总给指挥官);
+现场禁用未评测的新功能("死马当活马医"用实验性 AI=事故叠事故);
+复盘时 AI 生成时间线初稿(留痕数据自动串)+人核对签发——**AI 写初稿,人签字,永远如此**。
+
+## 落地路径
+
+从最疼处起步(告警风暴→先聚类降噪;排障慢→先 Runbook 问答);
+平台化衔接:告警->聚类摘要->Runbook 链接->一键诊断包(ops-linux)->建议单,一条流打通再谈第二条;
+成本与效果季度复盘(ai-mlops 成本归因+MTTI/告警量趋势,eng-automation ROI 公式)。
+
+**作业包**:`references/aiops-rollout-checklist.md`(场景成熟度评估表/Copilot 上岗纪律核查/影子转正记录/月检与回放评测登记)。
+
+## 使用纪律
+
+只读自动/建议确认/变更永不自主;结论必附证据链;影子转正凭数据;
+AI 输出进疲劳度月检;每次误导性建议回写坏例集——
+**AIOps 的成熟度=值班员的信任度×MTTI 降幅,两个数都要,只吹一个的都是 demo**。

package/skills/ai-aiops/references/aiops-rollout-checklist.md

@@ -0,0 +1,36 @@
+# AIOps 落地与上岗检查单（ai-aiops 落笔件:建议权在 AI,决策权在人）
+
+## 1. 场景选择评估(按成熟度排,先做信息压缩类)
+
+| 场景 | 成熟度 | 数据地基就绪?(可观测质量是前置) | 本期做? |
+|---|---|---|---|
+| 告警聚类降噪 | 高 | 告警结构化/分级规范: □ | |
+| Runbook RAG 问答 | 高 | Runbook 覆盖率 __%(P1P2 目标 100%,eng-docs) | |
+| 日志异常检测 | 中 | ERROR 零容忍治理过?(刷屏=复读机) □ | |
+| 根因推荐 top3 | 中 | 变更事件流完整打点: □;拓扑/依赖数据: □ | |
+| 容量预测 | 中 | 水位历史数据 ≥__ 月 | |
+| 自动修复 | 低,最后 | eng-automation 白名单四级就绪: □ | 仅演练过的预案触发建议 |
+
+## 2. Copilot 纪律核查(上值班室前)
+
+- [ ] 只读诊断自动执行清单:__(体检/日志检索/指标查询);每步留痕进事件时间线
+- [ ] **变更类动作只出建议单**:格式=建议 X/依据 Y/风险 Z/回滚 W,人确认执行
+- [ ] **结论必附证据链**(哪条日志/哪个指标/哪次变更,可点开)——无证据判断=噪音
+- [ ] 覆盖不了明说"超出已知模式转人工"(禁硬猜)
+- [ ] P1 现场:AI 建议双人确认;AI 不是指挥官;复盘时间线 AI 起草人签发
+
+## 3. 影子转正记录(信任分级推进)
+
+| 场景 | 影子开始 | 对照周数(4–8) | 准确率(vs 人工处置) | 转正判定(阈值 __) | 转正日期 |
+|---|---|---|---|---|---|
+
+## 4. 上岗后月检(AI 输出也过告警三问)
+
+- 建议采纳率 __%(值班员一键反馈回流评测);无用建议 TOP:__(降频/重校)
+- 值班员开始无视 Copilot? □否 □是→信任破产处置:降频+重校准再恢复
+- 历史事件回放评测:根因 top3 命中率 __%;Runbook 问答盲评 __ 分(ai-eval 方法)
+- **对外汇报口径:MTTI/MTTR 降了多少**(不是"我们上了大模型")
+
+## 5. 评测集维护
+
+- [ ] 新闭环事件按月入回放集(Postmortem 库的新用途);裁判/提示变更重跑基线

package/skills/ai-coding/SKILL.md

@@ -0,0 +1,89 @@
+---
+name: ai-coding
+description: AI 研发提效链（任务适配判据表(高/中/低适配)→上下文工程(项目说明文件/示例引导/仓库导航)→三种工作模式判据(补全/对话/代理)与任务书质量→质量纪律(全套门禁无豁免/自证循环陷阱)→安全合规(敏感数据/许可证/数据出域)→AI 产出的评审策略→提效度量(接受率/返工率/DORA)→反模式→团队落地路径）。eng-ai 与 eng-develop 共同的 AI 提效孙链:团队引入 AI 编码、用好 AI 助手、AI 代码质量治理、提效说不清楚时载入。
+version: 1.0.0
+---
+
+# AI 研发提效链
+
+eng-ai 与 eng-develop 共同的孙链:用 AI 加速**工程本身**。eng-develop 的 AI 结对纪律是红线总纲,本链是深耕:
+怎么把 AI 用出真提效,而不是"演示很酷,合入很慌,半年后没人说得清赚没赚"。
+
+## 任务适配判据表（把对的活派给 AI）
+
+| 适配度 | 任务类型 | 用法 |
+|---|---|---|
+| **高** | 样板代码(CRUD/DTO/客户端)/单测补齐/迁移改写(API 升级/语法现代化)/正则与 SQL 起草/代码解释与注释/日志埋点铺设 | 放心委托,验收把关 |
+| **中** | 业务逻辑实现/重构建议/排障分析/评审初筛 | 上下文喂足+小步验证,人主导方向 |
+| **低** | 安全敏感(鉴权/加密/资金)/核心算法/性能关键路径/架构决策 | 人写 AI 辅(解释、找茬、对照),**不许整段托管** |
+
+判据背后的逻辑:**错误好不好发现**——样板错了测试立刻红(可托管),鉴权错了半年后被入侵(人把关);
+一次性脚本与原型是 AI 甜区(丢弃型代码,质量门槛低收益高,office-automation 脚本三次法则的加速器)。
+
+## 上下文工程（垃圾进垃圾出的解法）
+
+- **项目说明文件**:把团队惯例沉淀成 AI 可读文档(架构导读/命名与分层规范/常用命令/禁区清单)放仓库固定位置——**这是 eng-docs 的 AI 化投资,一次编写全员受益**;新人文档与 AI 说明高度重合,一起维护;
+- 示例引导:给一个本仓库的好例子("参照 OrderService 的写法实现 RefundService")胜过十句抽象描述——**仓库里最好的代码就是最好的提示**;
+- 仓库导航:让 AI 先读相关文件再动手(接口定义/被调用方/相邻实现),禁"凭空写一个"(与 explain-codebase 摸落点同构);
+- 约束前置:验收标准/边界条件/禁改范围写进任务描述(eng-requirements 可判定性用在给 AI 派活上)。
+
+## 工作模式判据
+
+| 模式 | 适用 | 纪律 |
+|---|---|---|
+| 补全 | 顺手小段 | 读懂再采纳,连续盲按 Tab=债务打字机 |
+| 对话 | 设计讨论/排障推演/学新库 | 当聪明同事不当权威:结论要验证(信息源三手,eng-research) |
+| **代理(整任务委托)** | 边界清晰的完整任务 | **任务书质量决定产出**:目标+验收标准+约束+自验方式;小步交付(一次一个 PR 粒度);过程可中断可纠偏 |
+
+代理模式的任务书=需求工程微缩(eng-requirements):写不出可判定验收标准的任务,AI 做完你也判不了对错——先把任务书写好,这本身逼出了好的任务拆解(eng-planning WBS 同构)。
+
+## 质量纪律（AI 无豁免）
+
+AI 产出过**全套门禁**:测试/lint/评审一视同仁(cicd-pipeline 不认作者是谁);
+逐行读懂才提交(eng-develop 红线):署你名=你负责,"AI 写的"不是免责声明;
+**测试先行防自证循环**:让 AI 按错误实现补的测试会"验证"错误——正路:人定验收用例(或人审 AI 起草的用例)→AI 补实现;AI 同时写实现和测试时,测试要单独严审;
+边界亲自过(空/极值/并发/权限四件,eng-develop);
+生成量控制:一次生成过大=评审失效(eng-collaboration 400 行纪律对 AI 产出同样生效,拆批提交)。
+
+## 安全与合规
+
+敏感数据不入提示:密钥/客户数据/未公开代码按数据分级走(eng-security;外部模型 API=数据出域,内网部署模型的边界也要声明);
+生成代码的许可证意识:大段"看起来眼熟"的产出查重(开源代码许可证传染,eng-research 许可证关);
+依赖幻觉防护:AI 推荐的包先验存在性与健康度(**投毒者会抢注 AI 常幻觉的包名**,eng-security 供应链+dev-toolchain 私服白名单);
+AI 工具自身准入:公司审批的工具清单(影子 AI 治理),平台内置 AI 的数据边界文档化(arch-multitenant 租户数据不入他租户上下文)。
+
+## 评审适配（AI 时代的 code-review 增补）
+
+PR 标注 AI 参与度(评审人知情:重点抽查哪里);
+AI 大产出的评审策略:结构与关键路径人细审+全量测试兜底+**抽查深度反比于任务适配度**(样板扫过,鉴权逐行);
+用 AI 辅助评审:初筛(风格/明显 bug/遗漏用例提示)给人做减法,**批准权永远在人**(eng-automation 判定类只建议不决定);
+评审人陷阱:AI 代码"看起来很对"的流畅感会麻痹评审——对 AI 产出保持"新人代码"的警觉标准。
+
+## 提效度量（别靠体感吹提效）
+
+工具层:建议接受率/生成代码存活率(合入后 30 天未被重写);
+工程层:**返工率**(AI 参与 PR 的缺陷逃逸 vs 人写基线,eng-quality 逃逸分析加标签)/评审轮次;
+组织层:DORA 前置时间与吞吐趋势(eng-efficiency,标注 AI 推广时间线做前后对照);
+**度量纪律承 eng-efficiency**:不做个人排名(接受率 KPI 化=盲按 Tab 竞赛),看团队与趋势;
+成本对照:工具费用 vs 节省工时(eng-automation ROI 公式),季度复盘。
+
+## 反模式黑名单
+
+全托不验(测试红了怪 AI)/上下文饥饿(不给约束要完美产出)/用 AI 掩盖不理解(读不懂也合入,债务转嫁给下一个读者)/
+提示词囤积症(收藏一百个模板,不建团队评测与说明文件,ai-prompt 同病)/
+AI 依赖萎缩(新人只会问 AI 不会读代码——带教要求"先自己定位再对 AI 求证",eng-collaboration 新人设计)/
+一切任务 AI 化(低适配任务硬塞,返工吃掉提效)。
+
+## 团队落地路径
+
+试点(1–2 个组,选高适配任务场景,基线数据先采)→ 规范(项目说明文件+适配判据表本地化+安全清单)→
+推广(经验分享会+好任务书模板入库,knowledge-sop/eng-collaboration 分享机制)→ 度量复盘(季度,eng-efficiency 循环);
+经验库沉淀:好用的任务书/翻车案例/各模块适配度标注——**AI 提效的复利在团队知识库,不在个人手感**。
+
+**作业包**:`references/task-brief-template.md`(适配度速判卡/代理模式任务书模板/产出验收单/项目说明文件骨架/翻车登记)。
+
+## 使用纪律
+
+AI 产出全套门禁无豁免;低适配任务不托管;任务书带可判定验收标准;
+敏感数据与依赖幻觉双防;提效用数据说话;
+每次 AI 相关翻车(幻觉包/自证循环/越权生成)回写反模式清单——**把 AI 当最有天赋也最需要流程约束的队友**。

package/skills/ai-coding/references/task-brief-template.md

@@ -0,0 +1,48 @@
+# AI 任务书模板与适配速判卡（ai-coding 落笔件:任务书质量决定产出质量）
+
+## 1. 适配度速判(先派对活)
+
+| 信号 | 判定 |
+|---|---|
+| 错了测试立刻红(样板/单测/迁移/正则/SQL 起草/解释注释) | **高适配**:放心委托,验收把关 |
+| 业务逻辑,需上下文喂足 | 中适配:小步验证,人主导方向 |
+| 错了半年后才炸(鉴权/加密/资金/核心算法/性能关键) | 低适配:人写 AI 辅,**不整段托管** |
+
+## 2. 代理模式任务书(委托整任务前填;写不出验收标准=你也判不了对错)
+
+```
+【目标】<一句话,做成什么样>
+【上下文】<相关文件: __;参照实现: 参照 __ 的写法(仓库里最好的代码=最好的提示);
+         项目约定: 见 <项目说明文件路径>>
+【验收标准】<可判定,Gherkin 风格 2–5 条——与 eng-requirements 同构>
+- 跑通 make test 且新增用例 __ 全绿
+- __
+【约束】<禁改范围: __;技术约束: __;禁引入新依赖(要引先报)>
+【自验方式】<AI 自己怎么验证: 跑哪个命令/看什么输出>
+【交付形态】<一个 PR 粒度;>400 行拆批>
+```
+
+## 3. 产出验收单(AI 无豁免)
+
+- [ ] 全套门禁过(测试/lint/评审);**逐行读懂才提交**(署你名你负责)
+- [ ] 边界四件亲自过:空/极值/并发/权限
+- [ ] 测试非自证循环:验收用例人定(或人审 AI 起草),再让 AI 补实现
+- [ ] AI 推荐的新依赖已验存在性与健康度(幻觉包投毒防线)
+- [ ] 大段"眼熟"产出查过许可证风险
+- [ ] PR 标注 AI 参与度(评审人知情,抽查深度反比于适配度)
+
+## 4. 项目说明文件骨架(AI 可读的团队惯例,与新人文档合并维护)
+
+```markdown
+# 项目速览(给 AI 与新人)
+- 架构一句话与目录导读: __
+- 命名与分层规范: __ ;错误处理惯例: __
+- 常用命令: make setup/test/run
+- 禁区: 禁改 __;禁引入 __;安全红线见 security-review-checklist
+- 好例子索引: 新写 service 参照 __;新写用例参照 __
+```
+
+## 5. 翻车登记(团队经验库,knowledge-sop)
+
+| 日期 | 翻车类型(幻觉包/自证循环/上下文饥饿/全托不验) | 案例 | 规避动作入模板? |
+|---|---|---|---|

package/skills/ai-compliance/SKILL.md

@@ -0,0 +1,74 @@
+---
+name: ai-compliance
+description: 大模型合规链（toC/toB 义务分野→双备案判据(算法备案/生成式 AI 备案)→语料合规(来源/知产/个信授权链)→内容安全双审(机审+人审+举报响应)→AI 生成内容标识义务(显式+隐式)→上线安全评估与应急处置→对话数据用于训练的授权→义务到工程能力映射表）。eng-ai 的合规孙链:AI 功能要上线对外、备案材料准备、内容安全整改、"AI 生成要不要标"时载入。法规更新快,以当日文本为准,本链管工程落点。
+version: 1.0.0
+---
+
+# 大模型合规链
+
+eng-ai 的合规孙链。中国生成式 AI 的监管框架(生成式 AI 服务管理办法/算法推荐规定/深度合成规定/
+AI 生成合成内容标识办法等)更新节奏快——**本链管"义务怎么变成系统能力",条文细节以当日法规文本与属地监管口径为准**(legal-chain/risk-compliance 衔接)。
+
+## 第一判据:toC 还是 toB(义务分野)
+
+**面向公众提供**生成式 AI 服务=义务全套(备案/标识/内容审核/举报通道);
+企业内部使用、toB 交付给企业自用=义务显著减轻(但数据安全与个保义务不减,且**客户可能要求你提供备案证明**——私有化场景 env-private-deploy 常问);
+边界情形要过法务:嵌在产品里的 AI 能力对外可用=大概率算"面向公众";
+**先定性再立项**,定性决定合规成本量级(sec-compliance 定级判据同构)。
+
+## 双备案判据(工程侧的配合面)
+
+算法备案(具有舆论属性或社会动员能力的算法推荐/生成合成类)与生成式 AI 服务上线备案——是否触发、走哪条,法务定;
+工程配合材料高频项:算法机制机理说明(模型来源/训练方式/干预策略,ai-mlops 三元组档案是底稿)/
+安全评估报告(内容安全测试:ai-eval 对抗与拒答象限的成绩单)/
+拦截与应急机制说明(见双审节)/数据来源说明(见语料节);
+**材料与真实系统一致**:备案说明的审核流程、标识方式要与线上实现对得上(检查会核)。
+
+## 语料与训练数据合规
+
+来源合法性台账:每批语料记录来源/授权依据(采购协议/开源许可/自有数据)——**说不清来源的语料不入训练**;
+知识产权:版权内容的授权范围(训练用途是否覆盖);
+个人信息:授权链完整(收集时的用途声明是否覆盖训练,个保法);**对话数据用于训练/优化=需用户明示授权**(协议明示+可关闭开关,平台设置里给出口);
+标注质量:标注规范与抽检记录(ai-eval 人工标注纪律的合规面);
+微调场景同规(ai-mlops 数据回流管道的合规闸:回流→脱敏→授权核验→才入训练池)。
+
+## 内容安全双审（机审+人审,工程主体）
+
+- **机审**:输入侧(提示词敏感检测)+输出侧(生成内容审核:文本分类/敏感词/图像审核 ai-multimodal)——审核服务接入统一收口(ai-llm-app 抽象层的审核面),超时与降级策略(审不过来是放行还是拦截?**默认拦截,业务签认才放行**);
+- **人审**:抽样复核(比例与记录)+机审边界样本转人审队列(ai-multimodal 置信度分级同构);
+- 举报与申诉:用户举报通道(处置时限记录)+误拦申诉流程(eng-ux 报错三要素:告知拦了+为什么+怎么申诉);
+- **留存与可追溯**:审核记录/生成记录留存(期限按法规)——traceId 贯穿生成与审核链路(eng-observability);
+- 拦截策略分级:硬拦(违法违规)/软处理(改写引导/免责提示)/放行,策略表有 Owner 有版本(ai-prompt 资产纪律同构)。
+
+## AI 生成内容标识（显式+隐式双标识）
+
+**显式标识**:生成内容对用户可感知的提示(界面标注"AI 生成"/音视频起始提示)——产品设计项(eng-ux),截图留证;
+**隐式标识**:文件元数据/水印按标识办法落(图片视频元数据写入服务商与内容编号类信息,以现行技术标准为准);
+传播场景:内容可被下载/转发的,标识要随内容走(导出链路检查——**导出成 Word/图片后标识还在吗**,办公平台高频场景);
+API 输出给第三方:协议中约定标识义务传导。
+
+## 上线评估与应急
+
+上线前安全评估:内容安全评测集全量跑(ai-eval 对抗/敏感/拒答象限=合规评测的家,**评测报告即备案材料底稿**);
+应急处置:违规内容处置时限/一键下线能力(eng-release 开关)/舆情联动路径;
+定期复评:模型/提示大改后重跑安全评测(eng-ai 三元组纪律的合规面);
+未成年人保护:适用场景的防沉迷与内容分级(产品判定)。
+
+## 义务→工程能力映射表（立项排期用,eng-planning 输入）
+
+| 义务 | 系统能力 | 落点 |
+|---|---|---|
+| 内容审核 | 机审接入+人审队列+记录留存 | ai-llm-app 收口/ai-multimodal 复核界面 |
+| 标识 | 显式 UI+隐式元数据+导出链路保持 | eng-ux/文件生成管线 |
+| 可追溯 | 生成与审核日志留存+traceId | eng-observability |
+| 备案材料 | 三元组档案/评测报告/机制说明 | ai-mlops/ai-eval |
+| 用户权利 | 训练授权开关/举报申诉通道 | 产品设置/工单流 |
+| 应急 | 一键下线开关/处置 SOP | eng-release/eng-ops |
+
+## 使用纪律
+
+合规义务进 AI 特性准入清单(ai-feature-checklist 的合规节引用本链);
+审核策略与标识实现有版本有留证;备案说明与线上实现一致性季度核对;
+**法规以当日文本为准,拿不准过法务**——本链的价值是让法务的要求"接得住、落得快"。
+
+**作业包**:`references/genai-compliance-checklist.md`(定性判定卡/义务工程映射逐项勾/备案材料清单/双审与标识核查/上线合规单)。

package/skills/ai-compliance/references/genai-compliance-checklist.md

@@ -0,0 +1,40 @@
+# 生成式 AI 合规检查单（ai-compliance 落笔件;法规更新快,以当日文本与法务口径为准）
+
+## 1. 定性判定卡(先定性再排期)
+
+- 服务形态:□toC 面向公众 □toB 企业自用 □内部工具 □嵌入产品对外可用(大概率按面向公众)
+- 法务结论:算法备案 □需 □不需;生成式 AI 备案 □需 □不需(依据:__;日期:__)
+- 客户侧要求(私有化):客户要备案证明? □是(材料:__) □否
+
+## 2. 义务→工程能力逐项勾
+
+| 义务 | 系统能力 | 落点/状态 |
+|---|---|---|
+| 输入侧审核 | 提示词敏感检测(超时策略:默认拦截) | □ |
+| 输出侧机审 | 文本/图像审核接入(统一收口 ai-llm-app) | □ |
+| 人审 | 抽样比例__%+边界样本转人审队列+记录 | □ |
+| 举报与申诉 | 通道可用+处置时限__+记录留存 | □ |
+| **显式标识** | 界面"AI 生成"标注(截图留证:__) | □ |
+| **隐式标识** | 元数据/水印按现行标识办法(实现:__) | □ |
+| 导出链路标识保持 | 导出 Word/图片/PDF 后标识仍在(办公场景高频!) | □ |
+| 可追溯 | 生成+审核日志留存__天,traceId 贯穿 | □ |
+| 训练数据授权 | 对话用于训练:协议明示+**可关闭开关** | □ |
+| 一键下线 | 违规应急开关(eng-release)演练日期__ | □ |
+| 未成年人保护 | 适用? □否 □是(措施:__) | □ |
+
+## 3. 备案材料清单(工程侧供件)
+
+- [ ] 算法机制机理说明底稿(模型来源/训练方式/干预策略——ai-mlops 三元组档案导出)
+- [ ] 安全评估报告(ai-eval 对抗/敏感/拒答象限成绩+评测集说明)
+- [ ] 语料来源台账(每批:来源/授权依据/个信处理说明)
+- [ ] 审核机制说明(双审流程图+拦截策略版本)
+- [ ] 应急处置 SOP(处置时限/下线能力/联系人)
+- [ ] **一致性核对**:材料描述与线上实现一致(季度复核日期:__)
+
+## 4. 上线合规单(AI 特性准入的合规节,配合 ai-feature-checklist)
+
+- [ ] 定性结论与备案状态确认  - [ ] 双审接入且降级策略=默认拦截(放行需业务签认:__)
+- [ ] 双标识落地且导出链路验证过  - [ ] 安全评测全量通过(报告:__)
+- [ ] 训练授权开关可用  - [ ] 举报通道与应急开关演练过
+
+> 结论: □可上线 □带条件 □阻断。法务会签:__ 日期:__

package/skills/ai-eval/SKILL.md

@@ -0,0 +1,80 @@
+---
+name: ai-eval
+description: AI 评测链（评测集三层建设(冒烟/回归/全量)与坏例回流→覆盖四象限(常态/边界/对抗/拒答)→指标设计(任务定制+幻觉率+拒答正确率+格式合规)→LLM-as-judge 校准纪律→人工标注一致性→变更回归防线与劣化阻断→在线信号回流→评测反模式）。eng-ai 的评测孙链:建评测体系、"感觉变笨了"定量化、模型/提示变更前把关、评测被质疑时载入。
+version: 1.0.0
+---
+
+# AI 评测链
+
+eng-ai 的评测孙链——**AI 工程的地基**:没有评测,一切优化都是玄学,一切"变好了"都是错觉。
+类比:评测集之于 AI 特性=测试用例之于代码(eng-quality 的 AI 对应物),同源、同权重、同纪律。
+
+## 评测集三层建设
+
+| 层 | 规模参考 | 用途 | 运行时机 |
+|---|---|---|---|
+| 冒烟 | 20–50 条 | 核心场景快验 | 每次提示/参数改动,分钟级 |
+| 回归 | 200–500 条 | 全场景覆盖 | 合入前/模型切换/每日 |
+| 全量 | 1000+ 条(攒出来的) | 深度对比与选型 | 大版本/换模型评估 |
+
+来源优先级:**真实数据脱敏 > 专家构造 > 模型合成**(合成例的分布偏差要认,只做补充;合成时用与被评不同的模型);
+**坏例回流是评测集的生命线**:线上失败案例每周入集(脱敏+标注期望),评测集三个月不更新=评了个过去。
+
+## 覆盖四象限（建集时对照,别只收"好答的题"）
+
+常态(高频典型问题)/边界(超长输入/多义/错别字/格式怪异/多语混杂)/
+**对抗**(提示注入样本/诱导越界/敏感话题擦边,eng-security 对 AI 的延伸)/
+**拒答**(就该说"不知道/不能做"的题:知识库外问题/越权请求/超能力任务)——
+拒答象限最易漏:只测"答得对",不测"该拒不拒"=幻觉与越界全放行(ai-rag 无据说无据的验证面)。
+
+## 指标设计（任务定制,拒绝单一总分）
+
+- 客观可算的优先:分类/抽取类→准确率/F1;结构化输出→schema 合规率;RAG→检索命中率与生成忠实度分开(ai-rag 分段纪律);Agent→任务成功率+步数成本(ai-agent);
+- 生成类维度化打分(1–5 分制):事实正确/相关完整/格式合规/语气得体——**维度分开报,总分掩盖"事实错了但文笔好"**;
+- 负向指标必列:幻觉率(编造检出)/拒答错误两向(该拒不拒+不该拒瞎拒)/越界率(超出授权范围的输出);
+- 每个指标钉口径与目标值(进验收标准,eng-requirements;"准确率高"不是目标,"≥92%"才是)。
+
+## LLM-as-judge（规模化评测的主力,校准是前提）
+
+- **先校准后信任**:抽 50–100 条人工标注,算裁判与人的一致率(≥85% 才可托管;不达标改评分提示再校准)——未校准的裁判分=另一种玄学;
+- 评分提示设计:维度化+每档给判据描述与示例("5 分=所有事实可溯源;3 分=主体正确但有未溯源细节…")+要求先给理由再给分;
+- 偏置防护:裁判模型≠被评模型(自评自恋);对比评测随机换位(A/B 位置偏好);长度偏好意识(裁判偏爱长答案,判据里写明"简洁不扣分");
+- 裁判也要版本化:裁判模型/提示变了,历史分数不可直接对比(重跑基线,eng-efficiency 口径版本同则);
+- 廉价优先:能用规则断言的(格式/必含字段/长度)不上裁判——**裁判是补充不是替代**。
+
+## 人工评测
+
+抽样策略:分层抽(按场景/难度),别全抽简单题;
+标注规范先行:判据文档+边界案例讨论对齐,再开标;
+一致性检验:重叠标注算一致率(Kappa 意识),一致率低=判据模糊,先修判据再扩量;
+盲评纪律:标注人不知道答案来自哪个版本(防立场分);
+人工评测贵,用在三处:裁判校准/关键版本决策/坏例深析。
+
+## 回归防线（AI 的 CI）
+
+**三元组任何变更必跑回归**:模型版本/提示/参数(温度、topK…)——变一个跑一遍(eng-ai 纪律的执行面);
+**作业包**:`scripts/eval-runner.py`(离线评测执行器:jsonl 评测集+任意命令式被评对象,exact/contains/regex 判定、按 tag 分组统计短板象限、`--baseline` 输出新挂/修复对比,退出码即劣化阻断信号——评测集回归防线开箱即用);
+劣化阻断:关键指标跌超阈值(如 -2pt)阻断合入(类比 eng-performance 性能基线门禁);
+非确定性处理:固定采样参数评测(温度调低)或同题多跑取均值;波动带先测出来(基线的置信区间),别把噪声当劣化;
+结果留档:每次评测的 三元组版本+分数+坏例清单 入库,趋势可查(ai-mlops 版本管理联动)。
+
+## 在线评测（离线过关≠线上真行）
+
+灰度对比:新旧版本按流量分桶,业务指标+质量抽评对照(eng-release 金丝雀的 AI 观察项);
+**隐式信号采集**:用户重试/改写提问/中途放弃/复制采纳/点踩——比"满意度问卷"诚实;信号突变=质量告警(ai-mlops 监控);
+抽样人审例程:线上真实请求周度抽检(合规脱敏后),分数入趋势;
+在线坏例回流闭环(见三层建设)——**离线评测集与在线分布的偏差本身要监控**(评测集老化信号)。
+
+## 评测反模式
+
+用调优时看过的例子当评测集(既当教材又当考卷=过拟合自欺);
+单一总分决策(维度劣化被平均掩盖);评测集常年不更新(评过去不评现在);
+只测正确性不测安全性(对抗与拒答象限缺失);
+拿裁判分当绝对真值(它是有偏估计,重要决策校验人工);
+评测通过就不管线上(离线在线两张皮)。
+
+## 使用纪律
+
+无评测集不上线(eng-ai 红线);变更必回归、劣化必阻断;坏例周回流、裁判季校准;
+评测数据含用户内容的按数据分级管理(eng-security);
+**评测体系的成熟度=从"感觉变笨了"到"回归集第 47/52/61 题从 5 分掉到 2 分"的距离**。

package/skills/ai-eval/scripts/eval-runner.py

@@ -0,0 +1,150 @@
+#!/usr/bin/env python3
+# 离线评测执行器（ai-eval 回归防线的可执行骨架）。python3 stdlib,零依赖,离线可用。
+# 评测集格式 cases.jsonl,每行一个 JSON:
+#   {"id":"c1","input":"问题文本","expected":"期望","match":"exact|contains|regex","tags":["rag","边界"]}
+#   match 缺省=contains;expected 可为列表(命中其一即过=多参考答案)。
+# 被评对象 = 任意命令(--cmd):用例 input 从 stdin 喂入,stdout 即回答——模型调用、RAG 管道、
+#   规则脚本都能包成命令,评测器不关心里面是什么(三元组变更后重跑对比,ai-eval 纪律)。
+# 用法:
+#   python3 eval-runner.py run --cases cases.jsonl --cmd "python3 my_predict.py" [--out results.jsonl]
+#   python3 eval-runner.py run --cases cases.jsonl --cmd ... --baseline prev.jsonl   # 回归对比:新挂案例=劣化阻断依据
+#   python3 eval-runner.py --selftest
+# 退出码: 0=通过(无新挂) 1=有失败/劣化 2=参数错。
+import argparse
+import json
+import re
+import subprocess
+import sys
+import time
+
+
+def load_jsonl(path):
+    out = []
+    with open(path, encoding="utf-8") as f:
+        for i, ln in enumerate(f, 1):
+            ln = ln.strip()
+            if not ln or ln.startswith("#"):
+                continue
+            try:
+                out.append(json.loads(ln))
+            except json.JSONDecodeError as e:
+                print(f"[错误] {path}:{i} 不是合法 JSON: {e}")
+                sys.exit(2)
+    return out
+
+
+def judge(expected, match, answer):
+    exps = expected if isinstance(expected, list) else [expected]
+    for e in exps:
+        e = str(e)
+        if match == "exact" and answer.strip() == e.strip():
+            return True
+        if match == "contains" and e in answer:
+            return True
+        if match == "regex" and re.search(e, answer):
+            return True
+    return False
+
+
+def run_case(cmd, case, timeout):
+    t0 = time.time()
+    try:
+        p = subprocess.run(cmd, shell=True, input=str(case.get("input", "")),
+                           capture_output=True, text=True, timeout=timeout)
+        ans = p.stdout
+        err = "" if p.returncode == 0 else f"exit={p.returncode} {p.stderr[-200:]}"
+    except subprocess.TimeoutExpired:
+        ans, err = "", f"timeout>{timeout}s"
+    ms = int((time.time() - t0) * 1000)
+    ok = (not err) and judge(case.get("expected", ""), case.get("match", "contains"), ans)
+    return {"id": case.get("id"), "pass": ok, "ms": ms, "error": err or None,
+            "answer_head": ans[:200], "tags": case.get("tags", [])}
+
+
+def summarize(results, baseline_path):
+    total = len(results)
+    passed = sum(1 for r in results if r["pass"])
+    print(f"== 评测汇总: {passed}/{total} 通过 ({passed * 100 // max(total, 1)}%) ==")
+    by_tag = {}
+    for r in results:
+        for t in (r["tags"] or ["无标签"]):
+            s = by_tag.setdefault(t, [0, 0])
+            s[1] += 1
+            s[0] += r["pass"]
+    for t, (p_, n) in sorted(by_tag.items()):
+        mark = "  <== 短板象限" if n and p_ / n < 0.7 else ""
+        print(f"  [{t}] {p_}/{n}{mark}")
+    fails = [r for r in results if not r["pass"]]
+    for r in fails[:10]:
+        why = r["error"] or f"未命中期望;回答头: {r['answer_head'][:80]!r}"
+        print(f"  ✗ {r['id']}: {why}")
+    if len(fails) > 10:
+        print(f"  ...(其余失败 {len(fails) - 10} 条见结果文件)")
+    rc = 0 if not fails else 1
+    if baseline_path:
+        base = {r["id"]: r["pass"] for r in load_jsonl(baseline_path)}
+        new_fail = [r["id"] for r in results if not r["pass"] and base.get(r["id"]) is True]
+        fixed = [r["id"] for r in results if r["pass"] and base.get(r["id"]) is False]
+        print(f"== 回归对比: 新挂 {len(new_fail)} / 修复 {len(fixed)} (基线 {len(base)} 条) ==")
+        if new_fail:
+            print(f"  新挂案例(劣化,阻断依据): {', '.join(map(str, new_fail[:20]))}")
+            rc = 1
+        if fixed:
+            print(f"  修复案例: {', '.join(map(str, fixed[:20]))}")
+    return rc
+
+
+def cmd_run(a):
+    cases = load_jsonl(a.cases)
+    if not cases:
+        print("[错误] 评测集为空")
+        return 2
+    results = []
+    for i, c in enumerate(cases, 1):
+        r = run_case(a.cmd, c, a.timeout)
+        results.append(r)
+        sys.stderr.write(f"\r  进度 {i}/{len(cases)} {'✔' if r['pass'] else '✗'} {c.get('id')}   ")
+    sys.stderr.write("\n")
+    if a.out:
+        with open(a.out, "w", encoding="utf-8") as f:
+            for r in results:
+                f.write(json.dumps(r, ensure_ascii=False) + "\n")
+        print(f"(结果已写 {a.out} —— 留档做下次 --baseline,ai-eval 结果留档纪律)")
+    return summarize(results, a.baseline)
+
+
+def selftest():
+    import tempfile, os
+    with tempfile.TemporaryDirectory() as d:
+        cases = os.path.join(d, "cases.jsonl")
+        with open(cases, "w", encoding="utf-8") as f:
+            f.write(json.dumps({"id": "t1", "input": "hello", "expected": "HELLO", "match": "contains", "tags": ["常态"]}) + "\n")
+            f.write(json.dumps({"id": "t2", "input": "abc", "expected": "^ABC$", "match": "regex", "tags": ["边界"]}) + "\n")
+            f.write(json.dumps({"id": "t3", "input": "x", "expected": "不可能命中", "tags": ["拒答"]}) + "\n")
+        ns = argparse.Namespace(cases=cases, cmd="tr a-z A-Z", timeout=10, out=os.path.join(d, "r.jsonl"), baseline=None)
+        rc = cmd_run(ns)
+        assert rc == 1, "t3 应失败"
+        ns2 = argparse.Namespace(cases=cases, cmd="tr a-z A-Z", timeout=10, out=None, baseline=ns.out)
+        rc2 = cmd_run(ns2)
+        assert rc2 == 1
+    print("selftest ok: 判定/回归对比/标签分组均正常")
+    return 0
+
+
+def main():
+    if "--selftest" in sys.argv:
+        sys.exit(selftest())
+    p = argparse.ArgumentParser(description="离线评测执行器(评测集先行,无评测集不上线)")
+    sub = p.add_subparsers(dest="cmd_name", required=True)
+    r = sub.add_parser("run")
+    r.add_argument("--cases", required=True, help="评测集 jsonl")
+    r.add_argument("--cmd", required=True, help="被评命令(stdin 进 stdout 出)")
+    r.add_argument("--timeout", type=int, default=60, help="单例超时秒(LLM 按载荷放宽)")
+    r.add_argument("--out", help="结果落盘 jsonl(下次做 baseline)")
+    r.add_argument("--baseline", help="上次结果 jsonl,输出新挂/修复对比")
+    a = p.parse_args()
+    sys.exit(cmd_run(a))
+
+
+if __name__ == "__main__":
+    main()