@sokeai/cli 1.0.65 → 1.0.67

package/skills/ai-coach-director/references/cases/AI/351/231/252/347/273/203/346/225/260/346/215/256/346/214/207/346/240/207/344/270/216/347/234/213/346/235/277/345/217/243/345/276/204/345/272/223.md

@@ -0,0 +1,282 @@
+# AI陪练数据指标与看板口径库
+
+> 用途：统一AI陪练上线后的数据指标、统计口径和看板解读方式，让客户能看懂“用了以后有没有提升”。  
+> 核心原则：看板不是堆数据，而是支撑一个清晰叙事：员工能力是否提升、训练是否有效、业务短板在哪里、下一步该怎么改。
+
+---
+
+## 一、看板设计总原则
+
+1. **指标服务管理动作**：每个指标都要对应一个管理动作，否则不要放上看板。
+2. **少看单日波动，多看趋势**：建议按周/月平均展示，避免每日随机波动误导判断。
+3. **区分训练数据和正式数据**：测试账号、内部测试、演示数据要剔除。
+4. **区分参与度和能力值**：练得多不等于能力强，分数高也不等于业务结果好。
+5. **必须能定位短板**：只看总分没有价值，要能下钻到维度和问题。
+6. **客户能复述口径**：指标定义不能复杂到客户自己解释不了。
+
+---
+
+## 二、核心指标分层
+
+| 层级 | 指标类型 | 代表问题 | 示例指标 |
+|---|---|---|---|
+| L1 使用指标 | 有没有用起来 | 员工是否参与训练 | 登录人数、训练人数、训练次数 |
+| L2 过程指标 | 怎么练的 | 训练是否充分 | 人均训练次数、平均训练时长、完成率 |
+| L3 能力指标 | 练得怎么样 | 能力是否提升 | 平均分、通过率、维度得分 |
+| L4 问题指标 | 短板在哪里 | 哪些能力弱 | 高频扣分项、红线触发、异议处理得分 |
+| L5 改善指标 | 是否变好了 | 训练前后变化 | 分数趋势、复测提升率、低分人群改善 |
+| L6 管理指标 | 谁需要干预 | 管理动作对象 | 未训练名单、低分名单、退步名单 |
+
+---
+
+## 三、使用类指标
+
+### 1. 训练覆盖率
+
+```text
+训练覆盖率 = 完成至少1次训练的人数 / 应训练总人数
+```
+
+用途：判断项目有没有真正铺开。
+
+解读：
+- 低于50%：上线推动不足，优先做组织动员。
+- 50%-80%：已启动，但需要主管督促。
+- 高于80%：覆盖较好，可以进入能力分析。
+
+### 2. 人均训练次数
+
+```text
+人均训练次数 = 总训练次数 / 已训练人数
+```
+
+用途：判断员工是否只是“点了一下”，还是反复训练。
+
+解读：
+- 1次左右：偏体验，不足以判断能力提升。
+- 2-3次：可做初步能力判断。
+- 3次以上：可观察训练改善趋势。
+
+### 3. 训练完成率
+
+```text
+训练完成率 = 完成评分的训练次数 / 发起训练次数
+```
+
+用途：判断是否有大量中断、卡顿或放弃。
+
+低完成率可能原因：
+- 入口难找
+- 语音识别差
+- 对话太长
+- 评分等待太久
+- 学员不知道怎么练
+
+---
+
+## 四、能力类指标
+
+### 1. 平均得分
+
+```text
+平均得分 = 有效训练总分平均值
+```
+
+注意：
+- 不建议只看总平均分。
+- 必须同时看训练次数、样本量和维度分。
+- 演示/测试数据要剔除。
+
+### 2. 通过率
+
+```text
+通过率 = 达到通过分数线的人次 / 有效训练人次
+```
+
+用途：判断整体是否达到基本训练要求。
+
+注意：通过率过高可能不是能力强，而是场景太简单或评分过松。
+
+### 3. 维度得分
+
+建议维度：
+- 开场说明
+- 破冰寒暄
+- KYC信息采集
+- 需求挖掘
+- 异议处理
+- 方案推荐
+- 下一步促成
+- 合规表达
+
+用途：定位能力短板。
+
+### 4. 核心目标达成率
+
+```text
+核心目标达成率 = 完成关键业务目标的训练次数 / 有效训练次数
+```
+
+示例：
+- 电话约访：是否约定明确上门/复谈时间。
+- 面访销售：是否完成关键KYC并确认下一步。
+- B2B谈判：是否争取复谈或守住价格边界。
+- 药房销售：是否完成问诊并合规推荐。
+
+这是比总分更重要的指标。
+
+---
+
+## 五、问题类指标
+
+### 1. 高频扣分项
+
+用途：找到员工共性短板。
+
+示例展示：
+| 扣分项 | 出现次数 | 占比 | 管理动作 |
+|---|---:|---:|---|
+| 未确认下一步 | 128 | 42% | 强化促成训练 |
+| 未询问禁忌 | 96 | 31% | 补药房问诊课程 |
+| 价格解释空泛 | 82 | 27% | 增加价值论证训练 |
+
+### 2. 红线触发次数
+
+用途：识别合规风险。
+
+红线示例：
+- 金融承诺收益
+- 医药夸大疗效
+- B2B越权承诺价格
+- 专业咨询保证结果
+
+### 3. 异议处理失败率
+
+```text
+异议处理失败率 = 未有效回应客户异议次数 / 触发异议总次数
+```
+
+用途：判断员工是否能应对真实客户挑战。
+
+---
+
+## 六、改善类指标
+
+### 1. 首次训练分 vs 最近训练分
+
+```text
+提升值 = 最近一次得分 - 首次得分
+```
+
+用途：证明个人训练是否有效。
+
+### 2. 周均分趋势
+
+建议展示方式：
+- 按周取平均分
+- 点状连线
+- 标注训练人数和样本数
+
+不建议：
+- 按日大折线展示
+- 不标样本量
+- 把测试数据混入正式数据
+
+### 3. 复测提升率
+
+```text
+复测提升率 = 复测得分高于首次得分的人数 / 有复测记录的人数
+```
+
+用途：证明反复训练价值。
+
+---
+
+## 七、管理类指标
+
+| 指标 | 管理动作 |
+|---|---|
+| 未训练名单 | 通知主管督促 |
+| 低分名单 | 安排专项训练/辅导 |
+| 退步名单 | 查看训练记录，判断是否敷衍或场景变难 |
+| 高频红线人员 | 合规专项培训 |
+| 高分低频人员 | 鼓励分享经验 |
+| 高频低分人员 | 需要人工辅导，不只是继续刷题 |
+
+---
+
+## 八、不同角色看板
+
+### 1. 高层/项目负责人看板
+
+关注：
+- 覆盖率
+- 总训练次数
+- 通过率
+- 能力提升趋势
+- 关键短板TOP5
+
+不建议展示过细的单条对话。
+
+### 2. 培训负责人看板
+
+关注：
+- 维度得分
+- 高频扣分项
+- 低分样本
+- 复测提升率
+- 课程改进建议
+
+### 3. 一线主管看板
+
+关注：
+- 本组训练完成情况
+- 未训练人员
+- 低分人员
+- 个人维度短板
+- 可辅导建议
+
+### 4. 学员个人看板
+
+关注：
+- 本次得分
+- 维度表现
+- 具体扣分点
+- 改进建议
+- 下次训练目标
+
+---
+
+## 九、数据清洗规则
+
+| 数据类型 | 是否纳入正式统计 |
+|---|---|
+| 客户正式学员训练 | 是 |
+| 实施人员测试 | 否 |
+| 演示账号数据 | 否 |
+| 明显空白/异常训练 | 否 |
+| 重复点击产生的数据 | 否 |
+| 未完成评分数据 | 只进入体验问题分析，不进入能力分析 |
+
+---
+
+## 十、客户汇报叙事模板
+
+```text
+本阶段共有【】名员工参与训练，覆盖率【】%。
+人均训练【】次，说明工具已完成【初步试用/规模使用/深度训练】。
+从能力表现看，整体平均分为【】分，通过率为【】%。
+相比首次训练，复测员工平均提升【】分，说明重复训练对能力提升有帮助。
+当前主要短板集中在【】、【】、【】三个环节。
+下一阶段建议围绕【】设计专项训练，并要求低分人员完成至少【】次复测。
+```
+
+---
+
+## 十一、看板验收标准
+
+1. 客户能看懂每个指标含义。
+2. 每个指标能对应管理动作。
+3. 能区分使用情况、能力表现和问题短板。
+4. 能排除测试数据干扰。
+5. 能支撑“训练带来提升”的汇报叙事。

package/skills/ai-coach-director/references/cases/AI/351/231/252/347/273/203/346/265/213/350/257/225/347/224/250/344/276/213/345/272/223.md

@@ -0,0 +1,254 @@
+# AI陪练测试用例库
+
+> 用途：上线前和微调后快速验证AI陪练是否可用。  
+> 核心原则：不要只用“正常学员”测试，必须覆盖高水平、普通、低水平、跑偏、违规、冷场等情况。
+
+---
+
+## 一、测试类型总览
+
+| 测试类型 | 测试目标 | 适用阶段 |
+|---|---|---|
+| 完整流程测试 | 验证能否从开场走到评分 | 上线前必测 |
+| 角色稳定性测试 | 验证AI是否保持人设 | 角色创建/微调后 |
+| 信息透露测试 | 验证AI是否过早透露答案 | 创建/微调后 |
+| 流程跳转测试 | 验证是否跳环节或卡环节 | 创建/微调后 |
+| 评分准确性测试 | 验证分数是否与人工一致 | 上线前/评分微调后 |
+| 红线触发测试 | 验证违规是否扣分/失败 | 合规场景必测 |
+| 冷场测试 | 验证长时间无响应处理 | 语音陪练必测 |
+| 结束机制测试 | 验证不会提前结束 | 所有场景 |
+| ASR容错测试 | 验证同音/尾字错误影响 | 语音场景 |
+| 客户种子测试 | 验证真实业务认可度 | 客户验收前 |
+
+---
+
+## 二、学员水平测试用例
+
+### TC-001 高水平学员
+| 字段 | 内容 |
+|---|---|
+| 测试目标 | 验证AI是否能合理松动，但不无条件配合 |
+| 学员行为 | 开场清楚、自然破冰、提问完整、回应异议、明确下一步 |
+| 预期AI表现 | 逐步从防备变为愿意沟通，最终可接受合理下一步 |
+| 通过标准 | AI信任变化自然，不提前暴露信息，不无条件成交 |
+
+### TC-002 普通学员
+| 字段 | 内容 |
+|---|---|
+| 测试目标 | 验证场景难度是否适中 |
+| 学员行为 | 能完成基本流程，但提问不够深入，异议处理一般 |
+| 预期AI表现 | 部分配合，部分保留，提出1-2个真实顾虑 |
+| 通过标准 | 评分中等，反馈能指出具体缺失动作 |
+
+### TC-003 低水平学员
+| 字段 | 内容 |
+|---|---|
+| 测试目标 | 验证AI不会主动帮学员过关 |
+| 学员行为 | 不破冰、不问需求、直接推产品或方案 |
+| 预期AI表现 | 保持防备或拒绝，不主动透露关键信息 |
+| 通过标准 | 学员低分，AI不帮忙补流程 |
+
+### TC-004 跑偏学员
+| 字段 | 内容 |
+|---|---|
+| 测试目标 | 验证AI能否拉回或保持角色，不被带偏 |
+| 学员行为 | 问无关话题、闲聊、偏离业务目标 |
+| 预期AI表现 | 以角色身份简短回应，不进入无关剧情 |
+| 通过标准 | AI不编造，不跑出业务边界 |
+
+---
+
+## 三、角色稳定性测试
+
+### TC-R001 过度热情测试
+| 字段 | 内容 |
+|---|---|
+| 学员输入 | “那您要不直接加我微信吧，我后面给您发资料。” |
+| 预期AI | 不能立刻主动同意；应根据关系和铺垫程度谨慎回应。 |
+| 失败表现 | “好的，我加你微信”“我正好想了解” |
+| 通过标准 | AI需要理由、时间或进一步说明，不主动推进。 |
+
+### TC-R002 攻击性测试
+| 字段 | 内容 |
+|---|---|
+| 学员输入 | “您好，我是XX公司的，想跟您聊一下。” |
+| 预期AI | 可以防备、简短，但不能辱骂或强攻击。 |
+| 失败表现 | “你谁啊，别烦我” |
+| 通过标准 | 表达类似“你先说什么事吧，我这会儿不一定有时间”。 |
+
+### TC-R003 背景一致性测试
+| 字段 | 内容 |
+|---|---|
+| 测试方式 | 在长对话中多次询问家庭、职业、年龄、决策人信息。 |
+| 预期AI | 核心背景保持一致。 |
+| 失败表现 | 前后说法冲突。 |
+| 通过标准 | 不可变字段不变。 |
+
+---
+
+## 四、信息透露测试
+
+### TC-I001 开场泄露测试
+| 字段 | 内容 |
+|---|---|
+| 学员输入 | “您好，您今天想了解什么？” |
+| 预期AI | 只表达表层诉求，不说全部症状/预算/家庭/真实顾虑。 |
+| 失败表现 | 一次性说出所有背景。 |
+| 通过标准 | 学员必须通过追问才能获得完整信息。 |
+
+### TC-I002 隐藏信息测试
+| 字段 | 内容 |
+|---|---|
+| 学员输入 | 学员没有问预算/决策人/真实顾虑。 |
+| 预期AI | 不主动透露隐藏信息。 |
+| 失败表现 | AI主动说“其实我预算是…”“我儿子才是决策人…” |
+| 通过标准 | 隐藏信息只在被问或信任后出现。 |
+
+---
+
+## 五、流程测试
+
+### TC-F001 环节跳跃测试
+| 字段 | 内容 |
+|---|---|
+| 学员输入 | 开场后直接推荐产品。 |
+| 预期AI | 不应直接接受推荐，应表现出不了解/需要解释/顾虑。 |
+| 失败表现 | AI直接说“听起来不错，我考虑买”。 |
+| 通过标准 | AI促使学员回到需求挖掘或解释环节。 |
+
+### TC-F002 提前结束测试
+| 字段 | 内容 |
+|---|---|
+| 测试方式 | 学员完成一个中间目标，如破冰成功或客户有兴趣。 |
+| 预期AI | 不主动结束，继续后续环节。 |
+| 失败表现 | “那今天就到这里吧。” |
+| 通过标准 | 只有明确收尾/告别/红线/冷场才结束。 |
+
+### TC-F003 冷场测试
+| 字段 | 内容 |
+|---|---|
+| 测试方式 | 学员停止输入10-30秒。 |
+| 预期AI | 先自然提醒，再根据规则结束。 |
+| 失败表现 | 立刻结束或完全无响应。 |
+| 通过标准 | 冷场处理自然，符合角色。 |
+
+---
+
+## 六、评分测试
+
+### TC-S001 高分样本测试
+| 字段 | 内容 |
+|---|---|
+| 测试目标 | 验证优秀表现能得高分 |
+| 样本特征 | 完成开场、破冰、需求挖掘、异议处理、下一步确认 |
+| 预期评分 | 高分，且反馈指出具体做得好的点 |
+| 通过标准 | AI评分与人工评分接近。 |
+
+### TC-S002 低分样本测试
+| 字段 | 内容 |
+|---|---|
+| 测试目标 | 验证低水平表现不会虚高 |
+| 样本特征 | 直接推销、不问需求、不处理异议、无下一步 |
+| 预期评分 | 低分，核心目标未达成时不得高分 |
+| 通过标准 | 总分受核心目标限制。 |
+
+### TC-S003 间接达成测试
+| 字段 | 内容 |
+|---|---|
+| 测试目标 | 验证系统识别等价表达 |
+| 学员表达 | “那我周三上午带资料过去，您看行吗？” |
+| 预期评分 | 识别为明确下一步。 |
+| 失败表现 | 因未说“预约拜访”而不给分。 |
+| 通过标准 | 等价表达可得分。 |
+
+### TC-S004 ASR容错测试
+| 字段 | 内容 |
+|---|---|
+| 测试目标 | 验证同音错误不误扣分 |
+| 测试样本 | “朱/周”“药/要”等同音识别错误。 |
+| 预期评分 | 不影响核心业务含义则不扣分。 |
+| 通过标准 | 非关键同音错误不导致低分。 |
+
+---
+
+## 七、红线测试
+
+### TC-X001 金融红线
+| 字段 | 内容 |
+|---|---|
+| 学员输入 | “这个肯定保收益，您放心买。” |
+| 预期结果 | 触发红线，严重扣分或不通过。 |
+| 通过标准 | 红线优先级高于其他表现。 |
+
+### TC-X002 医药红线
+| 字段 | 内容 |
+|---|---|
+| 学员输入 | “这个药肯定能治好，而且没什么副作用。” |
+| 预期结果 | 触发夸大疗效/忽略风险红线。 |
+| 通过标准 | 评分反馈明确指出违规表达。 |
+
+### TC-X003 B2B商务红线
+| 字段 | 内容 |
+|---|---|
+| 学员输入 | “这个价格我私下给您操作，别告诉别人。” |
+| 预期结果 | 触发商务合规风险。 |
+| 通过标准 | 不因成交意向而给高分。 |
+
+---
+
+## 八、B2B专项测试
+
+### TC-B001 采购员压价
+| 字段 | 内容 |
+|---|---|
+| AI角色 | 采购员，关注价格和交期。 |
+| 学员目标 | 解释价格差异，争取进入下一步。 |
+| 预期AI | 持续比较竞品价格，不轻易接受。 |
+| 通过标准 | 学员必须讲清质量、交付、服务差异。 |
+
+### TC-B002 老客户涨价
+| 字段 | 内容 |
+|---|---|
+| AI角色 | 老客户采购经理，对涨价不满。 |
+| 学员目标 | 解释涨价原因，争取接受或复谈。 |
+| 预期AI | 追问为什么涨、别人为什么没涨、能否维持原价。 |
+| 通过标准 | 学员不能直接让步，需给出依据和方案。 |
+
+---
+
+## 九、药房专项测试
+
+### TC-D001 症状逐步释放
+| 字段 | 内容 |
+|---|---|
+| AI角色 | 顾客，只说“头有点不舒服”。 |
+| 学员目标 | 通过问诊挖掘更多症状和禁忌。 |
+| 预期AI | 被问到才逐步透露血压、睡眠、乏力等信息。 |
+| 通过标准 | AI不开场一次性说完全部症状。 |
+
+### TC-D002 禁忌确认
+| 字段 | 内容 |
+|---|---|
+| 学员行为 | 未询问基础病/过敏/用药史，直接推荐药。 |
+| 预期评分 | 扣分。 |
+| 通过标准 | 系统识别问诊不完整。 |
+
+---
+
+## 十、上线前最小测试集
+
+每个新场景上线前，至少完成以下测试：
+
+| 测试 | 数量 |
+|---|---:|
+| 高水平学员完整流程 | 1轮 |
+| 普通学员完整流程 | 1轮 |
+| 低水平学员完整流程 | 1轮 |
+| 跑偏学员测试 | 1轮 |
+| 信息透露测试 | 1轮 |
+| 提前结束测试 | 1轮 |
+| 评分高低样本测试 | 各1轮 |
+| 红线测试 | 高风险场景至少2轮 |
+| 冷场测试 | 语音场景至少1轮 |
+
+通过标准：P0/P1问题全部修复，P2问题有记录和处理计划。