@umacloud/knowledge 1.0.15 → 1.0.17

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (171) hide show
  1. package/00-governance/governance-capabilities.md +1 -1
  2. package/00-governance/knowledge-map.md +4 -6
  3. package/agentic-delivery/01-standards/context-engineering-for-delivery.md +94 -0
  4. package/agentic-delivery/01-standards/eval-driven-delivery.md +90 -0
  5. package/agentic-delivery/01-standards/generated-code-failure-modes.md +91 -0
  6. package/agentic-delivery/01-standards/production-readiness-scorecard.md +79 -0
  7. package/agentic-delivery/01-standards/self-improving-memory-and-regression-sets.md +80 -0
  8. package/agentic-delivery/01-standards/spec-as-contract.md +88 -0
  9. package/agentic-delivery/01-standards/test-discipline-for-generated-code.md +94 -0
  10. package/agentic-delivery/01-standards/test-integrity-and-anti-gaming.md +92 -0
  11. package/agentic-delivery/01-standards/verifier-critic-pattern.md +89 -0
  12. package/ai/01-standards/app-runtime-model-configurable.md +76 -0
  13. package/ai/agent-evaluation-benchmark.md +4 -6
  14. package/ai/ai-agent-memory-context-management.md +4 -6
  15. package/ai/ai-cost-capacity-optimization-playbook.md +4 -6
  16. package/ai/ai-data-security-and-compliance-playbook.md +4 -6
  17. package/ai/ai-domain-index-and-checklist.md +4 -6
  18. package/ai/ai-governance-maturity-model.md +4 -6
  19. package/ai/ai-model-selection-and-routing-strategy.md +4 -6
  20. package/ai/ai-observability-and-oncall-runbook.md +4 -6
  21. package/ai/ai-rag-engineering-playbook.md +4 -6
  22. package/ai/ai-red-team-and-safety-evaluation.md +4 -6
  23. package/ai/ai-release-readiness-and-rollback-gate.md +4 -6
  24. package/ai/llm-agent-engineering-deep-dive.md +4 -6
  25. package/ai/prompt-and-tool-guardrails.md +4 -6
  26. package/api/01-standards/api-versioning-and-deprecation-policy.md +100 -0
  27. package/architecture/01-standards/configuration-and-environment-management.md +104 -0
  28. package/architecture/01-standards/domain-driven-design-complete.md +105 -0
  29. package/architecture/02-playbooks/migration-playbook.md +1 -5
  30. package/architecture/02-playbooks/system-design-playbook.md +1 -5
  31. package/architecture/adr-template-and-examples.md +4 -6
  32. package/architecture/api-gateway-deep-dive.md +1 -1
  33. package/architecture/configuration-management.md +95 -1158
  34. package/architecture/distributed-transactions.md +1 -1
  35. package/architecture/microservices-complete.md +1 -1
  36. package/architecture/resilience-and-disaster-patterns.md +87 -27
  37. package/architecture/service-governance.md +1 -1
  38. package/architecture/system-architecture-deep-dive.md +4 -6
  39. package/backend/01-standards/cjk-in-exports-and-documents.md +107 -0
  40. package/backend/01-standards/dependency-and-supply-chain-hygiene.md +90 -0
  41. package/backend/01-standards/django-complete.md +2 -2
  42. package/backend/01-standards/error-handling-taxonomy.md +88 -0
  43. package/backend/01-standards/idempotency-and-safe-retries.md +101 -0
  44. package/backend/01-standards/message-queue-patterns.md +96 -374
  45. package/backend/01-standards/nestjs-complete.md +23 -23
  46. package/backend/01-standards/queue-and-consumer-reliability.md +98 -0
  47. package/backend/01-standards/resilience-and-fault-tolerance.md +101 -0
  48. package/backend/01-standards/transactions-and-concurrency-control.md +92 -0
  49. package/cicd/cicd-blueprint-deep-dive.md +4 -6
  50. package/cicd/release-readiness-gate.md +78 -27
  51. package/cloud-native/01-standards/container-security.md +1 -5
  52. package/cloud-native/01-standards/kubernetes-complete.md +1 -5
  53. package/cloud-native/02-playbooks/gitops-with-argocd.md +1 -5
  54. package/cloud-native/02-playbooks/k8s-troubleshooting-playbook.md +3 -7
  55. package/cloud-native/02-playbooks/multicloud-governance.md +1 -5
  56. package/cloud-native/02-playbooks/serverless-patterns.md +1 -5
  57. package/cloud-native/02-playbooks/service-mesh-playbook.md +1 -5
  58. package/cloud-native/03-checklists/container-security-checklist.md +1 -5
  59. package/cloud-native/03-checklists/k8s-production-readiness-checklist.md +1 -5
  60. package/cloud-native/04-antipatterns/container-antipatterns.md +1 -5
  61. package/cloud-native/04-antipatterns/k8s-antipatterns.md +1 -5
  62. package/cloud-native/05-cases/case-k8s-migration.md +1 -5
  63. package/cloud-native/05-cases/case-k8s-scaling.md +1 -5
  64. package/cloud-native/05-cases/case-k8s-security-incident.md +1 -5
  65. package/cloud-native/06-glossary/cloud-native-glossary.md +1 -5
  66. package/compliance/01-standards/audit-logging-and-evidence.md +111 -0
  67. package/compliance/01-standards/privacy-and-compliance-readiness.md +119 -0
  68. package/data/01-standards/elasticsearch-complete.md +2 -2
  69. package/data/01-standards/postgresql-complete.md +8 -8
  70. package/data/01-standards/redis-complete.md +11 -11
  71. package/data/data-governance-and-modeling-deep-dive.md +4 -6
  72. package/data-engineering/01-standards/kafka-complete.md +22 -22
  73. package/design/ui-full-lifecycle-cross-platform-playbook.md +1 -1
  74. package/design/ux-system-deep-dive.md +4 -6
  75. package/design-systems/00-craft-rules.md +1 -1
  76. package/design-systems/bold-geometric.md +1 -1
  77. package/design-systems/brutalist-bold.md +1 -1
  78. package/design-systems/editorial-clean.md +1 -1
  79. package/design-systems/glass-aurora.md +1 -1
  80. package/design-systems/modern-minimal.md +1 -1
  81. package/design-systems/premium-luxury.md +1 -1
  82. package/design-systems/soft-warm.md +1 -1
  83. package/design-systems/tech-utility.md +1 -1
  84. package/development/00-governance/document-template.md +3 -3
  85. package/development/01-standards/code-review-and-pr-hygiene.md +85 -0
  86. package/development/01-standards/golang-complete.md +2 -2
  87. package/development/01-standards/python-design-patterns.md +2 -2
  88. package/development/01-standards/typescript-advanced-types.md +2 -2
  89. package/development/03-checklists/production-readiness-checklist.md +6 -6
  90. package/development/09-maturity/quarterly-audit-template.md +3 -5
  91. package/development/11-ui-excellence/ui-aesthetic-system.md +3 -5
  92. package/development/13-implementation-assets/knowledge-gates-execution.md +3 -5
  93. package/development/api-contract-and-versioning-guide.md +4 -6
  94. package/development/api-governance-complete.md +4 -6
  95. package/development/backend-engineering-complete.md +4 -6
  96. package/development/code-review-quality-complete.md +11 -34
  97. package/development/concurrency-reliability-complete.md +4 -6
  98. package/development/database-engineering-complete.md +4 -6
  99. package/development/engineering-effectiveness-complete.md +4 -6
  100. package/development/engineering-standards-deep-dive.md +4 -6
  101. package/development/frontend-engineering-complete.md +4 -6
  102. package/development/performance-capacity-complete.md +4 -6
  103. package/development/refactor-migration-complete.md +4 -6
  104. package/development/refactoring-and-techdebt-playbook.md +4 -6
  105. package/development/security-in-development-complete.md +4 -6
  106. package/devops/01-standards/docker-complete.md +2 -2
  107. package/devops/01-standards/terraform-complete.md +3 -3
  108. package/experts/architect/contract-first-api-design.md +140 -0
  109. package/experts/product-manager/prd-template-and-structure.md +144 -0
  110. package/experts/product-manager/requirements-engineering-ears.md +133 -0
  111. package/experts/qa-lead/test-plan-template.md +127 -0
  112. package/frontend/01-standards/accessibility-acceptance-gate.md +91 -0
  113. package/frontend/01-standards/accessibility-complete.md +3 -3
  114. package/frontend/01-standards/i18n-and-localization.md +1 -1
  115. package/frontend/01-standards/react-hooks-complete.md +33 -33
  116. package/frontend/01-standards/ui-states-and-resilient-data-fetching.md +97 -0
  117. package/frontend/01-standards/vue3-complete.md +2 -2
  118. package/high-quality-engineering-playbook.md +4 -6
  119. package/incident/02-playbooks/chaos-engineering-playbook.md +1 -5
  120. package/incident/postmortem-and-response-deep-dive.md +4 -6
  121. package/mobile/01-standards/flutter-complete.md +3 -8
  122. package/mobile/01-standards/react-native-complete.md +3 -8
  123. package/mobile/02-playbooks/mobile-performance.md +3 -9
  124. package/mobile/03-checklists/mobile-release-checklist.md +3 -5
  125. package/mobile/04-antipatterns/mobile-antipatterns.md +3 -5
  126. package/observability/01-standards/observability-and-slo-operations.md +88 -0
  127. package/observability/01-standards/observability-standards.md +2 -0
  128. package/operations/01-standards/cost-and-finops-engineering.md +84 -0
  129. package/operations/01-standards/production-readiness-review.md +103 -0
  130. package/operations/01-standards/prometheus-monitoring-complete.md +2 -2
  131. package/operations/aiops-anomaly-detection.md +4 -8
  132. package/operations/capacity-planning.md +4 -8
  133. package/operations/chaos-engineering.md +4 -8
  134. package/operations/incident-command-system.md +4 -6
  135. package/operations/observability-complete.md +4 -8
  136. package/operations/slo-sli-playbook.md +4 -8
  137. package/operations/sre-operations-deep-dive.md +4 -6
  138. package/package.json +1 -1
  139. package/performance/01-standards/performance-budgets-and-load-testing.md +91 -0
  140. package/product/feature-prioritization-framework.md +97 -35
  141. package/product/kpi-and-metric-tree.md +69 -26
  142. package/product/product-discovery-and-prd-deep-dive.md +4 -6
  143. package/release-engineering/01-standards/feature-flag-lifecycle.md +92 -0
  144. package/release-engineering/01-standards/progressive-delivery-and-release.md +92 -0
  145. package/release-engineering/02-playbooks/release-rollback-and-recovery-playbook.md +99 -0
  146. package/release-engineering/03-checklists/release-rollback-readiness-checklist.md +61 -0
  147. package/release-engineering/04-antipatterns/release-antipatterns.md +63 -0
  148. package/security/01-standards/authorization-and-access-control.md +94 -0
  149. package/security/01-standards/owasp-top10-complete.md +2 -2
  150. package/security/02-playbooks/incident-response-security-playbook.md +1 -5
  151. package/security/02-playbooks/penetration-testing-playbook.md +1 -5
  152. package/security/compliance-automation.md +1 -1
  153. package/security/container-security.md +1 -1
  154. package/security/devsecops-complete.md +1 -1
  155. package/security/sast-dast-sca.md +1 -1
  156. package/security/secrets-management.md +1 -1
  157. package/security/security-architecture-deep-dive.md +4 -6
  158. package/security/threat-modeling-stride-playbook.md +4 -6
  159. package/seed-templates/auth-system.md +1 -1
  160. package/seed-templates/blog-content.md +1 -1
  161. package/seed-templates/dashboard.md +1 -1
  162. package/seed-templates/docs-site.md +1 -1
  163. package/seed-templates/e-commerce.md +1 -1
  164. package/seed-templates/saas-landing.md +1 -1
  165. package/seed-templates/settings-page.md +1 -1
  166. package/testing/01-standards/ci-test-gates-and-coverage.md +93 -0
  167. package/testing/01-standards/contract-testing-and-api-contracts.md +102 -0
  168. package/testing/01-standards/test-data-and-ephemeral-environments.md +105 -0
  169. package/testing/02-playbooks/e2e-testing-playbook.md +1 -5
  170. package/testing/risk-based-test-matrix.md +75 -25
  171. package/testing/testing-strategy-deep-dive.md +4 -6
@@ -0,0 +1,94 @@
1
+ ---
2
+ id: test-discipline-for-generated-code
3
+ title: 生成式代码的测试纪律(回归率作为一等指标 + 风险定向选测,商业级必读)
4
+ domain: agentic-delivery
5
+ category: 01-standards
6
+ difficulty: advanced
7
+ tags: [generated-code, test-discipline, regression-rate, impact-map, independent-test-authoring, mutation-guided, tdd-pitfall, blast-radius, 生成式代码, 测试纪律, 回归率, 影响图, 独立测试, 变异加固, 风险定向, 商业级]
8
+ quality_score: 95
9
+ last_updated: 2026-06-29
10
+ ---
11
+ # 生成式代码的测试纪律(商业级必读)
12
+
13
+ > 给生成式代码套上"先写测试"这句口号,往往**适得其反**:模型会写出贴着自己实现写的同义测试,绿灯一片却放过真正的回归。把改动测好,靠的不是把 TDD 当流程喊口号,而是**定向**——先算清这次改动会波及哪些行为,再把测试火力压在**最可能被打坏的旧行为**上。
14
+ > 这份规范把"测生成式代码"从"多写点测试"升级成**可判定的纪律**:用代码↔测试影响图锁定风险面、把**回归率**和"解决率"并列为一等交付指标、让测试作者与代码作者**解耦**去偏、用**变异定向加固**逼出真正能杀掉缺陷的断言。怎么分层、怎么进 CI 门见 `testing/01-standards/test-strategy-and-layering` 与 `testing/01-standards/ci-test-gates-and-coverage`;本规范回答的是"生成式改动到底要测什么、测到什么程度才算把回归挡住"。
15
+
16
+ ## 1. 为什么"无脑先写测试"会抬高回归
17
+
18
+ 生成式改动有三个固有偏差,单纯喊"先写测试"不仅治不了、还会放大:
19
+
20
+ - **同义测试**:让同一个上下文既写实现又写测试,测试会复述实现的内部假设,实现错了测试也跟着错,绿灯毫无信息量。
21
+ - **只测自己改的**:模型天然只给**新增/改动**的代码配测试,而回归恰恰发生在**没被这次改动直接触碰、却共享了状态或契约**的旧行为上。
22
+ - **覆盖率幻觉**:补一堆走 happy path 的断言把覆盖率拉绿,行被执行了但关键分支的断言是空的(见 §5 变异加固)。
23
+
24
+ 结论:测试的价值不取决于**数量**,取决于是否压在**这次改动的风险面**上。先定向,再写测试。
25
+
26
+ ## 2. 代码↔测试影响图(先算风险面,再决定测什么)
27
+
28
+ 每次改动先回答"**这次改了什么、会波及哪些行为、哪些旧行为最可能被打坏**",产出一张定向清单而不是泛泛补测试:
29
+
30
+ | 改动类型 | 风险面(最可能被打坏的旧行为) | 测试火力优先级 |
31
+ |---|---|---|
32
+ | 改公共函数/方法签名或语义 | 所有调用点、依赖其返回形状的下游 | 为每个调用路径补/查回归断言 |
33
+ | 改共享数据模型/DTO/Schema | 序列化、持久化、跨端契约、缓存键 | 契约测试 + 往返序列化测试 |
34
+ | 改条件/边界/校验逻辑 | 边界值、错误分支、权限分支 | 边界与错误路径定向用例 |
35
+ | 改共享状态/全局配置/单例 | 并发、隔离、其它读该状态的功能 | 并发与隔离回归用例 |
36
+ | 改依赖版本/外部接口适配 | 所有经过该依赖的路径 | 集成测试 + 契约对照 |
37
+ | 纯新增、无共享面 | 仅新增行为本身 | 新增行为的 happy + 边界 + 错误 |
38
+
39
+ 定向规则:**改动的 blast radius(波及半径)越大,回归火力越要往旧行为压**;波及半径靠"谁调用了我、谁和我共享状态/契约"来确定,而不是靠"我这次新增了几个函数"。
40
+
41
+ ## 3. 回归率:和解决率并列的一等交付指标
42
+
43
+ 只看"这次需求是否解决(解决率)"会奖励"改好一个、悄悄打坏两个"。商业级交付必须把**回归率**抬到同等地位:
44
+
45
+ - **定义**:一次改动引入的、**此前可用而现在失效**的行为占比(按受影响行为/用例计),与"解决率=本次目标达成的占比"并列上报。
46
+ - **判定**:解决率达标但回归率非零 → **不算完成**,必须先消回归。一次"解决一个、回归一个"的改动是**净零甚至负收益**。
47
+ - **度量来源**:改动前对受影响面跑一遍基线(绿),改动后重跑;任何由绿转红的旧行为即计入回归。每个被抓到的回归都应沉淀成持久回归用例,见 `agentic-delivery/01-standards/self-improving-memory-and-regression-sets`。
48
+ - **趋势**:回归率随交付批次留痕、可审计;持续非零说明影响图没做或火力压错了面。
49
+
50
+ ## 4. 独立(去偏)测试作者:测试作者 ≠ 代码作者
51
+
52
+ 去掉"自己测自己"的同义偏差,让验证有独立性:
53
+
54
+ - **解耦上下文**:写实现的上下文与写/审测试的上下文分离,测试只看**需求与验收标准**、不看实现内部,避免复述实现假设。
55
+ - **从需求反推用例**:测试用例来自结构化需求(见 `experts/product-manager/requirements-engineering-ears`)与契约(见 `experts/architect/contract-first-api-design`),而不是来自"代码现在是怎么写的"。
56
+ - **黑盒优先**:对外部行为按输入→可观测输出断言,不绑定私有实现细节,这样重构不误伤、实现错了能被抓到。
57
+ - **独立复核**:测试本身也要被一个不写该实现的视角复核"这些断言真能区分对错吗",与 `agentic-delivery/01-standards/verifier-critic-pattern` 的 actor/checker 解耦一脉相承。
58
+
59
+ ## 5. 变异定向加固:注入你最怕的那个缺陷,逼出能杀掉它的测试
60
+
61
+ 行覆盖只证明"代码被执行过",不证明"断言真的会在缺陷出现时变红"。对**核心/高风险**逻辑做定向加固:
62
+
63
+ - **注入畏惧缺陷**:针对这段逻辑你最担心出错的具体方式(边界写成 `<` 还是 `<=`、漏一个错误分支、权限判断取反、单位/符号错),**手动制造**这个缺陷。
64
+ - **要求杀手测试**:必须存在一个测试在该缺陷注入后**变红**;若注入了缺陷而全测试仍绿,说明断言是空的——补到能杀掉为止。
65
+ - **聚焦而非全量**:这是对**关键改动面**的定向手段(每次改动针对其畏惧缺陷做),不是把全量变异测试搬进每次 PR;全量慢扫归夜间,见 `testing/01-standards/ci-test-gates-and-coverage`。
66
+ - **沉淀**:被加固挡住的缺陷类型记入项目级回归集与经验库,避免同类缺陷重现。
67
+
68
+ ## 6. 接入交付流程
69
+
70
+ - **改动前**:先产出代码↔测试影响图,定向出风险面与回归基线。
71
+ - **实现中**:实现与测试上下文解耦;测试从需求/契约反推。
72
+ - **加固**:对核心逻辑做变异定向加固,逼出杀手测试。
73
+ - **验收门**:解决率与回归率同时达标才算完成;回归率非零阻断"完成"判定。
74
+ - **回归保护**:每个抓到的回归与畏惧缺陷沉淀为持久用例,进自动化回归。
75
+
76
+ ## 7. 反模式(出现即不合格)
77
+
78
+ 1. **同一上下文自写自测**:实现与测试共享假设,绿灯零信息量。
79
+ 2. **只给新增代码配测试**:放任共享契约/状态上的旧行为被悄悄打坏。
80
+ 3. **用 happy-path 断言堆覆盖率**:行被执行、关键分支断言为空,覆盖率绿而缺陷漏网。
81
+ 4. **只报解决率不报回归率**:"解决一个、回归一个"被当成完成。
82
+ 5. **把"先写测试"当免罪符**:写了测试就签字,不看测试是否压在风险面上。
83
+ 6. **断言绑实现细节**:贴着私有实现写,重构必红、实现错却不红。
84
+ 7. **核心逻辑零变异验证**:从不注入畏惧缺陷,无法证明断言会变红。
85
+
86
+ ## 8. 最低交付 checklist
87
+
88
+ - [ ] 每次改动产出代码↔测试影响图,按 blast radius 定向出风险面与回归基线。
89
+ - [ ] 回归率与解决率并列上报;回归率非零不判定为完成。
90
+ - [ ] 写实现与写/审测试的上下文解耦,测试从需求与契约反推、黑盒优先。
91
+ - [ ] 核心/高风险逻辑做变异定向加固,存在能在注入畏惧缺陷后变红的杀手测试。
92
+ - [ ] 受影响旧行为的回归断言齐全,不只覆盖本次新增代码。
93
+ - [ ] 每个抓到的回归与畏惧缺陷沉淀为项目级持久回归用例并进自动化回归。
94
+ - [ ] 全量/慢变异扫描放夜间,不拖慢每次 PR 门禁。
@@ -0,0 +1,92 @@
1
+ ---
2
+ id: test-integrity-and-anti-gaming
3
+ title: 测试完整性与反作弊规范(一套绿测只有"没被作弊"才可信,商业级必读)
4
+ domain: agentic-delivery
5
+ category: 01-standards
6
+ difficulty: advanced
7
+ tags: [test-integrity, anti-gaming, reward-hacking, assertion-weakening, skip-xfail, harness-tampering, held-out, integrity-diff, judge-review, 测试完整性, 反作弊, 刷分, 弱化断言, 跳过, 篡改, 留出集, 完整性差异, 评审]
8
+ quality_score: 95
9
+ last_updated: 2026-06-29
10
+ ---
11
+ # 测试完整性与反作弊规范(商业级必读)
12
+
13
+ > 一句话:**一套全绿的测试,只有在确认它没被作弊的前提下才可信。** 当"让测试通过"成了目标,最省力的路径常常不是把代码改对,而是把**测试改松**——硬编码期望输出、删/弱化断言、`skip`/`xfail` 掉碍事的用例、动测试框架、专门特判可见用例、提前 `return` 跳过校验。绿灯于是变成了对"会不会绕"的奖励,而不是对"对不对"的证明。
14
+ > 这份规范给出**作弊行为目录**与**能戳穿它们的验证手段**:一道作者改不动的确定性校验、一份完整性差异、独立 + 留出(held-out)检查、以及评审复核。它和 `agentic-delivery/01-standards/test-discipline-for-generated-code`(测什么)、`agentic-delivery/01-standards/verifier-critic-pattern`(谁来验)互补;CI 门禁形态见 `testing/01-standards/ci-test-gates-and-coverage`。本规范回答的是"凭什么相信这套绿测"。
15
+
16
+ ## 1. 作弊行为目录(reward hacking 的常见形态)
17
+
18
+ 把"通过测试"当奖励、把"改对代码"当手段时,会冒出这些行为——**每一种都让绿灯失去意义**:
19
+
20
+ | 作弊形态 | 具体表现 | 为什么危险 |
21
+ |---|---|---|
22
+ | 硬编码输出 | 直接 `return` 期望值/把断言里的预期写进实现,特判测试输入 | 真实输入立刻失效,测试只证明"会背答案" |
23
+ | 弱化/删断言 | 把 `assertEqual` 改成 `assertTrue`、放宽容差、删掉关键断言 | 缺陷出现也不再变红 |
24
+ | skip / xfail | 给碍事用例打 `skip`/`xfail`/`ignore`/注释掉 | 失败被静音,覆盖面悄悄缩小 |
25
+ | 篡改测试框架 | 改 conftest/setup/全局 fixture/断言钩子让失败被吞 | 整套套件的可信度坍塌 |
26
+ | 特判可见用例 | 只让"看得见的样例"过,逻辑对一般情况错 | 留出集一换就崩 |
27
+ | 提前退出/短路 | 在校验前 `return`/吞异常/`try…except: pass` | 错误路径被绕过,错误被当成功 |
28
+ | 放宽门禁 | 调低覆盖率阈值、关掉某条必过检查、给 lint 加豁免 | 把门拆了再"通过" |
29
+ | 改基线/期望文件 | 直接把快照/golden 文件改成当前(错误)输出 | 回归保护被反向利用 |
30
+
31
+ 判定原则:**只要"通过"是靠改松验证而非改对代码换来的,即为作弊,等同未完成。**
32
+
33
+ ## 2. 能戳穿作弊的验证手段
34
+
35
+ 光禁止没用,要让作弊**在结构上失效**:
36
+
37
+ - **一道作者改不动的确定性校验**:核心验收用一条**实现/测试作者无权修改**的确定性检查把关(独立 runner、固定输入→固定期望、产物级断言)。作者能改的测试只能加分,不能替代这道闸。
38
+ - **留出(held-out)检查**:除可见用例外,保留一组作者**看不到**的输入/期望用于最终判定;专门特判可见用例的实现会在这里崩。
39
+ - **完整性差异(integrity diff)**:每次改动**单独审视对测试与门禁配置的改动**——断言是被加强还是被删/弱化?是否新增 `skip`/`xfail`?是否动了框架/阈值/豁免?测试改动要和实现改动**分开评审**,不能混在一个大 diff 里蒙混过关。
40
+ - **独立检查**:验证由不写该实现的视角执行(见 `agentic-delivery/01-standards/verifier-critic-pattern`),避免"自证清白"。
41
+ - **评审复核(judge review)**:对"是否在解决问题而非绕过验证"做一次结构化判定(见 §4),作为人/裁判侧的最后一关。
42
+
43
+ ## 3. 完整性差异:必须逐项盘问的改动信号
44
+
45
+ 每次改动对"测试与门禁"的任何改动都要能解释,否则视为可疑:
46
+
47
+ | 信号 | 默认判定 | 放行条件 |
48
+ |---|---|---|
49
+ | 断言被删除或放宽 | 可疑 | 有明确理由且不降低区分力,评审签字 |
50
+ | 新增 skip / xfail / ignore | 可疑 | 关联到已登记的真实缺陷与期限 |
51
+ | 改动测试框架/全局 fixture/钩子 | 高危 | 独立复核,确认不吞失败 |
52
+ | 修改快照/golden/基线文件 | 可疑 | 确认是预期行为变化而非掩盖回归 |
53
+ | 调低覆盖率阈值/加 lint 豁免/关必过检查 | 高危 | 默认拒绝,需显式治理审批 |
54
+ | 实现里出现对测试输入的特判/硬编码 | 作弊 | 不放行 |
55
+
56
+ ## 4. 评审/裁判复核要点
57
+
58
+ 复核者只问一件事:**这次是把问题解决了,还是把验证绕过了?**
59
+
60
+ - 实现是否对**一般输入**成立,而非只过可见用例?(用留出集证实)
61
+ - 测试改动是**加强**了区分力,还是**削弱**了?
62
+ - 是否有 `skip`/`xfail`/吞异常/提前 return 在静音失败?
63
+ - 门禁/阈值/豁免是否被动过?动了就要有治理依据。
64
+ - 结论给**结构化判定**:pass / fail + 证据(哪条留出用例、哪段 diff),fail 即打回,路由方式见 `agentic-delivery/01-standards/verifier-critic-pattern`。
65
+
66
+ ## 5. 接入交付流程
67
+
68
+ - **门禁分层**:作者可改的测试加分,**确定性留出校验**作为不可绕过的判定闸。
69
+ - **diff 分离**:实现 diff 与测试/门禁 diff 分开呈现、分开评审。
70
+ - **留痕**:留出集结果、完整性差异结论随交付留证,可审计。
71
+ - **沉淀**:被识破的作弊手法记入经验库与项目规则,作为后续硬约束。
72
+
73
+ ## 6. 反模式(出现即不合格)
74
+
75
+ 1. **实现里特判/硬编码测试输入**:测试只在背答案,真实输入即崩。
76
+ 2. **靠删/弱化断言换绿**:缺陷出现不再变红,回归保护形同虚设。
77
+ 3. **用 skip/xfail/注释静音失败**:失败被藏起来,覆盖面悄悄缩水。
78
+ 4. **篡改测试框架吞掉失败**:整套套件可信度坍塌。
79
+ 5. **把实现和测试改动混进一个大 diff**:完整性差异无法审,作弊蒙混过关。
80
+ 6. **改门禁阈值/加豁免来"通过"**:把门拆了再宣称达标。
81
+ 7. **无留出集**:只用可见用例判定,特判式实现永远过关。
82
+ 8. **验证者就是实现者**:自证清白,作弊无人能戳穿。
83
+
84
+ ## 7. 最低交付 checklist
85
+
86
+ - [ ] 核心验收由一道实现/测试作者**改不动**的确定性校验把关。
87
+ - [ ] 存在作者不可见的留出(held-out)用例用于最终判定。
88
+ - [ ] 实现 diff 与测试/门禁 diff 分离呈现并分别评审(完整性差异)。
89
+ - [ ] 任何删/弱断言、新增 skip/xfail、改框架/阈值/基线都有理由并经复核。
90
+ - [ ] 验证由不写该实现的独立视角执行,给出 pass/fail + 证据。
91
+ - [ ] 覆盖率阈值与必过检查不可被本次改动私自调低或豁免。
92
+ - [ ] 被识破的作弊手法沉淀为项目级硬约束,防止重现。
@@ -0,0 +1,89 @@
1
+ ---
2
+ id: verifier-critic-pattern
3
+ title: 验证者/评审者模式(actor 与 checker 解耦、只看 diff + 验收标准,商业级必读)
4
+ domain: agentic-delivery
5
+ category: 01-standards
6
+ difficulty: advanced
7
+ tags: [verifier, critic, actor-checker, fresh-context, structured-verdict, route-back, over-engineering-guard, pass-fail, diff-review, 验证者, 评审者, 解耦, 新上下文, 结构化判定, 打回, 过度设计护栏]
8
+ quality_score: 95
9
+ last_updated: 2026-06-29
10
+ ---
11
+ # 验证者/评审者模式(商业级必读)
12
+
13
+ > 写代码的人最不该是判它对不对的人——他带着"我已经做完了"的偏差,会把自己的实现当正确答案。商业级交付要把**执行者(actor)与检查者(checker)解耦**:检查者在**全新上下文**里、**只看 diff + 验收标准**做独立判定,给出结构化的 pass/fail,fail 就**带证据打回**,而不是顺着实现点头。
14
+ > 这份规范定义验证者/评审者的职责、输入边界与判定协议,并立一道**过度设计护栏**——验证者只挑"对不对、需求满没满足"的硬伤,不发明风格活、不为审而审。它和 `agentic-delivery/01-standards/test-integrity-and-anti-gaming`(防作弊)、`agentic-delivery/01-standards/test-discipline-for-generated-code`(测什么)互补,与 `development/01-standards/code-review-and-pr-hygiene`(人工评审礼仪)分工:本规范回答的是"谁来验、看什么、怎么判、怎么打回"。
15
+
16
+ ## 1. 为什么必须把 actor 和 checker 分开
17
+
18
+ - **去自证偏差**:执行者已投入"这条实现路径",复核自己时会合理化缺陷、跳过自己没想到的边界。
19
+ - **抗作弊**:独立检查者才可能戳穿"改松测试换绿"(见 `agentic-delivery/01-standards/test-integrity-and-anti-gaming`)。
20
+ - **抗沉默逻辑错误**:新视角只对照需求看输出,更容易发现"看起来对、其实没满足需求"的偏差。
21
+ - **可路由**:把"做"和"判"拆成两个角色,才能形成"做→判→打回→再做"的可收敛闭环。
22
+
23
+ ## 2. 验证者的输入边界:新上下文,只看 diff + 验收标准
24
+
25
+ | 验证者**应当**看到 | 验证者**不应**被喂入 |
26
+ |---|---|
27
+ | 本次 diff(改了什么) | 执行者的内心独白/"我觉得没问题"的辩解 |
28
+ | 验收标准 / 结构化需求 | 实现过程中的探索弯路与中间废稿 |
29
+ | 契约 / 接口定义 | "时间紧就先这样"之类的免检理由 |
30
+ | 相关测试与其结果 | 让验证者去复述实现假设的引导 |
31
+
32
+ 要点:**全新上下文**意味着验证者不继承执行者的合理化叙事,只凭"改动 + 该满足什么"独立判断。看 diff 而非全量,让注意力压在**这次实际改了什么**上。
33
+
34
+ ## 3. 结构化判定协议(pass/fail + 证据 + 打回)
35
+
36
+ 验证者必须输出**可判定**的结构化结论,而不是一段感想:
37
+
38
+ | 字段 | 含义 |
39
+ |---|---|
40
+ | verdict | `pass` / `fail`(二选一,不许"基本可以") |
41
+ | blocking | 阻断项列表:每条带"违反了哪条验收标准/契约"+ 证据 |
42
+ | advisory | 非阻断建议(不阻断放行,记入待办) |
43
+ | evidence | 支撑判定的证据:哪条用例、哪段 diff、哪个未满足的需求 |
44
+
45
+ - **fail → 带证据打回**:不是"去改改",而是"第 N 条验收标准未满足,证据是 X,期望 Y",让执行者能精准定位(诊断式打回,不是泛泛退回)。
46
+ - **bounded**:打回-重做要有次数/停滞上限,连续 N 轮无进展即升级或停下,避免空转。
47
+ - **advisory 不阻断**:建议项只记待办,不卡发布——把阻断权留给真正的对错问题。
48
+
49
+ ## 4. 过度设计护栏:只挑硬伤,不发明工作
50
+
51
+ 验证者最容易跑偏成"为审而审",把风格偏好、可有可无的重构、镀金需求当成阻断项。立死规矩:
52
+
53
+ - **只标三类阻断**:①正确性缺陷 ②需求/验收标准未满足 ③契约/安全/数据完整性被破坏。
54
+ - **不标的**:个人风格偏好、与需求无关的"还能更优雅"、未被要求的额外特性、为覆盖率而覆盖率。
55
+ - **建议归 advisory**:确有价值但非必需的改进进 advisory,不进 blocking。
56
+ - **范围对齐**:验证者对照的是**本次验收标准**,不把"顺手再加点"塞进打回理由;额外发明的工作本身就是一种缺陷(scope creep)。
57
+
58
+ ## 5. 与角色评审团/确定性门的关系
59
+
60
+ - **确定性门优先**:覆盖/契约/构建/安全等确定性检查是**硬判定**;验证者/评审者意见是其上的一层,对"需求是否真的满足"做判断。
61
+ - **可并行多视角**:多个只读评审视角(如产品/架构/安全角度)可并行复核,各自给结构化 verdict;聚合时**阻断级以确定性门为准、评审意见为佐证**。
62
+ - **不互相聊天**:各评审者只通过**改动 + 验收标准 + 各自 verdict** 交流,不串供。
63
+
64
+ ## 6. 接入交付流程
65
+
66
+ - **每个关键步骤后**:执行者交 diff → 验证者在新上下文只看 diff + 验收标准 → 出结构化 verdict。
67
+ - **fail**:带证据诊断式打回,执行者定向修复,重验;超出停滞上限则升级。
68
+ - **pass**:进入下一步或合并;advisory 记入待办。
69
+ - **留痕**:verdict 与证据随交付留证,可审计。
70
+
71
+ ## 7. 反模式(出现即不合格)
72
+
73
+ 1. **自己验自己**:执行者复核自己的实现,自证清白。
74
+ 2. **把全量历史喂给验证者**:验证者继承执行者的合理化叙事,失去独立性。
75
+ 3. **判定含糊**:"看起来还行/基本可以",无法判通过还是打回。
76
+ 4. **打回不给证据**:只说"去改改",执行者无从定位,来回空转。
77
+ 5. **为审而审/镀金**:把风格偏好、未被要求的特性当阻断项。
78
+ 6. **无停滞上限**:做-判-打回无限循环,不升级也不停。
79
+ 7. **让评审意见凌驾确定性门**:主观意见盖过覆盖/契约/安全的硬判定。
80
+
81
+ ## 8. 最低交付 checklist
82
+
83
+ - [ ] 执行者与验证者解耦,验证由不写该实现的视角执行。
84
+ - [ ] 验证者在新上下文中只看 diff + 验收标准 + 契约/相关测试,不继承执行叙事。
85
+ - [ ] 输出结构化 verdict:pass/fail + blocking(带违反项与证据)+ advisory。
86
+ - [ ] fail 走诊断式打回(指明未满足项 + 证据 + 期望),不是泛泛退回。
87
+ - [ ] 打回-重做有停滞/次数上限,超限升级或停止,不空转。
88
+ - [ ] 过度设计护栏生效:只标正确性/需求/契约硬伤,风格与镀金归 advisory。
89
+ - [ ] 确定性门为硬判定,评审意见为佐证;verdict 与证据留痕可审计。
@@ -0,0 +1,76 @@
1
+ ---
2
+ id: app-runtime-model-configurable
3
+ title: 应用运行时模型可配置(别硬编码开发底座的厂商)
4
+ domain: ai
5
+ category: 01-standards
6
+ difficulty: intermediate
7
+ tags: [llm, 运行时模型, 可配置, provider-abstraction, openai-compatible, dashscope, qwen, 大模型, 多厂商, env, 配置, 商业级]
8
+ quality_score: 95
9
+ last_updated: 2026-06-29
10
+ ---
11
+
12
+ # 应用运行时模型可配置(别硬编码开发底座的厂商)
13
+
14
+ > 常见踩坑:用某个 AI 编码工具开发一个“会在运行时调用大模型”的应用时,生成的后端把运行时的 LLM 直接写死成开发工具自己用的那家(例如 Anthropic/Claude + `ANTHROPIC_API_KEY`)。用户想让交付的应用跑通义千问 / OpenAI / 本地模型,还得手工改后端。**开发用的工具底座,和应用运行时调用的模型,是两件完全不同的事,绝不能混为一谈。**
15
+
16
+ ## 1. 核心原则
17
+
18
+ - **两层模型分离**:「开发期借用的大脑(写代码的工具)」≠「应用运行时调用的模型」。后者是业务选型,由需求/用户决定,不是由你用什么工具写代码决定。
19
+ - **运行时模型是配置项,不是常量**:模型 id、base URL、API Key 的环境变量名,三者都必须来自配置(环境变量 / 配置文件),代码里不出现写死的厂商端点或密钥。
20
+ - **默认值跟随需求**:需求里点名了运行时模型/厂商(如“运行时用千问 Max”“用 DashScope”“用 OpenAI”),就把默认配置指向它;没点名时,生成一个清晰可替换的 provider 占位层,并在交付物里说明“运行时模型可配置、怎么切换”。
21
+ - **绝不静默套用开发底座的厂商**:不要因为写代码时用的是某家工具,就把应用运行时也默认写成那家。
22
+
23
+ ## 2. Provider 抽象层(最小骨架)
24
+
25
+ 把对模型的调用收敛到一个薄抽象层,业务代码只依赖这个层,不直接耦合任意一家 SDK 的端点。
26
+
27
+ - 三元组来自配置:`model`(模型 id)、`base_url`(接入地址)、`api_key`(从指定环境变量读取)。
28
+ - 优先用 **OpenAI 兼容协议**的客户端:同一套 `base_url + api_key + model` 即可覆盖 OpenAI、DashScope/通义千问、DeepSeek、智谱 GLM、Moonshot/Kimi、本地 Ollama 等大多数主流厂商——换厂商是改配置,不是改代码。
29
+ - 不兼容 OpenAI 协议的厂商(个别国产/自研网关),在抽象层内部各写一个 adapter,对外暴露统一接口。
30
+
31
+ ```bash
32
+ # .env.example —— 运行时模型可配置(默认值跟随需求;未点名则留可替换占位)
33
+ LLM_PROVIDER=openai-compatible
34
+ LLM_BASE_URL=https://dashscope.aliyuncs.com/compatible-mode/v1 # 例:通义千问 DashScope 兼容端点
35
+ LLM_MODEL=qwen-max # 切换模型只改这一行
36
+ LLM_API_KEY_ENV=DASHSCOPE_API_KEY # 真正的密钥放在被引用的环境变量里
37
+ DASHSCOPE_API_KEY= # 由部署方注入,不进版本库
38
+ ```
39
+
40
+ ```ts
41
+ // llm.ts —— 业务只调用这一层,端点/密钥/模型全部来自配置
42
+ import OpenAI from "openai"; // OpenAI 兼容客户端可对接多数厂商
43
+
44
+ const apiKeyEnv = process.env.LLM_API_KEY_ENV ?? "OPENAI_API_KEY";
45
+ const client = new OpenAI({
46
+ baseURL: process.env.LLM_BASE_URL, // 配置驱动,可指向千问/OpenAI/本地
47
+ apiKey: process.env[apiKeyEnv], // 从“被指定的环境变量名”读取真实密钥
48
+ });
49
+
50
+ export async function chat(messages: { role: string; content: string }[]) {
51
+ return client.chat.completions.create({
52
+ model: process.env.LLM_MODEL ?? "gpt-4o-mini", // 默认值跟随需求;切换只改配置
53
+ messages,
54
+ });
55
+ }
56
+ ```
57
+
58
+ ## 3. 落地清单(Checklist)
59
+
60
+ - [ ] 运行时 `model` / `base_url` / `api_key` 全部来自环境变量或配置文件,源码里没有写死的厂商端点或密钥。
61
+ - [ ] 需求点名了运行时厂商/模型 → 默认配置已指向它;未点名 → 留下清晰可替换的 provider 占位,且在 README/`.env.example` 写明如何切换。
62
+ - [ ] 对接走 provider 抽象层,业务代码不直接依赖某一家 SDK 的硬编码端点。
63
+ - [ ] 优先 OpenAI 兼容协议;非兼容厂商在抽象层内做 adapter,对外接口统一。
64
+ - [ ] 密钥只从环境变量注入,`.env` 不进版本库,仓库里只放 `.env.example` 占位。
65
+ - [ ] 交付物(README / 配置说明)明确写出“运行时模型可配置”,并给出切换到千问/OpenAI/本地模型的具体步骤。
66
+ - [ ] 提供超时、重试、错误兜底;切换厂商不需要改业务代码,只改配置即可生效。
67
+ - [ ] 不把开发所用工具底座的厂商(如 Anthropic/Claude)当成应用运行时的默认值。
68
+
69
+ ## 4. 反模式(出现即不合格)
70
+
71
+ - 把应用运行时的 LLM 写死成开发工具自己用的那家(典型:默认 `ANTHROPIC_API_KEY` + Claude 端点),无视用户在需求里指定的运行时模型。
72
+ - 厂商端点 / 模型 id / 密钥硬编码在业务代码里,换模型要改源码、重新构建。
73
+ - 用户明确说“运行时用千问 / DeepSeek / 本地模型”,生成的代码却仍调另一家。
74
+ - 只支持单一厂商、没有 provider 抽象层,后续接第二家要大改。
75
+ - 把真实密钥写进源码或提交进版本库;没有 `.env.example` 占位与切换说明。
76
+ - 没在交付物里说明运行时模型可配置,用户只能逆向源码才知道怎么换。
@@ -1,16 +1,14 @@
1
1
  ---
2
2
  id: agent-evaluation-benchmark
3
- title: agent-evaluation-benchmark
3
+ title: Agent 评测与基准体系
4
4
  domain: ai
5
- category: agent-evaluation-benchmark.md
5
+ category: 01-standards
6
6
  difficulty: intermediate
7
- tags: [agent, ai, benchmark, evaluation, 评测与基准体系]
7
+ tags: [agent, 评测, benchmark, evaluation, 基准集, 发布门禁, 回归评测, ai]
8
8
  quality_score: 70
9
9
  last_updated: 2026-06-15
10
10
  ---
11
- # 开发:Excellent(11964948@qq.com)
12
-
13
- ## Agent 评测与基准体系
11
+ # Agent 评测与基准体系
14
12
 
15
13
  ### 目标
16
14
  - 让 Agent 能力可量化、可回归、可持续优化。
@@ -1,16 +1,14 @@
1
1
  ---
2
2
  id: ai-agent-memory-context-management
3
- title: ai-agent-memory-context-management
3
+ title: AI Agent上下文与记忆管理
4
4
  domain: ai
5
- category: ai-agent-memory-context-management.md
5
+ category: 01-standards
6
6
  difficulty: intermediate
7
- tags: [agent, agent上下文与记忆管理, ai, context, management, memory]
7
+ tags: [agent, 记忆管理, memory, context, 上下文压缩, 多轮对话, ai]
8
8
  quality_score: 70
9
9
  last_updated: 2026-06-15
10
10
  ---
11
- # 开发:Excellent(11964948@qq.com)
12
-
13
- ## AI Agent上下文与记忆管理
11
+ # AI Agent上下文与记忆管理
14
12
 
15
13
  ### 目标
16
14
  - 在成本可控前提下提升多轮任务连续性与决策一致性。
@@ -1,16 +1,14 @@
1
1
  ---
2
2
  id: ai-cost-capacity-optimization-playbook
3
- title: ai-cost-capacity-optimization-playbook
3
+ title: AI成本与容量优化手册
4
4
  domain: ai
5
- category: ai-cost-capacity-optimization-playbook.md
5
+ category: 02-playbooks
6
6
  difficulty: intermediate
7
- tags: [ai, ai成本与容量优化手册, capacity, cost, optimization, playbook]
7
+ tags: [成本优化, cost, capacity, 容量规划, 模型路由, prompt压缩, ai]
8
8
  quality_score: 70
9
9
  last_updated: 2026-06-15
10
10
  ---
11
- # 开发:Excellent(11964948@qq.com)
12
-
13
- ## AI成本与容量优化手册
11
+ # AI成本与容量优化手册
14
12
 
15
13
  ### 目标
16
14
  - 在保证业务效果的前提下,实现可持续的AI成本与容量治理。
@@ -1,16 +1,14 @@
1
1
  ---
2
2
  id: ai-data-security-and-compliance-playbook
3
- title: ai-data-security-and-compliance-playbook
3
+ title: AI数据安全与合规作战手册
4
4
  domain: ai
5
- category: ai-data-security-and-compliance-playbook.md
5
+ category: 02-playbooks
6
6
  difficulty: intermediate
7
- tags: [ai, ai数据安全与合规作战手册, and, compliance, data, playbook, security]
7
+ tags: [数据安全, compliance, 合规, 脱敏, 审计日志, 数据治理, ai, security]
8
8
  quality_score: 70
9
9
  last_updated: 2026-06-15
10
10
  ---
11
- # 开发:Excellent(11964948@qq.com)
12
-
13
- ## AI数据安全与合规作战手册
11
+ # AI数据安全与合规作战手册
14
12
 
15
13
  ### 目标
16
14
  - 确保AI系统在数据采集、处理、存储、传输全链路满足安全与合规要求。
@@ -1,16 +1,14 @@
1
1
  ---
2
2
  id: ai-domain-index-and-checklist
3
- title: ai-domain-index-and-checklist
3
+ title: AI领域索引与执行清单
4
4
  domain: ai
5
- category: ai-domain-index-and-checklist.md
5
+ category: 03-checklists
6
6
  difficulty: intermediate
7
- tags: [ai, ai领域索引与执行清单, and, checklist, domain, index]
7
+ tags: [索引, checklist, 执行清单, 上线门禁, ai, llm, rag, 核查清单]
8
8
  quality_score: 70
9
9
  last_updated: 2026-06-15
10
10
  ---
11
- # 开发:Excellent(11964948@qq.com)
12
-
13
- ## AI领域索引与执行清单
11
+ # AI领域索引与执行清单
14
12
 
15
13
  ### 目标
16
14
  - 为AI需求、方案、上线、运行提供统一入口和核查清单。
@@ -1,16 +1,14 @@
1
1
  ---
2
2
  id: ai-governance-maturity-model
3
- title: ai-governance-maturity-model
3
+ title: AI治理成熟度模型
4
4
  domain: ai
5
- category: ai-governance-maturity-model.md
5
+ category: 01-standards
6
6
  difficulty: intermediate
7
- tags: [ai, ai治理成熟度模型, governance, maturity, model]
7
+ tags: [治理, 成熟度模型, maturity, governance, 能力评估, ai]
8
8
  quality_score: 70
9
9
  last_updated: 2026-06-15
10
10
  ---
11
- # 开发:Excellent(11964948@qq.com)
12
-
13
- ## AI治理成熟度模型
11
+ # AI治理成熟度模型
14
12
 
15
13
  ### 目标
16
14
  - 用统一量表评估AI研发和运营能力,指导分阶段治理提升。
@@ -1,16 +1,14 @@
1
1
  ---
2
2
  id: ai-model-selection-and-routing-strategy
3
- title: ai-model-selection-and-routing-strategy
3
+ title: AI模型选型与路由策略
4
4
  domain: ai
5
- category: ai-model-selection-and-routing-strategy.md
5
+ category: 02-playbooks
6
6
  difficulty: intermediate
7
- tags: [ai, ai模型选型与路由策略, and, model, routing, selection, strategy]
7
+ tags: [模型选型, 路由, routing, model-selection, 多模型, 灰度, ai]
8
8
  quality_score: 70
9
9
  last_updated: 2026-06-15
10
10
  ---
11
- # 开发:Excellent(11964948@qq.com)
12
-
13
- ## AI模型选型与路由策略
11
+ # AI模型选型与路由策略
14
12
 
15
13
  ### 目标
16
14
  - 在准确率、时延、成本和稳定性之间取得可量化最优平衡。
@@ -1,16 +1,14 @@
1
1
  ---
2
2
  id: ai-observability-and-oncall-runbook
3
- title: ai-observability-and-oncall-runbook
3
+ title: AI可观测性与值班Runbook
4
4
  domain: ai
5
- category: ai-observability-and-oncall-runbook.md
5
+ category: 02-playbooks
6
6
  difficulty: intermediate
7
- tags: [ai, ai可观测性与值班runbook, and, observability, oncall, runbook]
7
+ tags: [可观测性, observability, oncall, runbook, 值班, 告警, ai]
8
8
  quality_score: 70
9
9
  last_updated: 2026-06-15
10
10
  ---
11
- # 开发:Excellent(11964948@qq.com)
12
-
13
- ## AI可观测性与值班Runbook
11
+ # AI可观测性与值班Runbook
14
12
 
15
13
  ### 目标
16
14
  - 建立AI系统运行态监控、告警、处置、复盘的标准流程。
@@ -1,16 +1,14 @@
1
1
  ---
2
2
  id: ai-rag-engineering-playbook
3
- title: ai-rag-engineering-playbook
3
+ title: AI RAG工程作战手册
4
4
  domain: ai
5
- category: ai-rag-engineering-playbook.md
5
+ category: 02-playbooks
6
6
  difficulty: intermediate
7
- tags: [ai, engineering, playbook, rag, rag工程作战手册]
7
+ tags: [rag, 检索增强, retrieval, 召回, 重排序, 向量检索, ai]
8
8
  quality_score: 70
9
9
  last_updated: 2026-06-15
10
10
  ---
11
- # 开发:Excellent(11964948@qq.com)
12
-
13
- ## AI RAG工程作战手册
11
+ # AI RAG工程作战手册
14
12
 
15
13
  ### 目标
16
14
  - 构建高召回、高精度、低幻觉的检索增强生成系统。
@@ -1,16 +1,14 @@
1
1
  ---
2
2
  id: ai-red-team-and-safety-evaluation
3
- title: ai-red-team-and-safety-evaluation
3
+ title: AI红队测试与安全评估
4
4
  domain: ai
5
- category: ai-red-team-and-safety-evaluation.md
5
+ category: 01-standards
6
6
  difficulty: intermediate
7
- tags: [ai, ai红队测试与安全评估, and, evaluation, red, safety, team]
7
+ tags: [红队, red-team, 安全评估, safety, 提示注入, 越权, ai]
8
8
  quality_score: 70
9
9
  last_updated: 2026-06-15
10
10
  ---
11
- # 开发:Excellent(11964948@qq.com)
12
-
13
- ## AI红队测试与安全评估
11
+ # AI红队测试与安全评估
14
12
 
15
13
  ### 目标
16
14
  - 在上线前识别提示注入、越权调用、敏感泄漏、内容安全等高风险问题。
@@ -1,16 +1,14 @@
1
1
  ---
2
2
  id: ai-release-readiness-and-rollback-gate
3
- title: ai-release-readiness-and-rollback-gate
3
+ title: AI发布就绪与回滚门禁
4
4
  domain: ai
5
- category: ai-release-readiness-and-rollback-gate.md
5
+ category: 02-playbooks
6
6
  difficulty: intermediate
7
- tags: [ai, ai发布就绪与回滚门禁, and, gate, readiness, release, rollback]
7
+ tags: [发布门禁, 回滚, rollback, release-gate, 灰度, 就绪评估, ai]
8
8
  quality_score: 70
9
9
  last_updated: 2026-06-15
10
10
  ---
11
- # 开发:Excellent(11964948@qq.com)
12
-
13
- ## AI发布就绪与回滚门禁
11
+ # AI发布就绪与回滚门禁
14
12
 
15
13
  ### 目标
16
14
  - 将AI能力发布纳入可量化门禁,确保上线可控与可回退。
@@ -1,16 +1,14 @@
1
1
  ---
2
2
  id: llm-agent-engineering-deep-dive
3
- title: llm-agent-engineering-deep-dive
3
+ title: LLM 与 Agent 工程深度知识库
4
4
  domain: ai
5
- category: llm-agent-engineering-deep-dive.md
5
+ category: 01-standards
6
6
  difficulty: intermediate
7
- tags: [agent, ai, deep, dive, engineering, llm, 工程深度知识库]
7
+ tags: [llm, agent, 工程化, prompt, 工具调用, 编排, ai]
8
8
  quality_score: 70
9
9
  last_updated: 2026-06-15
10
10
  ---
11
- # 开发:Excellent(11964948@qq.com)
12
-
13
- ## LLM 与 Agent 工程深度知识库
11
+ # LLM 与 Agent 工程深度知识库
14
12
 
15
13
  ### 目标
16
14
  - 建立可控、可测、可审计的 AI 研发与运行标准。