santismm-knowledge-mcp 0.2.1
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/LICENSE +21 -0
- package/README.md +62 -0
- package/content/CONVENTIONS.md +77 -0
- package/content/LICENSE +55 -0
- package/content/architectures/ai-workforce.json +280 -0
- package/content/architectures/customer-service-agent.json +292 -0
- package/content/architectures/enterprise-knowledge-assistant.json +292 -0
- package/content/architectures/operations-center.json +280 -0
- package/content/architectures/sales-copilot.json +280 -0
- package/content/governance/agentic-ai-governance-checklist.json +323 -0
- package/content/governance/audit-framework-for-agentic-systems.json +280 -0
- package/content/governance/enterprise-ai-governance-framework.json +277 -0
- package/content/governance/eu-ai-act.json +162 -0
- package/content/governance/human-oversight-and-accountability-policy.json +275 -0
- package/content/governance/iso-42001.json +161 -0
- package/content/governance/mitre-atlas.json +280 -0
- package/content/governance/nist-ai-rmf.json +161 -0
- package/content/governance/owasp-llm-top10.json +301 -0
- package/content/harness/HRN-001-definition-and-overview.es.md +76 -0
- package/content/harness/HRN-001-definition-and-overview.md +125 -0
- package/content/harness/HRN-001-definition-and-overview.pt.md +76 -0
- package/content/harness/HRN-002-a-brief-history-of-harness-engineering.es.md +83 -0
- package/content/harness/HRN-002-a-brief-history-of-harness-engineering.md +113 -0
- package/content/harness/HRN-002-a-brief-history-of-harness-engineering.pt.md +83 -0
- package/content/harness/HRN-003-the-harness-taxonomy.es.md +105 -0
- package/content/harness/HRN-003-the-harness-taxonomy.md +158 -0
- package/content/harness/HRN-003-the-harness-taxonomy.pt.md +105 -0
- package/content/harness/HRN-004-harness-engineering-principles.es.md +91 -0
- package/content/harness/HRN-004-harness-engineering-principles.md +135 -0
- package/content/harness/HRN-004-harness-engineering-principles.pt.md +91 -0
- package/content/harness/HRN-005-memory-in-agentic-systems.es.md +98 -0
- package/content/harness/HRN-005-memory-in-agentic-systems.md +145 -0
- package/content/harness/HRN-005-memory-in-agentic-systems.pt.md +98 -0
- package/content/harness/HRN-006-observability-for-agentic-systems.es.md +97 -0
- package/content/harness/HRN-006-observability-for-agentic-systems.md +139 -0
- package/content/harness/HRN-006-observability-for-agentic-systems.pt.md +97 -0
- package/content/harness/HRN-007-evaluation-of-agentic-systems.es.md +96 -0
- package/content/harness/HRN-007-evaluation-of-agentic-systems.md +145 -0
- package/content/harness/HRN-007-evaluation-of-agentic-systems.pt.md +96 -0
- package/content/harness/HRN-008-governance-within-the-harness.es.md +105 -0
- package/content/harness/HRN-008-governance-within-the-harness.md +146 -0
- package/content/harness/HRN-008-governance-within-the-harness.pt.md +105 -0
- package/content/harness/HRN-009-planning-and-goal-management.es.md +102 -0
- package/content/harness/HRN-009-planning-and-goal-management.md +142 -0
- package/content/harness/HRN-009-planning-and-goal-management.pt.md +102 -0
- package/content/harness/HRN-010-orchestration.es.md +107 -0
- package/content/harness/HRN-010-orchestration.md +149 -0
- package/content/harness/HRN-010-orchestration.pt.md +107 -0
- package/content/harness/HRN-011-security-for-agentic-systems.es.md +107 -0
- package/content/harness/HRN-011-security-for-agentic-systems.md +147 -0
- package/content/harness/HRN-011-security-for-agentic-systems.pt.md +107 -0
- package/content/harness/HRN-012-case-studies-in-harness-engineering.es.md +120 -0
- package/content/harness/HRN-012-case-studies-in-harness-engineering.md +157 -0
- package/content/harness/HRN-012-case-studies-in-harness-engineering.pt.md +120 -0
- package/content/harness/HRN-013-glossary.es.md +109 -0
- package/content/harness/HRN-013-glossary.md +124 -0
- package/content/harness/HRN-013-glossary.pt.md +109 -0
- package/content/harness/HRN-014-bibliography.es.md +89 -0
- package/content/harness/HRN-014-bibliography.md +109 -0
- package/content/harness/HRN-014-bibliography.pt.md +89 -0
- package/content/homeric/episodes/achilles-and-hector.json +139 -0
- package/content/homeric/episodes/aeolus-and-the-winds.json +131 -0
- package/content/homeric/episodes/agamemnons-murder.json +162 -0
- package/content/homeric/episodes/calypso-ogygia.json +157 -0
- package/content/homeric/episodes/catalogue-of-ships.json +177 -0
- package/content/homeric/episodes/cattle-of-the-sun.json +131 -0
- package/content/homeric/episodes/chryse-and-the-plague.json +131 -0
- package/content/homeric/episodes/cicones-at-ismarus.json +131 -0
- package/content/homeric/episodes/circe-on-aeaea.json +131 -0
- package/content/homeric/episodes/cyclops-polyphemus.json +162 -0
- package/content/homeric/episodes/laestrygonians.json +153 -0
- package/content/homeric/episodes/lotus-eaters.json +138 -0
- package/content/homeric/episodes/menelaus-and-proteus.json +130 -0
- package/content/homeric/episodes/nekyia.json +160 -0
- package/content/homeric/episodes/phaeacians-on-scheria.json +129 -0
- package/content/homeric/episodes/priams-ransom.json +131 -0
- package/content/homeric/episodes/return-to-ithaca.json +167 -0
- package/content/homeric/episodes/scylla-and-charybdis.json +131 -0
- package/content/homeric/episodes/suitors-ambush-at-asteris.json +131 -0
- package/content/homeric/episodes/telemachus-at-pylos.json +130 -0
- package/content/homeric/episodes/telemachus-in-sparta.json +130 -0
- package/content/homeric/episodes/the-achaean-camp.json +138 -0
- package/content/homeric/episodes/the-sirens.json +129 -0
- package/content/homeric/episodes/wooden-horse.json +168 -0
- package/content/homeric/places/aeaea.json +129 -0
- package/content/homeric/places/aeolia.json +161 -0
- package/content/homeric/places/asteris.json +120 -0
- package/content/homeric/places/aulis.json +122 -0
- package/content/homeric/places/cape-malea.json +126 -0
- package/content/homeric/places/chryse.json +120 -0
- package/content/homeric/places/dodona.json +129 -0
- package/content/homeric/places/dulichium.json +177 -0
- package/content/homeric/places/egypt.json +125 -0
- package/content/homeric/places/ephyra-acheron.json +127 -0
- package/content/homeric/places/hellespont.json +125 -0
- package/content/homeric/places/house-of-hades.json +91 -0
- package/content/homeric/places/ismarus.json +120 -0
- package/content/homeric/places/ithaca.json +240 -0
- package/content/homeric/places/knossos.json +132 -0
- package/content/homeric/places/laestrygonia.json +168 -0
- package/content/homeric/places/land-of-the-cyclopes.json +169 -0
- package/content/homeric/places/land-of-the-lotus-eaters.json +122 -0
- package/content/homeric/places/mount-ida.json +126 -0
- package/content/homeric/places/mycenae.json +152 -0
- package/content/homeric/places/ogygia.json +125 -0
- package/content/homeric/places/pharos.json +120 -0
- package/content/homeric/places/planctae.json +77 -0
- package/content/homeric/places/pylos.json +188 -0
- package/content/homeric/places/same.json +177 -0
- package/content/homeric/places/scheria.json +129 -0
- package/content/homeric/places/scylla-and-charybdis.json +135 -0
- package/content/homeric/places/sirens.json +127 -0
- package/content/homeric/places/sparta.json +179 -0
- package/content/homeric/places/tenedos.json +129 -0
- package/content/homeric/places/thrinacia.json +116 -0
- package/content/homeric/places/tiryns.json +123 -0
- package/content/homeric/places/troy.json +224 -0
- package/content/homeric/places/zacynthus.json +126 -0
- package/content/homeric/routes/achaean-expedition.json +132 -0
- package/content/homeric/routes/nostoi-of-the-others.json +205 -0
- package/content/homeric/routes/odysseus-nostos.json +307 -0
- package/content/homeric/routes/telemachy.json +134 -0
- package/content/knowledge/agent-memory.json +153 -0
- package/content/knowledge/agentic-ai.json +158 -0
- package/content/knowledge/agentic-evaluation.json +156 -0
- package/content/knowledge/agentic-threat-model.json +287 -0
- package/content/knowledge/ai-agent.json +153 -0
- package/content/knowledge/ai-cyberdefense.json +274 -0
- package/content/knowledge/ai-governance.json +155 -0
- package/content/knowledge/ai-observability.json +156 -0
- package/content/knowledge/context-engineering.json +153 -0
- package/content/knowledge/embeddings.json +153 -0
- package/content/knowledge/enterprise-rag.json +154 -0
- package/content/knowledge/fine-tuning.json +153 -0
- package/content/knowledge/foundation-models.json +154 -0
- package/content/knowledge/guardrails.json +153 -0
- package/content/knowledge/harness-engineering.json +158 -0
- package/content/knowledge/human-in-the-loop.json +153 -0
- package/content/knowledge/mcp-security.json +284 -0
- package/content/knowledge/model-context-protocol.json +154 -0
- package/content/knowledge/multi-agent-architecture.json +153 -0
- package/content/knowledge/prompt-engineering.json +153 -0
- package/content/knowledge/prompt-injection.json +138 -0
- package/content/knowledge/reasoning-models.json +153 -0
- package/content/knowledge/tool-use.json +156 -0
- package/content/library/cognitive-architecture-emergent-ai.md +15 -0
- package/content/library/devready-ep108-ai-customer-experiences.md +14 -0
- package/content/library/how-genai-impact-business.md +12 -0
- package/content/library/lmm-reshaping-industries-2024.md +12 -0
- package/content/library/rethinking-ai-pause.md +12 -0
- package/content/library/rise-of-agentic-ai.md +16 -0
- package/content/library/self-improving-autonomous-ai.md +16 -0
- package/content/library/the-stopwatch-and-the-exam.md +12 -0
- package/content/library/unlock-gpt4-secrets.md +12 -0
- package/content/library/vibe-coding-enterprise.md +15 -0
- package/content/library/video-transformando-negocios-genai.md +14 -0
- package/content/library/video-volando-alto-sky-airlines.md +13 -0
- package/content/matrix/agentic-control-matrix.json +967 -0
- package/content/patterns/attributed-memory.json +237 -0
- package/content/patterns/context-compression.json +304 -0
- package/content/patterns/egress-allowlist.json +310 -0
- package/content/patterns/evaluator-optimizer.json +180 -0
- package/content/patterns/goal-decomposition.json +290 -0
- package/content/patterns/human-approval-gate.json +311 -0
- package/content/patterns/human-escalation.json +288 -0
- package/content/patterns/least-privilege-tooling.json +333 -0
- package/content/patterns/long-term-memory.json +305 -0
- package/content/patterns/orchestrator-workers.json +202 -0
- package/content/patterns/parallelization.json +180 -0
- package/content/patterns/prompt-chaining.json +181 -0
- package/content/patterns/recovery-strategy.json +305 -0
- package/content/patterns/reflection.json +298 -0
- package/content/patterns/routing.json +294 -0
- package/content/patterns/sandboxed-execution.json +311 -0
- package/content/patterns/semantic-caching.json +201 -0
- package/content/patterns/supervisor-agent.json +290 -0
- package/content/patterns/task-prioritization.json +307 -0
- package/dist/content.js +181 -0
- package/dist/index.js +27 -0
- package/dist/shape.js +649 -0
- package/dist/tools.js +652 -0
- package/package.json +47 -0
|
@@ -0,0 +1,275 @@
|
|
|
1
|
+
{
|
|
2
|
+
"id": "GOV-007",
|
|
3
|
+
"slug": "human-oversight-and-accountability-policy",
|
|
4
|
+
"category": "playbook",
|
|
5
|
+
"updated": "2026-06-21",
|
|
6
|
+
"version": "1.0",
|
|
7
|
+
"featured": false,
|
|
8
|
+
"evidence": {
|
|
9
|
+
"evidenceLevel": "industry_observation",
|
|
10
|
+
"confidenceLevel": "high",
|
|
11
|
+
"sourceType": [
|
|
12
|
+
"industry_observation",
|
|
13
|
+
"paper"
|
|
14
|
+
]
|
|
15
|
+
},
|
|
16
|
+
"frameworks": [
|
|
17
|
+
"EU AI Act"
|
|
18
|
+
],
|
|
19
|
+
"patterns": [
|
|
20
|
+
"human-approval-gate",
|
|
21
|
+
"human-escalation"
|
|
22
|
+
],
|
|
23
|
+
"knowledge": [
|
|
24
|
+
"human-in-the-loop",
|
|
25
|
+
"ai-governance"
|
|
26
|
+
],
|
|
27
|
+
"references": [
|
|
28
|
+
{
|
|
29
|
+
"title": "EU AI Act — Article 14 (Human oversight)",
|
|
30
|
+
"url": "https://artificialintelligenceact.eu/article/14/"
|
|
31
|
+
},
|
|
32
|
+
{
|
|
33
|
+
"title": "NIST — AI Risk Management Framework (AI RMF 1.0)",
|
|
34
|
+
"url": "https://www.nist.gov/itl/ai-risk-management-framework"
|
|
35
|
+
},
|
|
36
|
+
{
|
|
37
|
+
"title": "OECD — AI Principles",
|
|
38
|
+
"url": "https://oecd.ai/en/ai-principles"
|
|
39
|
+
}
|
|
40
|
+
],
|
|
41
|
+
"related": [
|
|
42
|
+
"eu-ai-act",
|
|
43
|
+
"agentic-ai-governance-checklist"
|
|
44
|
+
],
|
|
45
|
+
"locales": {
|
|
46
|
+
"en": {
|
|
47
|
+
"name": "Human Oversight and Accountability Policy",
|
|
48
|
+
"summary": "An operational policy that turns EU AI Act Article 14 human oversight into practice for agentic AI. It assigns a named accountable owner per agent, sets the oversight level (in-the-loop, on-the-loop, out-of-the-loop) by risk, and defines intervention, override and stop authority plus escalation paths. It requires overseers to be competent and have time to act, and it guards against rubber-stamping and automation bias. It exists to prevent two failures: the absent human and the token human who cannot actually understand, override, or answer for what the agent does.",
|
|
49
|
+
"definition": "A human oversight and accountability policy is a binding rule set that assigns a named human to be answerable for each agent and guarantees a competent person can understand, intervene in, and stop its actions.",
|
|
50
|
+
"scope": "Every production or pilot agent that uses tools, acts on systems, or makes consequential decisions, and the system owners, approvers and operators who oversee them. It operationalizes Article 14; it is not a substitute for legal advice.",
|
|
51
|
+
"keyPoints": [
|
|
52
|
+
"Each agent has one named, accountable owner — accountability is never transferred to the model.",
|
|
53
|
+
"Oversight level is matched to risk: in-the-loop for high-impact or irreversible actions, on-the-loop for reversible high-volume actions, out-of-the-loop only for low-risk reversible tasks.",
|
|
54
|
+
"Every agent exposes tested reject, modify and stop (kill-switch) controls with the context needed for an informed decision.",
|
|
55
|
+
"Escalation thresholds route consequential decisions to humans by impact, irreversibility, rights or safety, confidence and novelty.",
|
|
56
|
+
"Overseers must be competent, intelligibly informed, and have genuine authority and time to act.",
|
|
57
|
+
"Automation bias and rubber-stamping are actively countered, not assumed away."
|
|
58
|
+
],
|
|
59
|
+
"controls": [
|
|
60
|
+
{
|
|
61
|
+
"control": "Named accountable owner",
|
|
62
|
+
"note": "Assign one human answerable for each agent's outcomes. 'The model decided' is not an acceptable account."
|
|
63
|
+
},
|
|
64
|
+
{
|
|
65
|
+
"control": "Risk-matched oversight level",
|
|
66
|
+
"note": "Define in-the-loop, on-the-loop or out-of-the-loop per agent based on action impact and reversibility. Implements the human-approval-gate pattern for high-impact actions."
|
|
67
|
+
},
|
|
68
|
+
{
|
|
69
|
+
"control": "Override and stop authority",
|
|
70
|
+
"note": "Expose tested reject, modify and stop controls; surface enough context for an informed override. The stop must be fast and reachable."
|
|
71
|
+
},
|
|
72
|
+
{
|
|
73
|
+
"control": "Escalation thresholds",
|
|
74
|
+
"note": "Route decisions to humans when impact, irreversibility, rights/safety, low confidence or novelty thresholds are crossed. Implements the human-escalation pattern."
|
|
75
|
+
},
|
|
76
|
+
{
|
|
77
|
+
"control": "Overseer competence",
|
|
78
|
+
"note": "Train and certify overseers on the agent's domain and limits so oversight is meaningful, not nominal."
|
|
79
|
+
},
|
|
80
|
+
{
|
|
81
|
+
"control": "Anti-rubber-stamping safeguards",
|
|
82
|
+
"note": "Throttle and require justification for approvals; monitor approval time and override rates to detect automation bias."
|
|
83
|
+
}
|
|
84
|
+
],
|
|
85
|
+
"checklist": [
|
|
86
|
+
"Name one accountable owner for each production agent and record it.",
|
|
87
|
+
"Classify each agent's actions by impact and reversibility and assign an oversight level.",
|
|
88
|
+
"Implement and test reject, modify and stop (kill-switch) controls for every agent.",
|
|
89
|
+
"Ensure the agent surfaces intelligible context for any decision that needs oversight.",
|
|
90
|
+
"Define and configure escalation thresholds for impact, rights/safety, confidence and novelty.",
|
|
91
|
+
"Train overseers on the agent's domain and limits and keep their certification current.",
|
|
92
|
+
"Add anti-rubber-stamping safeguards and monitor approval time and override rates.",
|
|
93
|
+
"Log every approval and override with actor, reason and timestamp, and review thresholds on a schedule."
|
|
94
|
+
],
|
|
95
|
+
"pitfalls": [
|
|
96
|
+
"Token oversight: a human clicks approve without the context, authority or time to actually evaluate the action.",
|
|
97
|
+
"Automation bias: approvers trust the agent so much they stop scrutinizing its output.",
|
|
98
|
+
"Diffuse accountability: no single named owner, so a failure has no answerable human.",
|
|
99
|
+
"Unreachable override: a stop control that is slow, hidden or never tested.",
|
|
100
|
+
"Threshold drift: escalation limits set once and never updated as the agent's scope grows."
|
|
101
|
+
],
|
|
102
|
+
"examples": [
|
|
103
|
+
"A finance agent whose payments above a spend cap require in-the-loop human approval, while reconciliations run on-the-loop.",
|
|
104
|
+
"A support agent that escalates to a human when its confidence is low or a request affects a customer's rights.",
|
|
105
|
+
"An incident where the named owner is held accountable and the override log shows who approved the action and why."
|
|
106
|
+
],
|
|
107
|
+
"faqs": [
|
|
108
|
+
{
|
|
109
|
+
"q": "Does human oversight mean a human approves everything?",
|
|
110
|
+
"a": "No. Oversight is tiered: in-the-loop for high-impact or irreversible actions, on-the-loop monitoring for reversible high-volume actions, and a human-in-command posture overall. The model scales to risk so oversight stays meaningful instead of becoming approval fatigue."
|
|
111
|
+
},
|
|
112
|
+
{
|
|
113
|
+
"q": "Can accountability sit with the AI vendor?",
|
|
114
|
+
"a": "No. Vendor relationships are governed separately, but your named system owner remains accountable for how the agent is deployed and used. Automation is a tool, not a defense."
|
|
115
|
+
},
|
|
116
|
+
{
|
|
117
|
+
"q": "How do we prevent rubber-stamping and automation bias?",
|
|
118
|
+
"a": "Surface intelligible context for each decision, throttle and require justification for approvals, monitor approval time and override rates, and keep overseers competent through training and rotation."
|
|
119
|
+
}
|
|
120
|
+
]
|
|
121
|
+
},
|
|
122
|
+
"es": {
|
|
123
|
+
"name": "Política de Supervisión Humana y Rendición de Cuentas",
|
|
124
|
+
"summary": "Una política operativa que lleva la supervisión humana del Artículo 14 del EU AI Act a la práctica para la IA agéntica. Asigna un responsable nombrado por agente, fija el nivel de supervisión (en el bucle, sobre el bucle, fuera del bucle) según el riesgo y define la autoridad de intervención, anulación y parada más las vías de escalado. Exige que los supervisores sean competentes y tengan tiempo para actuar, y protege frente al sello automático y el sesgo de automatización. Existe para evitar dos fallos: el humano ausente y el humano simbólico que no puede entender, anular ni responder por lo que hace el agente.",
|
|
125
|
+
"definition": "Una política de supervisión humana y rendición de cuentas es un conjunto de reglas vinculantes que asigna un humano nombrado como responsable de cada agente y garantiza que una persona competente pueda entender, intervenir y detener sus acciones.",
|
|
126
|
+
"scope": "Todo agente en producción o piloto que use herramientas, actúe sobre sistemas o tome decisiones de consecuencia, y los propietarios de sistema, aprobadores y operadores que los supervisan. Operacionaliza el Artículo 14; no sustituye al asesoramiento legal.",
|
|
127
|
+
"keyPoints": [
|
|
128
|
+
"Cada agente tiene un único responsable nombrado: la rendición de cuentas nunca se transfiere al modelo.",
|
|
129
|
+
"El nivel de supervisión se ajusta al riesgo: en el bucle para acciones de alto impacto o irreversibles, sobre el bucle para acciones reversibles de alto volumen, fuera del bucle solo para tareas reversibles de bajo riesgo.",
|
|
130
|
+
"Cada agente expone controles probados de rechazar, modificar y detener (interruptor de parada) con el contexto necesario para una decisión informada.",
|
|
131
|
+
"Los umbrales de escalado enrutan las decisiones de consecuencia a humanos por impacto, irreversibilidad, derechos o seguridad, confianza y novedad.",
|
|
132
|
+
"Los supervisores deben ser competentes, estar informados de forma inteligible y tener autoridad y tiempo reales para actuar.",
|
|
133
|
+
"El sesgo de automatización y el sello automático se contrarrestan activamente, no se dan por descartados."
|
|
134
|
+
],
|
|
135
|
+
"controls": [
|
|
136
|
+
{
|
|
137
|
+
"control": "Responsable nombrado",
|
|
138
|
+
"note": "Asigna un humano que responda por los resultados de cada agente. 'El modelo decidió' no es una explicación aceptable."
|
|
139
|
+
},
|
|
140
|
+
{
|
|
141
|
+
"control": "Nivel de supervisión según riesgo",
|
|
142
|
+
"note": "Define en el bucle, sobre el bucle o fuera del bucle por agente según el impacto y la reversibilidad de la acción. Implementa el patrón de puerta de aprobación humana para acciones de alto impacto."
|
|
143
|
+
},
|
|
144
|
+
{
|
|
145
|
+
"control": "Autoridad de anulación y parada",
|
|
146
|
+
"note": "Expón controles probados de rechazar, modificar y detener; muestra suficiente contexto para una anulación informada. La parada debe ser rápida y accesible."
|
|
147
|
+
},
|
|
148
|
+
{
|
|
149
|
+
"control": "Umbrales de escalado",
|
|
150
|
+
"note": "Enruta las decisiones a humanos cuando se cruzan umbrales de impacto, irreversibilidad, derechos/seguridad, baja confianza o novedad. Implementa el patrón de escalado humano."
|
|
151
|
+
},
|
|
152
|
+
{
|
|
153
|
+
"control": "Competencia del supervisor",
|
|
154
|
+
"note": "Forma y certifica a los supervisores en el dominio y los límites del agente para que la supervisión sea significativa, no nominal."
|
|
155
|
+
},
|
|
156
|
+
{
|
|
157
|
+
"control": "Salvaguardas contra el sello automático",
|
|
158
|
+
"note": "Limita y exige justificación para las aprobaciones; monitoriza el tiempo de aprobación y la tasa de anulaciones para detectar el sesgo de automatización."
|
|
159
|
+
}
|
|
160
|
+
],
|
|
161
|
+
"checklist": [
|
|
162
|
+
"Nombra un único responsable para cada agente en producción y regístralo.",
|
|
163
|
+
"Clasifica las acciones de cada agente por impacto y reversibilidad y asigna un nivel de supervisión.",
|
|
164
|
+
"Implementa y prueba los controles de rechazar, modificar y detener (interruptor de parada) para cada agente.",
|
|
165
|
+
"Asegura que el agente muestre contexto inteligible para cualquier decisión que necesite supervisión.",
|
|
166
|
+
"Define y configura umbrales de escalado para impacto, derechos/seguridad, confianza y novedad.",
|
|
167
|
+
"Forma a los supervisores en el dominio y los límites del agente y mantén su certificación al día.",
|
|
168
|
+
"Añade salvaguardas contra el sello automático y monitoriza el tiempo de aprobación y la tasa de anulaciones.",
|
|
169
|
+
"Registra cada aprobación y anulación con actor, motivo y marca de tiempo, y revisa los umbrales de forma periódica."
|
|
170
|
+
],
|
|
171
|
+
"pitfalls": [
|
|
172
|
+
"Supervisión simbólica: un humano pulsa aprobar sin el contexto, la autoridad o el tiempo para evaluar realmente la acción.",
|
|
173
|
+
"Sesgo de automatización: los aprobadores confían tanto en el agente que dejan de escrutar su salida.",
|
|
174
|
+
"Rendición de cuentas difusa: ningún responsable nombrado, así que un fallo no tiene humano que responda.",
|
|
175
|
+
"Anulación inalcanzable: un control de parada lento, oculto o nunca probado.",
|
|
176
|
+
"Deriva de umbrales: límites de escalado fijados una vez y nunca actualizados a medida que crece el alcance del agente."
|
|
177
|
+
],
|
|
178
|
+
"examples": [
|
|
179
|
+
"Un agente financiero cuyos pagos por encima de un tope de gasto requieren aprobación humana en el bucle, mientras las conciliaciones corren sobre el bucle.",
|
|
180
|
+
"Un agente de soporte que escala a un humano cuando su confianza es baja o una solicitud afecta los derechos de un cliente.",
|
|
181
|
+
"Un incidente en el que el responsable nombrado rinde cuentas y el registro de anulaciones muestra quién aprobó la acción y por qué."
|
|
182
|
+
],
|
|
183
|
+
"faqs": [
|
|
184
|
+
{
|
|
185
|
+
"q": "¿Supervisión humana significa que un humano aprueba todo?",
|
|
186
|
+
"a": "No. La supervisión es por niveles: en el bucle para acciones de alto impacto o irreversibles, monitorización sobre el bucle para acciones reversibles de alto volumen y una postura de humano al mando en general. El modelo se ajusta al riesgo para que la supervisión siga siendo significativa en vez de convertirse en fatiga de aprobación."
|
|
187
|
+
},
|
|
188
|
+
{
|
|
189
|
+
"q": "¿Puede la rendición de cuentas recaer en el proveedor de IA?",
|
|
190
|
+
"a": "No. Las relaciones con proveedores se gobiernan aparte, pero tu propietario de sistema nombrado sigue siendo responsable de cómo se despliega y usa el agente. La automatización es una herramienta, no una defensa."
|
|
191
|
+
},
|
|
192
|
+
{
|
|
193
|
+
"q": "¿Cómo evitamos el sello automático y el sesgo de automatización?",
|
|
194
|
+
"a": "Muestra contexto inteligible para cada decisión, limita y exige justificación para las aprobaciones, monitoriza el tiempo de aprobación y la tasa de anulaciones, y mantén a los supervisores competentes mediante formación y rotación."
|
|
195
|
+
}
|
|
196
|
+
]
|
|
197
|
+
},
|
|
198
|
+
"pt": {
|
|
199
|
+
"name": "Política de Supervisão Humana e Responsabilização",
|
|
200
|
+
"summary": "Uma política operacional que leva a supervisão humana do Artigo 14 do EU AI Act à prática para a IA agêntica. Atribui um responsável nomeado por agente, define o nível de supervisão (no laço, sobre o laço, fora do laço) conforme o risco e estabelece a autoridade de intervenção, anulação e parada, além das vias de escalonamento. Exige que os supervisores sejam competentes e tenham tempo para agir, e protege contra o carimbo automático e o viés de automação. Existe para evitar duas falhas: o humano ausente e o humano simbólico que não consegue entender, anular nem responder pelo que o agente faz.",
|
|
201
|
+
"definition": "Uma política de supervisão humana e responsabilização é um conjunto de regras vinculantes que atribui um humano nomeado como responsável por cada agente e garante que uma pessoa competente possa entender, intervir e parar suas ações.",
|
|
202
|
+
"scope": "Todo agente em produção ou piloto que use ferramentas, aja sobre sistemas ou tome decisões consequentes, e os proprietários de sistema, aprovadores e operadores que os supervisionam. Operacionaliza o Artigo 14; não substitui aconselhamento jurídico.",
|
|
203
|
+
"keyPoints": [
|
|
204
|
+
"Cada agente tem um único responsável nomeado: a responsabilização nunca é transferida para o modelo.",
|
|
205
|
+
"O nível de supervisão é ajustado ao risco: no laço para ações de alto impacto ou irreversíveis, sobre o laço para ações reversíveis de alto volume, fora do laço apenas para tarefas reversíveis de baixo risco.",
|
|
206
|
+
"Cada agente expõe controles testados de rejeitar, modificar e parar (interruptor de parada) com o contexto necessário para uma decisão informada.",
|
|
207
|
+
"Os limiares de escalonamento roteiam as decisões consequentes para humanos por impacto, irreversibilidade, direitos ou segurança, confiança e novidade.",
|
|
208
|
+
"Os supervisores devem ser competentes, informados de forma inteligível e ter autoridade e tempo reais para agir.",
|
|
209
|
+
"O viés de automação e o carimbo automático são contrariados ativamente, não presumidos como ausentes."
|
|
210
|
+
],
|
|
211
|
+
"controls": [
|
|
212
|
+
{
|
|
213
|
+
"control": "Responsável nomeado",
|
|
214
|
+
"note": "Atribua um humano que responda pelos resultados de cada agente. 'O modelo decidiu' não é uma explicação aceitável."
|
|
215
|
+
},
|
|
216
|
+
{
|
|
217
|
+
"control": "Nível de supervisão conforme o risco",
|
|
218
|
+
"note": "Defina no laço, sobre o laço ou fora do laço por agente conforme o impacto e a reversibilidade da ação. Implementa o padrão de portão de aprovação humana para ações de alto impacto."
|
|
219
|
+
},
|
|
220
|
+
{
|
|
221
|
+
"control": "Autoridade de anulação e parada",
|
|
222
|
+
"note": "Exponha controles testados de rejeitar, modificar e parar; mostre contexto suficiente para uma anulação informada. A parada deve ser rápida e acessível."
|
|
223
|
+
},
|
|
224
|
+
{
|
|
225
|
+
"control": "Limiares de escalonamento",
|
|
226
|
+
"note": "Roteie as decisões para humanos quando limiares de impacto, irreversibilidade, direitos/segurança, baixa confiança ou novidade forem cruzados. Implementa o padrão de escalonamento humano."
|
|
227
|
+
},
|
|
228
|
+
{
|
|
229
|
+
"control": "Competência do supervisor",
|
|
230
|
+
"note": "Treine e certifique os supervisores no domínio e nos limites do agente para que a supervisão seja significativa, não nominal."
|
|
231
|
+
},
|
|
232
|
+
{
|
|
233
|
+
"control": "Salvaguardas contra o carimbo automático",
|
|
234
|
+
"note": "Limite e exija justificativa para as aprovações; monitore o tempo de aprovação e a taxa de anulações para detectar o viés de automação."
|
|
235
|
+
}
|
|
236
|
+
],
|
|
237
|
+
"checklist": [
|
|
238
|
+
"Nomeie um único responsável para cada agente em produção e registre-o.",
|
|
239
|
+
"Classifique as ações de cada agente por impacto e reversibilidade e atribua um nível de supervisão.",
|
|
240
|
+
"Implemente e teste os controles de rejeitar, modificar e parar (interruptor de parada) para cada agente.",
|
|
241
|
+
"Garanta que o agente mostre contexto inteligível para qualquer decisão que precise de supervisão.",
|
|
242
|
+
"Defina e configure limiares de escalonamento para impacto, direitos/segurança, confiança e novidade.",
|
|
243
|
+
"Treine os supervisores no domínio e nos limites do agente e mantenha a certificação deles em dia.",
|
|
244
|
+
"Adicione salvaguardas contra o carimbo automático e monitore o tempo de aprovação e a taxa de anulações.",
|
|
245
|
+
"Registre cada aprovação e anulação com ator, motivo e marca de tempo, e revise os limiares periodicamente."
|
|
246
|
+
],
|
|
247
|
+
"pitfalls": [
|
|
248
|
+
"Supervisão simbólica: um humano clica em aprovar sem o contexto, a autoridade ou o tempo para avaliar de fato a ação.",
|
|
249
|
+
"Viés de automação: os aprovadores confiam tanto no agente que param de escrutinar sua saída.",
|
|
250
|
+
"Responsabilização difusa: nenhum responsável nomeado, então uma falha não tem humano que responda.",
|
|
251
|
+
"Anulação inalcançável: um controle de parada lento, oculto ou nunca testado.",
|
|
252
|
+
"Deriva de limiares: limites de escalonamento definidos uma vez e nunca atualizados à medida que o escopo do agente cresce."
|
|
253
|
+
],
|
|
254
|
+
"examples": [
|
|
255
|
+
"Um agente financeiro cujos pagamentos acima de um teto de gasto exigem aprovação humana no laço, enquanto as conciliações correm sobre o laço.",
|
|
256
|
+
"Um agente de suporte que escala para um humano quando sua confiança é baixa ou uma solicitação afeta os direitos de um cliente.",
|
|
257
|
+
"Um incidente em que o responsável nomeado presta contas e o registro de anulações mostra quem aprovou a ação e por quê."
|
|
258
|
+
],
|
|
259
|
+
"faqs": [
|
|
260
|
+
{
|
|
261
|
+
"q": "Supervisão humana significa que um humano aprova tudo?",
|
|
262
|
+
"a": "Não. A supervisão é em níveis: no laço para ações de alto impacto ou irreversíveis, monitoramento sobre o laço para ações reversíveis de alto volume e uma postura de humano no comando em geral. O modelo se ajusta ao risco para que a supervisão continue significativa em vez de virar fadiga de aprovação."
|
|
263
|
+
},
|
|
264
|
+
{
|
|
265
|
+
"q": "A responsabilização pode ficar com o fornecedor de IA?",
|
|
266
|
+
"a": "Não. As relações com fornecedores são governadas à parte, mas o seu proprietário de sistema nomeado continua responsável por como o agente é implantado e usado. A automação é uma ferramenta, não uma defesa."
|
|
267
|
+
},
|
|
268
|
+
{
|
|
269
|
+
"q": "Como evitamos o carimbo automático e o viés de automação?",
|
|
270
|
+
"a": "Mostre contexto inteligível para cada decisão, limite e exija justificativa para as aprovações, monitore o tempo de aprovação e a taxa de anulações, e mantenha os supervisores competentes por meio de treinamento e rotação."
|
|
271
|
+
}
|
|
272
|
+
]
|
|
273
|
+
}
|
|
274
|
+
}
|
|
275
|
+
}
|
|
@@ -0,0 +1,161 @@
|
|
|
1
|
+
{
|
|
2
|
+
"id": "GOV-002",
|
|
3
|
+
"slug": "iso-42001",
|
|
4
|
+
"category": "standard",
|
|
5
|
+
"updated": "2026-06-21",
|
|
6
|
+
"version": "1.0",
|
|
7
|
+
"featured": true,
|
|
8
|
+
"evidence": {
|
|
9
|
+
"evidenceLevel": "industry_observation",
|
|
10
|
+
"confidenceLevel": "high",
|
|
11
|
+
"sourceType": ["paper", "industry_observation"]
|
|
12
|
+
},
|
|
13
|
+
"frameworks": ["ISO/IEC 42001"],
|
|
14
|
+
"patterns": ["human-approval-gate"],
|
|
15
|
+
"knowledge": ["ai-governance", "agentic-evaluation", "ai-observability", "guardrails"],
|
|
16
|
+
"references": [
|
|
17
|
+
{ "title": "ISO/IEC 42001:2023 — AI management system", "url": "https://www.iso.org/standard/81230.html" },
|
|
18
|
+
{ "title": "ISO — What is an AI management system?", "url": "https://www.iso.org/artificial-intelligence/ai-management-systems" }
|
|
19
|
+
],
|
|
20
|
+
"related": ["eu-ai-act", "nist-ai-rmf", "agentic-ai-governance-checklist"],
|
|
21
|
+
"locales": {
|
|
22
|
+
"en": {
|
|
23
|
+
"name": "ISO/IEC 42001",
|
|
24
|
+
"summary": "ISO/IEC 42001:2023 is the first international, certifiable standard for an AI management system (AIMS). Like ISO 27001 for information security, it defines how an organization should establish, implement, maintain and continually improve the way it governs AI — through a policy, defined roles, risk and impact assessments, a set of controls, and a Plan-Do-Check-Act improvement cycle. It is voluntary and certifiable, giving organizations a recognized way to demonstrate responsible AI management.",
|
|
25
|
+
"definition": "ISO/IEC 42001 is a management-system standard that specifies requirements for establishing and continually improving an Artificial Intelligence Management System (AIMS) across an organization's AI lifecycle.",
|
|
26
|
+
"scope": "Any organization that provides or uses AI, of any size or sector. It governs the management system around AI — not a specific product — so it complements product- or risk-specific frameworks rather than replacing them.",
|
|
27
|
+
"keyPoints": [
|
|
28
|
+
"A certifiable AI management system, structured like other ISO management standards.",
|
|
29
|
+
"Requires an AI policy, leadership commitment and clearly assigned roles and responsibilities.",
|
|
30
|
+
"Centres on AI risk assessment and AI system impact assessment.",
|
|
31
|
+
"Provides a reference set of controls (Annex A) and implementation guidance (Annex B).",
|
|
32
|
+
"Built on the Plan-Do-Check-Act cycle for continual improvement.",
|
|
33
|
+
"Complements regulation (EU AI Act) and risk frameworks (NIST AI RMF)."
|
|
34
|
+
],
|
|
35
|
+
"controls": [
|
|
36
|
+
{ "control": "AI policy & governance roles", "note": "Establish an organizational AI policy and assign accountable owners — governance starts with leadership, not tooling." },
|
|
37
|
+
{ "control": "AI risk assessment", "note": "Systematically identify, analyse and treat risks across the AI lifecycle, and keep the assessment current." },
|
|
38
|
+
{ "control": "AI system impact assessment", "note": "Assess impacts on individuals and society (fairness, safety, rights), not just technical risk." },
|
|
39
|
+
{ "control": "Lifecycle controls (Annex A)", "note": "Apply controls for data, design, deployment and operation, selecting those relevant to your context." },
|
|
40
|
+
{ "control": "Continual improvement (PDCA)", "note": "Audit, review and improve the management system on a cycle, so governance keeps pace with change." }
|
|
41
|
+
],
|
|
42
|
+
"checklist": [
|
|
43
|
+
"Define the AIMS scope and an organizational AI policy.",
|
|
44
|
+
"Assign governance roles, responsibilities and leadership accountability.",
|
|
45
|
+
"Run AI risk assessments and AI system impact assessments.",
|
|
46
|
+
"Select and implement the relevant Annex A controls.",
|
|
47
|
+
"Document objectives, processes and evidence of operation.",
|
|
48
|
+
"Establish internal audit and management review.",
|
|
49
|
+
"Run the Plan-Do-Check-Act cycle and pursue certification if desired."
|
|
50
|
+
],
|
|
51
|
+
"pitfalls": [
|
|
52
|
+
"Treating it as a one-off project rather than a continuing management system.",
|
|
53
|
+
"Documenting a policy nobody operates against day to day.",
|
|
54
|
+
"Confusing it with EU AI Act compliance — certification is not legal conformity.",
|
|
55
|
+
"Skipping impact assessment and reducing it to technical risk only."
|
|
56
|
+
],
|
|
57
|
+
"examples": [
|
|
58
|
+
"A company standing up an AIMS to govern all its AI use under one policy and risk process.",
|
|
59
|
+
"An impact assessment surfacing a fairness risk before a model ships.",
|
|
60
|
+
"An annual internal audit and management review closing governance gaps."
|
|
61
|
+
],
|
|
62
|
+
"faqs": [
|
|
63
|
+
{ "q": "Is ISO/IEC 42001 the same as complying with the EU AI Act?", "a": "No. The standard is a voluntary, certifiable management system; the EU AI Act is binding law. A well-run AIMS supports legal compliance but does not by itself satisfy it." },
|
|
64
|
+
{ "q": "Can you get certified?", "a": "Yes. Like ISO 27001, an accredited body can audit and certify an organization's AI management system against the standard." },
|
|
65
|
+
{ "q": "How does it relate to NIST AI RMF?", "a": "They are complementary: NIST AI RMF gives a risk-management framework and trustworthiness characteristics; ISO/IEC 42001 gives the certifiable management-system structure to operate governance continuously." }
|
|
66
|
+
]
|
|
67
|
+
},
|
|
68
|
+
"es": {
|
|
69
|
+
"name": "ISO/IEC 42001",
|
|
70
|
+
"summary": "ISO/IEC 42001:2023 es la primera norma internacional y certificable para un sistema de gestión de IA (AIMS). Igual que ISO 27001 para la seguridad de la información, define cómo una organización debe establecer, implementar, mantener y mejorar de forma continua la manera en que gobierna la IA: mediante una política, roles definidos, evaluaciones de riesgo e impacto, un conjunto de controles y un ciclo de mejora Planificar-Hacer-Verificar-Actuar. Es voluntaria y certificable, y ofrece una forma reconocida de demostrar una gestión responsable de la IA.",
|
|
71
|
+
"definition": "ISO/IEC 42001 es una norma de sistema de gestión que especifica los requisitos para establecer y mejorar de forma continua un Sistema de Gestión de Inteligencia Artificial (AIMS) a lo largo del ciclo de vida de la IA de una organización.",
|
|
72
|
+
"scope": "Cualquier organización que provea o use IA, de cualquier tamaño o sector. Gobierna el sistema de gestión en torno a la IA —no un producto concreto— por lo que complementa marcos específicos de producto o riesgo en vez de reemplazarlos.",
|
|
73
|
+
"keyPoints": [
|
|
74
|
+
"Un sistema de gestión de IA certificable, estructurado como otras normas de gestión ISO.",
|
|
75
|
+
"Exige una política de IA, compromiso de la dirección y roles y responsabilidades claramente asignados.",
|
|
76
|
+
"Se centra en la evaluación de riesgos de IA y la evaluación de impacto del sistema de IA.",
|
|
77
|
+
"Proporciona un conjunto de controles de referencia (Anexo A) y guía de implementación (Anexo B).",
|
|
78
|
+
"Se basa en el ciclo Planificar-Hacer-Verificar-Actuar para la mejora continua.",
|
|
79
|
+
"Complementa la regulación (EU AI Act) y los marcos de riesgo (NIST AI RMF)."
|
|
80
|
+
],
|
|
81
|
+
"controls": [
|
|
82
|
+
{ "control": "Política y roles de gobernanza de IA", "note": "Establece una política organizativa de IA y asigna responsables: la gobernanza empieza por la dirección, no por las herramientas." },
|
|
83
|
+
{ "control": "Evaluación de riesgos de IA", "note": "Identifica, analiza y trata los riesgos de forma sistemática a lo largo del ciclo de vida, y mantén la evaluación actualizada." },
|
|
84
|
+
{ "control": "Evaluación de impacto del sistema de IA", "note": "Evalúa los impactos en las personas y la sociedad (equidad, seguridad, derechos), no solo el riesgo técnico." },
|
|
85
|
+
{ "control": "Controles del ciclo de vida (Anexo A)", "note": "Aplica controles de datos, diseño, despliegue y operación, seleccionando los relevantes para tu contexto." },
|
|
86
|
+
{ "control": "Mejora continua (PDCA)", "note": "Audita, revisa y mejora el sistema de gestión de forma cíclica, para que la gobernanza siga el ritmo del cambio." }
|
|
87
|
+
],
|
|
88
|
+
"checklist": [
|
|
89
|
+
"Define el alcance del AIMS y una política organizativa de IA.",
|
|
90
|
+
"Asigna roles de gobernanza, responsabilidades y rendición de cuentas de la dirección.",
|
|
91
|
+
"Ejecuta evaluaciones de riesgos de IA y de impacto del sistema de IA.",
|
|
92
|
+
"Selecciona e implementa los controles relevantes del Anexo A.",
|
|
93
|
+
"Documenta objetivos, procesos y evidencia de operación.",
|
|
94
|
+
"Establece auditoría interna y revisión por la dirección.",
|
|
95
|
+
"Ejecuta el ciclo Planificar-Hacer-Verificar-Actuar y busca la certificación si lo deseas."
|
|
96
|
+
],
|
|
97
|
+
"pitfalls": [
|
|
98
|
+
"Tratarlo como un proyecto puntual en vez de un sistema de gestión continuo.",
|
|
99
|
+
"Documentar una política contra la que nadie opera en el día a día.",
|
|
100
|
+
"Confundirlo con el cumplimiento del EU AI Act: la certificación no es conformidad legal.",
|
|
101
|
+
"Saltarse la evaluación de impacto y reducirla solo a riesgo técnico."
|
|
102
|
+
],
|
|
103
|
+
"examples": [
|
|
104
|
+
"Una empresa que monta un AIMS para gobernar todo su uso de IA bajo una política y un proceso de riesgo.",
|
|
105
|
+
"Una evaluación de impacto que revela un riesgo de equidad antes de desplegar un modelo.",
|
|
106
|
+
"Una auditoría interna y revisión por la dirección anuales que cierran brechas de gobernanza."
|
|
107
|
+
],
|
|
108
|
+
"faqs": [
|
|
109
|
+
{ "q": "¿ISO/IEC 42001 es lo mismo que cumplir el EU AI Act?", "a": "No. La norma es un sistema de gestión voluntario y certificable; el EU AI Act es ley vinculante. Un AIMS bien llevado apoya el cumplimiento legal, pero no lo satisface por sí solo." },
|
|
110
|
+
{ "q": "¿Se puede certificar?", "a": "Sí. Igual que ISO 27001, un organismo acreditado puede auditar y certificar el sistema de gestión de IA de una organización frente a la norma." },
|
|
111
|
+
{ "q": "¿Cómo se relaciona con NIST AI RMF?", "a": "Son complementarios: NIST AI RMF da un marco de gestión de riesgos y características de confiabilidad; ISO/IEC 42001 da la estructura certificable de sistema de gestión para operar la gobernanza de forma continua." }
|
|
112
|
+
]
|
|
113
|
+
},
|
|
114
|
+
"pt": {
|
|
115
|
+
"name": "ISO/IEC 42001",
|
|
116
|
+
"summary": "A ISO/IEC 42001:2023 é a primeira norma internacional e certificável para um sistema de gestão de IA (AIMS). Assim como a ISO 27001 para a segurança da informação, ela define como uma organização deve estabelecer, implementar, manter e melhorar continuamente a forma como governa a IA: por meio de uma política, papéis definidos, avaliações de risco e impacto, um conjunto de controles e um ciclo de melhoria Planejar-Fazer-Verificar-Agir. É voluntária e certificável, oferecendo uma forma reconhecida de demonstrar uma gestão responsável da IA.",
|
|
117
|
+
"definition": "A ISO/IEC 42001 é uma norma de sistema de gestão que especifica os requisitos para estabelecer e melhorar continuamente um Sistema de Gestão de Inteligência Artificial (AIMS) ao longo do ciclo de vida da IA de uma organização.",
|
|
118
|
+
"scope": "Qualquer organização que forneça ou use IA, de qualquer tamanho ou setor. Governa o sistema de gestão em torno da IA —não um produto específico— por isso complementa frameworks específicos de produto ou risco em vez de substituí-los.",
|
|
119
|
+
"keyPoints": [
|
|
120
|
+
"Um sistema de gestão de IA certificável, estruturado como outras normas de gestão ISO.",
|
|
121
|
+
"Exige uma política de IA, comprometimento da liderança e papéis e responsabilidades claramente atribuídos.",
|
|
122
|
+
"Centra-se na avaliação de riscos de IA e na avaliação de impacto do sistema de IA.",
|
|
123
|
+
"Fornece um conjunto de controles de referência (Anexo A) e orientação de implementação (Anexo B).",
|
|
124
|
+
"Baseia-se no ciclo Planejar-Fazer-Verificar-Agir para a melhoria contínua.",
|
|
125
|
+
"Complementa a regulação (EU AI Act) e os frameworks de risco (NIST AI RMF)."
|
|
126
|
+
],
|
|
127
|
+
"controls": [
|
|
128
|
+
{ "control": "Política e papéis de governança de IA", "note": "Estabeleça uma política organizacional de IA e atribua responsáveis: a governança começa pela liderança, não pelas ferramentas." },
|
|
129
|
+
{ "control": "Avaliação de riscos de IA", "note": "Identifique, analise e trate os riscos de forma sistemática ao longo do ciclo de vida, e mantenha a avaliação atualizada." },
|
|
130
|
+
{ "control": "Avaliação de impacto do sistema de IA", "note": "Avalie os impactos nas pessoas e na sociedade (equidade, segurança, direitos), não só o risco técnico." },
|
|
131
|
+
{ "control": "Controles do ciclo de vida (Anexo A)", "note": "Aplique controles de dados, design, implantação e operação, selecionando os relevantes para o seu contexto." },
|
|
132
|
+
{ "control": "Melhoria contínua (PDCA)", "note": "Audite, revise e melhore o sistema de gestão de forma cíclica, para que a governança acompanhe a mudança." }
|
|
133
|
+
],
|
|
134
|
+
"checklist": [
|
|
135
|
+
"Defina o escopo do AIMS e uma política organizacional de IA.",
|
|
136
|
+
"Atribua papéis de governança, responsabilidades e prestação de contas da liderança.",
|
|
137
|
+
"Execute avaliações de riscos de IA e de impacto do sistema de IA.",
|
|
138
|
+
"Selecione e implemente os controles relevantes do Anexo A.",
|
|
139
|
+
"Documente objetivos, processos e evidência de operação.",
|
|
140
|
+
"Estabeleça auditoria interna e análise crítica pela direção.",
|
|
141
|
+
"Execute o ciclo Planejar-Fazer-Verificar-Agir e busque a certificação se desejar."
|
|
142
|
+
],
|
|
143
|
+
"pitfalls": [
|
|
144
|
+
"Tratá-la como um projeto pontual em vez de um sistema de gestão contínuo.",
|
|
145
|
+
"Documentar uma política contra a qual ninguém opera no dia a dia.",
|
|
146
|
+
"Confundi-la com a conformidade ao EU AI Act: a certificação não é conformidade legal.",
|
|
147
|
+
"Pular a avaliação de impacto e reduzi-la apenas a risco técnico."
|
|
148
|
+
],
|
|
149
|
+
"examples": [
|
|
150
|
+
"Uma empresa que monta um AIMS para governar todo o seu uso de IA sob uma política e um processo de risco.",
|
|
151
|
+
"Uma avaliação de impacto que revela um risco de equidade antes de implantar um modelo.",
|
|
152
|
+
"Uma auditoria interna e análise crítica pela direção anuais que fecham lacunas de governança."
|
|
153
|
+
],
|
|
154
|
+
"faqs": [
|
|
155
|
+
{ "q": "ISO/IEC 42001 é o mesmo que cumprir o EU AI Act?", "a": "Não. A norma é um sistema de gestão voluntário e certificável; o EU AI Act é lei vinculante. Um AIMS bem conduzido apoia a conformidade legal, mas não a satisfaz por si só." },
|
|
156
|
+
{ "q": "É possível se certificar?", "a": "Sim. Assim como a ISO 27001, um organismo acreditado pode auditar e certificar o sistema de gestão de IA de uma organização frente à norma." },
|
|
157
|
+
{ "q": "Como se relaciona com o NIST AI RMF?", "a": "São complementares: o NIST AI RMF dá um framework de gestão de riscos e características de confiabilidade; a ISO/IEC 42001 dá a estrutura certificável de sistema de gestão para operar a governança de forma contínua." }
|
|
158
|
+
]
|
|
159
|
+
}
|
|
160
|
+
}
|
|
161
|
+
}
|