santismm-knowledge-mcp 0.2.1
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/LICENSE +21 -0
- package/README.md +62 -0
- package/content/CONVENTIONS.md +77 -0
- package/content/LICENSE +55 -0
- package/content/architectures/ai-workforce.json +280 -0
- package/content/architectures/customer-service-agent.json +292 -0
- package/content/architectures/enterprise-knowledge-assistant.json +292 -0
- package/content/architectures/operations-center.json +280 -0
- package/content/architectures/sales-copilot.json +280 -0
- package/content/governance/agentic-ai-governance-checklist.json +323 -0
- package/content/governance/audit-framework-for-agentic-systems.json +280 -0
- package/content/governance/enterprise-ai-governance-framework.json +277 -0
- package/content/governance/eu-ai-act.json +162 -0
- package/content/governance/human-oversight-and-accountability-policy.json +275 -0
- package/content/governance/iso-42001.json +161 -0
- package/content/governance/mitre-atlas.json +280 -0
- package/content/governance/nist-ai-rmf.json +161 -0
- package/content/governance/owasp-llm-top10.json +301 -0
- package/content/harness/HRN-001-definition-and-overview.es.md +76 -0
- package/content/harness/HRN-001-definition-and-overview.md +125 -0
- package/content/harness/HRN-001-definition-and-overview.pt.md +76 -0
- package/content/harness/HRN-002-a-brief-history-of-harness-engineering.es.md +83 -0
- package/content/harness/HRN-002-a-brief-history-of-harness-engineering.md +113 -0
- package/content/harness/HRN-002-a-brief-history-of-harness-engineering.pt.md +83 -0
- package/content/harness/HRN-003-the-harness-taxonomy.es.md +105 -0
- package/content/harness/HRN-003-the-harness-taxonomy.md +158 -0
- package/content/harness/HRN-003-the-harness-taxonomy.pt.md +105 -0
- package/content/harness/HRN-004-harness-engineering-principles.es.md +91 -0
- package/content/harness/HRN-004-harness-engineering-principles.md +135 -0
- package/content/harness/HRN-004-harness-engineering-principles.pt.md +91 -0
- package/content/harness/HRN-005-memory-in-agentic-systems.es.md +98 -0
- package/content/harness/HRN-005-memory-in-agentic-systems.md +145 -0
- package/content/harness/HRN-005-memory-in-agentic-systems.pt.md +98 -0
- package/content/harness/HRN-006-observability-for-agentic-systems.es.md +97 -0
- package/content/harness/HRN-006-observability-for-agentic-systems.md +139 -0
- package/content/harness/HRN-006-observability-for-agentic-systems.pt.md +97 -0
- package/content/harness/HRN-007-evaluation-of-agentic-systems.es.md +96 -0
- package/content/harness/HRN-007-evaluation-of-agentic-systems.md +145 -0
- package/content/harness/HRN-007-evaluation-of-agentic-systems.pt.md +96 -0
- package/content/harness/HRN-008-governance-within-the-harness.es.md +105 -0
- package/content/harness/HRN-008-governance-within-the-harness.md +146 -0
- package/content/harness/HRN-008-governance-within-the-harness.pt.md +105 -0
- package/content/harness/HRN-009-planning-and-goal-management.es.md +102 -0
- package/content/harness/HRN-009-planning-and-goal-management.md +142 -0
- package/content/harness/HRN-009-planning-and-goal-management.pt.md +102 -0
- package/content/harness/HRN-010-orchestration.es.md +107 -0
- package/content/harness/HRN-010-orchestration.md +149 -0
- package/content/harness/HRN-010-orchestration.pt.md +107 -0
- package/content/harness/HRN-011-security-for-agentic-systems.es.md +107 -0
- package/content/harness/HRN-011-security-for-agentic-systems.md +147 -0
- package/content/harness/HRN-011-security-for-agentic-systems.pt.md +107 -0
- package/content/harness/HRN-012-case-studies-in-harness-engineering.es.md +120 -0
- package/content/harness/HRN-012-case-studies-in-harness-engineering.md +157 -0
- package/content/harness/HRN-012-case-studies-in-harness-engineering.pt.md +120 -0
- package/content/harness/HRN-013-glossary.es.md +109 -0
- package/content/harness/HRN-013-glossary.md +124 -0
- package/content/harness/HRN-013-glossary.pt.md +109 -0
- package/content/harness/HRN-014-bibliography.es.md +89 -0
- package/content/harness/HRN-014-bibliography.md +109 -0
- package/content/harness/HRN-014-bibliography.pt.md +89 -0
- package/content/homeric/episodes/achilles-and-hector.json +139 -0
- package/content/homeric/episodes/aeolus-and-the-winds.json +131 -0
- package/content/homeric/episodes/agamemnons-murder.json +162 -0
- package/content/homeric/episodes/calypso-ogygia.json +157 -0
- package/content/homeric/episodes/catalogue-of-ships.json +177 -0
- package/content/homeric/episodes/cattle-of-the-sun.json +131 -0
- package/content/homeric/episodes/chryse-and-the-plague.json +131 -0
- package/content/homeric/episodes/cicones-at-ismarus.json +131 -0
- package/content/homeric/episodes/circe-on-aeaea.json +131 -0
- package/content/homeric/episodes/cyclops-polyphemus.json +162 -0
- package/content/homeric/episodes/laestrygonians.json +153 -0
- package/content/homeric/episodes/lotus-eaters.json +138 -0
- package/content/homeric/episodes/menelaus-and-proteus.json +130 -0
- package/content/homeric/episodes/nekyia.json +160 -0
- package/content/homeric/episodes/phaeacians-on-scheria.json +129 -0
- package/content/homeric/episodes/priams-ransom.json +131 -0
- package/content/homeric/episodes/return-to-ithaca.json +167 -0
- package/content/homeric/episodes/scylla-and-charybdis.json +131 -0
- package/content/homeric/episodes/suitors-ambush-at-asteris.json +131 -0
- package/content/homeric/episodes/telemachus-at-pylos.json +130 -0
- package/content/homeric/episodes/telemachus-in-sparta.json +130 -0
- package/content/homeric/episodes/the-achaean-camp.json +138 -0
- package/content/homeric/episodes/the-sirens.json +129 -0
- package/content/homeric/episodes/wooden-horse.json +168 -0
- package/content/homeric/places/aeaea.json +129 -0
- package/content/homeric/places/aeolia.json +161 -0
- package/content/homeric/places/asteris.json +120 -0
- package/content/homeric/places/aulis.json +122 -0
- package/content/homeric/places/cape-malea.json +126 -0
- package/content/homeric/places/chryse.json +120 -0
- package/content/homeric/places/dodona.json +129 -0
- package/content/homeric/places/dulichium.json +177 -0
- package/content/homeric/places/egypt.json +125 -0
- package/content/homeric/places/ephyra-acheron.json +127 -0
- package/content/homeric/places/hellespont.json +125 -0
- package/content/homeric/places/house-of-hades.json +91 -0
- package/content/homeric/places/ismarus.json +120 -0
- package/content/homeric/places/ithaca.json +240 -0
- package/content/homeric/places/knossos.json +132 -0
- package/content/homeric/places/laestrygonia.json +168 -0
- package/content/homeric/places/land-of-the-cyclopes.json +169 -0
- package/content/homeric/places/land-of-the-lotus-eaters.json +122 -0
- package/content/homeric/places/mount-ida.json +126 -0
- package/content/homeric/places/mycenae.json +152 -0
- package/content/homeric/places/ogygia.json +125 -0
- package/content/homeric/places/pharos.json +120 -0
- package/content/homeric/places/planctae.json +77 -0
- package/content/homeric/places/pylos.json +188 -0
- package/content/homeric/places/same.json +177 -0
- package/content/homeric/places/scheria.json +129 -0
- package/content/homeric/places/scylla-and-charybdis.json +135 -0
- package/content/homeric/places/sirens.json +127 -0
- package/content/homeric/places/sparta.json +179 -0
- package/content/homeric/places/tenedos.json +129 -0
- package/content/homeric/places/thrinacia.json +116 -0
- package/content/homeric/places/tiryns.json +123 -0
- package/content/homeric/places/troy.json +224 -0
- package/content/homeric/places/zacynthus.json +126 -0
- package/content/homeric/routes/achaean-expedition.json +132 -0
- package/content/homeric/routes/nostoi-of-the-others.json +205 -0
- package/content/homeric/routes/odysseus-nostos.json +307 -0
- package/content/homeric/routes/telemachy.json +134 -0
- package/content/knowledge/agent-memory.json +153 -0
- package/content/knowledge/agentic-ai.json +158 -0
- package/content/knowledge/agentic-evaluation.json +156 -0
- package/content/knowledge/agentic-threat-model.json +287 -0
- package/content/knowledge/ai-agent.json +153 -0
- package/content/knowledge/ai-cyberdefense.json +274 -0
- package/content/knowledge/ai-governance.json +155 -0
- package/content/knowledge/ai-observability.json +156 -0
- package/content/knowledge/context-engineering.json +153 -0
- package/content/knowledge/embeddings.json +153 -0
- package/content/knowledge/enterprise-rag.json +154 -0
- package/content/knowledge/fine-tuning.json +153 -0
- package/content/knowledge/foundation-models.json +154 -0
- package/content/knowledge/guardrails.json +153 -0
- package/content/knowledge/harness-engineering.json +158 -0
- package/content/knowledge/human-in-the-loop.json +153 -0
- package/content/knowledge/mcp-security.json +284 -0
- package/content/knowledge/model-context-protocol.json +154 -0
- package/content/knowledge/multi-agent-architecture.json +153 -0
- package/content/knowledge/prompt-engineering.json +153 -0
- package/content/knowledge/prompt-injection.json +138 -0
- package/content/knowledge/reasoning-models.json +153 -0
- package/content/knowledge/tool-use.json +156 -0
- package/content/library/cognitive-architecture-emergent-ai.md +15 -0
- package/content/library/devready-ep108-ai-customer-experiences.md +14 -0
- package/content/library/how-genai-impact-business.md +12 -0
- package/content/library/lmm-reshaping-industries-2024.md +12 -0
- package/content/library/rethinking-ai-pause.md +12 -0
- package/content/library/rise-of-agentic-ai.md +16 -0
- package/content/library/self-improving-autonomous-ai.md +16 -0
- package/content/library/the-stopwatch-and-the-exam.md +12 -0
- package/content/library/unlock-gpt4-secrets.md +12 -0
- package/content/library/vibe-coding-enterprise.md +15 -0
- package/content/library/video-transformando-negocios-genai.md +14 -0
- package/content/library/video-volando-alto-sky-airlines.md +13 -0
- package/content/matrix/agentic-control-matrix.json +967 -0
- package/content/patterns/attributed-memory.json +237 -0
- package/content/patterns/context-compression.json +304 -0
- package/content/patterns/egress-allowlist.json +310 -0
- package/content/patterns/evaluator-optimizer.json +180 -0
- package/content/patterns/goal-decomposition.json +290 -0
- package/content/patterns/human-approval-gate.json +311 -0
- package/content/patterns/human-escalation.json +288 -0
- package/content/patterns/least-privilege-tooling.json +333 -0
- package/content/patterns/long-term-memory.json +305 -0
- package/content/patterns/orchestrator-workers.json +202 -0
- package/content/patterns/parallelization.json +180 -0
- package/content/patterns/prompt-chaining.json +181 -0
- package/content/patterns/recovery-strategy.json +305 -0
- package/content/patterns/reflection.json +298 -0
- package/content/patterns/routing.json +294 -0
- package/content/patterns/sandboxed-execution.json +311 -0
- package/content/patterns/semantic-caching.json +201 -0
- package/content/patterns/supervisor-agent.json +290 -0
- package/content/patterns/task-prioritization.json +307 -0
- package/dist/content.js +181 -0
- package/dist/index.js +27 -0
- package/dist/shape.js +649 -0
- package/dist/tools.js +652 -0
- package/package.json +47 -0
|
@@ -0,0 +1,107 @@
|
|
|
1
|
+
---
|
|
2
|
+
title: "Segurança para sistemas agênticos"
|
|
3
|
+
summary: "Tratar o modelo como componente não confiável e manipulável: injeção de prompts, exfiltração por ferramentas, limites de autoridade e defesa em profundidade do harness."
|
|
4
|
+
---
|
|
5
|
+
|
|
6
|
+
# Segurança para sistemas agênticos
|
|
7
|
+
|
|
8
|
+
## Resumo executivo
|
|
9
|
+
|
|
10
|
+
Os sistemas agênticos alargam a superfície de ataque de uma forma que as aplicações tradicionais não conhecem: o agente lê dados não confiáveis, toma decisões com consequências e possui privilégios para agir, portanto uma única entrada comprometida pode se tornar uma ação comprometida. A segurança para sistemas agênticos é a camada do harness que assume que o modelo pode ser manipulado — e será — e constrói o andaime circundante para que essa manipulação não possa causar dano. O princípio orientador é **privilégio mínimo com raio de impacto limitado**: tratar o modelo como componente não confiável, colocar os controles de segurança *fora* da sua superfície persuadível e garantir que mesmo um agente completamente sequestrado só possa causar um dano limitado e auditável.
|
|
11
|
+
|
|
12
|
+
## Conceitos-chave
|
|
13
|
+
|
|
14
|
+
- **Injeção de prompt:** conteúdo não confiável que sequestra as instruções ou objetivos do agente.
|
|
15
|
+
- **Injeção indireta de prompt:** injeção entregue através de dados que o agente recupera (documentos, páginas web, saídas de ferramentas).
|
|
16
|
+
- **Isolamento de ferramentas (sandboxing):** isolar a execução de uma ferramenta para que não possa exceder sua autoridade prevista.
|
|
17
|
+
- **Privilégio mínimo:** conceder a cada agente as permissões mínimas de que sua tarefa precisa.
|
|
18
|
+
- **Identidade do agente:** um principal distinto e atribuível para cada agente, com âmbito limitado e revogável.
|
|
19
|
+
- **Exfiltração de dados:** saída não autorizada de dados sensíveis através de saídas de ferramentas ou conteúdo renderizado.
|
|
20
|
+
- **Trifeta letal:** a combinação perigosa de acesso a dados privados, exposição a conteúdo não confiável e capacidade de comunicar para o exterior.
|
|
21
|
+
|
|
22
|
+
## Definição
|
|
23
|
+
|
|
24
|
+
> A **segurança para sistemas agênticos** é a disciplina do harness que trata o modelo como um componente não confiável e manipulável, e constrói controles de identidade, permissões, isolamento e saída de dados para que o dano máximo que qualquer agente comprometido possa causar seja limitado, atribuível e auditado.
|
|
25
|
+
|
|
26
|
+
## Explicação detalhada
|
|
27
|
+
|
|
28
|
+
A ameaça fundacional é a **injeção de prompt**, e o erro fundacional é tentar resolvê-la dentro do modelo. Nenhum grau de endurecimento do prompt de sistema trava de forma confiável uma instrução suficientemente astuta embebida em conteúdo recuperado, porque o modelo não tem uma fronteira robusta e de princípio entre “dados” e “instrução”. A injeção indireta é a variante perigosa: um agente que resume uma página web ou lê um ticket pode ser tomado pelo texto que o atacante ali plantou. A resposta do harness é **arquitetônica, não de prompting**: assumir que a injeção terá sucesso por vezes e garantir que um agente sequestrado continua sem poder fazer nada que suas *permissões* proíbam. Os guarda-corpos de entrada (detecção de injeção e jailbreak) reduzem a *frequência* das injeções bem-sucedidas; os controles de permissões e de saída limitam a *consequência*. São precisos os dois; nenhum basta por si só.
|
|
29
|
+
|
|
30
|
+
O **privilégio mínimo e a identidade do agente** são a espinha dorsal da segurança agêntica. Cada agente deveria rodar como um principal distinto e atribuível, com credenciais limitadas exatamente aos recursos de que sua tarefa precisa: tokens de vida curta, âmbitos OAuth estreitos, apenas leitura onde não for preciso escrever e isolamento de dados por inquilino aplicado *abaixo* do agente (na camada de dados), nunca pedindo educadamente ao modelo que não saia da sua faixa. Quando um agente age em nome de um usuário, deve levar a autorização desse usuário e não uma conta de serviço com poderes absolutos, para que o agente nunca possa exceder o que o usuário poderia fazer diretamente. As credenciais devem ser injetadas pelo harness no momento da chamada, jamais colocadas na janela de contexto, onde uma injeção as poderia ler e exfiltrar.
|
|
31
|
+
|
|
32
|
+
O **isolamento de ferramentas** confina a execução. As ferramentas que executam código fazem-no em caixas de areia efêmeras, com rede restringida e recursos limitados. Os catálogos de ferramentas estão em **lista de permitidos** por agente, de modo que um agente sequestrado não pode alcançar uma ferramenta que nunca lhe foi concedida. As ferramentas de alta consequência ficam por trás de uma aprovação humana (PAT-007 / PAT-001), para que mesmo uma chamada autorizada mas manipulada exija que uma pessoa a confirme. O princípio é a *defesa em profundidade*: a autorização decide *se* a chamada é permitida, a caixa de areia limita *o que pode tocar* e a porta de aprovação acrescenta um ponto de controle humano para as ações irreversíveis.
|
|
33
|
+
|
|
34
|
+
A **exfiltração de dados** é o risco agêntico mais subestimado. A “trifeta letal” — um agente com (1) acesso a dados privados, (2) exposição a conteúdo não confiável e (3) capacidade de comunicar para o exterior — é explorável: instruções injetadas dizem ao agente que embuta segredos num pedido de saída, no URL de uma imagem renderizada ou no argumento de uma ferramenta. O harness quebra a trifeta eliminando pelo menos uma das suas pernas nos contextos sensíveis: restringir os destinos de saída a uma lista de permitidos, executar verificações de prevenção de fuga de dados sobre cada carga de saída, remover ou fixar a renderização de conteúdo externo e proibir que o agente construa URL de saída arbitrários. Se um agente tiver de tocar dados privados, sua capacidade de comunicar para o exterior tem de estar fortemente restringida, e vice-versa.
|
|
35
|
+
|
|
36
|
+
Tudo isto assenta na **observabilidade e na auditabilidade** (HRN-006): cada ação, a identidade que a realizou, a decisão de permissão e a verificação de saída têm de ficar registadas de forma imutável. Uma segurança que não se consegue demonstrar é uma segurança que não se tem. Estes controles implementam as obrigações definidas no quadro de governança (GOV-001) e encaixam na taxonomia geral do harness (HRN-003).
|
|
37
|
+
|
|
38
|
+
## Evidência de produção
|
|
39
|
+
|
|
40
|
+
> **Cenário ilustrativo e representativo.** Nível de evidência: teórico · Confiança: média · Fonte: observação de indústria, experiência pessoal. As descrições seguintes são padrões representativos de ataque e mitigação, não medições de uma implantação verificada concreta.
|
|
41
|
+
|
|
42
|
+
- **Contexto:** um agente de suporte ao cliente com acesso a uma base de conhecimento e capacidade de enviar emails a clientes.
|
|
43
|
+
- **Cenário:** um atacante planta texto de injeção num ticket de suporte tentando fazer com que o agente envie por email os dados da conta de outro cliente para um endereço externo.
|
|
44
|
+
- **Tecnologia:** credenciais com âmbito por agente, lista de permitidos de saída, prevenção de fuga de dados sobre o email de saída, detecção de injeção no conteúdo recuperado, registro de auditoria.
|
|
45
|
+
- **Carga:** alto volume de tickets, com uma fração pequena mas não nula carregando tentativas de injeção.
|
|
46
|
+
- **Resultados (representativos):** em implantações desta forma, os controles arquitetônicos (lista de permitidos de saída + prevenção de fuga + privilégio mínimo) bloqueiam a *consequência* da injeção mesmo quando a detecção falha a *tentativa*, levando a exfiltração bem-sucedida para perto de zero, enquanto a detecção de injeção por si só deixa risco residual.
|
|
47
|
+
|
|
48
|
+
### Lições aprendidas
|
|
49
|
+
|
|
50
|
+
As estratégias baseadas apenas em detecção acabam por falhar; as defesas confiáveis são as arquitetônicas, as que limitam a consequência. Quebrar a trifeta letal — sobretudo restringindo a saída — faz mais pela segurança do que qualquer classificador isolado.
|
|
51
|
+
|
|
52
|
+
## Modos de falha observados
|
|
53
|
+
|
|
54
|
+
| Modo de falha | Gatilho | Mitigação |
|
|
55
|
+
|---|---|---|
|
|
56
|
+
| Injeção direta de prompt | Instrução maliciosa do usuário | Guarda-corpos de entrada + limitação de permissões |
|
|
57
|
+
| Injeção indireta | Texto malicioso nos dados recuperados | Tratar todo o conteúdo recuperado como não confiável; controles de saída |
|
|
58
|
+
| Exfiltração de dados | Trifeta letal explorada | Quebrar a trifeta: lista de permitidos de saída + prevenção de fuga |
|
|
59
|
+
| Escalada de privilégios | Credenciais de serviço demasiado amplas | Credenciais com âmbito por agente e vida curta; autorização delegada pelo usuário |
|
|
60
|
+
| Fuga de credenciais | Segredos na janela de contexto | Injetar as credenciais no momento da chamada, nunca no contexto |
|
|
61
|
+
| Fuga da caixa de areia | Código ou rede sem restrições nas ferramentas | Caixas de areia efêmeras, isoladas da rede e com recursos limitados |
|
|
62
|
+
| Delegado confuso | O agente é usado como proxy para ações proibidas | Transportar a identidade de quem chama; autorizar no efetor |
|
|
63
|
+
|
|
64
|
+
## KPIs
|
|
65
|
+
|
|
66
|
+
| Métrica | Objetivo | Notas |
|
|
67
|
+
|---|---|---|
|
|
68
|
+
| Taxa de exfiltração bem-sucedida | → 0 | A métrica que mais importa |
|
|
69
|
+
| Abrangência da detecção de injeção | Alta | Reduz a frequência de tentativas, não é a única defesa |
|
|
70
|
+
| Estreiteza do âmbito de permissões | Concessões mínimas | Auditar permissões não usadas ou demasiado amplas |
|
|
71
|
+
| Cobertura da lista de permitidos de saída | 100 % | Sem destinos de saída arbitrários |
|
|
72
|
+
| Tempo médio até à revogação | Baixo | Revogação da identidade de um agente comprometido |
|
|
73
|
+
| Completude de auditoria | 100 % | Toda a ação atribuível |
|
|
74
|
+
|
|
75
|
+
## Métricas de custo
|
|
76
|
+
|
|
77
|
+
- **Custo de inferência dos guarda-corpos:** os classificadores de injeção e de fuga de dados acrescentam inferência auxiliar por pedido; tem de ser orçamentada dentro do custo por tarefa.
|
|
78
|
+
- **Sobrecusto das caixas de areia:** o arranque de uma caixa efêmera acrescenta latência às ferramentas de código; amortiza-se com pools quentes.
|
|
79
|
+
- **Custo de engenharia:** a identidade com âmbito e a lista de permitidos de saída são trabalho de IAM feito à partida que se rentabiliza em todos os agentes.
|
|
80
|
+
|
|
81
|
+
## Características de escalabilidade
|
|
82
|
+
|
|
83
|
+
Os controles de permissões e identidade escalam com a infraestrutura de IAM e de segredos, sem estado por chamada. Os classificadores de guarda-corpo escalam com a capacidade de inferência e são o custo de débito; faça curto-circuito antes com verificações deterministas baratas (listas de permitidos, expressões regulares, esquema). As caixas de areia escalam com um pool gerido; os pools quentes trocam custo ocioso por latência. Os controles de saída escalam trivialmente e nunca deveriam ser o gargalo: são o controle com maior valor por custo de toda a pilha.
|
|
84
|
+
|
|
85
|
+
## Conteúdo relacionado
|
|
86
|
+
|
|
87
|
+
- HRN-003 — O lugar da segurança na taxonomia do harness.
|
|
88
|
+
- GOV-001 — Obrigações de governança que estes controles de segurança implementam.
|
|
89
|
+
- PAT-007 — Padrão de controle de ferramentas e permissões (isolamento e uso de ferramentas com porta).
|
|
90
|
+
|
|
91
|
+
## Referências
|
|
92
|
+
|
|
93
|
+
- OWASP Top 10 para aplicações LLM (LLM01 injeção de prompt, LLM06 divulgação de informação sensível).
|
|
94
|
+
- Simon Willison, “The lethal trifecta for AI agents”.
|
|
95
|
+
- NIST AI RMF e NIST SP 800-53 (privilégio mínimo, identidade).
|
|
96
|
+
- MITRE ATLAS — panorama de ameaças adversárias para sistemas de IA.
|
|
97
|
+
|
|
98
|
+
## Perguntas frequentes
|
|
99
|
+
|
|
100
|
+
**P: A injeção de prompt pode ser totalmente prevenida?**
|
|
101
|
+
R: Não. Desenhe contando com ela: assuma que por vezes terá sucesso e limite a consequência com privilégio mínimo, controle de saída e isolamento.
|
|
102
|
+
|
|
103
|
+
**P: Qual é o controle de maior valor?**
|
|
104
|
+
R: Quebrar a trifeta letal; da forma mais barata, restringindo a saída a uma lista de permitidos com prevenção de fuga de dados, para que um agente sequestrado não possa exfiltrar nada.
|
|
105
|
+
|
|
106
|
+
**P: Os agentes devem compartilhar uma conta de serviço?**
|
|
107
|
+
R: Não. Dê a cada agente uma identidade distinta, com âmbito limitado e vida curta, e faça-a transportar a autorização do usuário que chama para que nunca possa exceder os direitos desse usuário.
|
|
@@ -0,0 +1,120 @@
|
|
|
1
|
+
---
|
|
2
|
+
title: "Casos de estudio en Ingeniería de Harness"
|
|
3
|
+
summary: "Tres casos compuestos y anonimizados analizados por su harness: qué falló, qué control lo habría evitado y qué se aprendió al llevarlos a producción."
|
|
4
|
+
---
|
|
5
|
+
|
|
6
|
+
# Casos de estudio en Ingeniería de Harness
|
|
7
|
+
|
|
8
|
+
## Resumen ejecutivo
|
|
9
|
+
|
|
10
|
+
Este capítulo aterriza las capas abstractas del harness en tres historias de extremo a extremo. Cada una es un **caso compuesto, representativo y anonimizado**, sintetizado a partir de patrones habituales en la industria: no es el relato de un despliegue concreto con nombre y apellidos ni una fuente de métricas verificadas. Lo que interesa es mostrar cómo interactúan las capas bajo carga, cómo la memoria, la planificación, la orquestación, la gobernanza, la seguridad y la observabilidad dejan de ser capítulos separados y se convierten en un solo sistema. Leídos en conjunto, los casos refuerzan la tesis de que la fiabilidad en los agentes empresariales es una propiedad de ingeniería del harness, no una propiedad emergente del modelo.
|
|
11
|
+
|
|
12
|
+
## Conceptos clave
|
|
13
|
+
|
|
14
|
+
- **Caso de estudio compuesto:** un escenario ilustrativo ensamblado a partir de patrones recurrentes del mundo real, explícitamente no un despliegue verificado concreto.
|
|
15
|
+
- **De extremo a extremo:** desde la ingesta de la intención hasta la acción verificada, gobernada y observada.
|
|
16
|
+
- **Interacción de capas del harness:** cómo se componen memoria, planificación, orquestación, gobernanza, seguridad y observabilidad.
|
|
17
|
+
|
|
18
|
+
## Definición
|
|
19
|
+
|
|
20
|
+
> Un **caso de estudio de Ingeniería de Harness** es una narrativa estructurada que sigue un objetivo a través de todas las capas de un sistema agéntico para dejar a la vista las decisiones de diseño, los modos de fallo y las concesiones que determinan la fiabilidad.
|
|
21
|
+
|
|
22
|
+
## Explicación detallada
|
|
23
|
+
|
|
24
|
+
### Caso 1 — Operaciones financieras: el agente de conciliación
|
|
25
|
+
|
|
26
|
+
> Caso compuesto representativo. Sin métricas verificadas; los rangos son ilustrativos.
|
|
27
|
+
|
|
28
|
+
**Objetivo.** Conciliar de forma autónoma las transacciones diarias entre dos libros contables y remediar las discrepancias bajo una autoridad de gasto estricta.
|
|
29
|
+
|
|
30
|
+
**Diseño del harness.** La planificación (HRN-009) descompone el objetivo en un DAG: extraer, casar, clasificar discrepancias, remediar, informar. La orquestación (HRN-010) lo ejecuta sobre un **motor de flujo duradero**, de modo que una caída nocturna se reanuda desde el último punto de control en lugar de reiniciarse, algo crítico porque algunos pasos de remediación mueven dinero y no deben ejecutarse dos veces jamás (claves de idempotencia y compensación saga). La gobernanza (HRN-008) coloca una **puerta de aprobación** en cualquier remediación por encima de un umbral; por debajo, el agente actúa de forma autónoma con registro de auditoría completo. La memoria (HRN-005) guarda las reglas de conciliación y los precedentes de resolución. La observabilidad (HRN-006) traza cada decisión de emparejamiento.
|
|
31
|
+
|
|
32
|
+
**Resultado (ilustrativo).** El agente liquida de forma autónoma la cola larga de discrepancias triviales y escala las de consecuencia, desplazando el esfuerzo humano de *hacer* la conciliación a *aprobar* excepciones. **Lección:** la durabilidad y la idempotencia fueron las decisiones portantes; la «inteligencia» fue la parte fácil.
|
|
33
|
+
|
|
34
|
+
### Caso 2 — Atención al cliente: el agente de resolución
|
|
35
|
+
|
|
36
|
+
> Caso compuesto representativo. Sin métricas verificadas; los rangos son ilustrativos.
|
|
37
|
+
|
|
38
|
+
**Objetivo.** Resolver tickets de soporte de extremo a extremo —responder preguntas, actualizar cuentas, emitir créditos pequeños— sin filtrar nunca los datos de un cliente a otro y sin ser secuestrado por el contenido del ticket.
|
|
39
|
+
|
|
40
|
+
**Diseño del harness.** Este es un harness **con la seguridad primero** (HRN-011). Cada instancia de agente porta la autorización *del cliente solicitante*, de modo que el aislamiento de datos se aplica por debajo del modelo y no mediante prompting. El contenido recuperado de la base de conocimiento y del ticket se trata como no confiable; la **salida está en lista de permitidos** y los mensajes salientes pasan por prevención de fuga de datos, rompiendo la trifecta letal incluso cuando la detección de inyección se pierde un intento. Una topología de agente único (HRN-010) lo mantiene simple; un paso de reflexión (autocomprobación al estilo PAT-003) revisa la respuesta redactada antes de enviarla. La gobernanza envía a un humano los créditos por encima de un umbral pequeño.
|
|
41
|
+
|
|
42
|
+
**Resultado (ilustrativo).** La mayoría de los tickets se resuelve sin intervención humana; los intentos de inyección en los tickets no llegan a causar daño porque la *consecuencia* está acotada por los permisos y el control de salida, no solo por la detección. **Lección:** la seguridad arquitectónica ganó a la seguridad por clasificador; la victoria vino de restringir lo que un agente secuestrado *podía* hacer.
|
|
43
|
+
|
|
44
|
+
### Caso 3 — Trabajo del conocimiento: el agente de investigación y síntesis
|
|
45
|
+
|
|
46
|
+
> Caso compuesto representativo. Sin métricas verificadas; los rangos son ilustrativos.
|
|
47
|
+
|
|
48
|
+
**Objetivo.** Responder preguntas internas complejas con una síntesis citada y de fiar sobre un corpus grande.
|
|
49
|
+
|
|
50
|
+
**Diseño del harness.** Una topología **supervisor/trabajador** (HRN-010, PAT-002 + PAT-005): el supervisor descompone la pregunta y despacha en paralelo trabajadores de recuperación y análisis, y después un agregador reconcilia sus hallazgos en una respuesta con citas. La memoria (HRN-005) aporta el contexto de recuperación; la planificación (HRN-009) es entrelazada, porque el camino depende de lo que aflore la recuperación temprana. La evaluación (HRN-007) ejecuta una comprobación de anclaje con LLM como juez que *rechaza la respuesta si las afirmaciones no están citadas*, realimentando una replanificación. La observabilidad traza el abanico para que el coste y la latencia por trabajador sean visibles.
|
|
51
|
+
|
|
52
|
+
**Resultado (ilustrativo).** El abanico paralelo mejora la latencia frente a la investigación secuencial a cambio de un mayor gasto en tokens; la puerta de anclaje es lo que hace la salida suficientemente fiable como para publicarla. **Lección:** aquí el multiagente se ganó su complejidad precisamente por el *paralelismo* y por la necesidad de verificar antes de responder, no porque el multiagente sea inherentemente mejor.
|
|
53
|
+
|
|
54
|
+
### Observaciones transversales
|
|
55
|
+
|
|
56
|
+
En los tres se repiten las mismas verdades: (1) gana la topología más simple que cumple el requisito; (2) la durabilidad y la idempotencia, no la astucia, deciden si un agente de larga duración es apto para producción; (3) la gobernanza y la seguridad son capas *de ejecución*, no documentos; (4) la verificación (evaluación) antes de actuar es lo que convierte una salida plausible en una salida de fiar. Todo ello enlaza con las arquitecturas de referencia (ARCH-001, ARCH-002) y reformula la tesis central de HRN-001: la fiabilidad se construye dentro del harness.
|
|
57
|
+
|
|
58
|
+
## Evidencia de producción
|
|
59
|
+
|
|
60
|
+
> **Escenarios ilustrativos y representativos.** Nivel de evidencia: teórico · Confianza: media · Fuente: observación de industria, experiencia personal. Los tres casos son compuestos anonimizados ensamblados a partir de patrones recurrentes. No contienen mediciones de ningún despliegue de producción verificado, y toda cantidad es un rango ilustrativo.
|
|
61
|
+
|
|
62
|
+
- **Contexto:** operaciones financieras, atención al cliente y trabajo del conocimiento empresarial.
|
|
63
|
+
- **Escenario:** automatización agéntica de extremo a extremo bajo restricciones empresariales reales (autoridad de gasto, aislamiento de datos, confianza en las citas).
|
|
64
|
+
- **Tecnología:** motores de flujo duradero, identidad de agente con alcance, listas de permitidos de salida, orquestación supervisor/trabajador, evaluación con LLM como juez.
|
|
65
|
+
- **Resultados:** direccionales y cualitativos; se presentan para ilustrar concesiones de diseño, no para afirmar resultados medidos.
|
|
66
|
+
|
|
67
|
+
### Lecciones aprendidas
|
|
68
|
+
|
|
69
|
+
La lección recurrente es la contención: los equipos que tuvieron éxito añadieron complejidad (multiagente, autonomía) *solo* allí donde un requisito concreto lo justificaba, e invirtieron pronto en las capas poco vistosas —durabilidad, identidad, auditoría— que deciden si algo funciona en producción.
|
|
70
|
+
|
|
71
|
+
## Modos de fallo observados
|
|
72
|
+
|
|
73
|
+
| Caso | Modo de fallo dominante | Mitigación decisiva |
|
|
74
|
+
|---|---|---|
|
|
75
|
+
| Conciliación | Ejecutar dos veces un paso que mueve dinero al reanudar | Claves de idempotencia + compensación saga |
|
|
76
|
+
| Soporte | Exfiltración de datos vía contenido inyectado en el ticket | Autorización delegada por el usuario + lista de permitidos de salida + prevención de fuga |
|
|
77
|
+
| Investigación | Afirmaciones sin respaldo presentadas como hechos | Puerta de evaluación de anclaje antes de responder |
|
|
78
|
+
|
|
79
|
+
## KPIs
|
|
80
|
+
|
|
81
|
+
| Métrica | Conciliación | Soporte | Investigación |
|
|
82
|
+
|---|---|---|---|
|
|
83
|
+
| Tasa de finalización de tarea | Alta (con escalado) | Alta | Alta |
|
|
84
|
+
| Tasa de intervención humana | Baja (solo excepciones) | Baja | Moderada (revisión) |
|
|
85
|
+
| Tasa de incidentes de seguridad | → 0 (gasto con puerta) | → 0 (radio de impacto acotado) | → 0 (solo con citas) |
|
|
86
|
+
| Latencia | Tolerante a lotes | Interactiva | Mejorada por el abanico |
|
|
87
|
+
| Coste por tarea | Bajo | Bajo | Mayor (multiagente) |
|
|
88
|
+
|
|
89
|
+
## Métricas de coste
|
|
90
|
+
|
|
91
|
+
- **Conciliación:** barata por tarea (agente único, determinista); el coste dominante es la aprobación humana de excepciones.
|
|
92
|
+
- **Soporte:** barata por tarea; la inferencia de guardarraíles y prevención de fuga es el añadido marginal.
|
|
93
|
+
- **Investigación:** la más cara por tarea, por el gasto en tokens del multiagente; se justifica por la latencia en paralelo y la calidad verificada.
|
|
94
|
+
|
|
95
|
+
## Características de escalado
|
|
96
|
+
|
|
97
|
+
Los casos de agente único (conciliación, soporte) escalan horizontalmente y barato, acotados por los límites de tasa de las herramientas externas y por la capacidad de aprobación humana. El caso multiagente de investigación escala las subtareas en paralelo hasta los límites de tasa de la recuperación compartida, con el coste en tokens creciendo por cada trabajador añadido: el clásico intercambio latencia-coste que define cuándo merece la pena el multiagente.
|
|
98
|
+
|
|
99
|
+
## Contenido relacionado
|
|
100
|
+
|
|
101
|
+
- ARCH-001 — Arquitectura de referencia que ejemplifica flujos duraderos de agente único.
|
|
102
|
+
- ARCH-002 — Arquitectura de referencia que ejemplifica la orquestación supervisor/trabajador.
|
|
103
|
+
- HRN-001 — Definición y panorama (la tesis que estos casos refuerzan).
|
|
104
|
+
|
|
105
|
+
## Referencias
|
|
106
|
+
|
|
107
|
+
- Anthropic, «Building Effective Agents» y publicaciones sobre sistemas de investigación multiagente.
|
|
108
|
+
- Post-mortems y escritos de arquitectura del sector sobre flujos agénticos duraderos.
|
|
109
|
+
- Los capítulos HRN-005 a HRN-011, que estos casos componen.
|
|
110
|
+
|
|
111
|
+
## Preguntas frecuentes
|
|
112
|
+
|
|
113
|
+
**P: ¿Son despliegues reales?**
|
|
114
|
+
R: No. Son compuestos anonimizados ensamblados a partir de patrones recurrentes de la industria, presentados para ilustrar concesiones de diseño. No contienen métricas de producción verificadas.
|
|
115
|
+
|
|
116
|
+
**P: ¿Cuál es la lección más transferible?**
|
|
117
|
+
R: Añade complejidad solo donde un requisito la exija, e invierte primero en durabilidad, identidad y auditoría: las capas que deciden si un agente sobrevive a producción.
|
|
118
|
+
|
|
119
|
+
**P: ¿Por qué el multiagente aparece solo en el caso 3?**
|
|
120
|
+
R: Porque es el único caso donde el paralelismo y la verificación justificaban el coste de coordinación. Los otros son deliberadamente de agente único.
|
|
@@ -0,0 +1,157 @@
|
|
|
1
|
+
---
|
|
2
|
+
id: HRN-012
|
|
3
|
+
title: Case Studies in Harness Engineering
|
|
4
|
+
domain: Harness
|
|
5
|
+
category: Case Studies
|
|
6
|
+
status: Draft
|
|
7
|
+
author: Santiago Santa María
|
|
8
|
+
created: 2026-06-21
|
|
9
|
+
updated: 2026-06-21
|
|
10
|
+
summary: Three representative, anonymized composite case studies showing how harness layers—memory, planning, orchestration, governance, security, observability—combine end-to-end to make enterprise agents reliable.
|
|
11
|
+
evidence_level: theoretical
|
|
12
|
+
confidence_level: medium
|
|
13
|
+
source_type:
|
|
14
|
+
- industry_observation
|
|
15
|
+
- personal_experience
|
|
16
|
+
related:
|
|
17
|
+
- ARCH-001
|
|
18
|
+
- ARCH-002
|
|
19
|
+
- HRN-001
|
|
20
|
+
tags:
|
|
21
|
+
- case-studies
|
|
22
|
+
- end-to-end
|
|
23
|
+
- reliability
|
|
24
|
+
- enterprise-agents
|
|
25
|
+
---
|
|
26
|
+
|
|
27
|
+
# Case Studies in Harness Engineering
|
|
28
|
+
|
|
29
|
+
## Executive Summary
|
|
30
|
+
|
|
31
|
+
This chapter grounds the abstract harness layers in three end-to-end stories. Each is a **representative, anonymized composite** — synthesized from common patterns across the industry, not an account of a single named deployment, and not a source of verified metrics. The point is to show how the layers interact under load: how memory, planning, orchestration, governance, security, and observability stop being separate chapters and become one system. Read together, the cases reinforce the thesis that reliability in enterprise agents is an engineering property of the harness, not an emergent property of the model.
|
|
32
|
+
|
|
33
|
+
## Key Concepts
|
|
34
|
+
|
|
35
|
+
- **Composite case study:** an illustrative scenario assembled from recurring real-world patterns, explicitly not a verified single deployment.
|
|
36
|
+
- **End-to-end:** spanning ingestion of intent through verified, governed action and observation.
|
|
37
|
+
- **Harness layer interaction:** how memory, planning, orchestration, governance, security, and observability compose.
|
|
38
|
+
|
|
39
|
+
## Definition
|
|
40
|
+
|
|
41
|
+
> A **harness engineering case study** is a structured narrative that traces a goal through every layer of an agentic system to expose the design decisions, failure modes, and trade-offs that determine reliability.
|
|
42
|
+
|
|
43
|
+
## Architecture Diagram
|
|
44
|
+
|
|
45
|
+
```mermaid
|
|
46
|
+
flowchart TD
|
|
47
|
+
INTENT[User Intent] --> PLAN[Planning HRN-009]
|
|
48
|
+
PLAN --> ORC[Orchestration HRN-010]
|
|
49
|
+
ORC --> MEM[(Memory HRN-005)]
|
|
50
|
+
ORC --> GOV[Governance HRN-008]
|
|
51
|
+
GOV --> SEC[Security HRN-011]
|
|
52
|
+
SEC --> TOOLS[Tools / Effectors]
|
|
53
|
+
TOOLS --> OBS[Observability HRN-006]
|
|
54
|
+
OBS --> EVAL[Evaluation HRN-007]
|
|
55
|
+
EVAL -.feedback.-> PLAN
|
|
56
|
+
MEM -.context.-> PLAN
|
|
57
|
+
```
|
|
58
|
+
|
|
59
|
+
## Detailed Explanation
|
|
60
|
+
|
|
61
|
+
### Case Study 1 — Financial Operations: the Reconciliation Agent
|
|
62
|
+
|
|
63
|
+
> Representative composite. No verified metrics; ranges are illustrative.
|
|
64
|
+
|
|
65
|
+
**Goal.** Autonomously reconcile daily transactions across two ledgers and remediate discrepancies under a strict spend authority.
|
|
66
|
+
|
|
67
|
+
**Harness design.** Planning (HRN-009) decomposes the goal into a DAG: extract, match, classify discrepancies, remediate, report. Orchestration (HRN-010) runs it on a **durable workflow engine** so an overnight crash resumes from the last checkpoint rather than restarting — critical because some remediation steps move money and must never double-execute (idempotency keys + saga compensation). Governance (HRN-008) places an **approval gate** on any remediation above a threshold; below it, the agent acts autonomously with full audit logging. Memory (HRN-005) holds reconciliation rules and prior-resolution precedents. Observability (HRN-006) traces every match decision.
|
|
68
|
+
|
|
69
|
+
**Outcome (illustrative).** The agent clears the long tail of trivial discrepancies autonomously and escalates the consequential ones, shifting human effort from *doing* reconciliation to *approving* exceptions. **Lesson:** durability + idempotency were the load-bearing decisions; the "intelligence" was the easy part.
|
|
70
|
+
|
|
71
|
+
### Case Study 2 — Customer Support: the Resolution Agent
|
|
72
|
+
|
|
73
|
+
> Representative composite. No verified metrics; ranges are illustrative.
|
|
74
|
+
|
|
75
|
+
**Goal.** Resolve inbound support tickets end-to-end — answer questions, update accounts, issue small credits — while never leaking one customer's data to another and never being hijacked by ticket content.
|
|
76
|
+
|
|
77
|
+
**Harness design.** This is a **security-first** harness (HRN-011). Each agent instance carries the *requesting customer's* authorization, so data isolation is enforced below the model, not by prompting. Retrieved knowledge-base and ticket content is treated as untrusted; **egress is allowlisted** and outbound messages pass DLP — breaking the lethal trifecta even when injection detection misses an attempt. A single-agent topology (HRN-010) keeps it simple; a reflection step (PAT-003-style self-check) reviews the drafted reply before send. Governance gates credits above a small threshold to a human.
|
|
78
|
+
|
|
79
|
+
**Outcome (illustrative).** Most tickets resolve without human touch; injection attempts in tickets fail to cause harm because the *consequence* is bounded by permissions and egress control, not merely by detection. **Lesson:** architectural security beat classifier security; the win came from constraining what a hijacked agent *could* do.
|
|
80
|
+
|
|
81
|
+
### Case Study 3 — Knowledge Work: the Research-and-Synthesis Agent
|
|
82
|
+
|
|
83
|
+
> Representative composite. No verified metrics; ranges are illustrative.
|
|
84
|
+
|
|
85
|
+
**Goal.** Answer complex internal questions with cited, trustworthy synthesis over a large corpus.
|
|
86
|
+
|
|
87
|
+
**Harness design.** A **supervisor/worker** topology (HRN-010, PAT-002 + PAT-005): the supervisor decomposes the question and dispatches parallel retrieval and analysis workers, then an aggregator reconciles their findings into a cited answer. Memory (HRN-005) supplies retrieval context; planning (HRN-009) is interleaved because the path depends on what early retrieval surfaces. Evaluation (HRN-007) runs an LLM-as-judge groundedness check that *fails the answer if claims aren't cited*, feeding back into a replan. Observability traces the fan-out so cost and latency per worker are visible.
|
|
88
|
+
|
|
89
|
+
**Outcome (illustrative).** Parallel fan-out improves latency over sequential research at the cost of higher token spend; the groundedness gate is what makes the output trustworthy enough to ship. **Lesson:** multi-agent earned its complexity here specifically because of *parallelism* and the need to verify before answering — not because multi-agent is inherently better.
|
|
90
|
+
|
|
91
|
+
### Cross-cutting observations
|
|
92
|
+
|
|
93
|
+
Across all three, the same truths recur: (1) the simplest topology that meets the requirement wins; (2) durability and idempotency, not cleverness, decide whether a long-running agent is production-grade; (3) governance and security are *runtime* layers, not documents; (4) verification (evaluation) before action is what converts plausible output into trustworthy output. These connect to the reference architectures (ARCH-001, ARCH-002) and restate the core thesis of HRN-001: reliability is engineered into the harness.
|
|
94
|
+
|
|
95
|
+
## Production Evidence
|
|
96
|
+
|
|
97
|
+
> **Illustrative / representative scenarios.** Evidence level: theoretical · Confidence: medium · Source: industry_observation, personal_experience. All three case studies are anonymized composites assembled from recurring patterns. They contain no measurements from any single verified production deployment, and any quantities are illustrative ranges.
|
|
98
|
+
|
|
99
|
+
- **Context:** Financial operations, customer support, and enterprise knowledge work.
|
|
100
|
+
- **Scenario:** End-to-end agentic automation under real enterprise constraints (spend authority, data isolation, citation trust).
|
|
101
|
+
- **Technology:** Durable workflow engines, scoped agent identity, egress allowlists, supervisor/worker orchestration, LLM-as-judge evaluation.
|
|
102
|
+
- **Results:** Directional and qualitative; presented to illustrate design trade-offs, not to assert benchmarked outcomes.
|
|
103
|
+
|
|
104
|
+
### Lessons Learned
|
|
105
|
+
|
|
106
|
+
The recurring lesson is restraint: teams that succeeded added complexity (multi-agent, autonomy) *only* where a specific requirement justified it, and invested early in the unglamorous layers — durability, identity, audit — that determine whether anything works in production.
|
|
107
|
+
|
|
108
|
+
## Observed Failure Modes
|
|
109
|
+
|
|
110
|
+
| Case | Dominant Failure Mode | Decisive Mitigation |
|
|
111
|
+
|---|---|---|
|
|
112
|
+
| Reconciliation | Double-executing a money-moving step on resume | Idempotency keys + saga compensation |
|
|
113
|
+
| Support | Data exfiltration via injected ticket content | User-delegated authZ + egress allowlist + DLP |
|
|
114
|
+
| Research | Unsupported claims presented as fact | Groundedness eval gate before answer |
|
|
115
|
+
|
|
116
|
+
## KPIs
|
|
117
|
+
|
|
118
|
+
| Metric | Reconciliation | Support | Research |
|
|
119
|
+
|---|---|---|---|
|
|
120
|
+
| Task completion rate | High (with escalation) | High | High |
|
|
121
|
+
| Human-touch rate | Low (exceptions only) | Low | Moderate (review) |
|
|
122
|
+
| Safety incident rate | → 0 (gated spend) | → 0 (bounded blast radius) | → 0 (cited only) |
|
|
123
|
+
| Latency | Batch-tolerant | Interactive | Improved by fan-out |
|
|
124
|
+
| Cost per task | Low | Low | Higher (multi-agent) |
|
|
125
|
+
|
|
126
|
+
## Cost Metrics
|
|
127
|
+
|
|
128
|
+
- **Reconciliation:** cheap per task (single agent, deterministic); dominant cost is human approval of exceptions.
|
|
129
|
+
- **Support:** cheap per task; guardrail/DLP inference is the marginal add.
|
|
130
|
+
- **Research:** highest per task due to multi-agent token spend; justified by parallel latency and verified quality.
|
|
131
|
+
|
|
132
|
+
## Scaling Characteristics
|
|
133
|
+
|
|
134
|
+
The single-agent cases (reconciliation, support) scale horizontally and cheaply, bounded by external-tool rate limits and human approval capacity. The multi-agent research case scales sub-tasks in parallel up to shared-retrieval rate limits, with token cost growing per added worker — the classic latency-vs-cost trade that defines when multi-agent is worth it.
|
|
135
|
+
|
|
136
|
+
## Related Content
|
|
137
|
+
|
|
138
|
+
- ARCH-001 — Reference architecture exemplifying single-agent durable workflows.
|
|
139
|
+
- ARCH-002 — Reference architecture exemplifying supervisor/worker orchestration.
|
|
140
|
+
- HRN-001 — Definition and Overview (the thesis these cases reinforce).
|
|
141
|
+
|
|
142
|
+
## References
|
|
143
|
+
|
|
144
|
+
- Anthropic, "Building Effective Agents" and multi-agent research-system writeups.
|
|
145
|
+
- Industry post-mortems and architecture writeups on durable agentic workflows.
|
|
146
|
+
- The harness chapters HRN-005 through HRN-011, which these cases compose.
|
|
147
|
+
|
|
148
|
+
## FAQs
|
|
149
|
+
|
|
150
|
+
**Q: Are these real deployments?**
|
|
151
|
+
A: No. They are anonymized composites assembled from recurring industry patterns, presented to illustrate design trade-offs. They contain no verified production metrics.
|
|
152
|
+
|
|
153
|
+
**Q: What is the single most transferable lesson?**
|
|
154
|
+
A: Add complexity only where a requirement demands it, and invest first in durability, identity, and audit — the layers that decide whether an agent survives production.
|
|
155
|
+
|
|
156
|
+
**Q: Why include multi-agent only in case 3?**
|
|
157
|
+
A: Because that is the only case where parallelism and verification justified the coordination cost. The others are deliberately single-agent.
|
|
@@ -0,0 +1,120 @@
|
|
|
1
|
+
---
|
|
2
|
+
title: "Estudos de caso em Engenharia de Harness"
|
|
3
|
+
summary: "Três casos compostos e anonimizados analisados pelo seu harness: o que falhou, que controle o teria evitado e o que se aprendeu ao levá-los para produção."
|
|
4
|
+
---
|
|
5
|
+
|
|
6
|
+
# Estudos de caso em Engenharia de Harness
|
|
7
|
+
|
|
8
|
+
## Resumo executivo
|
|
9
|
+
|
|
10
|
+
Este capítulo assenta as camadas abstratas do harness em três histórias de ponta a ponta. Cada uma é um **caso composto, representativo e anonimizado**, sintetizado a partir de padrões comuns na indústria: não é o relato de uma implantação concreta com nome próprio nem uma fonte de métricas verificadas. O que interessa é mostrar como as camadas interagem sob carga, como a memória, o planejamento, a orquestração, a governança, a segurança e a observabilidade deixam de ser capítulos separados e se tornam um só sistema. Lidos em conjunto, os casos reforçam a tese de que a confiabilidade nos agentes empresariais é uma propriedade de engenharia do harness, não uma propriedade emergente do modelo.
|
|
11
|
+
|
|
12
|
+
## Conceitos-chave
|
|
13
|
+
|
|
14
|
+
- **Estudo de caso composto:** um cenário ilustrativo montado a partir de padrões recorrentes do mundo real, explicitamente não uma implantação verificada concreta.
|
|
15
|
+
- **De ponta a ponta:** desde a recepção da intenção até à ação verificada, governada e observada.
|
|
16
|
+
- **Interação de camadas do harness:** como se compõem memória, planejamento, orquestração, governança, segurança e observabilidade.
|
|
17
|
+
|
|
18
|
+
## Definição
|
|
19
|
+
|
|
20
|
+
> Um **estudo de caso de Engenharia de Harness** é uma narrativa estruturada que segue um objetivo através de todas as camadas de um sistema agêntico para expor as decisões de desenho, os modos de falha e as compensações que determinam a confiabilidade.
|
|
21
|
+
|
|
22
|
+
## Explicação detalhada
|
|
23
|
+
|
|
24
|
+
### Caso 1 — Operações financeiras: o agente de reconciliação
|
|
25
|
+
|
|
26
|
+
> Caso composto representativo. Sem métricas verificadas; os intervalos são ilustrativos.
|
|
27
|
+
|
|
28
|
+
**Objetivo.** Reconciliar autonomamente as transações diárias entre dois livros contabilísticos e remediar as discrepâncias sob uma autoridade de despesa estrita.
|
|
29
|
+
|
|
30
|
+
**Desenho do harness.** O planejamento (HRN-009) decompõe o objetivo num DAG: extrair, casar, classificar discrepâncias, remediar, reportar. A orquestração (HRN-010) executa-o sobre um **motor de fluxo duradouro**, de modo que uma queda noturna retoma a partir do último ponto de controle em vez de reiniciar — crítico porque alguns passos de remediação movem dinheiro e nunca podem ser executados duas vezes (chaves de idempotência e compensação saga). A governança (HRN-008) coloca uma **porta de aprovação** em qualquer remediação acima de um limiar; abaixo dele, o agente age autonomamente com registro de auditoria completo. A memória (HRN-005) guarda as regras de reconciliação e os precedentes de resolução. A observabilidade (HRN-006) traça cada decisão de correspondência.
|
|
31
|
+
|
|
32
|
+
**Resultado (ilustrativo).** O agente liquida autonomamente a cauda longa de discrepâncias triviais e escala as de consequência, deslocando o esforço humano de *fazer* a reconciliação para *aprovar* exceções. **Lição:** a durabilidade e a idempotência foram as decisões portantes; a “inteligência” foi a parte fácil.
|
|
33
|
+
|
|
34
|
+
### Caso 2 — Apoio ao cliente: o agente de resolução
|
|
35
|
+
|
|
36
|
+
> Caso composto representativo. Sem métricas verificadas; os intervalos são ilustrativos.
|
|
37
|
+
|
|
38
|
+
**Objetivo.** Resolver tickets de apoio de ponta a ponta — responder a perguntas, atualizar contas, emitir pequenos créditos — sem nunca deixar escapar os dados de um cliente para outro e sem ser sequestrado pelo conteúdo do ticket.
|
|
39
|
+
|
|
40
|
+
**Desenho do harness.** Este é um harness **com a segurança primeiro** (HRN-011). Cada instância de agente transporta a autorização *do cliente que pede*, de modo que o isolamento de dados é aplicado abaixo do modelo e não por prompting. O conteúdo recuperado da base de conhecimento e do ticket é tratado como não confiável; a **saída está em lista de permitidos** e as mensagens de saída passam por prevenção de fuga de dados, quebrando a trifeta letal mesmo quando a detecção de injeção falha uma tentativa. Uma topologia de agente único (HRN-010) mantém-no simples; um passo de reflexão (autoverificação ao estilo PAT-003) revê a resposta redigida antes do envio. A governança encaminha para um humano os créditos acima de um limiar pequeno.
|
|
41
|
+
|
|
42
|
+
**Resultado (ilustrativo).** A maioria dos tickets se resolve sem intervenção humana; as tentativas de injeção nos tickets não chegam a causar dano porque a *consequência* está limitada pelas permissões e pelo controle de saída, não apenas pela detecção. **Lição:** a segurança arquitetônica ganhou à segurança por classificador; a vitória veio de restringir o que um agente sequestrado *podia* fazer.
|
|
43
|
+
|
|
44
|
+
### Caso 3 — Trabalho do conhecimento: o agente de investigação e síntese
|
|
45
|
+
|
|
46
|
+
> Caso composto representativo. Sem métricas verificadas; os intervalos são ilustrativos.
|
|
47
|
+
|
|
48
|
+
**Objetivo.** Responder a perguntas internas complexas com uma síntese citada e de confiança sobre um corpus grande.
|
|
49
|
+
|
|
50
|
+
**Desenho do harness.** Uma topologia **supervisor/trabalhador** (HRN-010, PAT-002 + PAT-005): o supervisor decompõe a pergunta e despacha em paralelo trabalhadores de recuperação e análise, e depois um agregador reconcilia seus achados numa resposta com citações. A memória (HRN-005) fornece o contexto de recuperação; o planejamento (HRN-009) é entrelaçado, porque o caminho depende do que a recuperação inicial trouxer à superfície. A avaliação (HRN-007) executa uma verificação de ancoragem com LLM como juiz que *rejeita a resposta se as afirmações não estiverem citadas*, realimentando um replanejamento. A observabilidade traça o leque para que o custo e a latência por trabalhador sejam visíveis.
|
|
51
|
+
|
|
52
|
+
**Resultado (ilustrativo).** O leque paralelo melhora a latência diante da investigação sequencial à custa de uma maior despesa em tokens; a porta de ancoragem é o que torna a saída suficientemente confiável para ser publicada. **Lição:** aqui o multiagente ganhou sua complexidade precisamente pelo *paralelismo* e pela necessidade de verificar antes de responder, não porque o multiagente seja inerentemente melhor.
|
|
53
|
+
|
|
54
|
+
### Observações transversais
|
|
55
|
+
|
|
56
|
+
Nos três se repetem as mesmas verdades: (1) ganha a topologia mais simples que cumpre o requisito; (2) a durabilidade e a idempotência, não a esperteza, decidem se um agente de longa duração é apto para produção; (3) a governança e a segurança são camadas *de execução*, não documentos; (4) a verificação (avaliação) antes de agir é o que converte uma saída plausível numa saída de confiança. Tudo isto se liga às arquiteturas de referência (ARCH-001, ARCH-002) e reformula a tese central de HRN-001: a confiabilidade é construída dentro do harness.
|
|
57
|
+
|
|
58
|
+
## Evidência de produção
|
|
59
|
+
|
|
60
|
+
> **Cenários ilustrativos e representativos.** Nível de evidência: teórico · Confiança: média · Fonte: observação de indústria, experiência pessoal. Os três casos são compostos anonimizados montados a partir de padrões recorrentes. Não contêm medições de nenhuma implantação de produção verificada, e qualquer quantidade é um intervalo ilustrativo.
|
|
61
|
+
|
|
62
|
+
- **Contexto:** operações financeiras, suporte ao cliente e trabalho do conhecimento empresarial.
|
|
63
|
+
- **Cenário:** automação agêntica de ponta a ponta sob restrições empresariais reais (autoridade de despesa, isolamento de dados, confiança nas citações).
|
|
64
|
+
- **Tecnologia:** motores de fluxo duradouro, identidade de agente com âmbito, listas de permitidos de saída, orquestração supervisor/trabalhador, avaliação com LLM como juiz.
|
|
65
|
+
- **Resultados:** direcionais e qualitativos; apresentados para ilustrar compensações de desenho, não para afirmar resultados medidos.
|
|
66
|
+
|
|
67
|
+
### Lições aprendidas
|
|
68
|
+
|
|
69
|
+
A lição recorrente é a contenção: as equipes que tiveram sucesso acrescentaram complexidade (multiagente, autonomia) *apenas* onde um requisito concreto o justificava, e investiram cedo nas camadas pouco vistosas — durabilidade, identidade, auditoria — que decidem se alguma coisa funciona em produção.
|
|
70
|
+
|
|
71
|
+
## Modos de falha observados
|
|
72
|
+
|
|
73
|
+
| Caso | Modo de falha dominante | Mitigação decisiva |
|
|
74
|
+
|---|---|---|
|
|
75
|
+
| Reconciliação | Executar duas vezes um passo que move dinheiro ao retomar | Chaves de idempotência + compensação saga |
|
|
76
|
+
| Apoio ao cliente | Exfiltração de dados via conteúdo injetado no ticket | Autorização delegada pelo usuário + lista de permitidos de saída + prevenção de fuga |
|
|
77
|
+
| Investigação | Afirmações sem suporte apresentadas como fatos | Porta de avaliação de ancoragem antes de responder |
|
|
78
|
+
|
|
79
|
+
## KPIs
|
|
80
|
+
|
|
81
|
+
| Métrica | Reconciliação | Apoio ao cliente | Investigação |
|
|
82
|
+
|---|---|---|---|
|
|
83
|
+
| Taxa de conclusão de tarefa | Alta (com escalonamento) | Alta | Alta |
|
|
84
|
+
| Taxa de intervenção humana | Baixa (só exceções) | Baixa | Moderada (revisão) |
|
|
85
|
+
| Taxa de incidentes de segurança | → 0 (despesa com porta) | → 0 (raio de impacto limitado) | → 0 (só com citações) |
|
|
86
|
+
| Latência | Tolerante a lotes | Interativa | Melhorada pelo leque |
|
|
87
|
+
| Custo por tarefa | Baixo | Baixo | Maior (multiagente) |
|
|
88
|
+
|
|
89
|
+
## Métricas de custo
|
|
90
|
+
|
|
91
|
+
- **Reconciliação:** barata por tarefa (agente único, determinista); o custo dominante é a aprovação humana de exceções.
|
|
92
|
+
- **Apoio ao cliente:** barata por tarefa; a inferência de guarda-corpos e prevenção de fuga é o acréscimo marginal.
|
|
93
|
+
- **Investigação:** a mais cara por tarefa, pela despesa em tokens do multiagente; justifica-se pela latência em paralelo e pela qualidade verificada.
|
|
94
|
+
|
|
95
|
+
## Características de escalabilidade
|
|
96
|
+
|
|
97
|
+
Os casos de agente único (reconciliação, suporte ao cliente) escalam horizontalmente e de forma barata, limitados pelos limites de taxa das ferramentas externas e pela capacidade de aprovação humana. O caso multiagente de investigação escala as subtarefas em paralelo até aos limites de taxa da recuperação compartilhada, com o custo em tokens crescendo a cada trabalhador acrescentado: a clássica troca latência-custo que define quando vale a pena o multiagente.
|
|
98
|
+
|
|
99
|
+
## Conteúdo relacionado
|
|
100
|
+
|
|
101
|
+
- ARCH-001 — Arquitetura de referência que exemplifica fluxos duradouros de agente único.
|
|
102
|
+
- ARCH-002 — Arquitetura de referência que exemplifica a orquestração supervisor/trabalhador.
|
|
103
|
+
- HRN-001 — Definição e panorama (a tese que estes casos reforçam).
|
|
104
|
+
|
|
105
|
+
## Referências
|
|
106
|
+
|
|
107
|
+
- Anthropic, “Building Effective Agents” e publicações sobre sistemas de investigação multiagente.
|
|
108
|
+
- Post-mortems e escritos de arquitetura do setor sobre fluxos agênticos duradouros.
|
|
109
|
+
- Os capítulos HRN-005 a HRN-011, que estes casos compõem.
|
|
110
|
+
|
|
111
|
+
## Perguntas frequentes
|
|
112
|
+
|
|
113
|
+
**P: São implantações reais?**
|
|
114
|
+
R: Não. São compostos anonimizados montados a partir de padrões recorrentes da indústria, apresentados para ilustrar compensações de desenho. Não contêm métricas de produção verificadas.
|
|
115
|
+
|
|
116
|
+
**P: Qual é a lição mais transferível?**
|
|
117
|
+
R: Acrescente complexidade apenas onde um requisito a exija, e invista primeiro em durabilidade, identidade e auditoria: as camadas que decidem se um agente sobrevive à produção.
|
|
118
|
+
|
|
119
|
+
**P: Porque é que o multiagente aparece apenas no caso 3?**
|
|
120
|
+
R: Porque é o único caso em que o paralelismo e a verificação justificavam o custo de coordenação. Os outros são deliberadamente de agente único.
|