santismm-knowledge-mcp 0.2.2 → 0.3.0
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/README.md +9 -7
- package/content/architectures/ai-workforce.json +3 -1
- package/content/claims/a-harness-can-degrade-the-agent.json +51 -0
- package/content/claims/harness-changes-outcomes.json +57 -0
- package/content/claims/harness-engineering-is-a-distinct-discipline.json +43 -0
- package/content/claims/harness-is-the-durable-asset.json +43 -0
- package/content/claims/maturity-levels-are-ordered-by-dependency.json +43 -0
- package/content/claims/practice-converges-on-eight-components.json +58 -0
- package/content/claims/verified-outcome-is-the-unit.json +50 -0
- package/content/governance/agentic-ai-governance-checklist.json +3 -1
- package/content/harness/HRN-001-definition-and-overview.es.md +6 -3
- package/content/harness/HRN-001-definition-and-overview.md +6 -3
- package/content/harness/HRN-001-definition-and-overview.pt.md +6 -3
- package/content/harness/HRN-013-glossary.es.md +1 -1
- package/content/harness/HRN-013-glossary.md +1 -1
- package/content/harness/HRN-013-glossary.pt.md +1 -1
- package/content/knowledge/foundation-models.json +2 -1
- package/content/knowledge/harness-engineering.json +3 -3
- package/content/library/the-agentic-enterprise-needs-an-immune-system.md +16 -0
- package/content/library/the-stopwatch-and-the-exam.md +5 -1
- package/content/matrix/agentic-control-matrix.json +402 -3
- package/content/maturity/harness-maturity-model.json +569 -0
- package/content/patterns/evaluator-optimizer.json +1 -0
- package/content/patterns/goal-decomposition.json +1 -0
- package/content/patterns/human-approval-gate.json +1 -0
- package/content/patterns/long-term-memory.json +1 -0
- package/content/patterns/orchestrator-workers.json +1 -0
- package/content/patterns/sandboxed-execution.json +1 -0
- package/content/patterns/supervisor-agent.json +1 -0
- package/content/scorecard/harness-scorecard.json +460 -0
- package/dist/articles.js +120 -0
- package/dist/content.js +14 -1
- package/dist/shape.js +125 -3
- package/dist/tools.js +176 -4
- package/package.json +1 -1
package/README.md
CHANGED
|
@@ -26,8 +26,9 @@ Docs: https://santismm.com/en/mcp · Registry: `com.santismm/knowledge`
|
|
|
26
26
|
npm ci && npm run build && npm start
|
|
27
27
|
```
|
|
28
28
|
|
|
29
|
-
The corpus ships in `content/` and is read from disk, so
|
|
30
|
-
|
|
29
|
+
The core corpus ships in `content/` and is read from disk, so its tools work
|
|
30
|
+
offline. The three federated Article tools read the canonical Articles API over
|
|
31
|
+
HTTPS. Point the core corpus elsewhere with `SANTISMM_CONTENT_DIR`.
|
|
31
32
|
|
|
32
33
|
## Install from npm
|
|
33
34
|
|
|
@@ -67,11 +68,12 @@ is not a software licence and MIT is not a content licence.
|
|
|
67
68
|
|
|
68
69
|
## What it exposes
|
|
69
70
|
|
|
70
|
-
|
|
71
|
-
Harness Engineering Handbook, each declaring an
|
|
72
|
-
validated `structuredContent`. Every tool is
|
|
73
|
-
|
|
74
|
-
|
|
71
|
+
24 read-only tools over knowledge, patterns, architectures, governance, the
|
|
72
|
+
Harness Engineering Handbook and first-party Articles, each declaring an
|
|
73
|
+
`outputSchema` and returning validated `structuredContent`. Every tool is
|
|
74
|
+
annotated `readOnlyHint: true`, `destructiveHint: false` and
|
|
75
|
+
`idempotentHint: true`. The three federated Article tools declare
|
|
76
|
+
`openWorldHint: true`; local-corpus tools remain `false`.
|
|
75
77
|
|
|
76
78
|
Content in three languages (en/es/pt).
|
|
77
79
|
|
|
@@ -13,7 +13,9 @@
|
|
|
13
13
|
{ "title": "Anthropic — Building Effective Agents (2024)", "url": "https://www.anthropic.com/research/building-effective-agents" },
|
|
14
14
|
{ "title": "NIST — AI Risk Management Framework (AI RMF 1.0)", "url": "https://www.nist.gov/itl/ai-risk-management-framework" }
|
|
15
15
|
],
|
|
16
|
-
"related": ["customer-service-agent", "enterprise-knowledge-assistant"
|
|
16
|
+
"related": ["customer-service-agent", "enterprise-knowledge-assistant",
|
|
17
|
+
"operations-center",
|
|
18
|
+
"sales-copilot"],
|
|
17
19
|
"locales": {
|
|
18
20
|
"en": {
|
|
19
21
|
"name": "AI Workforce",
|
|
@@ -0,0 +1,51 @@
|
|
|
1
|
+
{
|
|
2
|
+
"id": "HE-CLAIM-007",
|
|
3
|
+
"slug": "a-harness-can-degrade-the-agent",
|
|
4
|
+
"claimType": "santismm_thesis",
|
|
5
|
+
"confidenceLevel": "low",
|
|
6
|
+
"reviewed": "2026-08-27",
|
|
7
|
+
"version": "1.0.0",
|
|
8
|
+
"updated": "2026-08-27",
|
|
9
|
+
"supports": [
|
|
10
|
+
"HRN-001",
|
|
11
|
+
"HRN-004",
|
|
12
|
+
"HRN-012",
|
|
13
|
+
"harness-engineering"
|
|
14
|
+
],
|
|
15
|
+
"sources": [
|
|
16
|
+
{
|
|
17
|
+
"title": "Harness Engineering Principles",
|
|
18
|
+
"author": "Santa María, S.",
|
|
19
|
+
"venue": "SANTISMM Harness Engineering Handbook",
|
|
20
|
+
"year": "2026",
|
|
21
|
+
"type": "personal_experience"
|
|
22
|
+
},
|
|
23
|
+
{
|
|
24
|
+
"title": "Case Studies in Harness Engineering",
|
|
25
|
+
"author": "Santa María, S.",
|
|
26
|
+
"venue": "SANTISMM Harness Engineering Handbook",
|
|
27
|
+
"year": "2026",
|
|
28
|
+
"type": "personal_experience"
|
|
29
|
+
}
|
|
30
|
+
],
|
|
31
|
+
"locales": {
|
|
32
|
+
"en": {
|
|
33
|
+
"statement": "A harness is not monotonically good. A control that was correct for one model generation can degrade the agent in the next, and current practice makes that invisible because harness components are added and almost never removed.",
|
|
34
|
+
"basis": "Three mechanisms, all of them ordinary. Prompt rules that compensate for a limitation the next model does not have, and that now spend tokens teaching it something it already knows. Static context carried because the window was scarce, back when it was scarce. Tool surfaces narrowed to what an older model could be trusted with, which now bound what a better one is allowed to attempt. Each was correct when it was written, each is a cost now, and none of them announce themselves — a harness component has no expiry date unless somebody wrote one. So each control here declares what it assumes about the model and the condition under which it should be retired.",
|
|
35
|
+
"limitations": "Asserted, not measured: nothing in this corpus has been run with and without a control across a model generation change. The classification of which controls expire is one person's reading of retirement conditions the same person wrote, so it restates a judgement rather than evidencing it. The honest counterweight is in the data and points the other way: most controls in the matrix do not expire on capability grounds at all — an unvalidated Origin does not become safe because the model improved — so this is a real risk about a minority of components, not a general law about harnesses.",
|
|
36
|
+
"falsifiedBy": "Removing components whose stated retirement condition is met and measuring no improvement in cost per correctly verified outcome across a model generation change, repeatedly; or harnesses that never retire anything tracking those that do, on the same scorecard and the same task set."
|
|
37
|
+
},
|
|
38
|
+
"es": {
|
|
39
|
+
"statement": "Un harness no es monótonamente bueno. Un control que era correcto para una generación de modelos puede degradar al agente en la siguiente, y la práctica actual lo hace invisible porque los componentes de harness se añaden y casi nunca se quitan.",
|
|
40
|
+
"basis": "Tres mecanismos, todos corrientes. Reglas de prompt que compensan una limitación que el modelo siguiente ya no tiene, y que ahora gastan tokens enseñándole algo que ya sabe. Contexto estático que se arrastra porque la ventana era escasa, cuando lo era. Superficies de herramientas estrechadas a lo que se le podía confiar a un modelo más viejo, que ahora acotan lo que a uno mejor se le permite intentar. Cada una era correcta cuando se escribió, cada una es un coste ahora, y ninguna se anuncia: un componente de harness no tiene fecha de caducidad salvo que alguien la escribiera. Por eso cada control declara aquí qué supone sobre el modelo y bajo qué condición debería retirarse.",
|
|
41
|
+
"limitations": "Afirmado, no medido: nada en este corpus se ha ejecutado con y sin un control atravesando un cambio de generación de modelo. La clasificación de qué controles caducan es la lectura de una persona sobre condiciones de retirada que escribió esa misma persona, así que reformula un criterio en lugar de evidenciarlo. El contrapeso honesto está en los datos y apunta al otro lado: la mayoría de los controles de la matriz no caducan por capacidad —un Origin sin validar no se vuelve seguro porque el modelo mejore—, así que esto es un riesgo real sobre una minoría de componentes y no una ley general sobre los harnesses.",
|
|
42
|
+
"falsifiedBy": "Quitar componentes cuya condición de retirada declarada se cumple y no medir mejora en el coste por resultado correctamente verificado al cambiar de generación de modelo, de forma repetida; o que harnesses que nunca retiran nada vayan a la par de los que sí, en la misma scorecard y el mismo conjunto de tareas."
|
|
43
|
+
},
|
|
44
|
+
"pt": {
|
|
45
|
+
"statement": "Um harness não é monotonicamente bom. Um controle que era correto para uma geração de modelos pode degradar o agente na seguinte, e a prática atual torna isso invisível porque os componentes de harness são adicionados e quase nunca removidos.",
|
|
46
|
+
"basis": "Três mecanismos, todos corriqueiros. Regras de prompt que compensam uma limitação que o modelo seguinte já não tem, e que agora gastam tokens ensinando a ele algo que já sabe. Contexto estático carregado porque a janela era escassa, quando era. Superfícies de ferramentas estreitadas ao que se podia confiar a um modelo mais velho, que agora limitam o que a um melhor é permitido tentar. Cada uma estava certa quando foi escrita, cada uma é um custo agora, e nenhuma se anuncia: um componente de harness não tem data de validade a menos que alguém a tenha escrito. Por isso cada controle declara aqui o que supõe sobre o modelo e sob qual condição deveria ser removido.",
|
|
47
|
+
"limitations": "Afirmado, não medido: nada neste corpus foi executado com e sem um controle atravessando uma mudança de geração de modelo. A classificação de quais controles expiram é a leitura de uma pessoa sobre condições de remoção escritas por essa mesma pessoa, então reformula um critério em vez de evidenciá-lo. O contrapeso honesto está nos dados e aponta para o outro lado: a maioria dos controles da matriz não expira por capacidade — um Origin sem validação não fica seguro porque o modelo melhorou —, então isto é um risco real sobre uma minoria de componentes e não uma lei geral sobre harnesses.",
|
|
48
|
+
"falsifiedBy": "Remover componentes cuja condição de remoção declarada se cumpre e não medir melhora no custo por resultado corretamente verificado ao mudar de geração de modelo, de forma repetida; ou que harnesses que nunca removem nada acompanhem os que removem, no mesmo scorecard e no mesmo conjunto de tarefas."
|
|
49
|
+
}
|
|
50
|
+
}
|
|
51
|
+
}
|
|
@@ -0,0 +1,57 @@
|
|
|
1
|
+
{
|
|
2
|
+
"id": "HE-CLAIM-001",
|
|
3
|
+
"slug": "harness-changes-outcomes",
|
|
4
|
+
"claimType": "observed_fact",
|
|
5
|
+
"confidenceLevel": "high",
|
|
6
|
+
"reviewed": "2026-08-27",
|
|
7
|
+
"version": "1.0.0",
|
|
8
|
+
"updated": "2026-08-27",
|
|
9
|
+
"supports": [
|
|
10
|
+
"HRN-001",
|
|
11
|
+
"HRN-003",
|
|
12
|
+
"harness-engineering"
|
|
13
|
+
],
|
|
14
|
+
"sources": [
|
|
15
|
+
{
|
|
16
|
+
"title": "Building Effective Agents",
|
|
17
|
+
"author": "Anthropic",
|
|
18
|
+
"venue": "Anthropic Engineering",
|
|
19
|
+
"year": "2024",
|
|
20
|
+
"type": "industry_observation"
|
|
21
|
+
},
|
|
22
|
+
{
|
|
23
|
+
"title": "How we built our multi-agent research system",
|
|
24
|
+
"author": "Anthropic",
|
|
25
|
+
"venue": "Anthropic Engineering",
|
|
26
|
+
"year": "2025",
|
|
27
|
+
"type": "industry_observation"
|
|
28
|
+
},
|
|
29
|
+
{
|
|
30
|
+
"title": "SWE-bench: Can Language Models Resolve Real-World GitHub Issues?",
|
|
31
|
+
"author": "Jimenez, C. et al.",
|
|
32
|
+
"venue": "ICLR",
|
|
33
|
+
"year": "2024",
|
|
34
|
+
"type": "benchmark"
|
|
35
|
+
}
|
|
36
|
+
],
|
|
37
|
+
"locales": {
|
|
38
|
+
"en": {
|
|
39
|
+
"statement": "Holding the model fixed and changing only the harness materially changes the outcome of the same task.",
|
|
40
|
+
"basis": "Published agentic benchmarks report different resolution rates for the same underlying model depending on the scaffold that drives it, and vendor engineering writeups describe the same effect when they change loop, tools or context strategy without changing the model.",
|
|
41
|
+
"limitations": "Establishes that the harness matters, not how much, nor which component carries the effect, nor whether it generalises across models. Published comparisons are self-reported and rarely control cost, repetitions or variance.",
|
|
42
|
+
"falsifiedBy": "A controlled study holding model, task, effort and budget constant across several harnesses that finds no difference in verified success rate beyond run-to-run variance."
|
|
43
|
+
},
|
|
44
|
+
"es": {
|
|
45
|
+
"statement": "Con el modelo fijo, cambiar solo el harness cambia materialmente el resultado de la misma tarea.",
|
|
46
|
+
"basis": "Los benchmarks agénticos publicados dan tasas de resolución distintas para el mismo modelo según el andamiaje que lo conduce, y los informes de ingeniería de los proveedores describen el mismo efecto al cambiar bucle, herramientas o estrategia de contexto sin tocar el modelo.",
|
|
47
|
+
"limitations": "Establece que el harness importa, no cuánto, ni qué componente produce el efecto, ni si generaliza entre modelos. Las comparaciones publicadas son autodeclaradas y rara vez controlan coste, repeticiones ni varianza.",
|
|
48
|
+
"falsifiedBy": "Un estudio controlado que, fijando modelo, tarea, esfuerzo y presupuesto, no encuentre diferencia en la tasa de éxito verificado entre varios harnesses más allá de la varianza entre ejecuciones."
|
|
49
|
+
},
|
|
50
|
+
"pt": {
|
|
51
|
+
"statement": "Com o modelo fixo, mudar apenas o harness muda materialmente o resultado da mesma tarefa.",
|
|
52
|
+
"basis": "Os benchmarks agênticos publicados dão taxas de resolução diferentes para o mesmo modelo consoante o andaime que o conduz, e os relatos de engenharia dos fornecedores descrevem o mesmo efeito ao mudar ciclo, ferramentas ou estratégia de contexto sem tocar no modelo.",
|
|
53
|
+
"limitations": "Estabelece que o harness importa, não quanto, nem que componente produz o efeito, nem se generaliza entre modelos. As comparações publicadas são autodeclaradas e raramente controlam custo, repetições ou variância.",
|
|
54
|
+
"falsifiedBy": "Um estudo controlado que, fixando modelo, tarefa, esforço e orçamento, não encontre diferença na taxa de sucesso verificado entre vários harnesses para além da variância entre execuções."
|
|
55
|
+
}
|
|
56
|
+
}
|
|
57
|
+
}
|
|
@@ -0,0 +1,43 @@
|
|
|
1
|
+
{
|
|
2
|
+
"id": "HE-CLAIM-003",
|
|
3
|
+
"slug": "harness-engineering-is-a-distinct-discipline",
|
|
4
|
+
"claimType": "santismm_thesis",
|
|
5
|
+
"confidenceLevel": "medium",
|
|
6
|
+
"reviewed": "2026-08-27",
|
|
7
|
+
"version": "1.0.0",
|
|
8
|
+
"updated": "2026-08-27",
|
|
9
|
+
"supports": [
|
|
10
|
+
"HRN-001",
|
|
11
|
+
"HRN-002",
|
|
12
|
+
"harness-engineering"
|
|
13
|
+
],
|
|
14
|
+
"sources": [
|
|
15
|
+
{
|
|
16
|
+
"title": "Harness Engineering: Definition and Overview",
|
|
17
|
+
"author": "Santa María, S.",
|
|
18
|
+
"venue": "SANTISMM Harness Engineering Handbook",
|
|
19
|
+
"year": "2026",
|
|
20
|
+
"type": "personal_experience"
|
|
21
|
+
}
|
|
22
|
+
],
|
|
23
|
+
"locales": {
|
|
24
|
+
"en": {
|
|
25
|
+
"statement": "Building the system around the model is an emerging engineering discipline in its own right, not a specialism of machine learning or of backend engineering.",
|
|
26
|
+
"basis": "The failure modes are new — the same input can take different paths and reach different conclusions — so confidence comes from measuring distributions and bounding authority rather than from assertions. The skills it demands (probabilistic reliability, evaluation design, context engineering, tool-contract design, adversarial security) sit cleanly in neither parent field.",
|
|
27
|
+
"limitations": "This is SANTISMM's position, not an industry consensus. There is no accreditation, no standard curriculum, no agreed body of knowledge and no professional body. 'Emerging' is doing real work in this sentence: the claim is that the discipline is forming, not that it is established.",
|
|
28
|
+
"falsifiedBy": "The concerns being absorbed as a normal specialism of platform or ML engineering — standard curricula and job ladders treating it as such — or model capability advancing far enough that the surrounding system stops needing distinct engineering."
|
|
29
|
+
},
|
|
30
|
+
"es": {
|
|
31
|
+
"statement": "Construir el sistema que rodea al modelo es una disciplina de ingeniería emergente por derecho propio, no una especialidad del aprendizaje automático ni de la ingeniería de backend.",
|
|
32
|
+
"basis": "Los modos de fallo son nuevos —la misma entrada puede seguir caminos distintos y llegar a conclusiones distintas—, así que la confianza sale de medir distribuciones y acotar la autoridad, no de aserciones. Las competencias que exige (fiabilidad probabilística, diseño de evaluación, ingeniería de contexto, diseño de contratos de herramientas, seguridad adversaria) no encajan limpiamente en ninguna de las dos disciplinas madre.",
|
|
33
|
+
"limitations": "Es la posición de SANTISMM, no un consenso del sector. No hay acreditación, ni currículo estándar, ni cuerpo de conocimiento acordado, ni organismo profesional. «Emergente» hace trabajo real en esta frase: se afirma que la disciplina se está formando, no que esté establecida.",
|
|
34
|
+
"falsifiedBy": "Que esas preocupaciones se absorban como una especialidad normal de la ingeniería de plataforma o de ML —currículos y carreras profesionales tratándola así—, o que la capacidad de los modelos avance lo bastante como para que el sistema alrededor deje de necesitar ingeniería propia."
|
|
35
|
+
},
|
|
36
|
+
"pt": {
|
|
37
|
+
"statement": "Construir o sistema que rodeia o modelo é uma disciplina de engenharia emergente por direito próprio, não uma especialidade da aprendizagem automática nem da engenharia de backend.",
|
|
38
|
+
"basis": "Os modos de falha são novos — a mesma entrada pode seguir caminhos diferentes e chegar a conclusões diferentes —, pelo que a confiança vem de medir distribuições e limitar a autoridade, não de asserções. As competências que exige (fiabilidade probabilística, desenho de avaliação, engenharia de contexto, desenho de contratos de ferramentas, segurança adversária) não encaixam de forma limpa em nenhuma das disciplinas-mãe.",
|
|
39
|
+
"limitations": "É a posição da SANTISMM, não um consenso do setor. Não há acreditação, currículo padrão, corpo de conhecimento acordado nem organismo profissional. «Emergente» faz trabalho real nesta frase: afirma-se que a disciplina se está a formar, não que esteja estabelecida.",
|
|
40
|
+
"falsifiedBy": "Que essas preocupações sejam absorvidas como especialidade normal da engenharia de plataforma ou de ML — currículos e carreiras a tratá-la assim —, ou que a capacidade dos modelos avance o suficiente para o sistema à volta deixar de precisar de engenharia própria."
|
|
41
|
+
}
|
|
42
|
+
}
|
|
43
|
+
}
|
|
@@ -0,0 +1,43 @@
|
|
|
1
|
+
{
|
|
2
|
+
"id": "HE-CLAIM-004",
|
|
3
|
+
"slug": "harness-is-the-durable-asset",
|
|
4
|
+
"claimType": "strategic_hypothesis",
|
|
5
|
+
"confidenceLevel": "low",
|
|
6
|
+
"reviewed": "2026-08-27",
|
|
7
|
+
"version": "1.0.0",
|
|
8
|
+
"updated": "2026-08-27",
|
|
9
|
+
"supports": [
|
|
10
|
+
"HRN-001",
|
|
11
|
+
"HRN-012",
|
|
12
|
+
"harness-engineering"
|
|
13
|
+
],
|
|
14
|
+
"sources": [
|
|
15
|
+
{
|
|
16
|
+
"title": "Harness Engineering: Definition and Overview",
|
|
17
|
+
"author": "Santa María, S.",
|
|
18
|
+
"venue": "SANTISMM Harness Engineering Handbook",
|
|
19
|
+
"year": "2026",
|
|
20
|
+
"type": "personal_experience"
|
|
21
|
+
}
|
|
22
|
+
],
|
|
23
|
+
"locales": {
|
|
24
|
+
"en": {
|
|
25
|
+
"statement": "As frontier model capability commoditises, the harness becomes the durable source of competitive advantage for an enterprise.",
|
|
26
|
+
"basis": "Models are bought by everyone on comparable terms, while the harness encodes an organisation's own data access, policies, tool contracts, evaluation suites and authority limits — none of which transfer with a model swap.",
|
|
27
|
+
"limitations": "A bet about the future, held at low confidence and with no supporting measurement. The opposite is equally arguable: capability gains may absorb harness work, and much of today's harness exists to compensate for limitations that the next model generation removes.",
|
|
28
|
+
"falsifiedBy": "Successive model generations reducing the harness needed to reach the same verified outcome — measurably fewer components for equal or better results — or enterprises finding that swapping models, not harness quality, is what moves their outcomes."
|
|
29
|
+
},
|
|
30
|
+
"es": {
|
|
31
|
+
"statement": "A medida que la capacidad de los modelos de frontera se comoditiza, el harness pasa a ser la fuente duradera de ventaja competitiva de una empresa.",
|
|
32
|
+
"basis": "Los modelos los compra todo el mundo en condiciones comparables, mientras que el harness codifica el acceso a datos propios, las políticas, los contratos de herramientas, las suites de evaluación y los límites de autoridad de una organización concreta — y nada de eso viaja al cambiar de modelo.",
|
|
33
|
+
"limitations": "Es una apuesta sobre el futuro, sostenida con confianza baja y sin medición que la respalde. Lo contrario es igual de defendible: las mejoras de capacidad pueden absorber el trabajo de harness, y buena parte del harness de hoy existe para compensar limitaciones que la siguiente generación de modelos elimina.",
|
|
34
|
+
"falsifiedBy": "Que generaciones sucesivas de modelos reduzcan el harness necesario para el mismo resultado verificado —medidamente menos componentes para resultados iguales o mejores— o que a las empresas les mueva los resultados cambiar de modelo y no la calidad del harness."
|
|
35
|
+
},
|
|
36
|
+
"pt": {
|
|
37
|
+
"statement": "À medida que a capacidade dos modelos de fronteira se comoditiza, o harness torna-se a fonte duradoura de vantagem competitiva de uma empresa.",
|
|
38
|
+
"basis": "Os modelos são comprados por todos em condições comparáveis, ao passo que o harness codifica o acesso a dados próprios, as políticas, os contratos de ferramentas, as suites de avaliação e os limites de autoridade de uma organização concreta — e nada disso viaja ao mudar de modelo.",
|
|
39
|
+
"limitations": "É uma aposta sobre o futuro, sustentada com confiança baixa e sem medição que a apoie. O contrário é igualmente defensável: os ganhos de capacidade podem absorver o trabalho de harness, e boa parte do harness de hoje existe para compensar limitações que a geração seguinte elimina.",
|
|
40
|
+
"falsifiedBy": "Que gerações sucessivas de modelos reduzam o harness necessário para o mesmo resultado verificado — mensuravelmente menos componentes para resultados iguais ou melhores — ou que às empresas o que lhes move os resultados seja mudar de modelo e não a qualidade do harness."
|
|
41
|
+
}
|
|
42
|
+
}
|
|
43
|
+
}
|
|
@@ -0,0 +1,43 @@
|
|
|
1
|
+
{
|
|
2
|
+
"id": "HE-CLAIM-006",
|
|
3
|
+
"slug": "maturity-levels-are-ordered-by-dependency",
|
|
4
|
+
"claimType": "santismm_thesis",
|
|
5
|
+
"confidenceLevel": "low",
|
|
6
|
+
"reviewed": "2026-08-27",
|
|
7
|
+
"version": "1.0.0",
|
|
8
|
+
"updated": "2026-08-27",
|
|
9
|
+
"supports": [
|
|
10
|
+
"HRN-001",
|
|
11
|
+
"HRN-004",
|
|
12
|
+
"harness-engineering"
|
|
13
|
+
],
|
|
14
|
+
"sources": [
|
|
15
|
+
{
|
|
16
|
+
"title": "Harness Engineering Principles",
|
|
17
|
+
"author": "Santa María, S.",
|
|
18
|
+
"venue": "SANTISMM Harness Engineering Handbook",
|
|
19
|
+
"year": "2026",
|
|
20
|
+
"type": "personal_experience"
|
|
21
|
+
}
|
|
22
|
+
],
|
|
23
|
+
"locales": {
|
|
24
|
+
"en": {
|
|
25
|
+
"statement": "The seven levels of the maturity model are ordered by dependency rather than by preference: a harness does not hold a level while any criterion below it fails, because each level is what makes the level above it measurable.",
|
|
26
|
+
"basis": "The dependencies are concrete, not decorative. Evaluation at level 4 is meaningless without the reproducibility of level 1 — you cannot regression-test a run you cannot reproduce. Reconstructing a run at level 5 needs the declared tool surface of level 2, because a call nobody catalogued is a call nobody can read back. Retiring a component at level 6 needs the measurement of level 4, or the retirement is a preference with a date on it.",
|
|
27
|
+
"limitations": "The order is asserted from one practitioner's experience of a small number of systems, and it is self-assessed: every criterion is a test somebody runs on themselves, which is the weakest form of assessment there is. Organisations demonstrably skip rungs — most ship tools before they version prompts — and this model calls that a failure at level 1 rather than a different valid path, which may be wrong. The ladder may be encoding one route rather than the route.",
|
|
28
|
+
"falsifiedBy": "An organisation holding a level with a criterion below it failing, and its outcomes not degrading in the way the dependency predicts — measured on the scorecard, not argued. Or a common path through the levels in a materially different order, followed by systems that work."
|
|
29
|
+
},
|
|
30
|
+
"es": {
|
|
31
|
+
"statement": "Los siete niveles del modelo de madurez están ordenados por dependencia y no por preferencia: un harness no sostiene un nivel mientras falle cualquier criterio por debajo, porque cada nivel es lo que hace medible al siguiente.",
|
|
32
|
+
"basis": "Las dependencias son concretas, no decorativas. Evaluar en el nivel 4 no significa nada sin la reproducibilidad del nivel 1: no se puede hacer test de regresión sobre una ejecución que no se puede reproducir. Reconstruir una ejecución en el nivel 5 necesita la superficie de herramientas declarada del nivel 2, porque una llamada que nadie catalogó es una llamada que nadie puede releer. Retirar un componente en el nivel 6 necesita la medición del nivel 4, o la retirada es una preferencia con fecha.",
|
|
33
|
+
"limitations": "El orden se afirma desde la experiencia de un solo profesional con un número pequeño de sistemas, y es autoevaluado: cada criterio es una prueba que alguien se hace a sí mismo, que es la forma más débil de evaluación que existe. Las organizaciones se saltan peldaños de forma demostrable —la mayoría pone herramientas antes de versionar prompts— y este modelo llama a eso un fallo en el nivel 1 y no un camino válido distinto, lo cual puede ser un error. La escalera puede estar codificando una ruta y no la ruta.",
|
|
34
|
+
"falsifiedBy": "Una organización que sostenga un nivel con un criterio inferior fallando y cuyos resultados no se degraden como predice la dependencia, medido en la scorecard y no argumentado. O un camino habitual por los niveles en un orden materialmente distinto, recorrido por sistemas que funcionan."
|
|
35
|
+
},
|
|
36
|
+
"pt": {
|
|
37
|
+
"statement": "Os sete níveis do modelo de maturidade estão ordenados por dependência e não por preferência: um harness não sustenta um nível enquanto qualquer critério abaixo falhar, porque cada nível é o que torna o seguinte mensurável.",
|
|
38
|
+
"basis": "As dependências são concretas, não decorativas. Avaliar no nível 4 não significa nada sem a reprodutibilidade do nível 1: não se pode fazer teste de regressão sobre uma execução que não se pode reproduzir. Reconstruir uma execução no nível 5 precisa da superfície de ferramentas declarada do nível 2, porque uma chamada que ninguém catalogou é uma chamada que ninguém pode reler. Aposentar um componente no nível 6 precisa da medição do nível 4, ou a aposentadoria é uma preferência com data.",
|
|
39
|
+
"limitations": "A ordem é afirmada a partir da experiência de um único profissional com um número pequeno de sistemas, e é autoavaliada: cada critério é um teste que alguém faz em si mesmo, que é a forma mais fraca de avaliação que existe. As organizações pulam degraus de forma demonstrável — a maioria coloca ferramentas antes de versionar prompts — e este modelo chama isso de falha no nível 1 e não de um caminho válido diferente, o que pode ser um erro. A escada pode estar codificando uma rota e não a rota.",
|
|
40
|
+
"falsifiedBy": "Uma organização que sustente um nível com um critério inferior falhando e cujos resultados não se degradem como a dependência prevê, medido no scorecard e não argumentado. Ou um caminho habitual pelos níveis em uma ordem materialmente diferente, percorrido por sistemas que funcionam."
|
|
41
|
+
}
|
|
42
|
+
}
|
|
43
|
+
}
|
|
@@ -0,0 +1,58 @@
|
|
|
1
|
+
{
|
|
2
|
+
"id": "HE-CLAIM-002",
|
|
3
|
+
"slug": "practice-converges-on-eight-components",
|
|
4
|
+
"claimType": "industry_synthesis",
|
|
5
|
+
"confidenceLevel": "medium",
|
|
6
|
+
"reviewed": "2026-08-27",
|
|
7
|
+
"version": "1.0.0",
|
|
8
|
+
"updated": "2026-08-27",
|
|
9
|
+
"supports": [
|
|
10
|
+
"HRN-003",
|
|
11
|
+
"HRN-004",
|
|
12
|
+
"harness-engineering",
|
|
13
|
+
"agentic-ai"
|
|
14
|
+
],
|
|
15
|
+
"sources": [
|
|
16
|
+
{
|
|
17
|
+
"title": "Building Effective Agents",
|
|
18
|
+
"author": "Anthropic",
|
|
19
|
+
"venue": "Anthropic Engineering",
|
|
20
|
+
"year": "2024",
|
|
21
|
+
"type": "industry_observation"
|
|
22
|
+
},
|
|
23
|
+
{
|
|
24
|
+
"title": "A Survey on Large Language Model based Autonomous Agents",
|
|
25
|
+
"author": "Wang, L. et al.",
|
|
26
|
+
"venue": "survey",
|
|
27
|
+
"year": "2023",
|
|
28
|
+
"type": "paper"
|
|
29
|
+
},
|
|
30
|
+
{
|
|
31
|
+
"title": "AI Risk Management Framework (AI RMF 1.0)",
|
|
32
|
+
"author": "NIST",
|
|
33
|
+
"venue": "NIST",
|
|
34
|
+
"year": "2023",
|
|
35
|
+
"type": "industry_observation"
|
|
36
|
+
}
|
|
37
|
+
],
|
|
38
|
+
"locales": {
|
|
39
|
+
"en": {
|
|
40
|
+
"statement": "Independent practitioners are converging on the same small set of concerns around the model — context and memory, tools, planning and orchestration, observability, evaluation, governance and security — even where they use different names for them.",
|
|
41
|
+
"basis": "Vendor engineering guidance, agent surveys and the control catalogues of AI governance frameworks describe overlapping concerns from different starting points, without citing one another as the source of the taxonomy.",
|
|
42
|
+
"limitations": "Convergence of concerns is not agreement on a taxonomy. No standard names, boundaries or component count exists, and SANTISMM's grouping into eight components across three layers is one cut among several defensible ones. Absence of cross-citation makes independence plausible, not proven.",
|
|
43
|
+
"falsifiedBy": "A published, adopted taxonomy that partitions the same space differently — or evidence that the apparent convergence traces back to a single common source rather than independent practice."
|
|
44
|
+
},
|
|
45
|
+
"es": {
|
|
46
|
+
"statement": "Practicantes independientes están convergiendo en el mismo conjunto reducido de preocupaciones alrededor del modelo —contexto y memoria, herramientas, planificación y orquestación, observabilidad, evaluación, gobierno y seguridad— aunque las nombren de forma distinta.",
|
|
47
|
+
"basis": "Las guías de ingeniería de los proveedores, los estudios sobre agentes y los catálogos de control de los marcos de gobierno describen preocupaciones solapadas partiendo de sitios distintos, sin citarse entre sí como origen de la taxonomía.",
|
|
48
|
+
"limitations": "Converger en las preocupaciones no es acordar una taxonomía. No existen nombres, fronteras ni número de componentes estándar, y agruparlos en ocho componentes y tres capas es un corte entre varios defendibles. Que no se citen hace plausible la independencia, no la demuestra.",
|
|
49
|
+
"falsifiedBy": "Una taxonomía publicada y adoptada que reparta el mismo espacio de otra forma, o evidencia de que la convergencia aparente procede de una fuente común y no de práctica independiente."
|
|
50
|
+
},
|
|
51
|
+
"pt": {
|
|
52
|
+
"statement": "Praticantes independentes estão a convergir no mesmo conjunto reduzido de preocupações à volta do modelo — contexto e memória, ferramentas, planeamento e orquestração, observabilidade, avaliação, governo e segurança — ainda que lhes deem nomes diferentes.",
|
|
53
|
+
"basis": "Os guias de engenharia dos fornecedores, os estudos sobre agentes e os catálogos de controle dos quadros de governo descrevem preocupações sobrepostas partindo de pontos distintos, sem se citarem como origem da taxonomia.",
|
|
54
|
+
"limitations": "Convergir nas preocupações não é acordar uma taxonomia. Não existem nomes, fronteiras nem número de componentes padrão, e agrupá-los em oito componentes e três camadas é um corte entre vários defensáveis. Não se citarem torna a independência plausível, não provada.",
|
|
55
|
+
"falsifiedBy": "Uma taxonomia publicada e adotada que reparta o mesmo espaço de outra forma, ou evidência de que a convergência aparente vem de uma fonte comum e não de prática independente."
|
|
56
|
+
}
|
|
57
|
+
}
|
|
58
|
+
}
|
|
@@ -0,0 +1,50 @@
|
|
|
1
|
+
{
|
|
2
|
+
"id": "HE-CLAIM-005",
|
|
3
|
+
"slug": "verified-outcome-is-the-unit",
|
|
4
|
+
"claimType": "santismm_thesis",
|
|
5
|
+
"confidenceLevel": "low",
|
|
6
|
+
"reviewed": "2026-08-27",
|
|
7
|
+
"version": "1.0.0",
|
|
8
|
+
"updated": "2026-08-27",
|
|
9
|
+
"supports": [
|
|
10
|
+
"HRN-007",
|
|
11
|
+
"agentic-evaluation",
|
|
12
|
+
"harness-engineering"
|
|
13
|
+
],
|
|
14
|
+
"sources": [
|
|
15
|
+
{
|
|
16
|
+
"title": "Evaluation of Agentic Systems",
|
|
17
|
+
"author": "Santa María, S.",
|
|
18
|
+
"venue": "SANTISMM Harness Engineering Handbook",
|
|
19
|
+
"year": "2026",
|
|
20
|
+
"type": "personal_experience"
|
|
21
|
+
},
|
|
22
|
+
{
|
|
23
|
+
"title": "The Stopwatch and the Exam",
|
|
24
|
+
"author": "Santa María, S.",
|
|
25
|
+
"venue": "SANTISMM Library",
|
|
26
|
+
"year": "2026",
|
|
27
|
+
"type": "personal_experience"
|
|
28
|
+
}
|
|
29
|
+
],
|
|
30
|
+
"locales": {
|
|
31
|
+
"en": {
|
|
32
|
+
"statement": "The primary unit for comparing harnesses is cost per correctly verified outcome, not successful runs: a run the agent declares successful is a self-report, and it is the one thing a broken harness is still good at producing.",
|
|
33
|
+
"basis": "Every failure mode a harness exists to catch — a hallucinated result, an action taken on a hijacked instruction, a plan abandoned halfway and reported as done — is compatible with a run that finished. Moving the denominator to outcomes confirmed by something that does not share the agent's failure modes makes the number refuse to move until the work is actually done, and puts the cost of the failed attempts where it belongs, in the numerator.",
|
|
34
|
+
"limitations": "This is a proposal, not a measured result. Nothing here has been run against a real system, no threshold is calibrated, and the eleven metrics around it were chosen by argument rather than by finding out which ones predict anything. The independence rule is also the hardest part to satisfy honestly: for many agentic tasks the only available verifier is another model, and the rule then says the number cannot be trusted — which is correct and unhelpful at the same time.",
|
|
35
|
+
"falsifiedBy": "Two harnesses ranked differently by cost per correctly verified outcome and by outcomes their operators actually care about, repeatedly and in the same direction; or evidence that the self-reported success rate tracks the independently verified one closely enough that the distinction buys nothing."
|
|
36
|
+
},
|
|
37
|
+
"es": {
|
|
38
|
+
"statement": "La unidad principal para comparar harnesses es el coste por resultado correctamente verificado, no las ejecuciones exitosas: una ejecución que el agente declara exitosa es una autodeclaración, y es justo lo único que un harness roto sigue produciendo bien.",
|
|
39
|
+
"basis": "Todos los modos de fallo que un harness existe para atrapar —un resultado alucinado, una acción tomada sobre una instrucción secuestrada, un plan abandonado a medias y reportado como hecho— son compatibles con una ejecución que terminó. Llevar el denominador a los resultados confirmados por algo que no comparte los modos de fallo del agente hace que el número se niegue a moverse hasta que el trabajo esté hecho de verdad, y pone el coste de los intentos fallidos donde corresponde, en el numerador.",
|
|
40
|
+
"limitations": "Esto es una propuesta, no un resultado medido. Nada de esto se ha ejecutado contra un sistema real, ningún umbral está calibrado, y las once métricas que lo rodean se eligieron por argumento y no por averiguar cuáles predicen algo. La regla de independencia es además la parte más difícil de satisfacer con honestidad: en muchas tareas agénticas el único verificador disponible es otro modelo, y entonces la regla dice que el número no es de fiar, lo cual es correcto e inútil al mismo tiempo.",
|
|
41
|
+
"falsifiedBy": "Que dos harnesses queden ordenados de forma distinta por el coste por resultado correctamente verificado y por los resultados que a sus operadores les importan de verdad, de forma repetida y en la misma dirección; o evidencia de que la tasa de éxito autodeclarada sigue a la verificada de forma independiente lo bastante de cerca como para que la distinción no compre nada."
|
|
42
|
+
},
|
|
43
|
+
"pt": {
|
|
44
|
+
"statement": "A unidade principal para comparar harnesses é o custo por resultado corretamente verificado, não as execuções bem-sucedidas: uma execução que o agente declara bem-sucedida é uma autodeclaração, e é justamente a única coisa que um harness quebrado ainda produz bem.",
|
|
45
|
+
"basis": "Todos os modos de falha que um harness existe para pegar — um resultado alucinado, uma ação tomada sobre uma instrução sequestrada, um plano abandonado pela metade e relatado como feito — são compatíveis com uma execução que terminou. Levar o denominador aos resultados confirmados por algo que não compartilha os modos de falha do agente faz o número se recusar a mudar até o trabalho estar realmente feito, e põe o custo das tentativas fracassadas onde é devido, no numerador.",
|
|
46
|
+
"limitations": "Isto é uma proposta, não um resultado medido. Nada disto foi executado contra um sistema real, nenhum limiar está calibrado, e as onze métricas em volta foram escolhidas por argumento e não por descobrir quais delas predizem alguma coisa. A regra de independência é também a parte mais difícil de satisfazer com honestidade: em muitas tarefas agênticas o único verificador disponível é outro modelo, e então a regra diz que o número não é confiável, o que é correto e inútil ao mesmo tempo.",
|
|
47
|
+
"falsifiedBy": "Que dois harnesses fiquem ordenados de forma diferente pelo custo por resultado corretamente verificado e pelos resultados com que seus operadores realmente se importam, de forma repetida e na mesma direção; ou evidência de que a taxa de sucesso autodeclarada acompanha a verificada de forma independente perto o bastante para que a distinção não compre nada."
|
|
48
|
+
}
|
|
49
|
+
}
|
|
50
|
+
}
|
|
@@ -1,12 +1,12 @@
|
|
|
1
1
|
---
|
|
2
2
|
title: "Ingeniería de Harness: definición y panorama"
|
|
3
|
-
summary: "La Ingeniería de Harness es la disciplina que construye sistemas agénticos fiables para entornos empresariales: el andamiaje de ingeniería —memoria, herramientas, orquestación, observabilidad, evaluación, gobernanza y seguridad— que rodea al modelo."
|
|
3
|
+
summary: "La Ingeniería de Harness es la disciplina emergente que construye sistemas agénticos fiables para entornos empresariales: el andamiaje de ingeniería —memoria, herramientas, orquestación, observabilidad, evaluación, gobernanza y seguridad— que rodea al modelo."
|
|
4
4
|
---
|
|
5
5
|
|
|
6
6
|
# Ingeniería de Harness: definición y panorama
|
|
7
7
|
|
|
8
8
|
## Resumen ejecutivo
|
|
9
|
-
La Ingeniería de Harness es la disciplina responsable de construir sistemas agénticos fiables para entornos empresariales. Un modelo de lenguaje es un predictor probabilístico del siguiente token; una empresa necesita un sistema de confianza que haga el trabajo, respete la política y falle de forma segura. El harness es todo lo que se construye *alrededor* del modelo —memoria, herramientas, planificación, orquestación, observabilidad, evaluación, gobernanza y seguridad— para cerrar esa distancia. Este capítulo define la disciplina, enuncia su tesis y enmarca el resto del manual.
|
|
9
|
+
La Ingeniería de Harness es la disciplina emergente responsable de construir sistemas agénticos fiables para entornos empresariales. Un modelo de lenguaje es un predictor probabilístico del siguiente token; una empresa necesita un sistema de confianza que haga el trabajo, respete la política y falle de forma segura. El harness es todo lo que se construye *alrededor* del modelo —memoria, herramientas, planificación, orquestación, observabilidad, evaluación, gobernanza y seguridad— para cerrar esa distancia. Este capítulo define la disciplina, enuncia su tesis y enmarca el resto del manual.
|
|
10
10
|
|
|
11
11
|
## Conceptos clave
|
|
12
12
|
- **Modelo:** el núcleo probabilístico (un LLM o un modelo multimodal) que transforma un contexto en una distribución sobre los siguientes tokens. Potente, pero sin estado, sin gobernanza y no determinista por defecto.
|
|
@@ -17,7 +17,7 @@ La Ingeniería de Harness es la disciplina responsable de construir sistemas ag
|
|
|
17
17
|
- **Entorno empresarial:** un contexto con riesgo real: datos regulados, requisitos de auditoría, acuerdos de nivel de servicio y adversarios.
|
|
18
18
|
|
|
19
19
|
## Definición
|
|
20
|
-
La **Ingeniería de Harness** es la disciplina de ingeniería que se ocupa del diseño, la construcción y la operación de los sistemas que rodean a los modelos probabilísticos, de modo que el sistema agéntico resultante sea suficientemente fiable, observable, gobernable y seguro para uso empresarial. Donde el aprendizaje automático produce el *modelo*, la Ingeniería de Harness produce el *sistema*. Su unidad de trabajo no es un prompt ni una matriz de pesos, sino el bucle completo que convierte un objetivo en un resultado verificado y auditable.
|
|
20
|
+
La **Ingeniería de Harness** es la disciplina de ingeniería emergente que se ocupa del diseño, la construcción y la operación de los sistemas que rodean a los modelos probabilísticos, de modo que el sistema agéntico resultante sea suficientemente fiable, observable, gobernable y seguro para uso empresarial. Donde el aprendizaje automático produce el *modelo*, la Ingeniería de Harness produce el *sistema*. Su unidad de trabajo no es un prompt ni una matriz de pesos, sino el bucle completo que convierte un objetivo en un resultado verificado y auditable.
|
|
21
21
|
|
|
22
22
|
## Explicación detallada
|
|
23
23
|
La industria pasó de 2020 a 2023 aprendiendo que un modelo mejor es necesario pero no suficiente. Las demos que deslumbran con un prompt cuidado se derrumban en producción frente a entradas ambiguas, usuarios hostiles, datos obsoletos, fallos parciales de herramientas y el simple hecho de que la misma entrada puede dar dos salidas distintas. La respuesta no fue «un modelo más listo» sino *un sistema de ingeniería alrededor del modelo*. Ese sistema es el harness, y construirlo bien es una disciplina propia.
|
|
@@ -39,6 +39,9 @@ No son extras opcionales: son la estructura portante. La taxonomía de HRN-003 p
|
|
|
39
39
|
|
|
40
40
|
**¿Por qué una disciplina nueva?** Porque los modos de fallo son nuevos. El software clásico es determinista: dada una entrada, calcula la misma salida, y lo pruebas con aserciones. Los sistemas agénticos son *estocásticos y autodirigidos*: la misma entrada puede tomar caminos distintos, invocar herramientas distintas y llegar a conclusiones distintas (a veces erróneas). No puedes llegar a la confianza a base de aserciones; tienes que *medir distribuciones*, acotar la autoridad del modelo e instrumentarlo todo. Las capacidades que exige —fiabilidad probabilística, diseño de evaluación, ingeniería de contexto, diseño de contratos de herramientas y seguridad adversaria— no encajan limpiamente ni en el aprendizaje automático tradicional ni en la ingeniería de backend. Ese hueco es la disciplina.
|
|
41
41
|
|
|
42
|
+
|
|
43
|
+
**¿Por qué *emergente* y no simplemente una disciplina?** Porque la respuesta honesta tiene cuatro partes y no son igual de firmes. Que el mismo modelo con distintos harnesses dé resultados distintos es un **hecho observado**. Que la práctica esté convergiendo en las mismas preocupaciones —contexto, herramientas, evaluación, observabilidad, control— es una **lectura del sector**. Que esas preocupaciones constituyan una disciplina propia es **nuestra posición**, sostenida con confianza media: no hay acreditación, ni currículo estándar, ni cuerpo de conocimiento acordado, ni organismo profesional, y darla por establecida afirmaría más de lo que nadie puede demostrar. Que el harness, y no el modelo, acabe siendo el activo competitivo duradero es una **apuesta**, sostenida con confianza baja. Cada una se publica por separado, con sus límites y la observación que la retiraría, como `HE-CLAIM-001` a `HE-CLAIM-004`: se consultan con `get_claim`.
|
|
44
|
+
|
|
42
45
|
**Para quién es.** La Ingeniería de Harness es para los equipos responsables de poner agentes en producción donde importa: ingeniería de plataforma que construye runtimes de agentes, ingeniería de IA aplicada que entrega funcionalidades agénticas, las funciones de seguridad y gobernanza que deben dar el visto bueno, y los arquitectos que responden del conjunto. Es explícitamente *enterprise-first*: las restricciones que definen la disciplina —auditoría, regulación, SLA, adversarios, escala— son precisamente las que el utillaje de aficionado ignora.
|
|
43
46
|
|
|
44
47
|
**Una opinión, dicha sin rodeos:** el modelo es cada vez más una materia prima; el harness es el activo de ingeniería duradero y el foso defensivo. A medida que los modelos frontera convergen y se vuelven intercambiables, el valor diferencial y defendible de un sistema de IA empresarial migra hacia el harness: su arquitectura de memoria, su corpus de evaluación, sus controles de gobernanza, su observabilidad. Invertir en el harness es invertir en la parte que compone.
|
|
@@ -7,7 +7,7 @@ status: Draft
|
|
|
7
7
|
author: Santiago Santa María
|
|
8
8
|
created: 2026-06-21
|
|
9
9
|
updated: 2026-06-21
|
|
10
|
-
summary: Harness Engineering is the discipline of building reliable agentic systems for enterprise environments — the engineered scaffolding of memory, tools, orchestration, observability, evaluation, governance, and security that surrounds the model.
|
|
10
|
+
summary: Harness Engineering is the emerging discipline of building reliable agentic systems for enterprise environments — the engineered scaffolding of memory, tools, orchestration, observability, evaluation, governance, and security that surrounds the model.
|
|
11
11
|
evidence_level: theoretical
|
|
12
12
|
confidence_level: medium
|
|
13
13
|
source_type:
|
|
@@ -28,7 +28,7 @@ tags:
|
|
|
28
28
|
# Harness Engineering: Definition and Overview
|
|
29
29
|
|
|
30
30
|
## Executive Summary
|
|
31
|
-
Harness Engineering is the discipline responsible for building reliable agentic systems for enterprise environments. A large language model is a probabilistic next-token predictor; an enterprise needs a dependable system that performs work, respects policy, and fails safely. The harness is everything engineered *around* the model — memory, tools, planning, orchestration, observability, evaluation, governance, and security — that closes the gap between the two. This chapter defines the discipline, states its thesis, and frames the rest of the handbook.
|
|
31
|
+
Harness Engineering is the emerging discipline responsible for building reliable agentic systems for enterprise environments. A large language model is a probabilistic next-token predictor; an enterprise needs a dependable system that performs work, respects policy, and fails safely. The harness is everything engineered *around* the model — memory, tools, planning, orchestration, observability, evaluation, governance, and security — that closes the gap between the two. This chapter defines the discipline, states its thesis, and frames the rest of the handbook.
|
|
32
32
|
|
|
33
33
|
## Key Concepts
|
|
34
34
|
- **Model:** The probabilistic core (an LLM or multimodal model) that maps a context to a distribution over next tokens. Powerful, but stateless, ungoverned, and non-deterministic by default.
|
|
@@ -39,7 +39,7 @@ Harness Engineering is the discipline responsible for building reliable agentic
|
|
|
39
39
|
- **Enterprise environment:** A setting with real stakes — regulated data, audit requirements, SLAs, and adversaries.
|
|
40
40
|
|
|
41
41
|
## Definition
|
|
42
|
-
**Harness Engineering** is the engineering discipline concerned with the design, construction, and operation of the systems that surround probabilistic models so that the resulting agentic system is reliable, observable, governable, and secure enough for enterprise use. Where machine learning produces the *model*, Harness Engineering produces the *system*. Its unit of work is not a prompt or a weight matrix but the end-to-end loop that turns a goal into a verified, auditable outcome.
|
|
42
|
+
**Harness Engineering** is the emerging engineering discipline concerned with the design, construction, and operation of the systems that surround probabilistic models so that the resulting agentic system is reliable, observable, governable, and secure enough for enterprise use. Where machine learning produces the *model*, Harness Engineering produces the *system*. Its unit of work is not a prompt or a weight matrix but the end-to-end loop that turns a goal into a verified, auditable outcome.
|
|
43
43
|
|
|
44
44
|
## Architecture Diagram
|
|
45
45
|
```mermaid
|
|
@@ -88,6 +88,9 @@ These are not optional add-ons; they are the load-bearing structure. The taxonom
|
|
|
88
88
|
|
|
89
89
|
**Why a new discipline?** Because the failure modes are new. Classical software is deterministic: given an input, it computes the same output, and you test it with assertions. Agentic systems are *stochastic and self-directed*: the same input may take different paths, invoke different tools, and reach different (sometimes wrong) conclusions. You cannot assert your way to confidence; you must *measure distributions*, bound the model's authority, and instrument everything. The skills required — probabilistic reliability, evaluation design, prompt-and-context engineering, tool contract design, and adversarial security — do not map cleanly onto either traditional ML or traditional backend engineering. That gap is the discipline.
|
|
90
90
|
|
|
91
|
+
|
|
92
|
+
**Why *emerging*, and not simply a discipline?** Because the honest answer has four parts, and they are not equally strong. That the same model under different harnesses produces different results is an **observed fact**. That practice is converging on the same concerns — context, tools, evaluation, observability, control — is a **reading of the industry**. That those concerns constitute a discipline of its own is **our position**, held at medium confidence: there is no accreditation, no standard curriculum, no agreed body of knowledge and no professional body, and calling it settled would claim more than anyone can show. That the harness, rather than the model, becomes the durable competitive asset is a **bet**, held at low confidence. Each of those is published separately, with its limits and the observation that would retire it, as `HE-CLAIM-001` through `HE-CLAIM-004` — query them with `get_claim`.
|
|
93
|
+
|
|
91
94
|
**Who it is for.** Harness Engineering is for the teams accountable for putting agents into production where it matters: platform engineers building agent runtimes, ML and applied-AI engineers shipping agentic features, security and governance functions who must sign off, and the architects who own the whole. It is explicitly *enterprise-first* — the constraints that define the discipline (audit, regulation, SLAs, adversaries, scale) are precisely the ones hobbyist tooling ignores.
|
|
92
95
|
|
|
93
96
|
**An opinion, stated plainly:** the model is increasingly a commodity; the harness is the durable engineering asset and the moat. As frontier models converge and become swappable, the differentiated, defensible value of an enterprise AI system migrates into the harness — its memory architecture, its evaluation corpus, its governance controls, its observability. Investing in the harness is investing in the part that compounds.
|
|
@@ -1,12 +1,12 @@
|
|
|
1
1
|
---
|
|
2
2
|
title: "Engenharia de Harness: definição e panorama"
|
|
3
|
-
summary: "A Engenharia de Harness é a disciplina que constrói sistemas agênticos confiáveis para ambientes empresariais: o andaime de engenharia — memória, ferramentas, orquestração, observabilidade, avaliação, governança e segurança — que rodeia o modelo."
|
|
3
|
+
summary: "A Engenharia de Harness é a disciplina emergente que constrói sistemas agênticos confiáveis para ambientes empresariais: o andaime de engenharia — memória, ferramentas, orquestração, observabilidade, avaliação, governança e segurança — que rodeia o modelo."
|
|
4
4
|
---
|
|
5
5
|
|
|
6
6
|
# Engenharia de Harness: definição e panorama
|
|
7
7
|
|
|
8
8
|
## Resumo executivo
|
|
9
|
-
A Engenharia de Harness é a disciplina responsável por construir sistemas agênticos confiáveis para ambientes empresariais. Um modelo de linguagem é um preditor probabilístico do próximo token; uma empresa precisa de um sistema de confiança que faça o trabalho, respeite a política e falhe em segurança. O harness é tudo aquilo que se constrói *em torno* do modelo — memória, ferramentas, planejamento, orquestração, observabilidade, avaliação, governança e segurança — para fechar essa distância. Este capítulo define a disciplina, enuncia sua tese e enquadra o resto do manual.
|
|
9
|
+
A Engenharia de Harness é a disciplina emergente responsável por construir sistemas agênticos confiáveis para ambientes empresariais. Um modelo de linguagem é um preditor probabilístico do próximo token; uma empresa precisa de um sistema de confiança que faça o trabalho, respeite a política e falhe em segurança. O harness é tudo aquilo que se constrói *em torno* do modelo — memória, ferramentas, planejamento, orquestração, observabilidade, avaliação, governança e segurança — para fechar essa distância. Este capítulo define a disciplina, enuncia sua tese e enquadra o resto do manual.
|
|
10
10
|
|
|
11
11
|
## Conceitos-chave
|
|
12
12
|
- **Modelo:** o núcleo probabilístico (um LLM ou um modelo multimodal) que transforma um contexto numa distribuição sobre os próximos tokens. Poderoso, mas sem estado, sem governança e não determinista por padrão.
|
|
@@ -17,7 +17,7 @@ A Engenharia de Harness é a disciplina responsável por construir sistemas agê
|
|
|
17
17
|
- **Ambiente empresarial:** um contexto com risco real: dados regulados, requisitos de auditoria, acordos de nível de serviço e adversários.
|
|
18
18
|
|
|
19
19
|
## Definição
|
|
20
|
-
A **Engenharia de Harness** é a disciplina de engenharia que se ocupa da concepção, construção e operação dos sistemas que rodeiam modelos probabilísticos, de modo que o sistema agêntico resultante seja suficientemente confiável, observável, governável e seguro para uso empresarial. Onde a aprendizagem automática produz o *modelo*, a Engenharia de Harness produz o *sistema*. Sua unidade de trabalho não é um prompt nem uma matriz de pesos, mas o ciclo completo que converte um objetivo num resultado verificado e auditável.
|
|
20
|
+
A **Engenharia de Harness** é a disciplina de engenharia emergente que se ocupa da concepção, construção e operação dos sistemas que rodeiam modelos probabilísticos, de modo que o sistema agêntico resultante seja suficientemente confiável, observável, governável e seguro para uso empresarial. Onde a aprendizagem automática produz o *modelo*, a Engenharia de Harness produz o *sistema*. Sua unidade de trabalho não é um prompt nem uma matriz de pesos, mas o ciclo completo que converte um objetivo num resultado verificado e auditável.
|
|
21
21
|
|
|
22
22
|
## Explicação detalhada
|
|
23
23
|
A indústria passou de 2020 a 2023 a aprender que um modelo melhor é necessário mas não suficiente. As demonstrações que deslumbram com um prompt cuidado se desmoronam em produção perante entradas ambíguas, usuários hostis, dados desatualizados, falhas parciais de ferramentas e o simples fato de a mesma entrada poder dar duas saídas diferentes. A resposta não foi “um modelo mais inteligente”, mas *um sistema de engenharia em torno do modelo*. Esse sistema é o harness, e construí-lo bem é uma disciplina própria.
|
|
@@ -39,6 +39,9 @@ Não são extras opcionais: são a estrutura portante. A taxonomia de HRN-003 to
|
|
|
39
39
|
|
|
40
40
|
**Por que uma disciplina nova?** Porque os modos de falha são novos. O software clássico é determinista: dada uma entrada, calcula a mesma saída, e se testa com asserções. Os sistemas agênticos são *estocásticos e autodirigidos*: a mesma entrada pode seguir caminhos diferentes, invocar ferramentas diferentes e chegar a conclusões diferentes (por vezes erradas). Não se chega à confiança à custa de asserções; é preciso *medir distribuições*, limitar a autoridade do modelo e instrumentar tudo. As competências exigidas — confiabilidade probabilística, concepção de avaliação, engenharia de contexto, concepção de contratos de ferramentas e segurança adversária — não encaixam de forma limpa nem na aprendizagem automática tradicional nem na engenharia de backend. Essa lacuna é a disciplina.
|
|
41
41
|
|
|
42
|
+
|
|
43
|
+
**Porquê *emergente* e não simplesmente uma disciplina?** Porque a resposta honesta tem quatro partes e não são igualmente firmes. Que o mesmo modelo com harnesses diferentes dê resultados diferentes é um **fato observado**. Que a prática esteja a convergir nas mesmas preocupações — contexto, ferramentas, avaliação, observabilidade, controle — é uma **leitura do setor**. Que essas preocupações constituam uma disciplina própria é a **nossa posição**, sustentada com confiança média: não há acreditação, currículo padrão, corpo de conhecimento acordado nem organismo profissional, e dá-la por estabelecida afirmaria mais do que alguém pode demonstrar. Que o harness, e não o modelo, acabe por ser o ativo competitivo duradouro é uma **aposta**, sustentada com confiança baixa. Cada uma é publicada em separado, com os seus limites e a observação que a retiraria, como `HE-CLAIM-001` a `HE-CLAIM-004`: consultam-se com `get_claim`.
|
|
44
|
+
|
|
42
45
|
**Para quem é.** A Engenharia de Harness é para as equipes responsáveis por colocar agentes em produção onde isso importa: engenharia de plataforma que constrói runtimes de agentes, engenharia de IA aplicada que entrega funcionalidades agênticas, as funções de segurança e governança que têm de dar o aval, e os arquitetos que respondem pelo conjunto. É explicitamente *enterprise-first*: as restrições que definem a disciplina — auditoria, regulação, SLA, adversários, escala — são precisamente as que a ferramentaria de amador ignora.
|
|
43
46
|
|
|
44
47
|
**Uma opinião, dita sem rodeios:** o modelo é cada vez mais uma matéria-prima; o harness é o ativo de engenharia duradouro e o fosso defensivo. À medida que os modelos de fronteira convergem e se tornam intermutáveis, o valor diferenciador e defensável de um sistema de IA empresarial migra para o harness: sua arquitetura de memória, seu corpus de avaliação, seus controles de governança, sua observabilidade. Investir no harness é investir na parte que compõe.
|
|
@@ -20,7 +20,7 @@ Los nombres ingleses de uso establecido en la industria (*harness*, *tool*, *spa
|
|
|
20
20
|
- **Agente:** un sistema que usa un modelo de lenguaje dentro de un bucle para perseguir un objetivo, decidiendo qué acciones (llamadas a herramientas) tomar a partir de las observaciones hasta que se cumple una condición de parada.
|
|
21
21
|
- **Sistema agéntico:** un sistema de software cuyo comportamiento lo dirigen uno o varios agentes, incluyendo todo el andamiaje circundante necesario para hacerlos fiables.
|
|
22
22
|
- **Harness:** el andamiaje de ingeniería alrededor de un modelo —memoria, herramientas, planificación, orquestación, observabilidad, evaluación, gobernanza y seguridad— que convierte un modelo en bruto en un sistema agéntico fiable.
|
|
23
|
-
- **Ingeniería de Harness:** la disciplina responsable de construir sistemas agénticos fiables para entornos empresariales, diseñando y operando el harness.
|
|
23
|
+
- **Ingeniería de Harness:** la disciplina emergente responsable de construir sistemas agénticos fiables para entornos empresariales, diseñando y operando el harness.
|
|
24
24
|
- **Modelo / LLM:** el gran modelo de lenguaje subyacente que razona y genera; dentro del harness se trata como un componente potente pero no determinista y manipulable.
|
|
25
25
|
- **Gradiente de autonomía:** el espectro de modos de control, de totalmente autónomo a humano en el bucle, asignado por política a cada clase de acción.
|
|
26
26
|
- **Radio de impacto (*blast radius*):** el daño máximo que puede causar una acción, o un agente comprometido; una magnitud clave que hay que acotar.
|
|
@@ -35,7 +35,7 @@ The following are the canonical definitions of terms used throughout this corpus
|
|
|
35
35
|
- **Agent:** a system that uses a language model in a loop to pursue a goal, deciding which actions (tool calls) to take based on observations until a stopping condition is met.
|
|
36
36
|
- **Agentic system:** a software system whose behavior is driven by one or more agents, including all the surrounding scaffolding required to make them reliable.
|
|
37
37
|
- **Harness:** the engineered scaffolding around a model — memory, tools, planning, orchestration, observability, evaluation, governance, and security — that turns a raw model into a reliable agentic system.
|
|
38
|
-
- **Harness Engineering:** the discipline responsible for building reliable agentic systems for enterprise environments by designing and operating the harness.
|
|
38
|
+
- **Harness Engineering:** the emerging discipline responsible for building reliable agentic systems for enterprise environments by designing and operating the harness.
|
|
39
39
|
- **Model / LLM:** the underlying large language model that performs reasoning and generation; in the harness it is treated as a powerful but non-deterministic, manipulable component.
|
|
40
40
|
- **Autonomy gradient:** the spectrum of control modes from fully autonomous to human-in-the-loop, assigned per action class by policy.
|
|
41
41
|
- **Blast radius:** the maximum harm an action (or a compromised agent) can cause; a core quantity to bound.
|
|
@@ -20,7 +20,7 @@ Os nomes ingleses de uso estabelecido na indústria (*harness*, *tool*, *span*,
|
|
|
20
20
|
- **Agente:** um sistema que usa um modelo de linguagem dentro de um ciclo para perseguir um objetivo, decidindo que ações (chamadas a ferramentas) tomar a partir das observações até se cumprir uma condição de paragem.
|
|
21
21
|
- **Sistema agêntico:** um sistema de software cujo comportamento é conduzido por um ou vários agentes, incluindo todo o andaime circundante necessário para os tornar confiáveis.
|
|
22
22
|
- **Harness:** o andaime de engenharia em torno de um modelo — memória, ferramentas, planejamento, orquestração, observabilidade, avaliação, governança e segurança — que converte um modelo em bruto num sistema agêntico confiável.
|
|
23
|
-
- **Engenharia de Harness:** a disciplina responsável por construir sistemas agênticos confiáveis para ambientes empresariais, desenhando e operando o harness.
|
|
23
|
+
- **Engenharia de Harness:** a disciplina emergente responsável por construir sistemas agênticos confiáveis para ambientes empresariais, desenhando e operando o harness.
|
|
24
24
|
- **Modelo / LLM:** o grande modelo de linguagem subjacente que raciocina e gera; dentro do harness é tratado como um componente poderoso mas não determinista e manipulável.
|
|
25
25
|
- **Gradiente de autonomia:** o espectro de modos de controle, de totalmente autônomo a humano no ciclo, atribuído por política a cada classe de ação.
|
|
26
26
|
- **Raio de impacto (*blast radius*):** o dano máximo que uma ação, ou um agente comprometido, pode causar; uma grandeza central a limitar.
|
|
@@ -4,7 +4,8 @@
|
|
|
4
4
|
"updated": "2026-06-21",
|
|
5
5
|
"version": "1.0",
|
|
6
6
|
"featured": true,
|
|
7
|
-
"related": ["fine-tuning", "embeddings", "agentic-ai", "harness-engineering"
|
|
7
|
+
"related": ["fine-tuning", "embeddings", "agentic-ai", "harness-engineering",
|
|
8
|
+
"reasoning-models"],
|
|
8
9
|
"references": [
|
|
9
10
|
{ "title": "Bommasani et al. — On the Opportunities and Risks of Foundation Models (2021)", "url": "https://arxiv.org/abs/2108.07258" },
|
|
10
11
|
{ "title": "Vaswani et al. — Attention Is All You Need (2017)", "url": "https://arxiv.org/abs/1706.03762" }
|