santismm-knowledge-mcp 0.2.1

package/content/knowledge/agent-memory.json

@@ -0,0 +1,153 @@
+{
+  "slug": "agent-memory",
+  "category": "harness",
+  "updated": "2026-06-21",
+  "version": "1.0",
+  "related": ["harness-engineering", "context-engineering", "ai-agent", "enterprise-rag"],
+  "references": [
+    { "title": "Packer et al. — MemGPT: Towards LLMs as Operating Systems (2023)", "url": "https://arxiv.org/abs/2310.08560" },
+    { "title": "Anthropic — Building Effective Agents (2024)", "url": "https://www.anthropic.com/research/building-effective-agents" }
+  ],
+  "evidence": {
+    "evidenceLevel": "industry_observation",
+    "confidenceLevel": "high",
+    "sourceType": ["industry_observation", "paper"]
+  },
+  "locales": {
+    "en": {
+      "title": "What are Agent Memory Systems?",
+      "summary": "Agent memory is how an AI agent retains and recalls information beyond a single context window — across steps, sessions and tasks. It typically separates short-term working memory (the current context) from long-term memory (durable stores the agent reads from and writes to). Memory is what lets an agent carry state through a long task, remember a user over time, and avoid repeating work. It is a core layer of harness engineering.",
+      "definition": "Agent memory is the set of mechanisms an AI agent uses to store, organize and retrieve information beyond its immediate context window, spanning short-term working memory and long-term persistent memory.",
+      "takeaways": [
+        "Memory extends an agent beyond a single finite context window.",
+        "Short-term (working) vs long-term (persistent) memory serve different roles.",
+        "Long-term memory is often retrieved on demand, like RAG over the agent's own history.",
+        "Good memory prevents repeated work and lost state on long tasks.",
+        "What to write, keep and forget is a design decision, not automatic."
+      ],
+      "context": [
+        "A model's context window is finite, so anything an agent must remember beyond it needs an external store. Without memory, an agent forgets earlier steps, repeats actions and cannot personalize across sessions.",
+        "Memory turns a stateless model into a system with continuity. The hard part is curation: deciding what is worth writing down, how to organize it, and how to retrieve only what is relevant now — closely tied to context engineering."
+      ],
+      "architecture": [
+        "Two layers: working memory (the current context window, holding the active task) and long-term memory (external stores — vector, key-value, document or graph — written during a task and retrieved later). Some designs add episodic (events), semantic (facts) and procedural (skills) memory.",
+        "The agent reads relevant memories into context at each step and writes new ones as it learns. Retrieval, summarization and forgetting policies keep memory useful rather than overwhelming."
+      ],
+      "components": ["Working memory", "Long-term store (vector/KV/graph)", "Write policy", "Retrieval policy", "Summarization / consolidation", "Forgetting / expiry"],
+      "pros": [
+        "Continuity across steps, sessions and tasks.",
+        "Personalization that persists over time.",
+        "Avoids repeated work and lost context.",
+        "Enables long-horizon, stateful agents."
+      ],
+      "risks": [
+        "Stale or wrong memories poison future answers.",
+        "Privacy and governance obligations on stored data.",
+        "Retrieval of irrelevant memories adds noise.",
+        "Unbounded growth without consolidation or expiry."
+      ],
+      "tools": ["Vector databases", "Key-value / document stores", "MemGPT-style memory managers", "Agent frameworks (LangGraph, Agents SDKs)"],
+      "examples": [
+        "An assistant remembering a user's preferences across sessions.",
+        "A long-running agent summarizing progress so it never repeats a step.",
+        "A support agent recalling a customer's prior tickets when relevant."
+      ],
+      "faqs": [
+        { "q": "How is agent memory different from RAG?", "a": "RAG retrieves from an external knowledge base; agent memory retrieves from the agent's own accumulated state. The retrieval machinery is similar, but the source and write path differ." },
+        { "q": "What is the difference between short- and long-term memory?", "a": "Short-term (working) memory is the live context window for the current task; long-term memory is a persistent store the agent reads from and writes to across tasks and sessions." },
+        { "q": "Why not keep everything in the context window?", "a": "Windows are finite and quality drops as they fill. Externalizing state to memory and retrieving only what is relevant keeps the agent focused and affordable." },
+        { "q": "What are the governance concerns?", "a": "Stored memory may contain personal or sensitive data, so it needs access control, retention limits and the ability to correct or delete entries." }
+      ]
+    },
+    "es": {
+      "title": "¿Qué son los Sistemas de Memoria de Agentes?",
+      "summary": "La memoria de un agente es cómo un agente de IA retiene y recuerda información más allá de una sola ventana de contexto: entre pasos, sesiones y tareas. Suele separar la memoria de trabajo a corto plazo (el contexto actual) de la memoria a largo plazo (almacenes duraderos que el agente lee y escribe). La memoria es lo que permite a un agente arrastrar estado en una tarea larga, recordar a un usuario en el tiempo y evitar repetir trabajo. Es una capa central de la ingeniería de harness.",
+      "definition": "La memoria de agente es el conjunto de mecanismos que un agente de IA usa para almacenar, organizar y recuperar información más allá de su ventana de contexto inmediata, abarcando memoria de trabajo a corto plazo y memoria persistente a largo plazo.",
+      "takeaways": [
+        "La memoria extiende a un agente más allá de una sola ventana de contexto finita.",
+        "La memoria a corto plazo (de trabajo) y a largo plazo (persistente) cumplen roles distintos.",
+        "La memoria a largo plazo suele recuperarse bajo demanda, como RAG sobre el historial del agente.",
+        "Una buena memoria evita repetir trabajo y perder estado en tareas largas.",
+        "Qué escribir, conservar y olvidar es una decisión de diseño, no automática."
+      ],
+      "context": [
+        "La ventana de contexto de un modelo es finita, así que todo lo que un agente deba recordar más allá de ella necesita un almacén externo. Sin memoria, un agente olvida pasos previos, repite acciones y no puede personalizar entre sesiones.",
+        "La memoria convierte un modelo sin estado en un sistema con continuidad. Lo difícil es la curación: decidir qué merece anotarse, cómo organizarlo y cómo recuperar solo lo relevante ahora, muy ligado a la ingeniería de contexto."
+      ],
+      "architecture": [
+        "Dos capas: memoria de trabajo (la ventana de contexto actual, con la tarea activa) y memoria a largo plazo (almacenes externos —vectorial, clave-valor, documental o de grafo— escritos durante una tarea y recuperados después). Algunos diseños añaden memoria episódica (eventos), semántica (hechos) y procedimental (habilidades).",
+        "El agente lee memorias relevantes al contexto en cada paso y escribe nuevas a medida que aprende. Las políticas de recuperación, resumen y olvido mantienen la memoria útil en vez de abrumadora."
+      ],
+      "components": ["Memoria de trabajo", "Almacén a largo plazo (vectorial/KV/grafo)", "Política de escritura", "Política de recuperación", "Resumen / consolidación", "Olvido / expiración"],
+      "pros": [
+        "Continuidad entre pasos, sesiones y tareas.",
+        "Personalización que persiste en el tiempo.",
+        "Evita repetir trabajo y perder contexto.",
+        "Habilita agentes con estado y de horizonte largo."
+      ],
+      "risks": [
+        "Memorias obsoletas o erróneas contaminan respuestas futuras.",
+        "Obligaciones de privacidad y gobernanza sobre los datos guardados.",
+        "Recuperar memorias irrelevantes añade ruido.",
+        "Crecimiento sin límite sin consolidación ni expiración."
+      ],
+      "tools": ["Bases de datos vectoriales", "Almacenes clave-valor / documentales", "Gestores de memoria estilo MemGPT", "Frameworks de agentes (LangGraph, SDKs de agentes)"],
+      "examples": [
+        "Un asistente que recuerda las preferencias de un usuario entre sesiones.",
+        "Un agente de larga duración que resume su progreso para no repetir un paso.",
+        "Un agente de soporte que recuerda los tickets previos de un cliente cuando es relevante."
+      ],
+      "faqs": [
+        { "q": "¿En qué se diferencia la memoria de agente de RAG?", "a": "RAG recupera de una base de conocimiento externa; la memoria de agente recupera del propio estado acumulado del agente. La maquinaria de recuperación es similar, pero la fuente y la ruta de escritura difieren." },
+        { "q": "¿Cuál es la diferencia entre memoria a corto y largo plazo?", "a": "La memoria a corto plazo (de trabajo) es la ventana de contexto viva para la tarea actual; la de largo plazo es un almacén persistente que el agente lee y escribe entre tareas y sesiones." },
+        { "q": "¿Por qué no guardar todo en la ventana de contexto?", "a": "Las ventanas son finitas y la calidad cae al llenarse. Externalizar el estado a memoria y recuperar solo lo relevante mantiene al agente enfocado y asequible." },
+        { "q": "¿Cuáles son las preocupaciones de gobernanza?", "a": "La memoria guardada puede contener datos personales o sensibles, así que necesita control de acceso, límites de retención y capacidad de corregir o borrar entradas." }
+      ]
+    },
+    "pt": {
+      "title": "O que são Sistemas de Memória de Agentes?",
+      "summary": "A memória de um agente é como um agente de IA retém e recupera informação além de uma única janela de contexto: entre passos, sessões e tarefas. Costuma separar a memória de trabalho de curto prazo (o contexto atual) da memória de longo prazo (armazenamentos duráveis que o agente lê e escreve). A memória é o que permite a um agente carregar estado numa tarefa longa, lembrar de um usuário ao longo do tempo e evitar repetir trabalho. É uma camada central da engenharia de harness.",
+      "definition": "A memória de agente é o conjunto de mecanismos que um agente de IA usa para armazenar, organizar e recuperar informação além de sua janela de contexto imediata, abrangendo memória de trabalho de curto prazo e memória persistente de longo prazo.",
+      "takeaways": [
+        "A memória estende um agente além de uma única janela de contexto finita.",
+        "Memória de curto prazo (de trabalho) e de longo prazo (persistente) cumprem papéis distintos.",
+        "A memória de longo prazo costuma ser recuperada sob demanda, como RAG sobre o histórico do agente.",
+        "Uma boa memória evita repetir trabalho e perder estado em tarefas longas.",
+        "O que escrever, manter e esquecer é uma decisão de design, não automática."
+      ],
+      "context": [
+        "A janela de contexto de um modelo é finita, então tudo o que um agente precise lembrar além dela precisa de um armazenamento externo. Sem memória, um agente esquece passos anteriores, repete ações e não consegue personalizar entre sessões.",
+        "A memória transforma um modelo sem estado num sistema com continuidade. O difícil é a curadoria: decidir o que vale anotar, como organizá-lo e como recuperar só o relevante agora, muito ligado à engenharia de contexto."
+      ],
+      "architecture": [
+        "Duas camadas: memória de trabalho (a janela de contexto atual, com a tarefa ativa) e memória de longo prazo (armazenamentos externos — vetorial, chave-valor, documental ou de grafo — escritos durante uma tarefa e recuperados depois). Alguns designs adicionam memória episódica (eventos), semântica (fatos) e procedural (habilidades).",
+        "O agente lê memórias relevantes ao contexto a cada passo e escreve novas conforme aprende. Políticas de recuperação, resumo e esquecimento mantêm a memória útil em vez de avassaladora."
+      ],
+      "components": ["Memória de trabalho", "Armazenamento de longo prazo (vetorial/KV/grafo)", "Política de escrita", "Política de recuperação", "Resumo / consolidação", "Esquecimento / expiração"],
+      "pros": [
+        "Continuidade entre passos, sessões e tarefas.",
+        "Personalização que persiste ao longo do tempo.",
+        "Evita repetir trabalho e perder contexto.",
+        "Habilita agentes com estado e de horizonte longo."
+      ],
+      "risks": [
+        "Memórias obsoletas ou erradas contaminam respostas futuras.",
+        "Obrigações de privacidade e governança sobre os dados guardados.",
+        "Recuperar memórias irrelevantes adiciona ruído.",
+        "Crescimento sem limite sem consolidação nem expiração."
+      ],
+      "tools": ["Bancos de dados vetoriais", "Armazenamentos chave-valor / documentais", "Gerenciadores de memória estilo MemGPT", "Frameworks de agentes (LangGraph, SDKs de agentes)"],
+      "examples": [
+        "Um assistente que lembra as preferências de um usuário entre sessões.",
+        "Um agente de longa duração que resume seu progresso para não repetir um passo.",
+        "Um agente de suporte que lembra os chamados anteriores de um cliente quando relevante."
+      ],
+      "faqs": [
+        { "q": "Como a memória de agente difere do RAG?", "a": "O RAG recupera de uma base de conhecimento externa; a memória de agente recupera do próprio estado acumulado do agente. A maquinaria de recuperação é similar, mas a fonte e o caminho de escrita diferem." },
+        { "q": "Qual a diferença entre memória de curto e longo prazo?", "a": "A memória de curto prazo (de trabalho) é a janela de contexto viva para a tarefa atual; a de longo prazo é um armazenamento persistente que o agente lê e escreve entre tarefas e sessões." },
+        { "q": "Por que não guardar tudo na janela de contexto?", "a": "Janelas são finitas e a qualidade cai ao se encherem. Externalizar o estado para a memória e recuperar só o relevante mantém o agente focado e acessível." },
+        { "q": "Quais são as preocupações de governança?", "a": "A memória guardada pode conter dados pessoais ou sensíveis, então precisa de controle de acesso, limites de retenção e capacidade de corrigir ou apagar entradas." }
+      ]
+    }
+  }
+}

package/content/knowledge/agentic-ai.json

@@ -0,0 +1,158 @@
+{
+  "slug": "agentic-ai",
+  "category": "concept",
+  "updated": "2026-06-21",
+  "version": "1.0",
+  "featured": true,
+  "related": ["ai-agent", "harness-engineering", "multi-agent-architecture", "agentic-evaluation"],
+  "references": [
+    { "title": "Yao et al. — ReAct: Synergizing Reasoning and Acting in Language Models (2022)", "url": "https://arxiv.org/abs/2210.03629" },
+    { "title": "Anthropic — Building Effective Agents (2024)", "url": "https://www.anthropic.com/research/building-effective-agents" },
+    { "title": "Model Context Protocol — Introduction", "url": "https://modelcontextprotocol.io" }
+  ],
+  "evidence": {
+    "evidenceLevel": "industry_observation",
+    "confidenceLevel": "high",
+    "sourceType": ["industry_observation", "paper"]
+  },
+  "locales": {
+    "en": {
+      "title": "What is Agentic AI?",
+      "summary": "Agentic AI refers to systems that pursue goals over multiple steps — planning, calling tools, acting on an environment and reacting to feedback — instead of producing a single response. It turns a language model from a text generator into an actor that can complete tasks. The shift it represents is from do-it-yourself software, where the human drives every step, to do-it-for-me software, where the system carries out the work and reports back.",
+      "definition": "Agentic AI is the class of AI systems that autonomously plan and execute multi-step tasks by combining a model with memory, tools and a control loop.",
+      "takeaways": [
+        "An agent = model + tools + memory + a control loop that decides what to do next.",
+        "Autonomy is a spectrum, from a single tool call to long-horizon task execution.",
+        "Reliability comes mostly from the harness around the model, not raw model IQ.",
+        "Tool use (function calling) is what connects the model to real systems and data.",
+        "Evaluation must measure task completion (agency), not just answer quality (capability)."
+      ],
+      "context": [
+        "For most of the LLM era, models were used as one-shot responders: a prompt in, an answer out. Agentic AI breaks that pattern by giving the model a loop — it can decide to call a tool, read the result, revise its plan and continue until the goal is met or a budget is exhausted.",
+        "This is the dominant frontier of applied AI in the enterprise because it moves the value from answering questions to completing work: resolving a support ticket end to end, refactoring a codebase, running a research task, operating a workflow."
+      ],
+      "architecture": [
+        "A minimal agent has four parts: a reasoning model, a set of tools it can invoke, some form of memory or state, and an orchestration loop that turns model outputs into actions and feeds observations back in.",
+        "Patterns range from simple (a model with tools and a stop condition) to complex (planner-executor splits, reflection, and multi-agent teams). Anthropic's guidance is to prefer the simplest pattern that works and add structure only when measurably needed."
+      ],
+      "components": ["Reasoning model", "Tools / function calling", "Memory & state", "Orchestration loop", "Guardrails", "Observability"],
+      "pros": [
+        "Completes multi-step work, not just single answers.",
+        "Adapts to feedback and recovers from intermediate errors.",
+        "Integrates with real systems through tools and APIs.",
+        "Scales repetitive knowledge work that was previously human-only."
+      ],
+      "risks": [
+        "Compounding errors over long task horizons.",
+        "Unbounded cost and latency without budgets and stop conditions.",
+        "Security exposure from tool access and prompt injection.",
+        "Hard to evaluate and debug compared with single-shot prompts."
+      ],
+      "tools": ["LangGraph", "OpenAI Agents SDK", "Claude Agent SDK", "Model Context Protocol (MCP)", "Vertex AI Agent Engine"],
+      "examples": [
+        "A customer-service agent that reads a ticket, looks up the order, applies a refund and replies — all through tools.",
+        "A coding agent that edits files, runs tests and iterates until the suite passes.",
+        "A research agent that searches, reads sources, verifies claims and writes a cited summary."
+      ],
+      "faqs": [
+        { "q": "What is the difference between an AI agent and agentic AI?", "a": "An AI agent is a concrete system; agentic AI is the broader paradigm of building software around such goal-directed, multi-step systems." },
+        { "q": "Do you need a more powerful model to be agentic?", "a": "Not necessarily. The same model can succeed or fail at a task depending almost entirely on the harness — the tools, memory, prompts and control loop around it." },
+        { "q": "Is RAG agentic?", "a": "Plain retrieval-augmented generation is a single step. It becomes agentic when the system decides when and what to retrieve as part of a multi-step loop." },
+        { "q": "What makes agents unreliable?", "a": "Long horizons compound small errors, tools fail, and context gets lost. Reliability comes from harness engineering: good tools, memory, guardrails and evaluation." },
+        { "q": "How do you measure an agent?", "a": "With agentic benchmarks and task-based evals that score end-to-end task completion in an environment, not just the quality of a single answer." }
+      ]
+    },
+    "es": {
+      "title": "¿Qué es la IA Agéntica (Agentic AI)?",
+      "summary": "La IA agéntica designa sistemas que persiguen objetivos en varios pasos —planifican, llaman a herramientas, actúan sobre un entorno y reaccionan al feedback— en lugar de producir una única respuesta. Convierte a un modelo de lenguaje de generador de texto en un actor capaz de completar tareas. El cambio que representa es pasar del software 'hazlo tú', donde la persona conduce cada paso, al software 'hazlo por mí', donde el sistema ejecuta el trabajo y reporta el resultado.",
+      "definition": "La IA agéntica es la clase de sistemas de IA que planifican y ejecutan de forma autónoma tareas de varios pasos combinando un modelo con memoria, herramientas y un bucle de control.",
+      "takeaways": [
+        "Un agente = modelo + herramientas + memoria + un bucle de control que decide el siguiente paso.",
+        "La autonomía es un espectro, desde una sola llamada a herramienta hasta tareas de horizonte largo.",
+        "La fiabilidad viene sobre todo del 'harness' alrededor del modelo, no del coeficiente del modelo.",
+        "El uso de herramientas (function calling) es lo que conecta el modelo con sistemas y datos reales.",
+        "La evaluación debe medir la finalización de la tarea (agencia), no solo la calidad de la respuesta (capacidad)."
+      ],
+      "context": [
+        "Durante buena parte de la era LLM los modelos se usaron como respondedores de un solo turno: entra un prompt, sale una respuesta. La IA agéntica rompe ese patrón dándole al modelo un bucle: puede decidir llamar a una herramienta, leer el resultado, revisar su plan y continuar hasta cumplir el objetivo o agotar un presupuesto.",
+        "Es la frontera dominante de la IA aplicada en la empresa porque mueve el valor de responder preguntas a completar trabajo: resolver un ticket de soporte de principio a fin, refactorizar un código, ejecutar una investigación, operar un flujo de trabajo."
+      ],
+      "architecture": [
+        "Un agente mínimo tiene cuatro partes: un modelo de razonamiento, un conjunto de herramientas que puede invocar, alguna forma de memoria o estado, y un bucle de orquestación que convierte las salidas del modelo en acciones y reintroduce las observaciones.",
+        "Los patrones van de lo simple (un modelo con herramientas y una condición de parada) a lo complejo (separación planificador-ejecutor, reflexión y equipos multiagente). La recomendación de Anthropic es preferir el patrón más simple que funcione y añadir estructura solo cuando aporte de forma medible."
+      ],
+      "components": ["Modelo de razonamiento", "Herramientas / function calling", "Memoria y estado", "Bucle de orquestación", "Guardarraíles", "Observabilidad"],
+      "pros": [
+        "Completa trabajo de varios pasos, no solo respuestas sueltas.",
+        "Se adapta al feedback y se recupera de errores intermedios.",
+        "Se integra con sistemas reales mediante herramientas y APIs.",
+        "Escala trabajo de conocimiento repetitivo antes exclusivamente humano."
+      ],
+      "risks": [
+        "Acumulación de errores en horizontes de tarea largos.",
+        "Coste y latencia sin límite si faltan presupuestos y condiciones de parada.",
+        "Exposición de seguridad por el acceso a herramientas y la inyección de prompts.",
+        "Difícil de evaluar y depurar frente a los prompts de un solo turno."
+      ],
+      "tools": ["LangGraph", "OpenAI Agents SDK", "Claude Agent SDK", "Model Context Protocol (MCP)", "Vertex AI Agent Engine"],
+      "examples": [
+        "Un agente de atención al cliente que lee un ticket, consulta el pedido, aplica un reembolso y responde, todo a través de herramientas.",
+        "Un agente de programación que edita ficheros, ejecuta tests e itera hasta que la suite pasa.",
+        "Un agente de investigación que busca, lee fuentes, verifica afirmaciones y escribe un resumen con citas."
+      ],
+      "faqs": [
+        { "q": "¿Cuál es la diferencia entre un agente de IA y la IA agéntica?", "a": "Un agente de IA es un sistema concreto; la IA agéntica es el paradigma más amplio de construir software en torno a esos sistemas dirigidos a objetivos y de varios pasos." },
+        { "q": "¿Hace falta un modelo más potente para ser agéntico?", "a": "No necesariamente. El mismo modelo puede triunfar o fracasar en una tarea casi por completo según su harness: las herramientas, la memoria, los prompts y el bucle de control que lo rodean." },
+        { "q": "¿RAG es agéntico?", "a": "El RAG simple es un único paso. Se vuelve agéntico cuando el sistema decide cuándo y qué recuperar como parte de un bucle de varios pasos." },
+        { "q": "¿Qué hace poco fiables a los agentes?", "a": "Los horizontes largos acumulan errores pequeños, las herramientas fallan y se pierde contexto. La fiabilidad viene de la ingeniería de harness: buenas herramientas, memoria, guardarraíles y evaluación." },
+        { "q": "¿Cómo se mide un agente?", "a": "Con benchmarks agénticos y evaluaciones basadas en tareas que puntúan la finalización de extremo a extremo en un entorno, no solo la calidad de una respuesta." }
+      ]
+    },
+    "pt": {
+      "title": "O que é IA Agêntica (Agentic AI)?",
+      "summary": "A IA agêntica designa sistemas que perseguem objetivos em vários passos — planejam, chamam ferramentas, agem sobre um ambiente e reagem ao feedback — em vez de produzir uma única resposta. Transforma um modelo de linguagem de gerador de texto em um ator capaz de concluir tarefas. A mudança que representa é passar do software 'faça você mesmo', em que a pessoa conduz cada passo, ao software 'faça por mim', em que o sistema executa o trabalho e reporta o resultado.",
+      "definition": "A IA agêntica é a classe de sistemas de IA que planejam e executam de forma autônoma tarefas de vários passos combinando um modelo com memória, ferramentas e um laço de controle.",
+      "takeaways": [
+        "Um agente = modelo + ferramentas + memória + um laço de controle que decide o próximo passo.",
+        "A autonomia é um espectro, de uma única chamada de ferramenta a tarefas de horizonte longo.",
+        "A confiabilidade vem sobretudo do 'harness' em torno do modelo, não do QI do modelo.",
+        "O uso de ferramentas (function calling) é o que conecta o modelo a sistemas e dados reais.",
+        "A avaliação deve medir a conclusão da tarefa (agência), não só a qualidade da resposta (capacidade)."
+      ],
+      "context": [
+        "Durante boa parte da era LLM os modelos foram usados como respondedores de um único turno: entra um prompt, sai uma resposta. A IA agêntica quebra esse padrão dando ao modelo um laço: ele pode decidir chamar uma ferramenta, ler o resultado, revisar seu plano e continuar até cumprir o objetivo ou esgotar um orçamento.",
+        "É a fronteira dominante da IA aplicada na empresa porque move o valor de responder perguntas para concluir trabalho: resolver um chamado de suporte de ponta a ponta, refatorar um código, executar uma pesquisa, operar um fluxo de trabalho."
+      ],
+      "architecture": [
+        "Um agente mínimo tem quatro partes: um modelo de raciocínio, um conjunto de ferramentas que pode invocar, alguma forma de memória ou estado, e um laço de orquestração que converte as saídas do modelo em ações e realimenta as observações.",
+        "Os padrões vão do simples (um modelo com ferramentas e uma condição de parada) ao complexo (separação planejador-executor, reflexão e equipes multiagente). A recomendação da Anthropic é preferir o padrão mais simples que funcione e adicionar estrutura só quando agregar de forma mensurável."
+      ],
+      "components": ["Modelo de raciocínio", "Ferramentas / function calling", "Memória e estado", "Laço de orquestração", "Guard-rails", "Observabilidade"],
+      "pros": [
+        "Conclui trabalho de vários passos, não só respostas isoladas.",
+        "Adapta-se ao feedback e se recupera de erros intermediários.",
+        "Integra-se a sistemas reais por meio de ferramentas e APIs.",
+        "Escala trabalho de conhecimento repetitivo antes exclusivamente humano."
+      ],
+      "risks": [
+        "Acúmulo de erros em horizontes de tarefa longos.",
+        "Custo e latência sem limite sem orçamentos e condições de parada.",
+        "Exposição de segurança pelo acesso a ferramentas e pela injeção de prompts.",
+        "Difícil de avaliar e depurar frente aos prompts de um único turno."
+      ],
+      "tools": ["LangGraph", "OpenAI Agents SDK", "Claude Agent SDK", "Model Context Protocol (MCP)", "Vertex AI Agent Engine"],
+      "examples": [
+        "Um agente de atendimento que lê um chamado, consulta o pedido, aplica um reembolso e responde, tudo via ferramentas.",
+        "Um agente de programação que edita arquivos, executa testes e itera até a suíte passar.",
+        "Um agente de pesquisa que busca, lê fontes, verifica afirmações e escreve um resumo com citações."
+      ],
+      "faqs": [
+        { "q": "Qual é a diferença entre um agente de IA e IA agêntica?", "a": "Um agente de IA é um sistema concreto; a IA agêntica é o paradigma mais amplo de construir software em torno desses sistemas orientados a objetivos e de vários passos." },
+        { "q": "É preciso um modelo mais potente para ser agêntico?", "a": "Não necessariamente. O mesmo modelo pode ter sucesso ou falhar numa tarefa quase inteiramente conforme seu harness: as ferramentas, a memória, os prompts e o laço de controle ao seu redor." },
+        { "q": "RAG é agêntico?", "a": "O RAG simples é um único passo. Torna-se agêntico quando o sistema decide quando e o que recuperar como parte de um laço de vários passos." },
+        { "q": "O que torna os agentes pouco confiáveis?", "a": "Horizontes longos acumulam pequenos erros, ferramentas falham e contexto se perde. A confiabilidade vem da engenharia de harness: boas ferramentas, memória, guard-rails e avaliação." },
+        { "q": "Como se mede um agente?", "a": "Com benchmarks agênticos e avaliações baseadas em tarefas que pontuam a conclusão de ponta a ponta num ambiente, não só a qualidade de uma resposta." }
+      ]
+    }
+  }
+}

package/content/knowledge/agentic-evaluation.json

@@ -0,0 +1,156 @@
+{
+  "slug": "agentic-evaluation",
+  "category": "concept",
+  "updated": "2026-06-24",
+  "version": "1.1",
+  "related": ["agentic-ai", "harness-engineering", "ai-agent", "ai-governance"],
+  "references": [
+    { "title": "Jimenez et al. — SWE-bench: Can Language Models Resolve Real-World GitHub Issues? (2023)", "url": "https://arxiv.org/abs/2310.06770" },
+    { "title": "Santiago Santa María — The Stopwatch and the Exam", "url": "https://articles.santismm.com/the-stopwatch-and-the-exam/" }
+  ],
+  "evidence": {
+    "evidenceLevel": "production",
+    "confidenceLevel": "medium",
+    "sourceType": ["production_system", "personal_experience", "industry_observation", "paper"]
+  },
+  "locales": {
+    "en": {
+      "title": "What is Agentic AI Evaluation?",
+      "summary": "Agentic AI evaluation is the practice of measuring how well an agent completes multi-step, tool-using tasks in an environment — not just the quality of a single answer. As models saturate static knowledge benchmarks, evaluation is shifting from measuring capability (what a model knows) to measuring agency (what a system can actually get done). Good evals are the feedback loop that makes harness engineering possible.",
+      "definition": "Agentic evaluation is the measurement of an AI agent's end-to-end task performance — success rate, reliability, cost and safety — on realistic, multi-step tasks in an environment.",
+      "takeaways": [
+        "Evaluate task completion (agency), not just answer quality (capability).",
+        "Agentic benchmarks test tools, environments and long horizons.",
+        "Static benchmarks saturate; agentic ones are the new frontier.",
+        "Evals are the feedback loop for improving the harness.",
+        "Measure success, reliability, cost, latency and safety together."
+      ],
+      "context": [
+        "Traditional benchmarks ask a model questions and score the answers. That measures capability, but it tells you little about whether a system can complete real work. Agentic evaluation instead places an agent in an environment with tools and a goal, and scores whether it actually achieves it.",
+        "This shift matters because production value comes from task completion. An agent that answers well but fails to finish tasks is not useful. Evaluation is also what lets teams improve harnesses systematically rather than by anecdote."
+      ],
+      "architecture": [
+        "An agentic eval defines tasks, an environment (real or simulated) with tools, a success criterion, and metrics. The agent runs; its trajectory and outcome are scored automatically where possible, with human review for nuanced cases.",
+        "Beyond a single success rate, mature evaluation tracks reliability across runs, cost and latency budgets, and safety (did the agent stay within authorization and avoid harmful actions). Traces from observability feed directly into eval design."
+      ],
+      "components": ["Task suite", "Environment & tools", "Success criteria", "Metrics (success, cost, latency, safety)", "Automated graders", "Human review", "Trajectory traces"],
+      "pros": [
+        "Measures what actually matters: task completion.",
+        "Catches regressions before they reach users.",
+        "Turns harness improvement into a measurable loop.",
+        "Surfaces reliability, cost and safety, not just accuracy."
+      ],
+      "risks": [
+        "Hard to build realistic environments and graders.",
+        "Overfitting to a benchmark instead of real performance.",
+        "Saturation: benchmarks lose discriminative power over time.",
+        "Automated grading can miss nuance; human review is costly."
+      ],
+      "tools": ["SWE-bench and other agentic benchmarks", "LangSmith / Langfuse", "OpenAI Evals", "Custom task harnesses", "LLM-as-judge graders"],
+      "examples": [
+        "Scoring a coding agent on whether its patch makes a real test suite pass.",
+        "Measuring a support agent's end-to-end ticket resolution rate.",
+        "Tracking reliability of a workflow agent across repeated runs.",
+        "In practice: evaluating an autonomous agent (OpenClaw) over 57 days straight from production traces — 161 sessions at 98.8% success (2 errors), with per-model reliability of 100% vs 95.7% across two model versions — a reliability baseline computed directly from operational traces rather than a curated benchmark set."
+      ],
+      "faqs": [
+        { "q": "What is the difference between capability and agency?", "a": "Capability is what a model knows or can do in isolation; agency is what a full system can actually accomplish in an environment. Agentic evaluation measures the latter." },
+        { "q": "Why are static benchmarks no longer enough?", "a": "Top models saturate them, so they stop discriminating. They also do not test tool use, environments or long-horizon tasks, which is where real agent performance lives." },
+        { "q": "What is an agentic benchmark?", "a": "A test that scores an agent's ability to complete multi-step, tool-using tasks in an environment — for example resolving real software issues." },
+        { "q": "How do evals relate to harness engineering?", "a": "Evals are the measurement loop that makes harness engineering possible: you change the harness, measure the effect, and keep what demonstrably improves task performance." }
+      ]
+    },
+    "es": {
+      "title": "¿Qué es la Evaluación de IA Agéntica?",
+      "summary": "La evaluación de IA agéntica es la práctica de medir cómo de bien un agente completa tareas de varios pasos con uso de herramientas en un entorno, no solo la calidad de una única respuesta. A medida que los modelos saturan los benchmarks estáticos de conocimiento, la evaluación se desplaza de medir capacidad (lo que un modelo sabe) a medir agencia (lo que un sistema realmente logra hacer). Unas buenas evaluaciones son el bucle de feedback que hace posible la ingeniería de harness.",
+      "definition": "La evaluación agéntica es la medición del rendimiento de extremo a extremo de un agente de IA —tasa de éxito, fiabilidad, coste y seguridad— en tareas realistas de varios pasos dentro de un entorno.",
+      "takeaways": [
+        "Evaluar la finalización de la tarea (agencia), no solo la calidad de la respuesta (capacidad).",
+        "Los benchmarks agénticos prueban herramientas, entornos y horizontes largos.",
+        "Los benchmarks estáticos se saturan; los agénticos son la nueva frontera.",
+        "Las evaluaciones son el bucle de feedback para mejorar el harness.",
+        "Medir juntos éxito, fiabilidad, coste, latencia y seguridad."
+      ],
+      "context": [
+        "Los benchmarks tradicionales hacen preguntas a un modelo y puntúan las respuestas. Eso mide capacidad, pero dice poco sobre si un sistema puede completar trabajo real. La evaluación agéntica, en cambio, coloca a un agente en un entorno con herramientas y un objetivo, y puntúa si realmente lo alcanza.",
+        "Este cambio importa porque el valor en producción viene de completar tareas. Un agente que responde bien pero no termina las tareas no es útil. La evaluación es también lo que permite mejorar los harness de forma sistemática y no por anécdota."
+      ],
+      "architecture": [
+        "Una evaluación agéntica define tareas, un entorno (real o simulado) con herramientas, un criterio de éxito y métricas. El agente se ejecuta; su trayectoria y su resultado se puntúan automáticamente cuando es posible, con revisión humana para casos con matiz.",
+        "Más allá de una sola tasa de éxito, la evaluación madura sigue la fiabilidad entre ejecuciones, los presupuestos de coste y latencia, y la seguridad (¿se mantuvo el agente dentro de su autorización y evitó acciones dañinas?). Las trazas de observabilidad alimentan directamente el diseño de las evaluaciones."
+      ],
+      "components": ["Suite de tareas", "Entorno y herramientas", "Criterios de éxito", "Métricas (éxito, coste, latencia, seguridad)", "Evaluadores automáticos", "Revisión humana", "Trazas de trayectoria"],
+      "pros": [
+        "Mide lo que de verdad importa: la finalización de la tarea.",
+        "Detecta regresiones antes de que lleguen a los usuarios.",
+        "Convierte la mejora del harness en un bucle medible.",
+        "Saca a la luz fiabilidad, coste y seguridad, no solo precisión."
+      ],
+      "risks": [
+        "Difícil construir entornos y evaluadores realistas.",
+        "Sobreajuste a un benchmark en vez del rendimiento real.",
+        "Saturación: los benchmarks pierden poder discriminativo con el tiempo.",
+        "La evaluación automática puede perder matices; la revisión humana es cara."
+      ],
+      "tools": ["SWE-bench y otros benchmarks agénticos", "LangSmith / Langfuse", "OpenAI Evals", "Harness de tareas a medida", "Evaluadores LLM-as-judge"],
+      "examples": [
+        "Puntuar a un agente de programación según si su parche hace pasar una suite de tests real.",
+        "Medir la tasa de resolución de tickets de extremo a extremo de un agente de soporte.",
+        "Seguir la fiabilidad de un agente de flujo de trabajo en ejecuciones repetidas.",
+        "En la práctica: evaluar un agente autónomo (OpenClaw) durante 57 días directamente desde trazas de producción — 161 sesiones con 98,8% de éxito (2 errores), con fiabilidad por modelo de 100% frente a 95,7% en dos versiones — una línea base de fiabilidad calculada directamente desde trazas operativas, no desde un set de benchmark curado."
+      ],
+      "faqs": [
+        { "q": "¿Cuál es la diferencia entre capacidad y agencia?", "a": "La capacidad es lo que un modelo sabe o puede hacer de forma aislada; la agencia es lo que un sistema completo logra realmente en un entorno. La evaluación agéntica mide esto último." },
+        { "q": "¿Por qué ya no bastan los benchmarks estáticos?", "a": "Los mejores modelos los saturan y dejan de discriminar. Además no prueban uso de herramientas, entornos ni tareas de horizonte largo, que es donde está el rendimiento real de un agente." },
+        { "q": "¿Qué es un benchmark agéntico?", "a": "Una prueba que puntúa la capacidad de un agente para completar tareas de varios pasos con uso de herramientas en un entorno; por ejemplo, resolver incidencias reales de software." },
+        { "q": "¿Cómo se relacionan las evaluaciones con la ingeniería de harness?", "a": "Las evaluaciones son el bucle de medición que hace posible la ingeniería de harness: cambias el harness, mides el efecto y conservas lo que demuestra mejorar el rendimiento en la tarea." }
+      ]
+    },
+    "pt": {
+      "title": "O que é Avaliação de IA Agêntica?",
+      "summary": "A avaliação de IA agêntica é a prática de medir quão bem um agente conclui tarefas de vários passos com uso de ferramentas num ambiente, não só a qualidade de uma única resposta. À medida que os modelos saturam os benchmarks estáticos de conhecimento, a avaliação se desloca de medir capacidade (o que um modelo sabe) para medir agência (o que um sistema realmente consegue concluir). Boas avaliações são o laço de feedback que torna possível a engenharia de harness.",
+      "definition": "A avaliação agêntica é a medição do desempenho de ponta a ponta de um agente de IA — taxa de sucesso, confiabilidade, custo e segurança — em tarefas realistas de vários passos dentro de um ambiente.",
+      "takeaways": [
+        "Avaliar a conclusão da tarefa (agência), não só a qualidade da resposta (capacidade).",
+        "Os benchmarks agênticos testam ferramentas, ambientes e horizontes longos.",
+        "Os benchmarks estáticos saturam; os agênticos são a nova fronteira.",
+        "As avaliações são o laço de feedback para melhorar o harness.",
+        "Medir juntos sucesso, confiabilidade, custo, latência e segurança."
+      ],
+      "context": [
+        "Os benchmarks tradicionais fazem perguntas a um modelo e pontuam as respostas. Isso mede capacidade, mas diz pouco sobre se um sistema consegue concluir trabalho real. A avaliação agêntica, em vez disso, coloca um agente num ambiente com ferramentas e um objetivo, e pontua se ele realmente o alcança.",
+        "Essa mudança importa porque o valor em produção vem de concluir tarefas. Um agente que responde bem mas não termina as tarefas não é útil. A avaliação é também o que permite melhorar os harnesses de forma sistemática e não por anedota."
+      ],
+      "architecture": [
+        "Uma avaliação agêntica define tarefas, um ambiente (real ou simulado) com ferramentas, um critério de sucesso e métricas. O agente é executado; sua trajetória e seu resultado são pontuados automaticamente quando possível, com revisão humana para casos com nuance.",
+        "Além de uma única taxa de sucesso, a avaliação madura acompanha a confiabilidade entre execuções, os orçamentos de custo e latência, e a segurança (o agente se manteve dentro de sua autorização e evitou ações nocivas?). Os rastros de observabilidade alimentam diretamente o design das avaliações."
+      ],
+      "components": ["Suíte de tarefas", "Ambiente e ferramentas", "Critérios de sucesso", "Métricas (sucesso, custo, latência, segurança)", "Avaliadores automáticos", "Revisão humana", "Rastros de trajetória"],
+      "pros": [
+        "Mede o que de fato importa: a conclusão da tarefa.",
+        "Detecta regressões antes de chegarem aos usuários.",
+        "Transforma a melhoria do harness num laço mensurável.",
+        "Revela confiabilidade, custo e segurança, não só precisão."
+      ],
+      "risks": [
+        "Difícil construir ambientes e avaliadores realistas.",
+        "Sobreajuste a um benchmark em vez do desempenho real.",
+        "Saturação: os benchmarks perdem poder discriminativo com o tempo.",
+        "A avaliação automática pode perder nuances; a revisão humana é cara."
+      ],
+      "tools": ["SWE-bench e outros benchmarks agênticos", "LangSmith / Langfuse", "OpenAI Evals", "Harness de tarefas sob medida", "Avaliadores LLM-as-judge"],
+      "examples": [
+        "Pontuar um agente de programação conforme seu patch faça passar uma suíte de testes real.",
+        "Medir a taxa de resolução de chamados de ponta a ponta de um agente de suporte.",
+        "Acompanhar a confiabilidade de um agente de fluxo de trabalho em execuções repetidas.",
+        "Na prática: avaliar um agente autônomo (OpenClaw) por 57 dias diretamente a partir de rastros de produção — 161 sessões com 98,8% de sucesso (2 erros), com confiabilidade por modelo de 100% ante 95,7% em duas versões — uma linha de base de confiabilidade calculada diretamente de rastros operacionais, não de um conjunto de benchmark curado."
+      ],
+      "faqs": [
+        { "q": "Qual é a diferença entre capacidade e agência?", "a": "Capacidade é o que um modelo sabe ou pode fazer isoladamente; agência é o que um sistema completo realmente realiza num ambiente. A avaliação agêntica mede o segundo." },
+        { "q": "Por que os benchmarks estáticos já não bastam?", "a": "Os melhores modelos os saturam e deixam de discriminar. Além disso não testam uso de ferramentas, ambientes nem tarefas de horizonte longo, que é onde está o desempenho real de um agente." },
+        { "q": "O que é um benchmark agêntico?", "a": "Um teste que pontua a capacidade de um agente de concluir tarefas de vários passos com uso de ferramentas num ambiente; por exemplo, resolver issues reais de software." },
+        { "q": "Como as avaliações se relacionam com a engenharia de harness?", "a": "As avaliações são o laço de medição que torna possível a engenharia de harness: você muda o harness, mede o efeito e mantém o que comprovadamente melhora o desempenho na tarefa." }
+      ]
+    }
+  }
+}