stratum-cli 0.7.0 → 0.8.0-beta.1

package/evals/scenarios/auxiliary/auxiliary-cache-accounting.json

@@ -0,0 +1,108 @@
+{
+  "id": "auxiliary-cache-accounting",
+  "group": "auxiliary",
+  "title": "Los tokens y la caché de las llamadas auxiliares se contabilizan aparte de los del agente",
+  "description": "Dos turnos con extracción de memoria tras cada uno. El backend reporta caché en todas las peticiones: la segunda extracción reutiliza el prompt del extractor, y esa caché no puede sumarse a la del agente ni alterar sus llamadas frías y templadas.",
+  "difficulty": "intermediate",
+  "setup": {
+    "config": {
+      "memory": {
+        "autoExtract": true
+      }
+    }
+  },
+  "input": "En este repositorio vamos a usar pnpm en vez de npm. Confírmalo en una frase.",
+  "followUps": ["Y los tests se lanzan con vitest, no con jest. Confírmalo también."],
+  "script": [
+    {
+      "text": "De acuerdo: en este repositorio se usa pnpm."
+    },
+    {
+      "text": "De acuerdo: los tests se lanzan con vitest."
+    }
+  ],
+  "auxiliaryScript": {
+    "memory-extraction": [
+      {
+        "text": "[]"
+      },
+      {
+        "text": "[]"
+      }
+    ]
+  },
+  "expect": {
+    "description": "Dos llamadas del agente (una fría, una templada) y dos de extracción con su propia caché, sin mezclar cifras.",
+    "checks": [
+      {
+        "type": "output_contains",
+        "value": "vitest"
+      },
+      {
+        "type": "llm_call",
+        "origin": "memory-extraction",
+        "status": "ok",
+        "min": 2,
+        "max": 2,
+        "mode": "mock"
+      },
+      {
+        "type": "metric",
+        "metric": "llmCalls",
+        "equals": 2,
+        "mode": "mock"
+      },
+      {
+        "type": "metric",
+        "metric": "cacheReportedCalls",
+        "equals": 2,
+        "mode": "mock",
+        "label": "la caché del agente solo cuenta sus 2 llamadas"
+      },
+      {
+        "type": "metric",
+        "metric": "coldCalls",
+        "equals": 1,
+        "mode": "mock"
+      },
+      {
+        "type": "metric",
+        "metric": "warmCalls",
+        "equals": 1,
+        "mode": "mock"
+      },
+      {
+        "type": "metric",
+        "metric": "cacheBreaks",
+        "equals": 0,
+        "mode": "mock"
+      },
+      {
+        "type": "metric",
+        "metric": "auxiliaryLlmCalls",
+        "equals": 2,
+        "mode": "mock"
+      },
+      {
+        "type": "metric",
+        "metric": "auxiliaryPromptTokens",
+        "min": 1,
+        "mode": "mock"
+      },
+      {
+        "type": "metric",
+        "metric": "auxiliaryCachedReadTokens",
+        "min": 1,
+        "mode": "mock",
+        "label": "la segunda extracción lee de caché el prompt del extractor"
+      },
+      {
+        "type": "metric",
+        "metric": "auxiliaryCacheHitRate",
+        "min": 0.01,
+        "max": 0.99,
+        "mode": "mock"
+      }
+    ]
+  }
+}

package/evals/scenarios/auxiliary/auxiliary-failure-does-not-corrupt-agent.json

@@ -0,0 +1,81 @@
+{
+  "id": "auxiliary-failure-does-not-corrupt-agent",
+  "group": "auxiliary",
+  "title": "Una extracción de memoria que falla no estropea el turno, y su error queda en la traza",
+  "description": "El backend responde con un 500 a la extracción de memoria. El turno ya había terminado bien: sigue siendo un éxito, el proceso sale con 0, y el fallo consta como error de una llamada auxiliar, no como error del agente ni de una tool.",
+  "difficulty": "intermediate",
+  "setup": {
+    "config": {
+      "memory": {
+        "autoExtract": true
+      }
+    }
+  },
+  "input": "En este repositorio vamos a usar pnpm en vez de npm. Confírmalo en una frase.",
+  "script": [
+    {
+      "text": "De acuerdo: en este repositorio se usa pnpm."
+    }
+  ],
+  "auxiliaryScript": {
+    "memory-extraction": [
+      {
+        "error": {
+          "status": 500,
+          "message": "extractor backend down"
+        }
+      }
+    ]
+  },
+  "expect": {
+    "description": "Respuesta correcta y exit 0; la traza conserva la llamada de extracción en error, aparte de las métricas del agente.",
+    "checks": [
+      {
+        "type": "exit_code",
+        "equals": 0
+      },
+      {
+        "type": "output_contains",
+        "value": "pnpm"
+      },
+      {
+        "type": "stop_reason",
+        "equals": "stop"
+      },
+      {
+        "type": "llm_call",
+        "origin": "memory-extraction",
+        "status": "error",
+        "min": 1,
+        "max": 1,
+        "mode": "mock"
+      },
+      {
+        "type": "metric",
+        "metric": "auxiliaryLlmErrors",
+        "equals": 1,
+        "mode": "mock"
+      },
+      {
+        "type": "metric",
+        "metric": "llmErrors",
+        "equals": 0
+      },
+      {
+        "type": "metric",
+        "metric": "toolErrors",
+        "equals": 0
+      },
+      {
+        "type": "metric",
+        "metric": "fatalErrors",
+        "equals": 0
+      },
+      {
+        "type": "metric",
+        "metric": "warnings",
+        "max": 0
+      }
+    ]
+  }
+}

package/evals/scenarios/auxiliary/compression-visible.json

@@ -0,0 +1,135 @@
+{
+  "id": "compression-visible",
+  "group": "auxiliary",
+  "title": "El resumen de la compresión de contexto queda en la traza como llamada propia",
+  "description": "Tres lecturas grandes llevan el historial por encima del umbral y Stratum pide un resumen al modelo a mitad del turno. Esa petición tiene su propio guion: la traza la registra con origen context-compression y el agente sigue con sus cuatro llamadas.",
+  "difficulty": "intermediate",
+  "requires": {
+    "commands": ["node"]
+  },
+  "setup": {
+    "files": {
+      "logs/README.md": "Logs de los tres servicios."
+    },
+    "commands": [
+      [
+        "node",
+        "-e",
+        "const fs = require('fs');['one', 'two', 'three'].forEach((name, k) => {  const lines = [];  for (let i = 0; i < 300; i++)    lines.push('service-' + name + ' request ' + String(i).padStart(4, '0') + ' handled in ' + (20 + ((i * 7 + k) % 60)) + ' ms status 200 ok');  lines[150] = 'service-' + name + ' request FAILED with code E' + (41 + k) + ' upstream timeout';  const nl = String.fromCharCode(10);  fs.writeFileSync('logs/' + name + '.log', lines.join(nl) + nl);});"
+      ]
+    ],
+    "config": {
+      "agent": {
+        "compressionThreshold": 0.62,
+        "compressionKeepRounds": 1
+      }
+    }
+  },
+  "input": "Lee logs/one.log, logs/two.log y logs/three.log, de uno en uno, y dime el código de error que aparece en cada uno.",
+  "script": [
+    {
+      "toolCalls": [
+        {
+          "name": "read_file",
+          "args": {
+            "path": "logs/one.log"
+          }
+        }
+      ]
+    },
+    {
+      "toolCalls": [
+        {
+          "name": "read_file",
+          "args": {
+            "path": "logs/two.log"
+          }
+        }
+      ]
+    },
+    {
+      "toolCalls": [
+        {
+          "name": "read_file",
+          "args": {
+            "path": "logs/three.log"
+          }
+        }
+      ]
+    },
+    {
+      "text": "Los códigos son E41, E42 y E43."
+    }
+  ],
+  "auxiliaryScript": {
+    "context-compression": [
+      {
+        "text": "Read so far: logs/one.log failed with E41, logs/two.log failed with E42."
+      }
+    ]
+  },
+  "expect": {
+    "description": "La tarea se completa; la compresión aparece como una llamada context-compression aparte de las cuatro del agente.",
+    "checks": [
+      {
+        "type": "output_contains",
+        "value": "E43"
+      },
+      {
+        "type": "llm_call",
+        "origin": "context-compression",
+        "status": "ok",
+        "min": 1,
+        "max": 1,
+        "mode": "mock"
+      },
+      {
+        "type": "metric",
+        "metric": "compressionCalls",
+        "equals": 1,
+        "mode": "mock"
+      },
+      {
+        "type": "metric",
+        "metric": "compressions",
+        "equals": 1,
+        "mode": "mock"
+      },
+      {
+        "type": "metric",
+        "metric": "llmCalls",
+        "equals": 4,
+        "mode": "mock"
+      },
+      {
+        "type": "metric",
+        "metric": "totalLlmCalls",
+        "equals": 5,
+        "mode": "mock"
+      },
+      {
+        "type": "metric",
+        "metric": "memoryExtractionCalls",
+        "equals": 0,
+        "mode": "mock"
+      },
+      {
+        "type": "cache_break",
+        "cause": "compression",
+        "min": 1,
+        "max": 1,
+        "mode": "mock"
+      },
+      {
+        "type": "metric",
+        "metric": "llmErrors",
+        "equals": 0
+      },
+      {
+        "type": "metric",
+        "metric": "auxiliaryLlmErrors",
+        "max": 0
+      }
+    ]
+  }
+}

package/evals/scenarios/auxiliary/memory-extraction-visible.json

@@ -0,0 +1,78 @@
+{
+  "id": "memory-extraction-visible",
+  "group": "auxiliary",
+  "title": "La extracción de memoria tras el turno queda en la traza como llamada propia",
+  "description": "Con memory.autoExtract activo, al cerrar el turno Stratum lanza en segundo plano una llamada al modelo para extraer decisiones. Esa petición llega al backend igual que las del agente: la traza tiene que registrarla con origen memory-extraction, sin mezclarla con las del loop.",
+  "difficulty": "basic",
+  "setup": {
+    "config": {
+      "memory": {
+        "autoExtract": true
+      }
+    }
+  },
+  "input": "En este repositorio vamos a usar pnpm en vez de npm. Confírmalo en una frase.",
+  "script": [
+    {
+      "text": "De acuerdo: en este repositorio se usa pnpm."
+    }
+  ],
+  "auxiliaryScript": {
+    "memory-extraction": [
+      {
+        "text": "[]"
+      }
+    ]
+  },
+  "expect": {
+    "description": "Una llamada del agente y una de extracción de memoria, las dos visibles y cada una con su origen.",
+    "checks": [
+      {
+        "type": "output_contains",
+        "value": "pnpm"
+      },
+      {
+        "type": "stop_reason",
+        "equals": "stop"
+      },
+      {
+        "type": "llm_call",
+        "origin": "memory-extraction",
+        "status": "ok",
+        "min": 1,
+        "max": 1,
+        "mode": "mock"
+      },
+      {
+        "type": "llm_call",
+        "origin": "agent",
+        "min": 1,
+        "max": 1,
+        "mode": "mock"
+      },
+      {
+        "type": "metric",
+        "metric": "memoryExtractionCalls",
+        "equals": 1,
+        "mode": "mock"
+      },
+      {
+        "type": "metric",
+        "metric": "llmCalls",
+        "equals": 1,
+        "mode": "mock"
+      },
+      {
+        "type": "metric",
+        "metric": "totalLlmCalls",
+        "equals": 2,
+        "mode": "mock"
+      },
+      {
+        "type": "metric",
+        "metric": "llmErrors",
+        "equals": 0
+      }
+    ]
+  }
+}

package/evals/scenarios/auxiliary/subagent-origin.json

@@ -0,0 +1,90 @@
+{
+  "id": "subagent-origin",
+  "group": "auxiliary",
+  "title": "Las llamadas al modelo de un subagente se registran como subagent, no como agent",
+  "description": "El agente principal delega una lectura. Las dos llamadas del hijo cuelgan de su paso en la traza y llevan origen subagent; las dos del padre, agent.",
+  "difficulty": "intermediate",
+  "setup": {
+    "files": {
+      "VERSION.txt": "2.7.1\n",
+      "README.md": "# demo\n"
+    }
+  },
+  "input": "Delega en un subagente (delegate_task) la lectura de VERSION.txt y respóndeme con la versión que te devuelva.",
+  "script": [
+    {
+      "toolCalls": [
+        {
+          "name": "delegate_task",
+          "args": {
+            "task": "Read the file VERSION.txt in the current directory and report its exact content."
+          }
+        }
+      ]
+    },
+    {
+      "toolCalls": [
+        {
+          "name": "read_file",
+          "args": {
+            "path": "VERSION.txt"
+          }
+        }
+      ]
+    },
+    {
+      "text": "VERSION.txt contains: 2.7.1"
+    },
+    {
+      "text": "La versión es 2.7.1."
+    }
+  ],
+  "expect": {
+    "description": "Cuatro llamadas al modelo: dos del agente principal y dos del subagente, cada grupo con su origen.",
+    "checks": [
+      {
+        "type": "output_contains",
+        "value": "2.7.1"
+      },
+      {
+        "type": "llm_call",
+        "origin": "subagent",
+        "status": "ok",
+        "min": 2,
+        "max": 2,
+        "mode": "mock"
+      },
+      {
+        "type": "llm_call",
+        "origin": "agent",
+        "status": "ok",
+        "min": 2,
+        "max": 2,
+        "mode": "mock"
+      },
+      {
+        "type": "metric",
+        "metric": "subagentLlmCalls",
+        "equals": 2,
+        "mode": "mock"
+      },
+      {
+        "type": "metric",
+        "metric": "agentLlmCalls",
+        "equals": 2,
+        "mode": "mock"
+      },
+      {
+        "type": "metric",
+        "metric": "auxiliaryLlmCalls",
+        "equals": 0,
+        "mode": "mock"
+      },
+      {
+        "type": "metric",
+        "metric": "subagentFailures",
+        "equals": 0
+      }
+    ]
+  }
+}

package/evals/scenarios/cache/cache-compression-cache-impact.json

@@ -0,0 +1,113 @@
+{
+  "id": "cache-compression-cache-impact",
+  "group": "cache",
+  "title": "La compresión de contexto ahorra tokens y rompe la caché: las dos cosas se miden",
+  "description": "Tres lecturas grandes llevan el historial por encima del umbral y se resume a mitad del turno. La llamada siguiente lleva menos tokens, pero el prefijo que estaba en caché ya no existe: la traza lo registra como una rotura con causa `compression`, no como un error del agente.",
+  "difficulty": "intermediate",
+  "requires": {
+    "commands": ["node"]
+  },
+  "setup": {
+    "files": {
+      "logs/README.md": "Logs de los tres servicios."
+    },
+    "commands": [
+      [
+        "node",
+        "-e",
+        "const fs = require('fs');['one', 'two', 'three'].forEach((name, k) => {  const lines = [];  for (let i = 0; i < 300; i++)    lines.push('service-' + name + ' request ' + String(i).padStart(4, '0') + ' handled in ' + (20 + ((i * 7 + k) % 60)) + ' ms status 200 ok');  lines[150] = 'service-' + name + ' request FAILED with code E' + (41 + k) + ' upstream timeout';  const nl = String.fromCharCode(10);  fs.writeFileSync('logs/' + name + '.log', lines.join(nl) + nl);});"
+      ]
+    ],
+    "config": {
+      "agent": {
+        "compressionThreshold": 0.62,
+        "compressionKeepRounds": 1
+      }
+    }
+  },
+  "input": "Lee logs/one.log, logs/two.log y logs/three.log, de uno en uno, y dime el código de error que aparece en cada uno.",
+  "script": [
+    {
+      "toolCalls": [
+        {
+          "name": "read_file",
+          "args": {
+            "path": "logs/one.log"
+          }
+        }
+      ]
+    },
+    {
+      "toolCalls": [
+        {
+          "name": "read_file",
+          "args": {
+            "path": "logs/two.log"
+          }
+        }
+      ]
+    },
+    {
+      "toolCalls": [
+        {
+          "name": "read_file",
+          "args": {
+            "path": "logs/three.log"
+          }
+        }
+      ]
+    },
+    {
+      "text": "Read so far: logs/one.log failed with E41, logs/two.log failed with E42."
+    },
+    {
+      "text": "Los códigos son E41, E42 y E43."
+    }
+  ],
+  "expect": {
+    "description": "La tarea se completa pese a la compresión, que deja una rotura de caché atribuida a ella y ningún error.",
+    "checks": [
+      {
+        "type": "output_contains",
+        "value": "E43"
+      },
+      {
+        "type": "metric",
+        "metric": "compressions",
+        "mode": "mock",
+        "equals": 1
+      },
+      {
+        "type": "cache_break",
+        "cause": "compression",
+        "min": 1,
+        "max": 1,
+        "mode": "mock"
+      },
+      {
+        "type": "metric",
+        "metric": "cacheBreaks",
+        "mode": "mock",
+        "equals": 1
+      },
+      {
+        "type": "metric",
+        "metric": "toolErrors",
+        "mode": "mock",
+        "equals": 0
+      },
+      {
+        "type": "metric",
+        "metric": "llmErrors",
+        "mode": "mock",
+        "equals": 0
+      },
+      {
+        "type": "metric",
+        "metric": "coldCalls",
+        "mode": "mock",
+        "equals": 1
+      }
+    ]
+  }
+}