stratum-cli 0.7.0 → 0.8.0-beta.1

package/evals/scenarios/cache/cache-growing-multi-turn-context.json

@@ -0,0 +1,106 @@
+{
+  "id": "cache-growing-multi-turn-context",
+  "group": "cache",
+  "title": "Una conversación de varios turnos solo añade al final del prompt",
+  "description": "Tres turnos en la misma sesión. Cada llamada debe reutilizar el prompt entero de la anterior: el historial crece por el final y nada de lo ya enviado se reescribe.",
+  "difficulty": "intermediate",
+  "setup": {
+    "files": {
+      "src/a.txt": "alfa\n",
+      "src/b.txt": "beta\n",
+      "src/c.txt": "gamma\n"
+    }
+  },
+  "input": "Lee src/a.txt y dime qué contiene.",
+  "followUps": ["Ahora lee src/b.txt y dime qué contiene.", "Y por último src/c.txt."],
+  "script": [
+    {
+      "toolCalls": [
+        {
+          "name": "read_file",
+          "args": {
+            "path": "src/a.txt"
+          }
+        }
+      ]
+    },
+    {
+      "text": "alfa"
+    },
+    {
+      "toolCalls": [
+        {
+          "name": "read_file",
+          "args": {
+            "path": "src/b.txt"
+          }
+        }
+      ]
+    },
+    {
+      "text": "beta"
+    },
+    {
+      "toolCalls": [
+        {
+          "name": "read_file",
+          "args": {
+            "path": "src/c.txt"
+          }
+        }
+      ]
+    },
+    {
+      "text": "gamma"
+    }
+  ],
+  "expect": {
+    "description": "Tres turnos resueltos; una única llamada fría (la primera) y ninguna rotura de caché entre turnos.",
+    "checks": [
+      {
+        "type": "exit_code",
+        "equals": 0
+      },
+      {
+        "type": "output_contains",
+        "value": "gamma"
+      },
+      {
+        "type": "metric",
+        "metric": "turns",
+        "mode": "mock",
+        "equals": 3
+      },
+      {
+        "type": "metric",
+        "metric": "coldCalls",
+        "mode": "mock",
+        "equals": 1
+      },
+      {
+        "type": "metric",
+        "metric": "warmCalls",
+        "mode": "mock",
+        "equals": 5
+      },
+      {
+        "type": "metric",
+        "metric": "cacheBreaks",
+        "mode": "mock",
+        "equals": 0
+      },
+      {
+        "type": "metric",
+        "metric": "prefixStability",
+        "mode": "mock",
+        "min": 0.95
+      },
+      {
+        "type": "metric",
+        "metric": "cacheHitRate",
+        "mode": "mock",
+        "min": 0.8
+      }
+    ]
+  }
+}

package/evals/scenarios/cache/cache-repeated-system-prefix.json

@@ -0,0 +1,89 @@
+{
+  "id": "cache-repeated-system-prefix",
+  "group": "cache",
+  "title": "Dos sesiones desde carpetas distintas comparten las tools y el inicio del prompt",
+  "description": "La segunda sesión arranca en una subcarpeta del mismo proyecto: cambian el cwd y la raíz del workspace, que son entorno dinámico. Lo que la petición lleva antes de ese bloque (las definiciones de tools y las instrucciones base) debe salir de la caché que dejó la primera: su primera llamada es templada, no fría.",
+  "difficulty": "basic",
+  "setup": {
+    "files": {
+      "README.md": "# demo-api\n\nServicio de ejemplo. El puerto por defecto es 8472.\n",
+      "packages/api/NOTES.md": "El servicio de la API usa la cola `jobs-main`.\n"
+    }
+  },
+  "input": "¿Cuál es el puerto por defecto según README.md? Responde solo con el número.",
+  "sessions": [
+    {
+      "input": "¿Qué cola usa el servicio según NOTES.md? Responde solo con el nombre.",
+      "cwd": "packages/api"
+    }
+  ],
+  "script": [
+    {
+      "toolCalls": [
+        {
+          "name": "read_file",
+          "args": {
+            "path": "README.md"
+          }
+        }
+      ]
+    },
+    {
+      "text": "8472"
+    },
+    {
+      "toolCalls": [
+        {
+          "name": "read_file",
+          "args": {
+            "path": "NOTES.md"
+          }
+        }
+      ]
+    },
+    {
+      "text": "jobs-main"
+    }
+  ],
+  "expect": {
+    "description": "Las dos sesiones responden bien; solo la primera llamada de la primera sesión es fría, y la primera de la segunda reutiliza el prefijo estable.",
+    "checks": [
+      {
+        "type": "exit_code",
+        "equals": 0
+      },
+      {
+        "type": "output_contains",
+        "value": "8472"
+      },
+      {
+        "type": "output_contains",
+        "value": "jobs-main"
+      },
+      {
+        "type": "metric",
+        "metric": "coldCalls",
+        "mode": "mock",
+        "equals": 1
+      },
+      {
+        "type": "metric",
+        "metric": "warmCalls",
+        "mode": "mock",
+        "equals": 3
+      },
+      {
+        "type": "metric",
+        "metric": "cacheBreaks",
+        "mode": "mock",
+        "equals": 0
+      },
+      {
+        "type": "metric",
+        "metric": "cacheHitRate",
+        "mode": "mock",
+        "min": 0.68
+      }
+    ]
+  }
+}

package/evals/scenarios/cache/cache-stable-toolset-order.json

@@ -0,0 +1,97 @@
+{
+  "id": "cache-stable-toolset-order",
+  "group": "cache",
+  "title": "El orden de las tools no depende del orden en que un server MCP las anuncia",
+  "description": "Un server MCP anuncia sus tools en un orden distinto en cada arranque. Las definiciones de tools van al principio del prompt: si su orden cambia entre sesiones, la segunda no reutiliza nada de lo que viene detrás.",
+  "difficulty": "intermediate",
+  "requires": {
+    "commands": ["node"]
+  },
+  "setup": {
+    "files": {
+      "mcp-registry.mjs": "// Servidor MCP mínimo (stdio, JSON por línea). En su segundo arranque anuncia\n// las mismas tools en orden inverso: un catálogo cuyo orden no es estable.\nimport { existsSync, writeFileSync } from 'node:fs';\nimport { createInterface } from 'node:readline';\n\nconst flipped = existsSync('.mcp-started');\nwriteFileSync('.mcp-started', '1');\nconst names = ['alpha_lookup', 'beta_lookup', 'gamma_lookup', 'delta_lookup'];\nconst tools = (flipped ? [...names].reverse() : names).map((name) => ({\n  name,\n  description: 'Looks up a value in the ' + name.split('_')[0] + ' registry by its key.',\n  inputSchema: { type: 'object', properties: { key: { type: 'string' } }, required: ['key'] },\n}));\nconst send = (message) => process.stdout.write(JSON.stringify(message) + '\\n');\n\ncreateInterface({ input: process.stdin }).on('line', (line) => {\n  let msg;\n  try {\n    msg = JSON.parse(line);\n  } catch {\n    return;\n  }\n  if (msg.id === undefined) return;\n  const reply = (result) => send({ jsonrpc: '2.0', id: msg.id, result });\n  if (msg.method === 'initialize') {\n    reply({\n      protocolVersion: (msg.params && msg.params.protocolVersion) || '2024-11-05',\n      capabilities: { tools: {} },\n      serverInfo: { name: 'registry', version: '1.0.0' },\n    });\n  } else if (msg.method === 'tools/list') reply({ tools });\n  else if (msg.method === 'tools/call') reply({ content: [{ type: 'text', text: 'value-42' }] });\n  else reply({});\n});\n"
+    },
+    "config": {
+      "mcp": {
+        "servers": [
+          {
+            "name": "registry",
+            "command": "node",
+            "args": ["mcp-registry.mjs"]
+          }
+        ]
+      }
+    }
+  },
+  "input": "Busca la clave \"build\" en el registro alpha y dime el valor.",
+  "sessions": [
+    {
+      "input": "Busca la clave \"deploy\" en el registro delta y dime el valor."
+    }
+  ],
+  "script": [
+    {
+      "toolCalls": [
+        {
+          "name": "mcp__registry__alpha_lookup",
+          "args": {
+            "key": "build"
+          }
+        }
+      ]
+    },
+    {
+      "text": "value-42"
+    },
+    {
+      "toolCalls": [
+        {
+          "name": "mcp__registry__delta_lookup",
+          "args": {
+            "key": "deploy"
+          }
+        }
+      ]
+    },
+    {
+      "text": "value-42"
+    }
+  ],
+  "expect": {
+    "description": "Las dos sesiones usan su tool MCP y la segunda reutiliza tools y prompt del sistema aunque el server las anunciara en otro orden.",
+    "checks": [
+      {
+        "type": "exit_code",
+        "equals": 0
+      },
+      {
+        "type": "output_contains",
+        "value": "value-42"
+      },
+      {
+        "type": "tool_called",
+        "tool": "mcp__registry__delta_lookup",
+        "status": "ok",
+        "mode": "mock"
+      },
+      {
+        "type": "metric",
+        "metric": "coldCalls",
+        "mode": "mock",
+        "equals": 1
+      },
+      {
+        "type": "metric",
+        "metric": "cacheBreaks",
+        "mode": "mock",
+        "equals": 0
+      },
+      {
+        "type": "metric",
+        "metric": "cacheHitRate",
+        "mode": "mock",
+        "min": 0.7
+      }
+    ]
+  }
+}

package/evals/scenarios/cache/cache-tool-loop-prefix.json

@@ -0,0 +1,110 @@
+{
+  "id": "cache-tool-loop-prefix",
+  "group": "cache",
+  "title": "Un bucle de tools reutiliza el prefijo en cada iteración",
+  "description": "Un turno agéntico de seis llamadas. Entre iteraciones solo se añaden la respuesta del modelo y los resultados de las tools: el prompt anterior es prefijo exacto del nuevo.",
+  "difficulty": "basic",
+  "setup": {
+    "files": {
+      "data/one.txt": "11\n",
+      "data/two.txt": "22\n",
+      "data/three.txt": "33\n",
+      "data/four.txt": "44\n"
+    }
+  },
+  "input": "Suma los números de los cuatro ficheros de data/ (uno por fichero) y dime el total. Lee los ficheros de uno en uno.",
+  "script": [
+    {
+      "toolCalls": [
+        {
+          "name": "list_directory",
+          "args": {
+            "path": "data"
+          }
+        }
+      ]
+    },
+    {
+      "toolCalls": [
+        {
+          "name": "read_file",
+          "args": {
+            "path": "data/one.txt"
+          }
+        }
+      ]
+    },
+    {
+      "toolCalls": [
+        {
+          "name": "read_file",
+          "args": {
+            "path": "data/two.txt"
+          }
+        }
+      ]
+    },
+    {
+      "toolCalls": [
+        {
+          "name": "read_file",
+          "args": {
+            "path": "data/three.txt"
+          }
+        }
+      ]
+    },
+    {
+      "toolCalls": [
+        {
+          "name": "read_file",
+          "args": {
+            "path": "data/four.txt"
+          }
+        }
+      ]
+    },
+    {
+      "text": "El total es 110."
+    }
+  ],
+  "expect": {
+    "description": "Responde 110; de las seis llamadas solo la primera es fría y ninguna rompe la caché.",
+    "checks": [
+      {
+        "type": "output_contains",
+        "value": "110"
+      },
+      {
+        "type": "metric",
+        "metric": "coldCalls",
+        "mode": "mock",
+        "equals": 1
+      },
+      {
+        "type": "metric",
+        "metric": "warmCalls",
+        "mode": "mock",
+        "equals": 5
+      },
+      {
+        "type": "metric",
+        "metric": "cacheBreaks",
+        "mode": "mock",
+        "equals": 0
+      },
+      {
+        "type": "metric",
+        "metric": "prefixStability",
+        "mode": "mock",
+        "min": 0.98
+      },
+      {
+        "type": "metric",
+        "metric": "cacheHitRate",
+        "mode": "mock",
+        "min": 0.8
+      }
+    ]
+  }
+}

package/evals/scenarios/code/code-create-module.json

@@ -0,0 +1,57 @@
+{
+  "id": "code-create-module",
+  "group": "code",
+  "title": "Crear un módulo que cumpla una comprobación dada",
+  "difficulty": "basic",
+  "setup": {
+    "files": {
+      "check.js": "const assert = require('assert');\nconst { slugify } = require('./slugify');\n\nassert.strictEqual(slugify('Hola Mundo'), 'hola-mundo');\nassert.strictEqual(slugify('  Árbol   de  Navidad! '), 'arbol-de-navidad');\nassert.strictEqual(slugify('a--b'), 'a-b');\nconsole.log('ok');\n"
+    }
+  },
+  "input": "Crea slugify.js (CommonJS) que exporte `slugify(texto)`: minúsculas, sin acentos, y cualquier secuencia de espacios o símbolos convertida en un único guion, sin guiones al principio ni al final. `node check.js` tiene que pasar.",
+  "script": [
+    {
+      "toolCalls": [
+        {
+          "name": "write_file",
+          "args": {
+            "path": "slugify.js",
+            "content": "function slugify(text) {\n  return String(text)\n    .normalize('NFD')\n    .replace(/[\\u0300-\\u036f]/g, '')\n    .toLowerCase()\n    .replace(/[^a-z0-9]+/g, '-')\n    .replace(/^-+|-+$/g, '');\n}\n\nmodule.exports = { slugify };\n"
+          }
+        }
+      ]
+    },
+    {
+      "toolCalls": [
+        {
+          "name": "exec",
+          "args": {
+            "command": "node check.js"
+          }
+        }
+      ]
+    },
+    {
+      "text": "Creado slugify.js; `node check.js` pasa."
+    }
+  ],
+  "expect": {
+    "description": "Existe slugify.js y `node check.js` pasa sin tocar check.js.",
+    "checks": [
+      {
+        "type": "command",
+        "run": ["node", "check.js"]
+      },
+      {
+        "type": "file_contains",
+        "path": "check.js",
+        "value": "slugify('Hola Mundo')"
+      },
+      {
+        "type": "metric",
+        "metric": "toolCalls",
+        "max": 10
+      }
+    ]
+  }
+}

package/evals/scenarios/code/code-fix-failing-test.json

@@ -0,0 +1,86 @@
+{
+  "id": "code-fix-failing-test",
+  "group": "code",
+  "title": "Arreglar un bug a partir de un test que falla",
+  "description": "Un test rojo, un fallo de una línea. Mide el ciclo ejecutar → leer → editar → verificar.",
+  "difficulty": "intermediate",
+  "setup": {
+    "files": {
+      "sum.js": "function sum(a, b) {\n  return a - b;\n}\n\nmodule.exports = { sum };\n",
+      "test.js": "const assert = require('assert');\nconst { sum } = require('./sum');\n\nassert.strictEqual(sum(2, 3), 5);\nassert.strictEqual(sum(-1, 1), 0);\nconsole.log('ok');\n"
+    }
+  },
+  "input": "`node test.js` falla. Encuentra el fallo y arréglalo en sum.js. No modifiques test.js. Al terminar, comprueba que `node test.js` pasa.",
+  "script": [
+    {
+      "toolCalls": [
+        {
+          "name": "exec",
+          "args": {
+            "command": "node test.js"
+          }
+        }
+      ]
+    },
+    {
+      "toolCalls": [
+        {
+          "name": "read_file",
+          "args": {
+            "path": "sum.js"
+          }
+        }
+      ]
+    },
+    {
+      "toolCalls": [
+        {
+          "name": "edit_file",
+          "args": {
+            "path": "sum.js",
+            "old_string": "return a - b;",
+            "new_string": "return a + b;"
+          }
+        }
+      ]
+    },
+    {
+      "toolCalls": [
+        {
+          "name": "exec",
+          "args": {
+            "command": "node test.js"
+          }
+        }
+      ]
+    },
+    {
+      "text": "Arreglado: `sum` restaba en vez de sumar. `node test.js` pasa."
+    }
+  ],
+  "expect": {
+    "description": "sum.js corregido, test.js intacto y `node test.js` en verde.",
+    "checks": [
+      {
+        "type": "command",
+        "run": ["node", "test.js"]
+      },
+      {
+        "type": "file_contains",
+        "path": "test.js",
+        "value": "assert.strictEqual(sum(2, 3), 5);"
+      },
+      {
+        "type": "metric",
+        "metric": "toolCalls",
+        "max": 12
+      },
+      {
+        "type": "metric",
+        "metric": "toolErrors",
+        "equals": 1,
+        "mode": "mock"
+      }
+    ]
+  }
+}

package/evals/scenarios/code/code-json-config-edit.json

@@ -0,0 +1,70 @@
+{
+  "id": "code-json-config-edit",
+  "group": "code",
+  "title": "Editar un package.json sin romperlo",
+  "difficulty": "basic",
+  "setup": {
+    "files": {
+      "package.json": "{\n  \"name\": \"demo\",\n  \"version\": \"1.2.9\",\n  \"scripts\": {\n    \"test\": \"node test.js\"\n  },\n  \"dependencies\": {}\n}\n"
+    }
+  },
+  "input": "En package.json: sube la versión a 1.3.0 y añade un script `lint` con el comando `eslint .`. No cambies nada más.",
+  "script": [
+    {
+      "toolCalls": [
+        {
+          "name": "read_file",
+          "args": {
+            "path": "package.json"
+          }
+        }
+      ]
+    },
+    {
+      "toolCalls": [
+        {
+          "name": "edit_file",
+          "args": {
+            "path": "package.json",
+            "old_string": "\"version\": \"1.2.9\"",
+            "new_string": "\"version\": \"1.3.0\""
+          }
+        }
+      ]
+    },
+    {
+      "toolCalls": [
+        {
+          "name": "edit_file",
+          "args": {
+            "path": "package.json",
+            "old_string": "\"test\": \"node test.js\"",
+            "new_string": "\"test\": \"node test.js\",\n    \"lint\": \"eslint .\""
+          }
+        }
+      ]
+    },
+    {
+      "text": "Versión 1.3.0 y script `lint` añadido."
+    }
+  ],
+  "expect": {
+    "description": "package.json sigue siendo JSON válido, con la versión nueva, el script lint y el resto intacto.",
+    "checks": [
+      {
+        "type": "command",
+        "label": "package.json es válido y tiene los cambios pedidos",
+        "run": [
+          "node",
+          "-e",
+          "const p=require('./package.json');if(p.version!=='1.3.0'||p.scripts.lint!=='eslint .'||p.scripts.test!=='node test.js'||p.name!=='demo')process.exit(1)"
+        ]
+      },
+      {
+        "type": "metric",
+        "metric": "toolCalls",
+        "max": 8
+      }
+    ]
+  }
+}

package/evals/scenarios/code/code-read-and-answer.json

@@ -0,0 +1,65 @@
+{
+  "id": "code-read-and-answer",
+  "group": "code",
+  "title": "Responder una pregunta sobre el código sin modificarlo",
+  "difficulty": "basic",
+  "setup": {
+    "files": {
+      "README.md": "# demo-server\n\nServidor HTTP de ejemplo. Arranca con `node src/server.js`.\n",
+      "src/config.js": "const DEFAULT_PORT = 8472;\n\nmodule.exports = { port: Number(process.env.PORT) || DEFAULT_PORT };\n",
+      "src/server.js": "const http = require('http');\nconst { port } = require('./config');\n\nhttp.createServer((req, res) => res.end('ok')).listen(port);\n"
+    }
+  },
+  "input": "¿En qué puerto escucha el servidor si no se define PORT? Responde solo con el número. No modifiques nada.",
+  "script": [
+    {
+      "toolCalls": [
+        {
+          "name": "grep",
+          "args": {
+            "pattern": "PORT"
+          }
+        }
+      ]
+    },
+    {
+      "toolCalls": [
+        {
+          "name": "read_file",
+          "args": {
+            "path": "src/config.js"
+          }
+        }
+      ]
+    },
+    {
+      "text": "8472"
+    }
+  ],
+  "expect": {
+    "description": "Responde 8472 sin escribir ni ejecutar nada.",
+    "checks": [
+      {
+        "type": "output_contains",
+        "value": "8472"
+      },
+      {
+        "type": "tool_called",
+        "tool": "write_file",
+        "min": 0,
+        "max": 0
+      },
+      {
+        "type": "tool_called",
+        "tool": "edit_file",
+        "min": 0,
+        "max": 0
+      },
+      {
+        "type": "metric",
+        "metric": "toolCalls",
+        "max": 8
+      }
+    ]
+  }
+}