@hoilab/ada-cli 0.85.0 → 0.85.3

package/dist/core/metaharness/comparar.js

@@ -0,0 +1,64 @@
+/**
+ * Compara dos ejecuciones del metaharness: ¿la configuración B edita igual
+ * pero cuesta menos vueltas y tokens que la A?
+ *
+ * Las cinco métricas del banco (tarea/edición/fantasma/timeout/error) se
+ * delegan en `banco/comparar.ts` — recopiarlas aquí sería tener dos
+ * definiciones de "delta" que divergen. Encima se añaden las tres que solo
+ * existen a este nivel: round trips por caso, tokens por caso y latencia
+ * media.
+ */
+import { compararEjecuciones, formatearComparacion as formatearDelBanco, } from "../banco/comparar.js";
+import { resumirMetaharness } from "./ejecutar.js";
+function deltaDe(nombre, antes, despues) {
+    const redondeado = (n) => Math.round(n * 10) / 10;
+    return { nombre, antes: redondeado(antes), despues: redondeado(despues), delta: redondeado(despues - antes) };
+}
+export function compararHarnesses(a, b, rutaA, rutaB) {
+    // ResultadoHarness ES un ResultadosEjecucion con campos extra, así que la
+    // comparación del banco aplica tal cual sobre sus resúmenes.
+    const base = compararEjecuciones(a, b, rutaA, rutaB);
+    const ra = resumirMetaharness(a.resultados);
+    const rb = resumirMetaharness(b.resultados);
+    return {
+        ...base,
+        metricas: [
+            ...base.metricas,
+            deltaDe("vueltas/caso", ra.vueltasMedias, rb.vueltasMedias),
+            deltaDe("tokens/caso", ra.tokensMediosPorCaso, rb.tokensMediosPorCaso),
+            deltaDe("latencia ms", ra.latenciaMediaMs, rb.latenciaMediaMs),
+            // Latencia separada en prefill/decode y en percentiles: la media
+            // única escondía exactamente el régimen (colas de TTFT) que decide
+            // si una configuración «se siente» lenta.
+            deltaDe("ttft p50 ms", ra.ttftP50Ms, rb.ttftP50Ms),
+            deltaDe("ttft p95 ms", ra.ttftP95Ms, rb.ttftP95Ms),
+            deltaDe("decode p50 ms", ra.decodeP50Ms, rb.decodeP50Ms),
+            deltaDe("decode p95 ms", ra.decodeP95Ms, rb.decodeP95Ms),
+            deltaDe("streams vacíos (fallos)", ra.streamVacioFallos, rb.streamVacioFallos),
+        ],
+    };
+}
+const ES_PORCENTAJE = {
+    "tarea %": true,
+    "edición %": true,
+    "fantasma %": true,
+    "timeout %": true,
+    "error %": true,
+};
+/**
+ * El formato del banco pinta "%" en todas las filas porque sus cinco métricas
+ * son porcentajes; aquí tres de las ocho son vueltas, tokens y milisegundos.
+ * Un "3.0%" de vueltas por caso invita a leerlo mal, así que la unidad va sin
+ * signo donde no la hay.
+ */
+export function formatearComparacionHarness(c) {
+    const texto = formatearDelBanco(c);
+    return texto
+        .split("\n")
+        .map((linea) => {
+        const nombreMetrica = linea.trimStart().split(/\s{2,}/)[0];
+        return ES_PORCENTAJE[nombreMetrica] ? linea : linea.replace(/%/g, "");
+    })
+        .join("\n");
+}
+//# sourceMappingURL=comparar.js.map

package/dist/core/metaharness/comparar.js.map

@@ -0,0 +1 @@
+{"version":3,"file":"comparar.js","sourceRoot":"","sources":["../../../src/core/metaharness/comparar.ts"],"names":[],"mappings":"AAAA;;;;;;;;;GASG;AAEH,OAAO,EAEN,mBAAmB,EAEnB,oBAAoB,IAAI,iBAAiB,GACzC,MAAM,sBAAsB,CAAC;AAC9B,OAAO,EAAE,kBAAkB,EAAE,MAAM,eAAe,CAAC;AAGnD,SAAS,OAAO,CAAC,MAAc,EAAE,KAAa,EAAE,OAAe;IAC9D,MAAM,UAAU,GAAG,CAAC,CAAS,EAAE,EAAE,CAAC,IAAI,CAAC,KAAK,CAAC,CAAC,GAAG,EAAE,CAAC,GAAG,EAAE,CAAC;IAC1D,OAAO,EAAE,MAAM,EAAE,KAAK,EAAE,UAAU,CAAC,KAAK,CAAC,EAAE,OAAO,EAAE,UAAU,CAAC,OAAO,CAAC,EAAE,KAAK,EAAE,UAAU,CAAC,OAAO,GAAG,KAAK,CAAC,EAAE,CAAC;AAC/G,CAAC;AAED,MAAM,UAAU,iBAAiB,CAChC,CAAmB,EACnB,CAAmB,EACnB,KAAa,EACb,KAAa;IAEb,0EAA0E;IAC1E,6DAA6D;IAC7D,MAAM,IAAI,GAAG,mBAAmB,CAAC,CAAC,EAAE,CAAC,EAAE,KAAK,EAAE,KAAK,CAAC,CAAC;IACrD,MAAM,EAAE,GAAG,kBAAkB,CAAC,CAAC,CAAC,UAAU,CAAC,CAAC;IAC5C,MAAM,EAAE,GAAG,kBAAkB,CAAC,CAAC,CAAC,UAAU,CAAC,CAAC;IAC5C,OAAO;QACN,GAAG,IAAI;QACP,QAAQ,EAAE;YACT,GAAG,IAAI,CAAC,QAAQ;YAChB,OAAO,CAAC,cAAc,EAAE,EAAE,CAAC,aAAa,EAAE,EAAE,CAAC,aAAa,CAAC;YAC3D,OAAO,CAAC,aAAa,EAAE,EAAE,CAAC,mBAAmB,EAAE,EAAE,CAAC,mBAAmB,CAAC;YACtE,OAAO,CAAC,aAAa,EAAE,EAAE,CAAC,eAAe,EAAE,EAAE,CAAC,eAAe,CAAC;YAC9D,iEAAiE;YACjE,mEAAmE;YACnE,0CAA0C;YAC1C,OAAO,CAAC,aAAa,EAAE,EAAE,CAAC,SAAS,EAAE,EAAE,CAAC,SAAS,CAAC;YAClD,OAAO,CAAC,aAAa,EAAE,EAAE,CAAC,SAAS,EAAE,EAAE,CAAC,SAAS,CAAC;YAClD,OAAO,CAAC,eAAe,EAAE,EAAE,CAAC,WAAW,EAAE,EAAE,CAAC,WAAW,CAAC;YACxD,OAAO,CAAC,eAAe,EAAE,EAAE,CAAC,WAAW,EAAE,EAAE,CAAC,WAAW,CAAC;YACxD,OAAO,CAAC,yBAAyB,EAAE,EAAE,CAAC,iBAAiB,EAAE,EAAE,CAAC,iBAAiB,CAAC;SAC9E;KACD,CAAC;AACH,CAAC;AACD,MAAM,aAAa,GAAyB;IAC3C,SAAS,EAAE,IAAI;IACf,WAAW,EAAE,IAAI;IACjB,YAAY,EAAE,IAAI;IAClB,WAAW,EAAE,IAAI;IACjB,SAAS,EAAE,IAAI;CACf,CAAC;AAEF;;;;;GAKG;AACH,MAAM,UAAU,2BAA2B,CAAC,CAAyB;IACpE,MAAM,KAAK,GAAG,iBAAiB,CAAC,CAAC,CAAC,CAAC;IACnC,OAAO,KAAK;SACV,KAAK,CAAC,IAAI,CAAC;SACX,GAAG,CAAC,CAAC,KAAK,EAAE,EAAE;QACd,MAAM,aAAa,GAAG,KAAK,CAAC,SAAS,EAAE,CAAC,KAAK,CAAC,QAAQ,CAAC,CAAC,CAAC,CAAC,CAAC;QAC3D,OAAO,aAAa,CAAC,aAAa,CAAC,CAAC,CAAC,CAAC,KAAK,CAAC,CAAC,CAAC,KAAK,CAAC,OAAO,CAAC,IAAI,EAAE,EAAE,CAAC,CAAC;IACvE,CAAC,CAAC;SACD,IAAI,CAAC,IAAI,CAAC,CAAC;AACd,CAAC"}

package/dist/core/metaharness/ejecutar.d.ts

@@ -0,0 +1,70 @@
+/**
+ * Ejecuta el banco contra un `EjecutorMedido` y produce un informe con las
+ * métricas del banco (que se delegan, sin recopiarlas, en
+ * `banco/ejecutar.ts`: tres estados, ficheros temporales, normalización byte
+ * a byte y el resumen de tarea/edición/fantasma/timeout son SUYOS) más la
+ * medida de eficiencia por caso.
+ *
+ * El ejecutor es INYECTABLE por la misma razón que en el banco: los tests
+ * prueban que el harness MIDE — vueltas, tokens, deltas entre configuraciones
+ * — con ejecutores deterministas, sin gastar una sola llamada real. El
+ * ejecutor real (`crearEjecutorRealMedido`) es el que cuesta dinero.
+ */
+import type { Api, Model } from "@earendil-works/pi-ai";
+import { type Puntuacion } from "../banco/cargas.ts";
+import { ejecutarCasos } from "../banco/ejecutar.ts";
+import type { CargasResumen, EjecutorMedido, ResultadoCacheDoble, ResultadoCasoMedido, ResultadoHarness, ResumenMetaharness } from "./tipos.ts";
+export declare function resumirCargas(p: Puntuacion): CargasResumen;
+/**
+ * Percentil p (0-100) por interpolación lineal sobre la muestra ORDENADA,
+ * sin dependencias: rango = (p/100)·(n−1); se interpola entre los vecinos
+ * del rango. Con n=1 devuelve el único valor; con muestra vacía, 0. Es la
+ * definición estándar («linear», la de numpy/Excel por defecto): cualquier
+ * otra convención cambiaría los números sin cambiar quién mide.
+ */
+export declare function percentil(valores: number[], p: number): number;
+export declare function resumirMetaharness(resultados: ResultadoCasoMedido[]): ResumenMetaharness;
+/**
+ * Corre los casos por `ejecutarCasos` del banco envolviendo el ejecutor para
+ * capturar cuánto costó cada caso.
+ *
+ * La medida se reserva ANTES de llamar al ejecutor: si el caso muere con un
+ * error, su medida queda en ceros y las posiciones siguen alineadas con
+ * `resultados`. Desalinearse aquí significaría atribuirle al caso N+1 el
+ * coste del caso N.
+ */
+export declare function ejecutarHarness(casos: Parameters<typeof ejecutarCasos>[0], ejecutor: EjecutorMedido, opciones: {
+    proveedor: string;
+    modelo: string;
+    casosArchivo: string;
+}): Promise<ResultadoHarness>;
+/**
+ * Modo cache cold/warm: corre el MISMO banco DOS veces contra el mismo
+ * ejecutor y compara los tokens de prefill. La caché que importa aquí es la
+ * DEL PROVEEDOR: es server-side y se activa por prefijo byte-idéntico
+ * (sistema + tools + mensajes), no por objeto de sesión cliente — por eso
+ * re-ejecutar el banco entero ES la prueba honesta: si el prefijo no es
+ * estable entre corridas, ningún `cacheHit` aparecerá y el aviso lo dirá.
+ *
+ * Acepta un ejecutor o una fábrica (para ejecutores con estado interno que
+ * deba persistir entre pasadas); ambas pasadas usan la MISMA instancia.
+ */
+export declare function ejecutarHarnessColdWarm(casos: Parameters<typeof ejecutarCasos>[0], ejecutorOFabrica: EjecutorMedido | (() => EjecutorMedido), opciones: {
+    proveedor: string;
+    modelo: string;
+    casosArchivo: string;
+}): Promise<ResultadoCacheDoble>;
+/**
+ * Implementación real: el mismo agente de Ada con `read`/`edit`/`write` que
+ * usa el banco, pero midiendo lo que el contrato `EjecutorDeCaso` no mira —
+ * turnos de asistente completos (round trips) y tokens según el `usage` que
+ * reporta el proveedor. Duplica el esqueleto de suscripción del banco porque
+ * esa sesión vive DENTRO de su ejecutor y no hay nada que envolver desde
+ * fuera.
+ */
+export declare function crearEjecutorRealMedido(opciones: {
+    agentDir: string;
+    model?: Model<Api>;
+    timeoutMs: number;
+}): EjecutorMedido;
+//# sourceMappingURL=ejecutar.d.ts.map

package/dist/core/metaharness/ejecutar.d.ts.map

@@ -0,0 +1 @@
+{"version":3,"file":"ejecutar.d.ts","sourceRoot":"","sources":["../../../src/core/metaharness/ejecutar.ts"],"names":[],"mappings":"AAAA;;;;;;;;;;;GAWG;AAGH,OAAO,KAAK,EAAE,GAAG,EAAE,KAAK,EAAE,MAAM,uBAAuB,CAAC;AACxD,OAAO,EAAgB,KAAK,UAAU,EAAE,MAAM,oBAAoB,CAAC;AACnE,OAAO,EAAuB,aAAa,EAAmB,MAAM,sBAAsB,CAAC;AAE3F,OAAO,KAAK,EACX,aAAa,EACb,cAAc,EAEd,mBAAmB,EACnB,mBAAmB,EACnB,gBAAgB,EAChB,kBAAkB,EAClB,MAAM,YAAY,CAAC;AAEpB,wBAAgB,aAAa,CAAC,CAAC,EAAE,UAAU,GAAG,aAAa,CAQ1D;AAOD;;;;;;GAMG;AACH,wBAAgB,SAAS,CAAC,OAAO,EAAE,MAAM,EAAE,EAAE,CAAC,EAAE,MAAM,GAAG,MAAM,CAQ9D;AAED,wBAAgB,kBAAkB,CAAC,UAAU,EAAE,mBAAmB,EAAE,GAAG,kBAAkB,CA4CxF;AAED;;;;;;;;GAQG;AACH,wBAAsB,eAAe,CACpC,KAAK,EAAE,UAAU,CAAC,OAAO,aAAa,CAAC,CAAC,CAAC,CAAC,EAC1C,QAAQ,EAAE,cAAc,EACxB,QAAQ,EAAE;IAAE,SAAS,EAAE,MAAM,CAAC;IAAC,MAAM,EAAE,MAAM,CAAC;IAAC,YAAY,EAAE,MAAM,CAAA;CAAE,GACnE,OAAO,CAAC,gBAAgB,CAAC,CAoC3B;AAED;;;;;;;;;;GAUG;AACH,wBAAsB,uBAAuB,CAC5C,KAAK,EAAE,UAAU,CAAC,OAAO,aAAa,CAAC,CAAC,CAAC,CAAC,EAC1C,gBAAgB,EAAE,cAAc,GAAG,CAAC,MAAM,cAAc,CAAC,EACzD,QAAQ,EAAE;IAAE,SAAS,EAAE,MAAM,CAAC;IAAC,MAAM,EAAE,MAAM,CAAC;IAAC,YAAY,EAAE,MAAM,CAAA;CAAE,GACnE,OAAO,CAAC,mBAAmB,CAAC,CAoB9B;AAED;;;;;;;GAOG;AACH,wBAAgB,uBAAuB,CAAC,QAAQ,EAAE;IACjD,QAAQ,EAAE,MAAM,CAAC;IACjB,KAAK,CAAC,EAAE,KAAK,CAAC,GAAG,CAAC,CAAC;IACnB,SAAS,EAAE,MAAM,CAAC;CAClB,GAAG,cAAc,CA4FjB"}

package/dist/core/metaharness/ejecutar.js

@@ -0,0 +1,249 @@
+/**
+ * Ejecuta el banco contra un `EjecutorMedido` y produce un informe con las
+ * métricas del banco (que se delegan, sin recopiarlas, en
+ * `banco/ejecutar.ts`: tres estados, ficheros temporales, normalización byte
+ * a byte y el resumen de tarea/edición/fantasma/timeout son SUYOS) más la
+ * medida de eficiencia por caso.
+ *
+ * El ejecutor es INYECTABLE por la misma razón que en el banco: los tests
+ * prueban que el harness MIDE — vueltas, tokens, deltas entre configuraciones
+ * — con ejecutores deterministas, sin gastar una sola llamada real. El
+ * ejecutor real (`crearEjecutorRealMedido`) es el que cuesta dinero.
+ */
+import { resolve } from "node:path";
+import { evaluarTodas } from "../banco/cargas.js";
+import { ejecutarCasos, resumirMetricas } from "../banco/ejecutar.js";
+import { estadoDelTurno } from "../turno-vacio/detectar.js";
+export function resumirCargas(p) {
+    return {
+        correctos: p.correctos,
+        corruptos: p.corruptos,
+        rechazados: p.rechazados,
+        rechazadosBien: p.rechazadosBien,
+        total: p.total,
+    };
+}
+function media(valores) {
+    if (valores.length === 0)
+        return 0;
+    return Math.round((valores.reduce((a, b) => a + b, 0) / valores.length) * 10) / 10;
+}
+/**
+ * Percentil p (0-100) por interpolación lineal sobre la muestra ORDENADA,
+ * sin dependencias: rango = (p/100)·(n−1); se interpola entre los vecinos
+ * del rango. Con n=1 devuelve el único valor; con muestra vacía, 0. Es la
+ * definición estándar («linear», la de numpy/Excel por defecto): cualquier
+ * otra convención cambiaría los números sin cambiar quién mide.
+ */
+export function percentil(valores, p) {
+    if (valores.length === 0)
+        return 0;
+    const ordenados = [...valores].sort((a, b) => a - b);
+    const rango = (p / 100) * (ordenados.length - 1);
+    const bajo = Math.floor(rango);
+    const alto = Math.ceil(rango);
+    if (bajo === alto)
+        return ordenados[bajo];
+    return ordenados[bajo] + (rango - bajo) * (ordenados[alto] - ordenados[bajo]);
+}
+export function resumirMetaharness(resultados) {
+    const base = resumirMetricas(resultados);
+    const terminados = resultados.filter((r) => !r.timeout && !r.error);
+    const conMedida = terminados.filter((r) => r.ttftMs > 0 || r.decodeMs > 0);
+    return {
+        ...base,
+        totalVueltas: resultados.reduce((a, r) => a + r.vueltas, 0),
+        vueltasMedias: media(resultados.map((r) => r.vueltas)),
+        totalTokensEntrada: resultados.reduce((a, r) => a + r.tokensEntrada, 0),
+        totalTokensSalida: resultados.reduce((a, r) => a + r.tokensSalida, 0),
+        tokensMediosPorCaso: media(resultados.map((r) => r.tokensEntrada + r.tokensSalida)),
+        latenciaMediaMs: Math.round(media(terminados.map((r) => r.duracionMs))),
+        ttftP50Ms: Math.round(percentil(conMedida.map((r) => r.ttftMs), 50) * 10) / 10,
+        ttftP95Ms: Math.round(percentil(conMedida.map((r) => r.ttftMs), 95) * 10) / 10,
+        decodeP50Ms: Math.round(percentil(conMedida.map((r) => r.decodeMs), 50) * 10) / 10,
+        decodeP95Ms: Math.round(percentil(conMedida.map((r) => r.decodeMs), 95) * 10) / 10,
+        streamVacioFallos: resultados.filter((r) => r.vacio).length,
+        streamVacioFalloPct: base.vacioPct,
+        cacheHitsReportados: resultados.filter((r) => r.cacheHit).length,
+    };
+}
+/**
+ * Corre los casos por `ejecutarCasos` del banco envolviendo el ejecutor para
+ * capturar cuánto costó cada caso.
+ *
+ * La medida se reserva ANTES de llamar al ejecutor: si el caso muere con un
+ * error, su medida queda en ceros y las posiciones siguen alineadas con
+ * `resultados`. Desalinearse aquí significaría atribuirle al caso N+1 el
+ * coste del caso N.
+ */
+export async function ejecutarHarness(casos, ejecutor, opciones) {
+    const medidas = [];
+    const adaptado = {
+        async ejecutar(o) {
+            medidas.push({ vueltas: 0, tokensEntrada: 0, tokensSalida: 0, ttftMs: 0, decodeMs: 0, cacheHit: false });
+            const i = medidas.length - 1;
+            const r = await ejecutor.ejecutar(o);
+            medidas[i] = {
+                vueltas: r.vueltas,
+                tokensEntrada: r.tokensEntrada,
+                tokensSalida: r.tokensSalida,
+                ttftMs: r.ttftMs,
+                decodeMs: r.decodeMs,
+                cacheHit: r.cacheHit,
+            };
+            return r;
+        },
+    };
+    const base = await ejecutarCasos(casos, adaptado, opciones);
+    const resultados = base.resultados.map((r, i) => ({
+        ...r,
+        ...(medidas[i] ?? { vueltas: 0, tokensEntrada: 0, tokensSalida: 0, ttftMs: 0, decodeMs: 0, cacheHit: false }),
+    }));
+    return {
+        version: 1,
+        ejecutadoEn: base.ejecutadoEn,
+        proveedor: base.proveedor,
+        modelo: base.modelo,
+        casosArchivo: base.casosArchivo,
+        resultados,
+        resumen: resumirMetaharness(resultados),
+        // El banco de cargas viaja dentro del mismo informe: es la parte del
+        // bench que NO depende del proveedor (motor puro), así que sirve de
+        // línea base fija para saber que dos informes son comparables entre sí.
+        cargas: resumirCargas(evaluarTodas()),
+    };
+}
+/**
+ * Modo cache cold/warm: corre el MISMO banco DOS veces contra el mismo
+ * ejecutor y compara los tokens de prefill. La caché que importa aquí es la
+ * DEL PROVEEDOR: es server-side y se activa por prefijo byte-idéntico
+ * (sistema + tools + mensajes), no por objeto de sesión cliente — por eso
+ * re-ejecutar el banco entero ES la prueba honesta: si el prefijo no es
+ * estable entre corridas, ningún `cacheHit` aparecerá y el aviso lo dirá.
+ *
+ * Acepta un ejecutor o una fábrica (para ejecutores con estado interno que
+ * deba persistir entre pasadas); ambas pasadas usan la MISMA instancia.
+ */
+export async function ejecutarHarnessColdWarm(casos, ejecutorOFabrica, opciones) {
+    const ejecutor = typeof ejecutorOFabrica === "function" ? ejecutorOFabrica() : ejecutorOFabrica;
+    const cold = await ejecutarHarness(casos, ejecutor, opciones);
+    const warm = await ejecutarHarness(casos, ejecutor, opciones);
+    const deltaTokensPrefill = cold.resumen.totalTokensEntrada - warm.resumen.totalTokensEntrada;
+    const cacheMejora = deltaTokensPrefill > 0;
+    return {
+        cold,
+        warm,
+        deltaTokensPrefill,
+        cacheMejora,
+        ...(cacheMejora
+            ? {}
+            : {
+                aviso: `AVISO anti-autoengaño: la pasada warm NO redujo el prefill (delta=${deltaTokensPrefill} tokens). ` +
+                    `O el proveedor no está sirviendo el prompt desde su caché, o el prefijo no es idéntico entre pasadas. ` +
+                    `No reportes este par cold/warm como evidencia de caché funcionando.`,
+            }),
+    };
+}
+/**
+ * Implementación real: el mismo agente de Ada con `read`/`edit`/`write` que
+ * usa el banco, pero midiendo lo que el contrato `EjecutorDeCaso` no mira —
+ * turnos de asistente completos (round trips) y tokens según el `usage` que
+ * reporta el proveedor. Duplica el esqueleto de suscripción del banco porque
+ * esa sesión vive DENTRO de su ejecutor y no hay nada que envolver desde
+ * fuera.
+ */
+export function crearEjecutorRealMedido(opciones) {
+    return {
+        async ejecutar(o) {
+            // Import perezoso a propósito, igual que `banco/ejecutar.ts`: abrir la
+            // sesión real arrastra el grafo entero del agente, y este módulo también
+            // se usa en los caminos ligeros (comparar/cargas) que no deben pagarlo.
+            const { createAgentSession } = await import("../sdk.js");
+            const { SessionManager } = await import("../session-manager.js");
+            const session = (await createAgentSession({
+                cwd: o.cwd,
+                agentDir: opciones.agentDir,
+                model: opciones.model,
+                tools: ["read", "edit", "write"],
+                sessionManager: SessionManager.inMemory(o.cwd),
+            })).session;
+            const objetivo = resolve(o.cwd, o.rutaFichero);
+            const pendientes = new Map();
+            let tocoFichero = false;
+            let edicionOk = false;
+            let turnoVacio = false;
+            let vueltas = 0;
+            let tokensEntrada = 0;
+            let tokensSalida = 0;
+            let inicio = 0;
+            let primerTokenEn = 0;
+            let ultimoFinEn = 0;
+            let cacheHit = false;
+            const desuscribir = session.subscribe((evento) => {
+                if (evento.type === "message_start" && evento.message.role === "assistant") {
+                    // TTFT: primer message_start de asistente = el proveedor
+                    // empezó a soltar tokens (prefill terminó, decode empieza).
+                    if (primerTokenEn === 0)
+                        primerTokenEn = Date.now();
+                }
+                if (evento.type === "message_end" && evento.message.role === "assistant") {
+                    vueltas++;
+                    ultimoFinEn = Date.now();
+                    const usage = evento.message.usage;
+                    tokensEntrada += usage?.input ?? 0;
+                    tokensSalida += usage?.output ?? 0;
+                    // Solo un dato del proveedor cuenta como hit: NO se infiere.
+                    if ((usage?.cacheRead ?? 0) > 0)
+                        cacheHit = true;
+                    if (estadoDelTurno(evento.message) === "vacio")
+                        turnoVacio = true;
+                }
+                if (evento.type === "tool_execution_start" && (evento.toolName === "edit" || evento.toolName === "write")) {
+                    const args = evento.args;
+                    const cruda = args?.file_path ?? args?.path;
+                    pendientes.set(evento.toolCallId, typeof cruda === "string" ? resolve(o.cwd, cruda) : null);
+                }
+                else if (evento.type === "tool_execution_end") {
+                    const ruta = pendientes.get(evento.toolCallId);
+                    pendientes.delete(evento.toolCallId);
+                    if (ruta !== objetivo)
+                        return;
+                    tocoFichero = true;
+                    if (!evento.isError)
+                        edicionOk = true;
+                }
+            });
+            let expiro = false;
+            // Forma con ejecutor porque la lib del tsconfig del paquete no incluye
+            // Promise.withResolvers (el banco usa el mismo patrón).
+            const presupuesto = new Promise((_aceptar, rechazar) => {
+                setTimeout(() => {
+                    expiro = true;
+                    rechazar(new Error("__timeout__"));
+                }, opciones.timeoutMs);
+            });
+            try {
+                inicio = Date.now();
+                await Promise.race([session.prompt(o.prompt), presupuesto]);
+            }
+            finally {
+                desuscribir();
+                if (expiro)
+                    await session.abort();
+                session.dispose();
+            }
+            return {
+                tocoFichero,
+                edicionOk,
+                turnoVacio,
+                vueltas,
+                tokensEntrada,
+                tokensSalida,
+                ttftMs: primerTokenEn > 0 ? Math.max(0, primerTokenEn - inicio) : 0,
+                decodeMs: primerTokenEn > 0 ? Math.max(0, ultimoFinEn - primerTokenEn) : 0,
+                cacheHit,
+            };
+        },
+    };
+}
+//# sourceMappingURL=ejecutar.js.map

package/dist/core/metaharness/ejecutar.js.map

@@ -0,0 +1 @@
+{"version":3,"file":"ejecutar.js","sourceRoot":"","sources":["../../../src/core/metaharness/ejecutar.ts"],"names":[],"mappings":"AAAA;;;;;;;;;;;GAWG;AAEH,OAAO,EAAE,OAAO,EAAE,MAAM,WAAW,CAAC;AAEpC,OAAO,EAAE,YAAY,EAAmB,MAAM,oBAAoB,CAAC;AACnE,OAAO,EAAuB,aAAa,EAAE,eAAe,EAAE,MAAM,sBAAsB,CAAC;AAC3F,OAAO,EAAE,cAAc,EAAE,MAAM,4BAA4B,CAAC;AAW5D,MAAM,UAAU,aAAa,CAAC,CAAa;IAC1C,OAAO;QACN,SAAS,EAAE,CAAC,CAAC,SAAS;QACtB,SAAS,EAAE,CAAC,CAAC,SAAS;QACtB,UAAU,EAAE,CAAC,CAAC,UAAU;QACxB,cAAc,EAAE,CAAC,CAAC,cAAc;QAChC,KAAK,EAAE,CAAC,CAAC,KAAK;KACd,CAAC;AACH,CAAC;AAED,SAAS,KAAK,CAAC,OAAiB;IAC/B,IAAI,OAAO,CAAC,MAAM,KAAK,CAAC;QAAE,OAAO,CAAC,CAAC;IACnC,OAAO,IAAI,CAAC,KAAK,CAAC,CAAC,OAAO,CAAC,MAAM,CAAC,CAAC,CAAC,EAAE,CAAC,EAAE,EAAE,CAAC,CAAC,GAAG,CAAC,EAAE,CAAC,CAAC,GAAG,OAAO,CAAC,MAAM,CAAC,GAAG,EAAE,CAAC,GAAG,EAAE,CAAC;AACpF,CAAC;AAED;;;;;;GAMG;AACH,MAAM,UAAU,SAAS,CAAC,OAAiB,EAAE,CAAS;IACrD,IAAI,OAAO,CAAC,MAAM,KAAK,CAAC;QAAE,OAAO,CAAC,CAAC;IACnC,MAAM,SAAS,GAAG,CAAC,GAAG,OAAO,CAAC,CAAC,IAAI,CAAC,CAAC,CAAC,EAAE,CAAC,EAAE,EAAE,CAAC,CAAC,GAAG,CAAC,CAAC,CAAC;IACrD,MAAM,KAAK,GAAG,CAAC,CAAC,GAAG,GAAG,CAAC,GAAG,CAAC,SAAS,CAAC,MAAM,GAAG,CAAC,CAAC,CAAC;IACjD,MAAM,IAAI,GAAG,IAAI,CAAC,KAAK,CAAC,KAAK,CAAC,CAAC;IAC/B,MAAM,IAAI,GAAG,IAAI,CAAC,IAAI,CAAC,KAAK,CAAC,CAAC;IAC9B,IAAI,IAAI,KAAK,IAAI;QAAE,OAAO,SAAS,CAAC,IAAI,CAAC,CAAC;IAC1C,OAAO,SAAS,CAAC,IAAI,CAAC,GAAG,CAAC,KAAK,GAAG,IAAI,CAAC,GAAG,CAAC,SAAS,CAAC,IAAI,CAAC,GAAG,SAAS,CAAC,IAAI,CAAC,CAAC,CAAC;AAC/E,CAAC;AAED,MAAM,UAAU,kBAAkB,CAAC,UAAiC;IACnE,MAAM,IAAI,GAAG,eAAe,CAAC,UAAU,CAAC,CAAC;IACzC,MAAM,UAAU,GAAG,UAAU,CAAC,MAAM,CAAC,CAAC,CAAC,EAAE,EAAE,CAAC,CAAC,CAAC,CAAC,OAAO,IAAI,CAAC,CAAC,CAAC,KAAK,CAAC,CAAC;IACpE,MAAM,SAAS,GAAG,UAAU,CAAC,MAAM,CAAC,CAAC,CAAC,EAAE,EAAE,CAAC,CAAC,CAAC,MAAM,GAAG,CAAC,IAAI,CAAC,CAAC,QAAQ,GAAG,CAAC,CAAC,CAAC;IAC3E,OAAO;QACN,GAAG,IAAI;QACP,YAAY,EAAE,UAAU,CAAC,MAAM,CAAC,CAAC,CAAC,EAAE,CAAC,EAAE,EAAE,CAAC,CAAC,GAAG,CAAC,CAAC,OAAO,EAAE,CAAC,CAAC;QAC3D,aAAa,EAAE,KAAK,CAAC,UAAU,CAAC,GAAG,CAAC,CAAC,CAAC,EAAE,EAAE,CAAC,CAAC,CAAC,OAAO,CAAC,CAAC;QACtD,kBAAkB,EAAE,UAAU,CAAC,MAAM,CAAC,CAAC,CAAC,EAAE,CAAC,EAAE,EAAE,CAAC,CAAC,GAAG,CAAC,CAAC,aAAa,EAAE,CAAC,CAAC;QACvE,iBAAiB,EAAE,UAAU,CAAC,MAAM,CAAC,CAAC,CAAC,EAAE,CAAC,EAAE,EAAE,CAAC,CAAC,GAAG,CAAC,CAAC,YAAY,EAAE,CAAC,CAAC;QACrE,mBAAmB,EAAE,KAAK,CAAC,UAAU,CAAC,GAAG,CAAC,CAAC,CAAC,EAAE,EAAE,CAAC,CAAC,CAAC,aAAa,GAAG,CAAC,CAAC,YAAY,CAAC,CAAC;QACnF,eAAe,EAAE,IAAI,CAAC,KAAK,CAAC,KAAK,CAAC,UAAU,CAAC,GAAG,CAAC,CAAC,CAAC,EAAE,EAAE,CAAC,CAAC,CAAC,UAAU,CAAC,CAAC,CAAC;QACvE,SAAS,EACR,IAAI,CAAC,KAAK,CACT,SAAS,CACR,SAAS,CAAC,GAAG,CAAC,CAAC,CAAC,EAAE,EAAE,CAAC,CAAC,CAAC,MAAM,CAAC,EAC9B,EAAE,CACF,GAAG,EAAE,CACN,GAAG,EAAE;QACP,SAAS,EACR,IAAI,CAAC,KAAK,CACT,SAAS,CACR,SAAS,CAAC,GAAG,CAAC,CAAC,CAAC,EAAE,EAAE,CAAC,CAAC,CAAC,MAAM,CAAC,EAC9B,EAAE,CACF,GAAG,EAAE,CACN,GAAG,EAAE;QACP,WAAW,EACV,IAAI,CAAC,KAAK,CACT,SAAS,CACR,SAAS,CAAC,GAAG,CAAC,CAAC,CAAC,EAAE,EAAE,CAAC,CAAC,CAAC,QAAQ,CAAC,EAChC,EAAE,CACF,GAAG,EAAE,CACN,GAAG,EAAE;QACP,WAAW,EACV,IAAI,CAAC,KAAK,CACT,SAAS,CACR,SAAS,CAAC,GAAG,CAAC,CAAC,CAAC,EAAE,EAAE,CAAC,CAAC,CAAC,QAAQ,CAAC,EAChC,EAAE,CACF,GAAG,EAAE,CACN,GAAG,EAAE;QACP,iBAAiB,EAAE,UAAU,CAAC,MAAM,CAAC,CAAC,CAAC,EAAE,EAAE,CAAC,CAAC,CAAC,KAAK,CAAC,CAAC,MAAM;QAC3D,mBAAmB,EAAE,IAAI,CAAC,QAAQ;QAClC,mBAAmB,EAAE,UAAU,CAAC,MAAM,CAAC,CAAC,CAAC,EAAE,EAAE,CAAC,CAAC,CAAC,QAAQ,CAAC,CAAC,MAAM;KAChE,CAAC;AACH,CAAC;AAED;;;;;;;;GAQG;AACH,MAAM,CAAC,KAAK,UAAU,eAAe,CACpC,KAA0C,EAC1C,QAAwB,EACxB,QAAqE;IAErE,MAAM,OAAO,GAAuB,EAAE,CAAC;IACvC,MAAM,QAAQ,GAAmB;QAChC,KAAK,CAAC,QAAQ,CAAC,CAAC;YACf,OAAO,CAAC,IAAI,CAAC,EAAE,OAAO,EAAE,CAAC,EAAE,aAAa,EAAE,CAAC,EAAE,YAAY,EAAE,CAAC,EAAE,MAAM,EAAE,CAAC,EAAE,QAAQ,EAAE,CAAC,EAAE,QAAQ,EAAE,KAAK,EAAE,CAAC,CAAC;YACzG,MAAM,CAAC,GAAG,OAAO,CAAC,MAAM,GAAG,CAAC,CAAC;YAC7B,MAAM,CAAC,GAAG,MAAM,QAAQ,CAAC,QAAQ,CAAC,CAAC,CAAC,CAAC;YACrC,OAAO,CAAC,CAAC,CAAC,GAAG;gBACZ,OAAO,EAAE,CAAC,CAAC,OAAO;gBAClB,aAAa,EAAE,CAAC,CAAC,aAAa;gBAC9B,YAAY,EAAE,CAAC,CAAC,YAAY;gBAC5B,MAAM,EAAE,CAAC,CAAC,MAAM;gBAChB,QAAQ,EAAE,CAAC,CAAC,QAAQ;gBACpB,QAAQ,EAAE,CAAC,CAAC,QAAQ;aACpB,CAAC;YACF,OAAO,CAAC,CAAC;QACV,CAAC;KACD,CAAC;IACF,MAAM,IAAI,GAAG,MAAM,aAAa,CAAC,KAAK,EAAE,QAAQ,EAAE,QAAQ,CAAC,CAAC;IAC5D,MAAM,UAAU,GAA0B,IAAI,CAAC,UAAU,CAAC,GAAG,CAAC,CAAC,CAAC,EAAE,CAAC,EAAE,EAAE,CAAC,CAAC;QACxE,GAAG,CAAC;QACJ,GAAG,CAAC,OAAO,CAAC,CAAC,CAAC,IAAI,EAAE,OAAO,EAAE,CAAC,EAAE,aAAa,EAAE,CAAC,EAAE,YAAY,EAAE,CAAC,EAAE,MAAM,EAAE,CAAC,EAAE,QAAQ,EAAE,CAAC,EAAE,QAAQ,EAAE,KAAK,EAAE,CAAC;KAC7G,CAAC,CAAC,CAAC;IACJ,OAAO;QACN,OAAO,EAAE,CAAC;QACV,WAAW,EAAE,IAAI,CAAC,WAAW;QAC7B,SAAS,EAAE,IAAI,CAAC,SAAS;QACzB,MAAM,EAAE,IAAI,CAAC,MAAM;QACnB,YAAY,EAAE,IAAI,CAAC,YAAY;QAC/B,UAAU;QACV,OAAO,EAAE,kBAAkB,CAAC,UAAU,CAAC;QACvC,qEAAqE;QACrE,oEAAoE;QACpE,wEAAwE;QACxE,MAAM,EAAE,aAAa,CAAC,YAAY,EAAE,CAAC;KACrC,CAAC;AACH,CAAC;AAED;;;;;;;;;;GAUG;AACH,MAAM,CAAC,KAAK,UAAU,uBAAuB,CAC5C,KAA0C,EAC1C,gBAAyD,EACzD,QAAqE;IAErE,MAAM,QAAQ,GAAG,OAAO,gBAAgB,KAAK,UAAU,CAAC,CAAC,CAAC,gBAAgB,EAAE,CAAC,CAAC,CAAC,gBAAgB,CAAC;IAChG,MAAM,IAAI,GAAG,MAAM,eAAe,CAAC,KAAK,EAAE,QAAQ,EAAE,QAAQ,CAAC,CAAC;IAC9D,MAAM,IAAI,GAAG,MAAM,eAAe,CAAC,KAAK,EAAE,QAAQ,EAAE,QAAQ,CAAC,CAAC;IAC9D,MAAM,kBAAkB,GAAG,IAAI,CAAC,OAAO,CAAC,kBAAkB,GAAG,IAAI,CAAC,OAAO,CAAC,kBAAkB,CAAC;IAC7F,MAAM,WAAW,GAAG,kBAAkB,GAAG,CAAC,CAAC;IAC3C,OAAO;QACN,IAAI;QACJ,IAAI;QACJ,kBAAkB;QAClB,WAAW;QACX,GAAG,CAAC,WAAW;YACd,CAAC,CAAC,EAAE;YACJ,CAAC,CAAC;gBACA,KAAK,EACJ,qEAAqE,kBAAkB,YAAY;oBACnG,wGAAwG;oBACxG,qEAAqE;aACtE,CAAC;KACJ,CAAC;AACH,CAAC;AAED;;;;;;;GAOG;AACH,MAAM,UAAU,uBAAuB,CAAC,QAIvC;IACA,OAAO;QACN,KAAK,CAAC,QAAQ,CAAC,CAAC;YACf,uEAAuE;YACvE,yEAAyE;YACzE,wEAAwE;YACxE,MAAM,EAAE,kBAAkB,EAAE,GAAG,MAAM,MAAM,CAAC,WAAW,CAAC,CAAC;YACzD,MAAM,EAAE,cAAc,EAAE,GAAG,MAAM,MAAM,CAAC,uBAAuB,CAAC,CAAC;YACjE,MAAM,OAAO,GAAG,CACf,MAAM,kBAAkB,CAAC;gBACxB,GAAG,EAAE,CAAC,CAAC,GAAG;gBACV,QAAQ,EAAE,QAAQ,CAAC,QAAQ;gBAC3B,KAAK,EAAE,QAAQ,CAAC,KAAK;gBACrB,KAAK,EAAE,CAAC,MAAM,EAAE,MAAM,EAAE,OAAO,CAAC;gBAChC,cAAc,EAAE,cAAc,CAAC,QAAQ,CAAC,CAAC,CAAC,GAAG,CAAC;aAC9C,CAAC,CACF,CAAC,OAAO,CAAC;YAEV,MAAM,QAAQ,GAAG,OAAO,CAAC,CAAC,CAAC,GAAG,EAAE,CAAC,CAAC,WAAW,CAAC,CAAC;YAC/C,MAAM,UAAU,GAAG,IAAI,GAAG,EAAyB,CAAC;YACpD,IAAI,WAAW,GAAG,KAAK,CAAC;YACxB,IAAI,SAAS,GAAG,KAAK,CAAC;YACtB,IAAI,UAAU,GAAG,KAAK,CAAC;YACvB,IAAI,OAAO,GAAG,CAAC,CAAC;YAChB,IAAI,aAAa,GAAG,CAAC,CAAC;YACtB,IAAI,YAAY,GAAG,CAAC,CAAC;YACrB,IAAI,MAAM,GAAG,CAAC,CAAC;YACf,IAAI,aAAa,GAAG,CAAC,CAAC;YACtB,IAAI,WAAW,GAAG,CAAC,CAAC;YACpB,IAAI,QAAQ,GAAG,KAAK,CAAC;YAErB,MAAM,WAAW,GAAG,OAAO,CAAC,SAAS,CAAC,CAAC,MAAM,EAAE,EAAE;gBAChD,IAAI,MAAM,CAAC,IAAI,KAAK,eAAe,IAAI,MAAM,CAAC,OAAO,CAAC,IAAI,KAAK,WAAW,EAAE,CAAC;oBAC5E,yDAAyD;oBACzD,4DAA4D;oBAC5D,IAAI,aAAa,KAAK,CAAC;wBAAE,aAAa,GAAG,IAAI,CAAC,GAAG,EAAE,CAAC;gBACrD,CAAC;gBACD,IAAI,MAAM,CAAC,IAAI,KAAK,aAAa,IAAI,MAAM,CAAC,OAAO,CAAC,IAAI,KAAK,WAAW,EAAE,CAAC;oBAC1E,OAAO,EAAE,CAAC;oBACV,WAAW,GAAG,IAAI,CAAC,GAAG,EAAE,CAAC;oBACzB,MAAM,KAAK,GAAG,MAAM,CAAC,OAAO,CAAC,KAEjB,CAAC;oBACb,aAAa,IAAI,KAAK,EAAE,KAAK,IAAI,CAAC,CAAC;oBACnC,YAAY,IAAI,KAAK,EAAE,MAAM,IAAI,CAAC,CAAC;oBACnC,6DAA6D;oBAC7D,IAAI,CAAC,KAAK,EAAE,SAAS,IAAI,CAAC,CAAC,GAAG,CAAC;wBAAE,QAAQ,GAAG,IAAI,CAAC;oBACjD,IAAI,cAAc,CAAC,MAAM,CAAC,OAAO,CAAC,KAAK,OAAO;wBAAE,UAAU,GAAG,IAAI,CAAC;gBACnE,CAAC;gBACD,IAAI,MAAM,CAAC,IAAI,KAAK,sBAAsB,IAAI,CAAC,MAAM,CAAC,QAAQ,KAAK,MAAM,IAAI,MAAM,CAAC,QAAQ,KAAK,OAAO,CAAC,EAAE,CAAC;oBAC3G,MAAM,IAAI,GAAG,MAAM,CAAC,IAA2D,CAAC;oBAChF,MAAM,KAAK,GAAG,IAAI,EAAE,SAAS,IAAI,IAAI,EAAE,IAAI,CAAC;oBAC5C,UAAU,CAAC,GAAG,CAAC,MAAM,CAAC,UAAU,EAAE,OAAO,KAAK,KAAK,QAAQ,CAAC,CAAC,CAAC,OAAO,CAAC,CAAC,CAAC,GAAG,EAAE,KAAK,CAAC,CAAC,CAAC,CAAC,IAAI,CAAC,CAAC;gBAC7F,CAAC;qBAAM,IAAI,MAAM,CAAC,IAAI,KAAK,oBAAoB,EAAE,CAAC;oBACjD,MAAM,IAAI,GAAG,UAAU,CAAC,GAAG,CAAC,MAAM,CAAC,UAAU,CAAC,CAAC;oBAC/C,UAAU,CAAC,MAAM,CAAC,MAAM,CAAC,UAAU,CAAC,CAAC;oBACrC,IAAI,IAAI,KAAK,QAAQ;wBAAE,OAAO;oBAC9B,WAAW,GAAG,IAAI,CAAC;oBACnB,IAAI,CAAC,MAAM,CAAC,OAAO;wBAAE,SAAS,GAAG,IAAI,CAAC;gBACvC,CAAC;YACF,CAAC,CAAC,CAAC;YAEH,IAAI,MAAM,GAAG,KAAK,CAAC;YACnB,uEAAuE;YACvE,wDAAwD;YACxD,MAAM,WAAW,GAAG,IAAI,OAAO,CAAO,CAAC,QAAQ,EAAE,QAAQ,EAAE,EAAE;gBAC5D,UAAU,CAAC,GAAG,EAAE;oBACf,MAAM,GAAG,IAAI,CAAC;oBACd,QAAQ,CAAC,IAAI,KAAK,CAAC,aAAa,CAAC,CAAC,CAAC;gBACpC,CAAC,EAAE,QAAQ,CAAC,SAAS,CAAC,CAAC;YACxB,CAAC,CAAC,CAAC;YACH,IAAI,CAAC;gBACJ,MAAM,GAAG,IAAI,CAAC,GAAG,EAAE,CAAC;gBACpB,MAAM,OAAO,CAAC,IAAI,CAAC,CAAC,OAAO,CAAC,MAAM,CAAC,CAAC,CAAC,MAAM,CAAC,EAAE,WAAW,CAAC,CAAC,CAAC;YAC7D,CAAC;oBAAS,CAAC;gBACV,WAAW,EAAE,CAAC;gBACd,IAAI,MAAM;oBAAE,MAAM,OAAO,CAAC,KAAK,EAAE,CAAC;gBAClC,OAAO,CAAC,OAAO,EAAE,CAAC;YACnB,CAAC;YACD,OAAO;gBACN,WAAW;gBACX,SAAS;gBACT,UAAU;gBACV,OAAO;gBACP,aAAa;gBACb,YAAY;gBACZ,MAAM,EAAE,aAAa,GAAG,CAAC,CAAC,CAAC,CAAC,IAAI,CAAC,GAAG,CAAC,CAAC,EAAE,aAAa,GAAG,MAAM,CAAC,CAAC,CAAC,CAAC,CAAC;gBACnE,QAAQ,EAAE,aAAa,GAAG,CAAC,CAAC,CAAC,CAAC,IAAI,CAAC,GAAG,CAAC,CAAC,EAAE,WAAW,GAAG,aAAa,CAAC,CAAC,CAAC,CAAC,CAAC;gBAC1E,QAAQ;aACR,CAAC;QACH,CAAC;KACD,CAAC;AACH,CAAC"}

package/dist/core/metaharness/tipos.d.ts

@@ -0,0 +1,142 @@
+/**
+ * Tipos del metaharness: la capa que mide el banco de fiabilidad en términos
+ * de COSTE y EFICIENCIA, no solo de acierto.
+ *
+ * El banco ya separa tarea/edición/fantasma/timeout (ver cabecera de
+ * `banco/tipos.ts`). Lo que le falta para responder "¿la Fase 2 mejoró algo?"
+ * es la otra mitad de la pregunta: a qué precio. Dos configuraciones pueden
+ * empatar al 80% de tarea y una haberlo pagado con el triple de round trips.
+ * Sin vueltas, tokens y latencia junto a cada caso, comparar configuraciones
+ * es volver a la autocertificación — el antipatrón que esto existe para
+ * evitar.
+ *
+ * Todo aquí se MIDE sobre ejecuciones reales o simuladas: ningún número se
+ * declara, todos salen de un `EjecutorMedido`.
+ */
+import type { EjecucionCaso } from "../banco/ejecutar.ts";
+import type { ResultadoCaso, ResumenMetricas } from "../banco/tipos.ts";
+/** Lo que resolver UN caso costó, además de acertar o no. */
+export interface MedidaEficiencia {
+    /**
+     * Round trips: turnos de asistente completos que costó el caso. Un caso
+     * resuelto en 1 vuelta y otro en 7 pueden empatar en tareaOk; el segundo
+     * es siete veces más caro en latencia percibida y suele serlo en tokens.
+     */
+    vueltas: number;
+    /** Tokens de entrada acumulados según el `usage` del proveedor (0 si no lo reportó). */
+    tokensEntrada: number;
+    /** Tokens de salida acumulados según el `usage` del proveedor (0 si no lo reportó). */
+    tokensSalida: number;
+    /**
+     * Milisegundos desde el inicio del turno hasta el PRIMER token del
+     * proveedor (time-to-first-token: la parte que un usuario percibe como
+     * «no hace nada»). 0 si el ejecutor no lo midió — los ejecutores
+     * deterministas de test no hablan con nadie y no tienen stream.
+     */
+    ttftMs: number;
+    /**
+     * Milisegundos desde el primer token hasta el fin del turno: la parte
+     * DECODE. ttft + decode ≈ latencia total; separarlas importa porque un
+     * modelo puede ser rápido en prefill (caché caliente) y lento en decode,
+     * y la media única las mezcla en un número que no describe ninguno de
+     * los dos regímenes.
+     */
+    decodeMs: number;
+    /**
+     * El proveedor sirvió parte del prompt desde su caché (`usage.cacheRead`
+     * > 0). false si no hubo caché o el proveedor no lo reporta — NO se
+     * infiere: afirmar un hit sin dato del proveedor es autocertificación.
+     */
+    cacheHit: boolean;
+}
+/** Lo que produce un ejecutor del metaharness: el contrato del banco más la medida. */
+export type EjecucionMedida = EjecucionCaso & MedidaEficiencia;
+export interface OpcionesEjecucion {
+    cwd: string;
+    rutaFichero: string;
+    prompt: string;
+}
+/** Igual que `EjecutorDeCaso`, pero obligado a declarar cuánto costó. */
+export interface EjecutorMedido {
+    ejecutar(opciones: OpcionesEjecucion): Promise<EjecucionMedida>;
+}
+/** Un caso del banco con su medida de eficiencia al lado. */
+export type ResultadoCasoMedido = ResultadoCaso & MedidaEficiencia;
+export interface ResumenMetaharness extends ResumenMetricas {
+    totalVueltas: number;
+    /** Round trips por caso (media sobre todos los casos). */
+    vueltasMedias: number;
+    totalTokensEntrada: number;
+    totalTokensSalida: number;
+    /** Tokens (entrada+salida) por caso, media sobre todos los casos. */
+    tokensMediosPorCaso: number;
+    /**
+     * Latencia media SOLO de los casos que terminaron (sin timeout ni error):
+     * un caso cortado no dice nada sobre cuánto tarda resolver, dice que no
+     * se dejó de medir.
+     */
+    latenciaMediaMs: number;
+    /**
+     * Percentiles de TTFT y decode SOLO de los casos terminados CON medida
+     * (ttftMs > 0). Percentil por interpolación lineal, sin dependencias.
+     * La media sola miente con colas largas: un p95 de TTFT dice lo que
+     * espera el peor caso de cada 20, que es lo que molesta.
+     */
+    ttftP50Ms: number;
+    ttftP95Ms: number;
+    decodeP50Ms: number;
+    decodeP95Ms: number;
+    /**
+     * Streams vacíos contados como LO QUE SON: FALLOS. Un turno que termina
+     * sin un solo token no es «un caso más» ni un fantasma (el modelo decidió
+     * algo): es una respuesta que no existió. El banco ya lo separa en
+     * `vacioPct`; aquí se REPITE con su lectura de fallo explícita para que
+     * ningún agregado posterior pueda promediarlo como éxito con 0 tokens.
+     */
+    streamVacioFallos: number;
+    streamVacioFalloPct: number;
+    /** Casos donde el proveedor REPORTÓ servir el prompt desde caché. */
+    cacheHitsReportados: number;
+}
+/**
+ * El modo cache cold/warm: el MISMO banco corrido DOS VECES contra el MISMO
+ * ejecutor. Cold = primera pasada (caché del proveedor fría); warm =
+ * re-ejecución (el prefijo sistema+tools+prompt debería venir de caché).
+ *
+ * Anti-autoengaño: si la pasada warm NO reduce los tokens de prefill, el
+ * resultado lo dice EXPLÍCITAMENTE en `aviso` — un benchmark que calla un
+ * warm sin mejora está vendiendo humo, porque esa es justo la condición que
+ * el modo existe para detectar.
+ */
+export interface ResultadoCacheDoble {
+    cold: ResultadoHarness;
+    warm: ResultadoHarness;
+    /**
+     * Tokens de entrada (prefill) totales: cold − warm. POSITIVO significa
+     * que la segunda pasada prefilleó menos tokens = la caché trabajó.
+     */
+    deltaTokensPrefill: number;
+    /** true solo si deltaTokensPrefill > 0: warm prefilleó ESTRICTAMENTE menos. */
+    cacheMejora: boolean;
+    /** Presente (con la explicación) exactamente cuando warm NO mejoró. */
+    aviso?: string;
+}
+/** Resumen del banco de cargas mal formadas (motor puro, sin red) dentro del mismo informe. */
+export interface CargasResumen {
+    correctos: number;
+    corruptos: number;
+    rechazados: number;
+    rechazadosBien: number;
+    total: number;
+}
+export interface ResultadoHarness {
+    version: 1;
+    ejecutadoEn: string;
+    proveedor: string;
+    modelo: string;
+    casosArchivo: string;
+    resultados: ResultadoCasoMedido[];
+    resumen: ResumenMetaharness;
+    cargas: CargasResumen;
+}
+//# sourceMappingURL=tipos.d.ts.map

package/dist/core/metaharness/tipos.d.ts.map

@@ -0,0 +1 @@
+{"version":3,"file":"tipos.d.ts","sourceRoot":"","sources":["../../../src/core/metaharness/tipos.ts"],"names":[],"mappings":"AAAA;;;;;;;;;;;;;;GAcG;AAEH,OAAO,KAAK,EAAE,aAAa,EAAE,MAAM,sBAAsB,CAAC;AAC1D,OAAO,KAAK,EAAE,aAAa,EAAE,eAAe,EAAE,MAAM,mBAAmB,CAAC;AAExE,6DAA6D;AAC7D,MAAM,WAAW,gBAAgB;IAChC;;;;OAIG;IACH,OAAO,EAAE,MAAM,CAAC;IAChB,wFAAwF;IACxF,aAAa,EAAE,MAAM,CAAC;IACtB,uFAAuF;IACvF,YAAY,EAAE,MAAM,CAAC;IACrB;;;;;OAKG;IACH,MAAM,EAAE,MAAM,CAAC;IACf;;;;;;OAMG;IACH,QAAQ,EAAE,MAAM,CAAC;IACjB;;;;OAIG;IACH,QAAQ,EAAE,OAAO,CAAC;CAClB;AAED,uFAAuF;AACvF,MAAM,MAAM,eAAe,GAAG,aAAa,GAAG,gBAAgB,CAAC;AAE/D,MAAM,WAAW,iBAAiB;IACjC,GAAG,EAAE,MAAM,CAAC;IACZ,WAAW,EAAE,MAAM,CAAC;IACpB,MAAM,EAAE,MAAM,CAAC;CACf;AAED,yEAAyE;AACzE,MAAM,WAAW,cAAc;IAC9B,QAAQ,CAAC,QAAQ,EAAE,iBAAiB,GAAG,OAAO,CAAC,eAAe,CAAC,CAAC;CAChE;AAED,6DAA6D;AAC7D,MAAM,MAAM,mBAAmB,GAAG,aAAa,GAAG,gBAAgB,CAAC;AAEnE,MAAM,WAAW,kBAAmB,SAAQ,eAAe;IAC1D,YAAY,EAAE,MAAM,CAAC;IACrB,0DAA0D;IAC1D,aAAa,EAAE,MAAM,CAAC;IACtB,kBAAkB,EAAE,MAAM,CAAC;IAC3B,iBAAiB,EAAE,MAAM,CAAC;IAC1B,qEAAqE;IACrE,mBAAmB,EAAE,MAAM,CAAC;IAC5B;;;;OAIG;IACH,eAAe,EAAE,MAAM,CAAC;IACxB;;;;;OAKG;IACH,SAAS,EAAE,MAAM,CAAC;IAClB,SAAS,EAAE,MAAM,CAAC;IAClB,WAAW,EAAE,MAAM,CAAC;IACpB,WAAW,EAAE,MAAM,CAAC;IACpB;;;;;;OAMG;IACH,iBAAiB,EAAE,MAAM,CAAC;IAC1B,mBAAmB,EAAE,MAAM,CAAC;IAC5B,qEAAqE;IACrE,mBAAmB,EAAE,MAAM,CAAC;CAC5B;AAED;;;;;;;;;GASG;AACH,MAAM,WAAW,mBAAmB;IACnC,IAAI,EAAE,gBAAgB,CAAC;IACvB,IAAI,EAAE,gBAAgB,CAAC;IACvB;;;OAGG;IACH,kBAAkB,EAAE,MAAM,CAAC;IAC3B,+EAA+E;IAC/E,WAAW,EAAE,OAAO,CAAC;IACrB,uEAAuE;IACvE,KAAK,CAAC,EAAE,MAAM,CAAC;CACf;AAED,+FAA+F;AAC/F,MAAM,WAAW,aAAa;IAC7B,SAAS,EAAE,MAAM,CAAC;IAClB,SAAS,EAAE,MAAM,CAAC;IAClB,UAAU,EAAE,MAAM,CAAC;IACnB,cAAc,EAAE,MAAM,CAAC;IACvB,KAAK,EAAE,MAAM,CAAC;CACd;AAED,MAAM,WAAW,gBAAgB;IAChC,OAAO,EAAE,CAAC,CAAC;IACX,WAAW,EAAE,MAAM,CAAC;IACpB,SAAS,EAAE,MAAM,CAAC;IAClB,MAAM,EAAE,MAAM,CAAC;IACf,YAAY,EAAE,MAAM,CAAC;IACrB,UAAU,EAAE,mBAAmB,EAAE,CAAC;IAClC,OAAO,EAAE,kBAAkB,CAAC;IAC5B,MAAM,EAAE,aAAa,CAAC;CACtB"}

package/dist/core/metaharness/tipos.js

@@ -0,0 +1,17 @@
+/**
+ * Tipos del metaharness: la capa que mide el banco de fiabilidad en términos
+ * de COSTE y EFICIENCIA, no solo de acierto.
+ *
+ * El banco ya separa tarea/edición/fantasma/timeout (ver cabecera de
+ * `banco/tipos.ts`). Lo que le falta para responder "¿la Fase 2 mejoró algo?"
+ * es la otra mitad de la pregunta: a qué precio. Dos configuraciones pueden
+ * empatar al 80% de tarea y una haberlo pagado con el triple de round trips.
+ * Sin vueltas, tokens y latencia junto a cada caso, comparar configuraciones
+ * es volver a la autocertificación — el antipatrón que esto existe para
+ * evitar.
+ *
+ * Todo aquí se MIDE sobre ejecuciones reales o simuladas: ningún número se
+ * declara, todos salen de un `EjecutorMedido`.
+ */
+export {};
+//# sourceMappingURL=tipos.js.map

package/dist/core/metaharness/tipos.js.map

@@ -0,0 +1 @@
+{"version":3,"file":"tipos.js","sourceRoot":"","sources":["../../../src/core/metaharness/tipos.ts"],"names":[],"mappings":"AAAA;;;;;;;;;;;;;;GAcG"}

package/dist/core/model-config.d.ts

@@ -17,10 +17,6 @@ declare const ModelDefinitionSchema: Type.TObject<{
     }>>;
     input: Type.TOptional<Type.TArray<Type.TUnion<[Type.TLiteral<"text">, Type.TLiteral<"image">]>>>;
     cost: Type.TOptional<Type.TObject<{
-        input: Type.TNumber;
-        output: Type.TNumber;
-        cacheRead: Type.TNumber;
-        cacheWrite: Type.TNumber;
         tiers: Type.TOptional<Type.TArray<Type.TObject<{
             input: Type.TNumber;
             output: Type.TNumber;
@@ -28,6 +24,10 @@ declare const ModelDefinitionSchema: Type.TObject<{
             cacheWrite: Type.TNumber;
             inputTokensAbove: Type.TNumber;
         }>>>;
+        input: Type.TNumber;
+        output: Type.TNumber;
+        cacheRead: Type.TNumber;
+        cacheWrite: Type.TNumber;
     }>>;
     contextWindow: Type.TOptional<Type.TNumber>;
     maxTokens: Type.TOptional<Type.TNumber>;
@@ -339,10 +339,6 @@ declare const ProviderConfigSchema: Type.TObject<{
         }>>;
         input: Type.TOptional<Type.TArray<Type.TUnion<[Type.TLiteral<"text">, Type.TLiteral<"image">]>>>;
         cost: Type.TOptional<Type.TObject<{
-            input: Type.TNumber;
-            output: Type.TNumber;
-            cacheRead: Type.TNumber;
-            cacheWrite: Type.TNumber;
             tiers: Type.TOptional<Type.TArray<Type.TObject<{
                 input: Type.TNumber;
                 output: Type.TNumber;
@@ -350,6 +346,10 @@ declare const ProviderConfigSchema: Type.TObject<{
                 cacheWrite: Type.TNumber;
                 inputTokensAbove: Type.TNumber;
             }>>>;
+            input: Type.TNumber;
+            output: Type.TNumber;
+            cacheRead: Type.TNumber;
+            cacheWrite: Type.TNumber;
         }>>;
         contextWindow: Type.TOptional<Type.TNumber>;
         maxTokens: Type.TOptional<Type.TNumber>;