@zhivex-ai/harness 1.0.0-rc.7 → 1.0.0

package/docs/reports/HARNESS_REMEDIATION_2026-09-09.md

@@ -0,0 +1,74 @@
+# Cierre de implementación de la auditoría del harness
+
+> Historical snapshot: versions, findings and measurements below describe the recorded run, not the current checkout. See the [report index](README.md) for follow-up work and the [documentation index](../README.md) for maintained guides.
+
+Las correcciones pertenecen al harness y utilizan las versiones del SDK instaladas
+(Core 1.14.0 / Agents 1.4.0). No se modificó el SDK ni se abrió una HU nueva.
+La evidencia original permanece en `harness-audit-2026-09-09.json`; la nueva está
+separada en `harness-remediation-2026-09-09.json`.
+
+| Hallazgo | Implementación | Regresión principal |
+| --- | --- | --- |
+| H01 | Deadline y cancelación en aprobaciones/importación; lease renovable, revisión del estado, checkpoints y rollback de publicación | Cancelar antes, durante, después del verificador y durante publicación; conflicto/pérdida de lease |
+| H02 | Apertura sin symlinks en toda la ruta, macOS y Linux | Intercalado de sustitución del ancestro; descriptor probe en Node/Bun macOS y Node Linux |
+| H03 | Fuente completa de requisitos en metadata durable, `read_task`, plan acotado y continuidad entre turnos | Compactación real del SDK y aprobación/reanudación conservando criterio final y redacción |
+| H04 | Límite agregado de búsquedas, continuación y límite por turno del perfil repair | Recorrer todas las páginas sin perder coincidencias; presupuesto serializado |
+| H05 | Cobertura incompleta y motivos tipados de omisión | Archivo demasiado grande con única coincidencia no se presenta como ausencia concluyente |
+| H06 | Instrucciones por catálogo/backend; búsqueda de archivo exacto | Herramientas ausentes no instruidas; memoria permitida por la política OCI |
+| H07 | Audit privado por run sobrevive reacquisición | Registro previo conservado junto al parche OCI |
+| H08 | Hashes de evidencia/solapamiento, observaciones de solo lectura y cupos de cierre durables | Inspeccionar no resetea duplicados; cambiar texto de consulta no oculta misma evidencia; reanudar no renueva cupos |
+| H09 | `agentProfile: repair` compartido, CLI/config/resume y recuperación acotada | Perfil real con compactación, aprobación y recuperación de verificador |
+| H10 | Captura privada de candidato; checkout y grading independiente | Digest, rutas, aislamiento del host y filtros Git externos rechazados |
+| H11 | Diagnósticos tipados, herramientas solicitadas, etapas y tiempos | Fallos de parsing sin payload, ausencia de usage explícita y timings de fallo |
+
+También se corrigió la pérdida de `maxSteps` entre rondas de aprobación. La
+regresión observacional conserva `requestedMaxSteps=1` y ahora ejecuta una sola
+petición al modelo. Agotar ese límite sigue siendo un resultado fallido, no éxito.
+
+En el fixture de búsqueda de la auditoría, el resultado bajó de 310975 a 28618
+caracteres (~90,8%), con paginación explícita. Es una reducción de ese payload,
+no una medición de reducción general de tokens o mejora del score live.
+
+## Validación y límites
+
+Las pruebas ejercitan SDK publicado, stores, aprobación, snapshots, importación
+y rollback reales; en las regresiones de cancelación se simula únicamente el
+proceso OCI. El smoke OCI adicional usa Docker real y los smokes MCP usan el
+servidor local, incluido el SDK oficial. El descriptor probe ejecuta el mismo
+helper de producción en macOS y Linux.
+
+La política repair es opt-in: `--agent-profile repair`, o `agentProfile: "repair"`.
+El benchmark usa ese mismo perfil. El perfil strict sigue disponible. La nueva
+estrategia cambia la huella de compatibilidad: no se reinterpreta una aprobación
+pausada emitida por otro artifact/perfil.
+
+Queda por medir eficacia con modelos reales: una campaña nueva debe congelar
+fuentes, imágenes, catálogo, límites y preflight, hacer ablaciones y usar holdout
+con repeticiones. No se ejecutaron nuevas llamadas pagas ni se modificaron scores
+históricos. Las pruebas locales no establecen superioridad frente a un externo.
+
+Los límites operativos se documentan en CONTEXT_ENGINEERING.md,
+REPOSITORY_EDITING.md y EXTERNAL_COMPARISON.md: el presupuesto por fase no garantiza
+una fracción exacta de tokens; el audit no es una transacción ACID de filesystem;
+y la protección de lecturas no certifica todas las carreras de publicación.
+
+## Resultado de los checks
+
+- Suite completa: **485 tests, 0 fallos, 58 archivos**. Tras ajustar tipos de los
+  fixtures, se repitieron las 23 regresiones de auditoría/verificador: todas verdes.
+- TypeScript del producto, scripts modificados y nuevos tests: sin errores.
+- Documentación, contratos públicos y firmas: pasan; el gate de preparación sigue
+  mostrando su blocker de GA preexistente, no se declara un release GA.
+- Migraciones publicadas 0.10.0/0.11.1: pasan. Evaluaciones determinísticas: **7/7**.
+- Benchmarks CI de workspace y safe-fix e integridad de imagen: pasan.
+- Smokes MCP controlado y SDK oficial: pasan con puertos locales autorizados.
+- Smoke OCI real: pasa con Docker 29.7.2. Descriptor seguro: Node/Bun en macOS y
+  Node 24 en Linux, sin red en el contenedor.
+- Paquete reconstruido e instalado como consumidor Node/Bun: pasa para rc.13.
+- `git diff --check`: sin errores. No se hizo commit, push ni publicación.
+
+El comando compuesto `bun run check` llegó hasta MCP y encontró la restricción de
+puertos del sandbox. Los smokes restantes se ejecutaron por separado con el
+acceso local necesario; no se interpreta ese fallo del sandbox como suite verde
+ni como defecto del producto. El smoke de paquete también necesitó acceso al
+caché/directorio temporal de Bun.

package/docs/reports/HARNESS_REMEDIATION_2026-09-10.md

@@ -0,0 +1,90 @@
+# Harness: implementación de la revisión completa
+
+> Historical snapshot: versions, findings and measurements below describe the recorded run, not the current checkout. See the [report index](README.md) for follow-up work and the [documentation index](../README.md) for maintained guides.
+
+Esta implementación continúa la [revisión del 10 de septiembre](./FULL_HARNESS_REVIEW_2026-09-10.md)
+y conserva los cambios locales anteriores. La revisión original es evidencia
+histórica; sus resultados no describen el runtime modificado.
+
+## Cambios implementados
+
+| Hallazgo | Resultado |
+| --- | --- |
+| F01: colisiones MCP | Registro central de nombres locales, incluso herramientas deshabilitadas; rechazo antes del ensamblado. |
+| F02: reserva de cierre | Previsión del contexto completo, separación trabajo/cierre, contabilidad durable y rechazo de consumo desconocido. Cap de salida cuando el transporte lo admite. |
+| F03: cierre dependiente del modelo | Controlador durable: candidato, verificador registrado, llamada automática por el flujo normal de aprobación, recuperación acotada y rechazo de finales sin verificar. |
+| F04: alcance por lote | Cada `files[].path` normalizado se compara con el plan durante el cierre antes de leer. |
+| F05: compacción que crece | Resumen acotado en el prompt; fuentes completas fuera del prompt, conservadas por la CLI en metadata. |
+| F06: SSE incorrecto | Unión de líneas dentro de cada evento y correlación por id; rechazo de respuestas ambiguas o ausentes. |
+| F07: deuda de tipos | `tsconfig.tooling.json` compila src/scripts/tests; corregidos los 200 diagnósticos originales e incluido el gate en `check`/CI. |
+| F08: paquete incoherente | Baselines públicos incluidos, auditorías de desarrollo excluidas y enlaces internos comprobados contra los bytes del tarball. |
+
+Se extrajeron módulos para controlador, checkpoints, registro de herramientas,
+políticas y diagnóstico. El registro de comprobaciones relaciona propósito,
+digest de argumentos, revisión, candidato y resultado. Una proyección acotada de
+la tarea y el estado se añade automáticamente a cada petición real.
+
+`runs inspect <runId>` muestra fase y consumo; `--json` añade diagnóstico y
+manifest efectivo sanitizados. La reanudación conserva métricas acumuladas.
+Las políticas del padre y los hijos comparten la misma factoría de presupuestos;
+el manifest identifica sus diferencias y el entorno OCI también se propaga a
+los grupos de revisión. Las pruebas comprueban consumo agregado de hijos.
+
+Los rechazos tipados del verificador se pueden recuperar tanto en el import del
+parche existente como en la transacción de edición y verificación. Cada intento
+necesita autorización nueva. Los efectos parciales se reinspeccionan y siguen
+siendo una obligación pendiente; una cancelación no importa el candidato.
+
+## Límites explícitos
+
+- La previsión de tokens es heurística. Qwen Responses no admite `maxTokens`:
+  se conserva la ruta elegida y se expone `outputCapApplied: false`. Qwen Chat
+  explícito sí recibe el cap. Qwen con razonamiento activo recibe un catálogo
+  restringido con selección automática, porque rechaza herramientas forzadas
+  por nombre. Los contratos se probaron con el adapter publicado y HTTP inyectado.
+- Un checkpoint `running` abandonado no demuestra contabilidad completa después
+  de una caída: se bloquea gasto nuevo. Una pausa de aprobación con contabilidad
+  completa puede reanudarse. No se presenta persistencia de facturación como una
+  transacción atómica con el proveedor.
+- El propósito del verificador y su exit code no prueban cobertura semántica del
+  requisito. La evaluación independiente sigue siendo necesaria.
+- Los hijos gestionados directamente por el SDK usan los guardrails compartidos,
+  pero no el scheduler de cierre del run principal. El manifest lo declara;
+  no se afirma paridad de reparación entre todas las rutas del SDK.
+- La API de compacción que devuelve un array conserva las fuentes por referencia
+  dentro del proceso. Al serializar el array por separado, el consumidor debe
+  conservar también `zhivexTaskSources`; la CLI ya lo hace.
+
+## Evidencia y release
+
+La validación abarca tests determinísticos, tipos estrictos, contratos,
+migraciones, evaluación 7/7, benchmarks offline, MCP loopback y servidor oficial,
+Docker real, build, consumidor instalado y comprobación del artefacto.
+El gate completo pasó con 511 tests; después pasó la suite de 27 regresiones
+con la transacción combinada añadida y el test de estado final del stream.
+El tarball final pasó el control de contenido y enlaces internos.
+
+Las trayectorias nuevas incluyen candidato temprano, pausa, denegación,
+cancelación, corrección de un verificador fallido, final no verificado, escritura
+parcial, uso desconocido, alcance por lote y SSE fragmentado/ambiguo.
+
+Se midió OCI con 100 archivos de fixture, tres repeticiones y un calentamiento.
+El primer comando tuvo p50 310,27 ms; seis comandos reutilizados tuvieron p50
+112,71 ms. El escenario registró un inicio de contenedor, cuatro reutilizaciones,
+cinco publicaciones y una exportación de workspace. Es una medición local
+pequeña, no un p99 representativo ni una comparación causal con otro release.
+[Resultado completo](../../benchmarks/baselines/oci-remediation-2026-09-10.json).
+
+El [protocolo de experimentos](../../evaluations/repair-controller-experiment.json)
+predeclara ablaciones de una variable, identidad del artefacto y una cohorte
+nueva separada de las cinco tareas históricas. No se ejecutó una nueva campaña
+live de modelos y no se afirma mejora de tasa de resolución a partir de mocks.
+
+El registry público consultado sigue ofreciendo Core 1.14.0 y Agents 1.4.0;
+la corrección local de herramientas desconocidas del SDK no tiene un artefacto
+posterior publicado para integrar. Se mantienen esas dependencias verificadas.
+
+La revisión humana de seguridad continúa pendiente en el ledger. Esta
+implementación no cambia esa decisión ni certifica GA. El fingerprint de runtime
+cambia: las aprobaciones pausadas del artefacto anterior necesitan ese artefacto
+para terminarse o denegarse. No se hizo commit, push, tag ni publicación.

package/docs/reports/MODEL_COMPARISON_2026-09-09.md

@@ -0,0 +1,184 @@
+# Frozen model comparison and verifier recovery
+
+> Historical snapshot: versions, findings and measurements below describe the recorded run, not the current checkout. See the [report index](README.md) for follow-up work and the [documentation index](../README.md) for maintained guides.
+
+The controlled development comparison started on September 8 and finished on
+September 9, 2026 (Argentina time). It repeats the five previously inspected
+SWE-bench Verified cases, with one attempt per candidate and model configuration.
+It does not establish holdout performance or model-quality causality.
+
+## Frozen comparison
+
+Both matrices used identical hashes for all 52 implementation files, verified
+against the checkout and each archived source snapshot after completion. Tasks,
+images, budgets, native tool inventory, compaction and verification policy were
+unchanged across providers. Both matrices ran concurrently on the same host;
+latency is not a controlled comparison.
+
+| Configuration | Zhivex resolved | mini-SWE-agent resolved | Zhivex input tokens | mini input tokens |
+| --- | ---: | ---: | ---: | ---: |
+| OpenAI `gpt-5.6-luna`, low reasoning, Responses | 1/5 | 3/5 | 419,336 | 309,274 |
+| Qwen `qwen3.8-flash`, thinking disabled, Chat Completions | 0/5 | 2/5 | 524,135 | 371,119 |
+
+All 20 samples have complete usage, no missing samples and no grading failures.
+Totals include unresolved attempts. No price rates were supplied. Limits per
+attempt were 24 steps, 2,048 output tokens per response, 100,000 cumulative input
+tokens, 16,000 cumulative output tokens and 300 seconds. A response can cross the
+cumulative ceiling before the next request is blocked.
+
+Native verified import was mandatory for both providers. Mini retained its
+upstream submission loop for both providers; native and external tools are not
+identical. The configuration bundles model, reasoning and API transport, so the
+experiment isolates the harness version but does not isolate those three factors.
+
+### Observed failure boundaries
+
+- Qwen: all five native attempts exhausted the input budget and exported no patch.
+- OpenAI: three native attempts exhausted the input budget. Scikit-learn 14141
+  resolved. Django 11265 reached a verifier failure, exit code 1, and did not import.
+- The OpenAI Django verifier exit was identified by an exact SHA-256 match of the
+  runtime-generated failure message; the specific assertion/command output was
+  not retained, so the cause of that verifier failure remains unknown.
+- Some SDK guardrail stops return `status: failed` with a null top-level `failure`.
+  Interpretation uses the status, typed guardrail and terminal diagnostics together;
+  a null failure string is not evidence of success.
+- Empty patches count as unresolved without executing hidden tests.
+
+The frozen result supports prioritizing context consumption. Reducing the
+compaction threshold alone did not prevent repeated exploration. It does not
+support blaming Qwen's adapter for the five budget stops or claiming that an
+untested model such as Muse would fix them.
+
+Sanitized evidence: [OpenAI](../../benchmarks/baselines/external-matched-openai-2026-09-08.json)
+and [Qwen](../../benchmarks/baselines/external-matched-qwen-2026-09-08.json).
+Local source snapshots and official grading artifacts are in
+`results/swebench/matched-{openai,qwen}-2026-09-08/`.
+
+## Isolated verifier recovery
+
+After both frozen matrices completed, the harness gained an optional
+`runHarness` setting, `maxTerminalVerificationRetries` (integer 0–3, default 0).
+The external driver enables two corrections. Only a typed failure from
+`verify_and_apply_environment_patch`, with a normal positive exit code below 124,
+is eligible. Reserved/signal exits, timeouts, cancellation, authorization failures
+and indeterminate durable executions remain terminal. Failed verification never
+imports a patch. Each corrected call requires a fresh content-bound approval.
+
+The failed attempt is journaled and returned as an error observation with a typed
+exit code and instructions to diagnose the failure. The retry count is derived
+from persisted failure receipts, so restarting an approval continuation cannot
+reset it. No raw verifier logs are added to diagnostic telemetry.
+
+Seven deterministic regressions exercise correction and successful import, retry
+exhaustion, exhaustion after durable resume, the unchanged default behavior,
+timeout, cancellation and output-limit termination. Existing terminal denial and
+stale-digest tests remain in place. These fixtures establish the recovery mechanism,
+not competitive repair quality.
+
+A separate four-attempt OpenAI development ablation was predeclared: Django 11265
+(the observed verifier failure) and scikit-learn 14141 (the resolved control), each
+with native and unchanged external candidates. Only the verifier-recovery source
+and its driver opt-in changed; model, budgets and context settings stayed fixed.
+The selection deliberately uses inspected results.
+
+| Candidate | Frozen baseline, same two tasks | Recovery enabled |
+| --- | ---: | ---: |
+| Zhivex | 1/2 | 1/2 |
+| mini-SWE-agent | 1/2 | 1/2 |
+
+All four attempts completed with full usage and no grading failures. All 52
+treatment hashes matched checkout and archive; exactly `src/harness.ts` and
+`scripts/swebench/zhivex-driver.ts` differed from the frozen implementation.
+Scikit-learn 14141 still resolved. The native Django attempt consumed 102,877
+input tokens in 15 model calls, ending on the input budget during exploration.
+It never called the verifier, so this run did not exercise live recovery and
+does not demonstrate a resolution improvement. The unchanged external candidate
+also resolved only scikit-learn. A zero paired difference on two selected cases
+is not evidence of general equivalence.
+
+The [sanitized ablation](../../benchmarks/baselines/external-verifier-recovery-2026-09-09.json)
+preserves all four samples. Local artifacts are under
+`results/swebench/verifier-recovery-openai-2026-09-09/`.
+
+Validation: 453 tests passed, including the seven recovery regressions. Contracts,
+types, docs, migrations, deterministic evaluations and local benchmarks passed.
+The aggregate check reached the sandbox's local-port restriction at MCP; MCP
+(controlled and official), real OCI and installed-package smokes subsequently
+passed with the required escalation. The correction fixture was additionally
+rerun with distinct verifier argv, confirming a fresh approval for the corrected
+command. No commit, push or release was performed.
+
+## SDK follow-up
+
+Update: published Core 1.14.0 and Agents 1.4.0 have now been installed in the
+harness. The native driver explicitly enables `validationErrorMode: "tool-result"`.
+Consumer regressions confirm correction, bounded errors, sanitized issue paths,
+and approval continuation with complete usage. The historical failure below
+describes Core 1.13.0; the frozen live results above predate this upgrade and are
+not measurements of the new SDK.
+
+Core 1.13.0 independently reproduces a fatal schema-validation error despite
+`toolExecution.stopOnError: false`: the validation occurs before the recoverable
+execution loop. No invalid tool is executed, but the model cannot correct its
+arguments within that loop. A mock model reproduced this without HTTP or Qwen.
+
+The [SDK story in Zhivex](https://app.notion.com/p/3d6777b104f681138a37c547a6db3bd5)
+requests explicit, bounded provider-neutral validation recovery, zero execution of
+invalid arguments, preserved approval/guardrail boundaries and paired tool history.
+It includes a runnable reproduction and acceptance criteria. It is separate from
+the already-completed Responses parser story. No SDK package or schema was patched
+locally to bypass the validation.
+
+## Qwen rerun with Core 1.14 and progress controls
+
+The predeclared ten-attempt development rerun used the same five tasks, image
+digests, Qwen 3.8 Flash with thinking disabled, and unchanged budgets. It combined
+Core 1.14.0 / Agents 1.4.0 schema recovery, compaction v3, progress controls and
+bounded terminal-verifier recovery. Qwen remained 0.11.4. Individual effects are
+not isolated, and this inspected cohort is not a fresh holdout.
+
+| Candidate | Previous matched Qwen run | Updated run | Recorded input tokens |
+| --- | ---: | ---: | ---: |
+| Zhivex | 0/5 | 0/5 | 493,929, incomplete |
+| mini-SWE-agent | 2/5 | 2/5 | 366,258, complete |
+
+All ten attempts were recorded with no grading infrastructure failures. All 54
+implementation hashes matched both checkout and archived snapshot. Nine attempts
+had complete usage. Native SymPy failed after ten model requests, with usage from
+only nine responses; its recorded 61,527 input tokens are a lower bound. The
+native aggregate therefore cannot establish token or cost savings against the
+previous 524,135 complete input tokens. Monetary costs remain unknown.
+
+The new SDK recovery was exercised live twice: invalid `read_files` arguments
+at scikit-learn 10908 step 3 and invalid `search_many` arguments at Django 15554
+step 10 became error observations followed by successful calls of the same tool.
+Neither ended the run. Four native attempts instead exhausted the input budget;
+SymPy ended with `EXECUTION_FAILED` and fingerprint
+`3eba321b9573f380146626281ff9c8da1b22d77e355a18047e3a62394c9c5afe`.
+The sanitized evidence does not identify its underlying cause or establish SDK
+ownership. No additional SDK story is justified by that fingerprint alone.
+
+All five native patches were empty and no native attempt reached terminal
+verification. Closure activated in four runs but blocked only one broad call.
+There were zero repeated-result detections or suppressions. This shows why exact
+duplicate suppression did not address this run's exploration pattern: distinct
+reads, scoped searches and commands continued to consume the remaining budget.
+Verifier recovery was not exercised and cannot explain this result.
+
+Across the 66 native requests, context instrumentation counted 674,906 tool-result
+characters, 437,514 tool-definition characters, 298,848 system characters, 196,028
+assistant characters and 68,341 user characters. No definitions or measurements
+were omitted. These are cumulative provider-neutral serialization sizes, not
+billed-token attribution. They identify repeated tool schemas and retained tool
+results as concrete surfaces to measure in a later ablation.
+
+The next harness experiment should constrain exploration across distinct reads
+and shell commands, require a repair hypothesis earlier, and measure a smaller
+phase-specific tool catalog. It must preserve approval and verification controls.
+The current result does not demonstrate improved repair quality or competitiveness.
+
+The [sanitized rerun](../../benchmarks/baselines/external-qwen-sdk-114-progress-2026-09-09.json)
+contains the protocol, all ten samples, source hashes and analysis. Raw local
+artifacts are under `results/swebench/qwen-sdk-114-progress-2026-09-09/`.
+This follow-up changed evidence and documentation only; the implementation stayed
+frozen throughout the matrix.

package/docs/reports/QWEN_REMEDIATION_COMPARISON_2026-09-09.md

@@ -0,0 +1,142 @@
+# Reevaluación de Qwen tras las mejoras del harness — 2026-09-09
+
+> Historical snapshot: versions, findings and measurements below describe the recorded run, not the current checkout. See the [report index](README.md) for follow-up work and the [documentation index](../README.md) for maintained guides.
+
+La [revisión estructural posterior](HARNESS_ARCHITECTURE_REVIEW_2026-09-09.md)
+contrasta estas trazas con el controlador y añade reproductores offline de los
+problemas pendientes. No modifica los resultados congelados de esta corrida.
+
+Zhivex terminó con **0/10 reparaciones entregadas**, frente a **4/10 de
+mini-SWE-agent**. Las mejoras no aumentaron la tasa final respecto de la corrida
+anterior (0/5 frente a 2/5). La captura independiente detectó tres parches
+correctos de Zhivex que quedaron sin verificar ni importar al agotarse el
+presupuesto. No cuentan como éxitos finales ni como mejora frente a una
+medición anterior que no capturaba ese dato.
+
+## Diseño y evidencia
+
+- Modelo solicitado: `qwen3.8-flash`, proveedor Qwen, endpoint internacional de
+  DashScope, Chat Completions, thinking desactivado en ambos candidatos.
+- SWE-bench Verified, revisión `c104f840cc67f8b6eec6f759ebc8b2693d585d4a`:
+  cinco tareas conocidas, dos repeticiones por candidato, veinte intentos.
+  Es una reevaluación de desarrollo; no es un nuevo holdout ni veinte tareas
+  independientes. No permite afirmar superioridad general ni aislar causalmente
+  el efecto de cada mejora.
+- Harness `1.0.0-rc.13`, Core `1.14.0`, Agents `1.4.0`, Qwen `0.11.4`;
+  mini-SWE-agent `2.4.6`, evaluador SWE-bench `4.1.0`.
+- Límites: 24 pasos, 2.048 tokens de salida por respuesta, 100.000 de entrada
+  acumulada, 16.000 de salida acumulada, 300 segundos, 2 CPU y 2.048 MiB.
+  El límite acumulado se comprueba entre peticiones y puede sobrepasarse en una
+  respuesta. Los límites de herramientas y pasos no son idénticos entre loops.
+- Ambos usan las mismas imágenes de tarea, sin red dentro del contenedor.
+  Zhivex usa raíz de solo lectura, `/workspace`, aprobaciones automáticas del
+  operador y cierre con verificación/importación; mini conserva su loop y
+  `/testbed` escribible. El perfil repair limita salida OCI a 20.000 bytes;
+  el adaptador mini recorta a 100.000 caracteres. Son diferencias declaradas.
+- Preflight aprobado en cinco imágenes, sin llamadas al modelo. Veinte
+  muestras únicas, ninguna faltante ni fallo de evaluación. Uso completo en
+  las veinte. Los 60 hashes de fuentes coinciden con el checkout y la copia
+  archivada al terminar: no se modificó el runtime durante la comparación.
+
+La [baseline pública](../../benchmarks/baselines/external-qwen-remediation-2026-09-09.json)
+conserva configuración, hashes, métricas y diagnósticos sanitizados. Los parches,
+predicciones y logs oficiales permanecen en el directorio local ignorado
+`results/swebench/qwen-remediation-2026-09-09/`.
+
+## Resultados
+
+| Tarea | Zhivex final | Zhivex candidato correcto | Mini final |
+| --- | ---: | ---: | ---: |
+| sympy-21930 | 0/2 | 0/2 | 0/2 |
+| scikit-learn-10908 | 0/2 | 1/2 | 2/2 |
+| django-15554 | 0/2 | 0/2 | 0/2 |
+| scikit-learn-14141 | 0/2 | 2/2 | 2/2 |
+| django-11265 | 0/2 | 0/2 | 0/2 |
+| Total | **0/10** | **3/10** | **4/10** |
+
+La captura de candidatos funcionó en los veinte intentos; capturar un candidato
+vacío no significa producir un parche. Zhivex produjo tres candidatos no vacíos,
+y los tres pasaron la evaluación independiente. Mini produjo ocho no vacíos y
+cuatro pasaron. La diferencia final por tarea es −40 puntos porcentuales;
+el intervalo bootstrap exploratorio del reporte es [−80, 0], con solo cinco
+tareas como unidades de remuestreo.
+
+| Métrica (10 intentos por candidato) | Zhivex | Mini |
+| --- | ---: | ---: |
+| Tokens de entrada | 943.192 | 734.184 |
+| Tokens de salida | 10.327 | 12.184 |
+| Llamadas al modelo | 117 | 133 |
+| Mediana de duración del driver | 36,51 s | 41,50 s |
+| Agotamientos de presupuesto | 9 | 4 |
+| Otro fallo terminal | 1 | 0 |
+
+La mediana incluye fracasos y excluye el evaluador externo; no demuestra mayor
+velocidad para resolver. No hay tiempo a reparación exitosa de Zhivex. No se
+suministraron precios: costo USD y costo por solución permanecen desconocidos.
+La corrida anterior tenía uso incompleto de Zhivex y una sola repetición; no se
+deduce ahorro de tokens comparando sus totales con estos resultados.
+
+## Qué sigue fallando en el harness
+
+**El cierre no dispone de una reserva efectiva.** Nueve intentos entraron en
+modo de cierre, pero hubo cero bloqueos de llamadas amplias y cero bloqueos por
+fase. Ninguno solicitó la verificación del harness. Los tres parches correctos
+se quedaron dentro del entorno de ejecución; la evaluación posterior es solo
+diagnóstica y no sustituye aprobación, verificación ni importación.
+
+En scikit-learn-10908 repetición 2, la edición gobernada terminó a los 74,23 s;
+el agente siguió solicitando comandos y acabó con 102.299 tokens de entrada.
+En scikit-learn-14141 las ediciones gobernadas terminaron a los 41,78 y 21,98 s,
+pero tampoco hubo transición a verificación antes del corte. Hay capacidad de
+resolver esos casos; falta convertirla en una entrega dentro del presupuesto.
+
+**El catálogo añadido consume contexto en cada petición.** Las definiciones de
+herramientas pasaron de 6.629 a 8.995 caracteres (+35,7%); sistema más catálogo
+pasó de 11.157 a 13.755 (+23,3%). La media de resultados de herramientas presentes
+en cada petición bajó de 10.225,85 a 9.486,09 caracteres (−7,2%), sobre 66 y 117
+peticiones respectivamente. Son mediciones de caracteres serializados, no
+tokens facturados ni una ablación controlada. Las ayudas de memoria y planificación
+tienen un costo fijo que debe medirse frente al beneficio que aportan.
+
+Las siguientes intervenciones a validar son:
+
+1. Reservar presupuesto para verificar/importar y hacer explícita la transición
+   posterior a una edición, manteniendo permisos y controles de integridad.
+   La reserva debe considerar el tamaño de la siguiente petición y del catálogo;
+   rechazar únicamente búsquedas amplias no alcanza.
+2. Exponer un catálogo pequeño por fase, conservando las herramientas necesarias
+   para corregir una reparación o un fallo de verificación. Medir la reducción
+   real de tokens y su efecto sobre las soluciones entregadas.
+3. Ajustar compacción e historial con el costo completo de cada petición, y
+   reducir exploración que continúa dentro de comandos de shell aprobados.
+4. Comparar esas variantes por separado en la cohorte de desarrollo y después
+   evaluar una cohorte nueva, sin modificar la métrica para contar candidatos
+   sin entregar. Esta corrida no incluye esas futuras intervenciones.
+
+## Hallazgo del SDK y HU
+
+Un intento de SymPy falló tras una respuesta por una herramienta no registrada.
+El nombre exacto no quedó en el diagnóstico sanitizado, por lo que no se atribuye
+un nombre concreto a esa llamada. La reproducción offline con Core 1.14.0 muestra
+que el modelo entrega uso (100 entrada, 10 salida), pero el estado durable queda
+fallido con cero pasos, cero resultados y uso ausente. El middleware del harness
+sí conservó los 4.132 tokens de entrada del intento live.
+
+Creada y verificada en el área Zhivex, prioridad Alta, estado Sin empezar:
+[SDK-HU — Conservar uso y diagnóstico ante herramientas no registradas; recuperación explícita acotada](https://app.notion.com/p/3d7777b104f681248ed3cecffe9328d2).
+
+La pérdida de uso/diagnóstico durable es el defecto reproducido. Recuperar
+herramientas desconocidas es una petición de funcionalidad optativa: la HU
+anterior de validación de argumentos no incluía ese caso. No se propone ejecutar
+herramientas desconocidas, remapear nombres ni eludir aprobaciones.
+
+Reproducción sin red, con cero ejecuciones de herramientas:
+
+```sh
+bun --no-env-file run evaluations/audits/sdk-unknown-tool-2026-09-09.ts
+```
+
+El `../../evaluations/audits/sdk-unknown-tool-2026-09-09.ts` (source checkout) pasó typecheck
+independiente. El reporte y la baseline se validaron contra las veinte muestras
+y los hashes congelados. No se efectuó una nueva matriz paga, publicación ni
+cambio del runtime como parte del cierre de esta reevaluación.

package/docs/reports/RC14_VALIDATION_2026-09-10.md

@@ -0,0 +1,45 @@
+# RC14 validation and publication hold
+
+## Decision
+
+RC14 is prepared but publication is held after the new live cohort exposed continuing delivery failures. This is a release-readiness judgment, not a failed protected release workflow or a claim that the benchmark has a predefined comparative score gate. No RC14 tag, workflow dispatch, or registry publication was performed. The readiness ledger remains pending; GA human security review remains open.
+
+The frozen runtime is commit `0609f11681cf44d0fc68b7671ed4e37ceaf48309` on [PR #69](https://github.com/Zhivex/zhivex-harness/pull/69). All 66 implementation file hashes were verified against the final checkout and both archived source snapshots. Subsequent evidence-only changes do not alter that runtime.
+
+## New live cohort
+
+Two SWE-bench Verified tasks were selected with seed `20260910`, excluding all 15 tasks appearing in prior local manifests, before either provider ran. The selected tasks are `django__django-15128` and `django__django-15851`. Both use digest-pinned images, three repetitions, independent official grading, and the same frozen harness. Each provider matrix includes the unchanged mini-SWE-agent control.
+
+| Configuration | Zhivex accepted deliveries | Correct Zhivex candidates | mini-SWE-agent accepted deliveries |
+| --- | ---: | ---: | ---: |
+| OpenAI gpt-5.6-luna, low reasoning, Responses | 1/6 | 3/6 | 4/6 |
+| Qwen qwen3.8-flash, thinking disabled, Chat Completions | 0/6 | 2/6 | 3/6 |
+
+All 24 planned samples completed with complete token accounting, no missing samples and no grading failures. Correct private candidates are diagnostic only: four correct candidates across the providers were not delivered. Unresolved and failed attempts remain in the denominator.
+
+Limits per attempt were 24 steps, 2,048 output tokens per response, 100,000 cumulative input tokens, 16,000 cumulative output tokens and 300 seconds. No prices were supplied, so no monetary cost is claimed. Provider matrices ran concurrently on one host; latency is not a controlled comparison. Two tasks from one repository do not establish general performance, and no before/after controller ablation was performed.
+
+[Sanitized evidence, source identity, limits and per-sample outcomes](../../benchmarks/baselines/rc14-holdout-2026-09-10.json).
+
+## Observed boundaries
+
+- OpenAI: three work-budget stops on the first task; one accepted delivery and two execution failures on the second. All three second-task private candidates passed independent grading, but only one was delivered.
+- Qwen: three work-budget stops overall, one analysis-only completion without a candidate, one agent failure and one input-budget stop. Two correct second-task candidates were not delivered.
+- The first-task stops mostly occurred during exploration without a candidate or verification. The second task exercised candidate creation, automatic verification and recovery; recorded verifier failures included normal exit code 1. Sanitized evidence does not retain the exact verifier assertion or command output, so the underlying assertion failure is not established here.
+- Code inspection confirms that the closure reserve becomes available when the controller has a pending candidate or is recovering. The evidence motivates investigating exploration-to-candidate progress and verifier recovery; it does not justify weakening approvals or importing a patch that failed verification.
+
+## Validation boundaries
+
+- Local complete checks reached the final release-readiness step after 512 passing tests, strict source/tooling types, docs/contracts, migrations, 7/7 deterministic evaluations, offline benchmarks, both MCP smokes, real Docker execution, installed-package smoke and dependency audit (15 packages, no vulnerabilities, no untrusted lifecycle scripts).
+- That final step found a stale requirement for the whole `evaluations` package directory. It was corrected to require the published JSON/JSONL patterns. Tooling typecheck and 15 release-policy/workflow regressions passed after the correction. The branch restriction remains intentional: release checks must finish from clean `main`, not the candidate branch. The full `release:check` command is not reported as passing.
+- [CI](https://github.com/Zhivex/zhivex-harness/actions/runs/34492027688) passed all four jobs on the frozen runtime: Ubuntu/macOS tooling and Node 22.13/24 installed consumers. [CodeQL](https://github.com/Zhivex/zhivex-harness/actions/runs/34492027646) passed.
+- The local RC14 tarball passed exact content inspection and a separate installation/execution smoke. Its SHA-512 is recorded in the evidence. The holdout executed hash-frozen source, not a protected tag-bound release tarball; neither that local artifact nor RC13's historical certification supplies RC14 publication evidence.
+- The repository requires one approving review, code-owner review and all required checks before merging. Those rules were not bypassed.
+
+## Conditions to resume release
+
+1. Reproduce and improve exploration-to-candidate progress and verifier recovery using independent regression fixtures. Treat these two tasks as development data from now on.
+2. Freeze the corrected implementation and predeclare a fresh validation cohort and acceptance criteria. Demonstrate accepted deliveries through the problematic paths for both providers, retaining all failures and budget limits; do not tune hidden tests or count undelivered candidates as success.
+3. Obtain the required PR approval, merge, pass release checks on clean main, and run protected tag-bound artifact/live/representative certification before publication to `next`.
+
+The statistical comparison is exploratory. The publication hold is based on unresolved delivery behavior in the feature being stabilized, not a claim of general model superiority or a security regression.

package/docs/reports/README.md

@@ -0,0 +1,26 @@
+# Historical reports
+
+These reports preserve findings and measurements from specific checkouts and runs. Read each report's scope and limitations before reusing its claims. Local remediation does not certify a new published artifact or update an earlier model score. Maintained behavior is documented in the [documentation index](../README.md).
+
+## Audits and remediation
+
+| Snapshot | Follow-up |
+| --- | --- |
+| [Harness audit — September 9](HARNESS_AUDIT_2026-09-09.md) | [Implementation and validation — September 9](HARNESS_REMEDIATION_2026-09-09.md) |
+| [Architecture review — September 9](HARNESS_ARCHITECTURE_REVIEW_2026-09-09.md) | Subsequent [full review — September 10](FULL_HARNESS_REVIEW_2026-09-10.md) |
+| [Full review — September 10](FULL_HARNESS_REVIEW_2026-09-10.md) | [Implementation, validation and remaining limits — September 10](HARNESS_REMEDIATION_2026-09-10.md) |
+
+The follow-up documents record implementation evidence; retain the original reports and baseline JSON files for traceability.
+
+## Efficiency and model comparisons
+
+- [Efficiency implementation evidence](EFFICIENCY_REVIEW.md): September 8 work and subsequent recorded checks; SDK versions refer to those snapshots.
+- [External comparison](EXTERNAL_COMPARISON.md): accumulated experimental cohorts and their limitations.
+- [Model comparison — September 9](MODEL_COMPARISON_2026-09-09.md): frozen model comparisons and recovery studies.
+- [Qwen reevaluation — September 9](QWEN_REMEDIATION_COMPARISON_2026-09-09.md): results after the then-current remediation, followed by structural findings.
+
+Protocols remain in the [benchmark guide](../../benchmarks/README.md) and [Time-to-Safe-Fix guide](../TIME_TO_SAFE_FIX.md). Each report links its preserved baseline evidence.
+
+## Release validation
+
+- [RC14 validation and publication hold — September 10](RC14_VALIDATION_2026-09-10.md): new live cohort, frozen source identity, validation boundaries and conditions to resume publication.