chofex-cli 0.1.189 → 0.1.190

package/README.md

@@ -27,7 +27,7 @@ chofex challenge ranking --challenge black-box
 chofex challenge init --challenge broken-agent
 cd broken-agent && npm test
 chofex challenge test --challenge broken-agent --source ./scheduler.js
-chofex challenge evaluate --challenge broken-agent --source ./scheduler.js
+chofex challenge evaluate --challenge broken-agent --source ./scheduler.js --review ./review.json
 chofex challenge ranking --challenge broken-agent
 chofex confirm
 chofex badge

package/dist/index.js

@@ -58710,6 +58710,33 @@ var JavascriptSourceSolutionSchema = exports_Schema.Struct({
   kind: exports_Schema.Literal("javascript_source"),
   source: exports_Schema.String.pipe(exports_Schema.check(exports_Schema.isMinLength(1), exports_Schema.isMaxLength(32768)))
 });
+var HumanReviewAnswerSchema = exports_Schema.Trim.pipe(exports_Schema.check(exports_Schema.isMinLength(20), exports_Schema.isMaxLength(1000)));
+var BrokenAgentHumanReviewSchema = exports_Schema.Struct({
+  sourceDigest: exports_Schema.String.pipe(exports_Schema.check(exports_Schema.isPattern(/^[a-f0-9]{64}$/, {
+    identifier: "SHA-256 source digest"
+  }))),
+  focus: exports_Schema.Literals([
+    "concurrency",
+    "persistence",
+    "lease_recovery",
+    "retry_idempotency",
+    "regression_safety",
+    "performance"
+  ]),
+  failureScenario: HumanReviewAnswerSchema,
+  evidence: HumanReviewAnswerSchema,
+  decision: exports_Schema.Literals(["ship", "block"]),
+  confidence: exports_Schema.Int.pipe(exports_Schema.check(exports_Schema.isBetween({ minimum: 0, maximum: 100 }))),
+  remainingRisk: HumanReviewAnswerSchema
+});
+var BrokenAgentEvaluationSolutionSchema = exports_Schema.Struct({
+  ...JavascriptSourceSolutionSchema.fields,
+  review: BrokenAgentHumanReviewSchema
+});
+var ChallengeSolutionSchema = exports_Schema.Union([
+  JavascriptSourceSolutionSchema,
+  BrokenAgentEvaluationSolutionSchema
+]);
 var ChallengeObservationSchema = exports_Schema.Struct({
   sequence: exports_Schema.Number,
   input: exports_Schema.Unknown,
@@ -59770,6 +59797,7 @@ var evaluateChallenge = (options, slug, input) => request3(options, `/api/v1/cha
 var getChallengeRanking = (options, slug) => publicRequest(options, `/api/v1/challenges/${slug}/ranking`, { method: "GET" }, decodeChallengeRanking);
 
 // src/challenge-input.ts
+import { createHash as createHash3 } from "node:crypto";
 import { readFile as readFile3 } from "node:fs/promises";
 var defaultChallengeSlug = "broken-agent";
 var readStdin = async () => {
@@ -59796,6 +59824,50 @@ var javascriptSourceFromPath = (path4, challenge = defaultChallengeSlug) => {
   }
   return readTextFile(path4).pipe(exports_Effect.map((source) => ({ kind: "javascript_source", source })));
 };
+var humanReviewRequiredDetails = {
+  requiredFields: [
+    "sourceDigest",
+    "focus",
+    "failureScenario",
+    "evidence",
+    "decision",
+    "confidence",
+    "remainingRisk"
+  ],
+  next: "Ask the participant to reason about the patch and provide these answers in review.json, then pass --review review.json."
+};
+var brokenAgentReviewFromPath = (path4) => {
+  if (!path4) {
+    return exports_Effect.fail(cliError("HUMAN_REVIEW_REQUIRED", "Broken Agent requires the participant's engineering review before an official evaluation", false, humanReviewRequiredDetails));
+  }
+  return readTextFile(path4).pipe(exports_Effect.flatMap((contents) => exports_Effect.try({
+    try: () => JSON.parse(contents),
+    catch: (error2) => cliError("INVALID_REVIEW_FILE", `Could not parse JSON review: ${String(error2)}`)
+  })), exports_Effect.flatMap((input) => exports_Schema.decodeUnknownEffect(BrokenAgentHumanReviewSchema, {
+    onExcessProperty: "error"
+  })(input).pipe(exports_Effect.mapError((error2) => cliError("INVALID_HUMAN_REVIEW", error2.message, false, {
+    ...humanReviewRequiredDetails,
+    issues: String(error2)
+  })))));
+};
+var challengeEvaluationInput = (sourcePath, reviewPath, challenge) => exports_Effect.gen(function* () {
+  const solution = yield* javascriptSourceFromPath(sourcePath, challenge);
+  if (challenge !== "broken-agent")
+    return solution;
+  const sourceDigest = createHash3("sha256").update(solution.source).digest("hex");
+  if (!reviewPath) {
+    return yield* exports_Effect.fail(cliError("HUMAN_REVIEW_REQUIRED", "Broken Agent requires the participant's engineering review before an official evaluation", false, { ...humanReviewRequiredDetails, sourceDigest }));
+  }
+  const review = yield* brokenAgentReviewFromPath(reviewPath);
+  if (review.sourceDigest !== sourceDigest) {
+    return yield* exports_Effect.fail(cliError("STALE_HUMAN_REVIEW", "review.json does not match the current scheduler.js", false, {
+      expectedSourceDigest: sourceDigest,
+      reviewSourceDigest: review.sourceDigest,
+      next: "Show the participant the updated evidence, obtain a fresh decision, and replace review.json."
+    }));
+  }
+  return { ...solution, review };
+});
 var requiredInteger = (message) => exports_Prompt.text({
   message,
   validate: (value3) => {
@@ -59910,7 +59982,7 @@ var challengeShowText = (attempt) => {
       `ESTADO DEL CASO: ${caseStatus2}`,
       "",
       "Los tests públicos están verdes. Tu trabajo es hacer que el scheduler sea confiable bajo condiciones de producción.",
-      "Las herramientas de AI están permitidas.",
+      "Las herramientas de AI están permitidas: el agente implementa; tú eliges el riesgo, revisas la evidencia y decides ship o block.",
       "",
       `Evaluaciones   ${evaluationsRemaining} / ${progress.evaluationsLimit} restantes`
     ];
@@ -59921,7 +59993,7 @@ var challengeShowText = (attempt) => {
       if (progress.shareCode)
         lines3.push(`Código         #${progress.shareCode}`);
     }
-    lines3.push("", "SIGUIENTE PASO", "Lee el contrato, audita scheduler.js y conserva verdes los tests visibles.", "  cd broken-agent && npm test", "  chofex challenge test --challenge broken-agent --source ./scheduler.js");
+    lines3.push("", "SIGUIENTE PASO", "Lee el contrato. Antes de editar, discute tres trazas de falla y elige cuál investigar primero.", "  cd broken-agent && npm test", "  chofex challenge test --challenge broken-agent --source ./scheduler.js");
     return lines3.join(`
 `);
   }
@@ -60093,7 +60165,7 @@ var challengeTestText = (result3) => {
       `${result3.matchedObservations} / ${result3.observationCount} comportamientos visibles pasan`
     ];
     if (result3.accuracy === 1) {
-      lines3.push("", "Todo pasa.", "Eso todavía no significa que el scheduler sea correcto en producción.", "Razona sobre concurrencia, reinicios, fallas e idempotencia antes de evaluar.", "", "Siguiente: usa una evaluación oficial cuando lo enviarías a producción", "  chofex challenge evaluate --challenge broken-agent --source ./scheduler.js");
+      lines3.push("", "Todo pasa.", "Eso todavía no significa que el scheduler sea correcto en producción.", "Antes de evaluar, el participante debe revisar la evidencia y tomar la decisión de release.", "", "Siguiente: discutan una traza de falla concreta y creen review.json con las palabras del participante.", "Luego usa una evaluación oficial solo si su decisión lo permite", "  chofex challenge evaluate --challenge broken-agent --source ./scheduler.js --review ./review.json");
       return lines3.join(`
 `);
     }
@@ -60420,11 +60492,54 @@ Repara \`scheduler.js\` sin cambiar la interfaz exportada
 \`\`\`sh
 npm test
 chofex challenge test --challenge broken-agent --source ./scheduler.js
-chofex challenge evaluate --challenge broken-agent --source ./scheduler.js
+chofex challenge evaluate --challenge broken-agent --source ./scheduler.js --review ./review.json
 \`\`\`
 
 Los tests locales y públicos son ilimitados. Tienes **5 evaluaciones oficiales**
-contra escenarios ocultos. Las herramientas de AI están permitidas.
+contra escenarios ocultos. Las herramientas de AI están permitidas, pero este es
+un challenge de colaboración: el agente implementa y el participante toma las
+decisiones de ingeniería.
+
+## Protocolo humano–agente
+
+No le pidas al agente que resuelva todo en silencio. Antes de modificar el
+scheduler, el agente debe presentarte al menos tres trazas de falla concretas del
+starter. Tú eliges cuál investigar primero y explicas qué resultado nunca debería
+ocurrir. El agente convierte esa decisión en una prueba y luego implementa.
+
+Cuando los tests estén verdes, el agente debe enseñarte el cambio, la evidencia y
+los supuestos que todavía no verificó. La evaluación oficial requiere
+\`review.json\` con tus propias palabras:
+
+- \`focus\`: \`concurrency\`, \`persistence\`, \`lease_recovery\`,
+  \`retry_idempotency\`, \`regression_safety\` o \`performance\`;
+- \`sourceDigest\`: SHA-256 de \`scheduler.js\` para vincular el juicio al cambio
+  exacto (el agente puede calcular este valor mecánico);
+- \`failureScenario\`: una secuencia concreta de eventos y su resultado
+  incorrecto;
+- \`evidence\`: la prueba o inspección que revisaste y qué demostró;
+- \`decision\`: \`ship\` o \`block\`;
+- \`confidence\`: un entero de 0 a 100;
+- \`remainingRisk\`: el riesgo que aceptas o que todavía bloquea el release.
+
+Forma del archivo (reemplaza cada valor entre <...>):
+
+\`\`\`json
+{
+  "sourceDigest": "<sha256 de scheduler.js>",
+  "focus": "<área elegida>",
+  "failureScenario": "<tu traza concreta>",
+  "evidence": "<la evidencia que revisaste>",
+  "decision": "<ship o block>",
+  "confidence": 0,
+  "remainingRisk": "<el riesgo que queda>"
+}
+\`\`\`
+
+Cada respuesta de texto debe tener entre 20 y 1,000 caracteres. El agente puede
+explicar, debatir y guardar tus respuestas, pero no puede elegir el foco, inventar
+tu razonamiento ni tomar la decisión de release por ti. Si cambias
+\`scheduler.js\`, vuelve a revisar la evidencia antes de reemplazar el review.
 
 ## Contrato normativo
 
@@ -60848,7 +60963,7 @@ var challengeQuickstart = {
     "Tienes 5 evaluaciones oficiales contra variantes ocultas y determinísticas por participante.",
     "Los tests locales y públicos son ilimitados.",
     "Gana el puntaje total; los empates usan menos evaluaciones, costo determinístico y hora del mejor envío.",
-    "Las herramientas de AI están permitidas."
+    "Las herramientas de AI están permitidas, pero el participante toma las decisiones de ingeniería."
   ],
   workflow: [
     {
@@ -60877,24 +60992,36 @@ var challengeQuickstart = {
     },
     {
       step: 5,
+      action: "Elige el riesgo con el participante",
+      command: "Discute tres trazas de falla concretas",
+      note: "El participante elige cuál investigar primero y explica qué resultado nunca debería ocurrir. El agente no puede decidirlo por su cuenta."
+    },
+    {
+      step: 6,
       action: "Audita y repara",
       command: "$EDITOR scheduler.js",
-      note: "Razona sobre claims únicos, leases, reinicios, carreras, cancelación, reintentos e idempotencia."
+      note: "Convierte la traza elegida en evidencia reproducible y luego endurece claims, leases, reinicios, carreras, cancelación, reintentos e idempotencia."
     },
     {
-      step: 6,
+      step: 7,
       action: "Ejecuta los tests públicos",
       command: "chofex challenge test --challenge broken-agent --source ./scheduler.js",
       note: "Es seguro repetirlos y no consumen evaluaciones oficiales."
     },
     {
-      step: 7,
+      step: 8,
+      action: "Obtén el juicio del participante",
+      command: "Crea review.json con sus propias palabras",
+      note: "Debe describir una traza de falla, la evidencia revisada, ship o block, confianza y riesgo restante. Cambiar el código exige revisar de nuevo."
+    },
+    {
+      step: 9,
       action: "Solicita un veredicto oculto",
-      command: "chofex challenge evaluate --challenge broken-agent --source ./scheduler.js",
+      command: "chofex challenge evaluate --challenge broken-agent --source ./scheduler.js --review ./review.json",
       note: "Úsalo solo cuando enviarías la implementación a producción."
     },
     {
-      step: 8,
+      step: 10,
       action: "Consulta el ranking",
       command: "chofex challenge ranking --challenge broken-agent",
       note: "Se revela el 1 de octubre a las 15:00, hora de Perú."
@@ -60946,6 +61073,7 @@ var challengeQuickstartText = (participationState, launchNotice) => {
 var optionalString = (name, description) => exports_Flag.string(name).pipe(exports_Flag.optional, exports_Flag.withDescription(description));
 var challengeFlag = exports_Flag.string("challenge").pipe(exports_Flag.withDefault(defaultChallengeSlug), exports_Flag.withDescription("Challenge slug (default: broken-agent)"));
 var sourceFlag = optionalString("source", "JavaScript challenge solution file");
+var reviewFlag = optionalString("review", "Participant-authored Broken Agent engineering review JSON");
 var inputFlag = optionalString("input", "JSON file, or - for stdin");
 var formatFlag = exports_Flag.choice("format", ["table", "json", "csv"]).pipe(exports_Flag.withDefault("table"), exports_Flag.withDescription("Notebook format"));
 var numberFromOption = (value3) => {
@@ -61131,17 +61259,21 @@ var testCommand = exports_Command.make("test", { challenge: challengeFlag, sourc
     description: "Ejecuta los tests públicos de Broken Agent"
   }
 ]));
-var evaluateCommand = exports_Command.make("evaluate", { challenge: challengeFlag, source: sourceFlag }, exports_Effect.fn("challengeEvaluateCommand")(function* ({ challenge, source }) {
+var evaluateCommand = exports_Command.make("evaluate", { challenge: challengeFlag, source: sourceFlag, review: reviewFlag }, exports_Effect.fn("challengeEvaluateCommand")(function* ({
+  challenge,
+  source,
+  review
+}) {
   const options = yield* root;
   const token = exports_Option.getOrUndefined(options.token);
   const operation = exports_Effect.gen(function* () {
-    const solution = yield* javascriptSourceFromPath(exports_Option.getOrUndefined(source), challenge);
+    const solution = yield* challengeEvaluationInput(exports_Option.getOrUndefined(source), exports_Option.getOrUndefined(review), challenge);
     return yield* evaluateChallenge({ apiUrl: options.apiUrl, token }, challenge, solution);
   });
   yield* execute(options.output, operation, challengeEvaluateText);
 })).pipe(exports_Command.withDescription("Score a solution on hidden cases. This consumes one limited official evaluation. Requires sign-in."), exports_Command.withExamples([
   {
-    command: "chofex challenge evaluate --challenge broken-agent --source ./scheduler.js",
+    command: "chofex challenge evaluate --challenge broken-agent --source ./scheduler.js --review ./review.json",
     description: "Consume una evaluación oficial cuando tu solución esté lista"
   }
 ]));

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "chofex-cli",
-  "version": "0.1.189",
+  "version": "0.1.190",
   "description": "Command-line client for Hack the Andes",
   "type": "module",
   "bin": {