@saulwade/swl-ses 1.4.1 → 1.4.2

package/scripts/run-eval.js

@@ -1,141 +1,141 @@
-#!/usr/bin/env node
-'use strict';
-
-/**
- * run-eval.js — CLI para ejecutar evaluaciones del eval framework.
- *
- * Uso:
- *   node scripts/run-eval.js <ruta-eval.json>
- *
- * Formato del archivo JSON de eval:
- * {
- *   "functionId": "memoria-busqueda::search",
- *   "schemaName": "MEMORY_SEARCH_RESULT_SCHEMA",   // opcional, valida output
- *   "qualityScorer": "scoreObservacion",           // opcional, calcula calidad
- *   "input":  { ... },                              // datos de entrada
- *   "expectedKeys": ["id", "tipo", "titulo"],       // opcional, valida presencia
- *   "output": { ... }                               // output a evaluar
- * }
- *
- * Exit codes:
- *   0 - eval pasa (valid: true)
- *   1 - eval falla (valid: false) o error de I/O
- *   2 - error de uso (argumentos inválidos)
- */
-
-const fs   = require('fs');
-const path = require('path');
-
-const schemas         = require('./lib/eval-schemas');
-const validator       = require('./lib/eval-validator');
-const quality         = require('./lib/eval-quality');
-const metricsStore    = require('./lib/eval-metrics-store');
-
-function uso() {
-  console.error('Uso: node scripts/run-eval.js <ruta-eval.json>');
-  console.error('     node scripts/run-eval.js --rebuild-aggregate');
-  process.exit(2);
-}
-
-function ejecutarEval(ruta) {
-  if (!fs.existsSync(ruta)) {
-    console.error(`Archivo no existe: ${ruta}`);
-    return 1;
-  }
-
-  let definicion;
-  try {
-    definicion = JSON.parse(fs.readFileSync(ruta, 'utf8'));
-  } catch (err) {
-    console.error(`Error parseando ${ruta}: ${err.message}`);
-    return 1;
-  }
-
-  const { functionId, schemaName, qualityScorer, output } = definicion;
-  if (!functionId || typeof functionId !== 'string') {
-    console.error('functionId requerido en el archivo de eval');
-    return 1;
-  }
-
-  const inicio = Date.now();
-  let valid = true;
-  let errors = [];
-  let qualityScore = null;
-
-  // Validar contra schema si se especifica
-  if (schemaName) {
-    const schema = schemas[schemaName];
-    if (!schema) {
-      console.error(`Schema desconocido: ${schemaName}. Disponibles: ${Object.keys(schemas).filter(k => k.endsWith('_SCHEMA')).join(', ')}`);
-      return 1;
-    }
-    const r = validator.validar(output, schema);
-    valid = valid && r.valid;
-    if (!r.valid) errors.push(...r.errors);
-  }
-
-  // Validar campos esperados si se especifican
-  if (Array.isArray(definicion.expectedKeys)) {
-    for (const key of definicion.expectedKeys) {
-      if (!output || !(key in output)) {
-        valid = false;
-        errors.push(`expectedKey faltante: ${key}`);
-      }
-    }
-  }
-
-  // Calcular quality score si se especifica
-  if (qualityScorer) {
-    const scorer = quality[qualityScorer];
-    if (typeof scorer !== 'function') {
-      console.error(`Quality scorer desconocido: ${qualityScorer}. Disponibles: ${Object.keys(quality).join(', ')}`);
-      return 1;
-    }
-    qualityScore = scorer(output);
-  }
-
-  const latencyMs = Date.now() - inicio;
-  const exito = valid;
-
-  // Persistir resultado
-  const baseDir = process.cwd();
-  metricsStore.registrar(baseDir, {
-    functionId,
-    latencyMs,
-    success: exito,
-    qualityScore,
-    metadata: { schemaName, qualityScorer, evalFile: path.basename(ruta) },
-  });
-
-  // Reportar
-  console.log(JSON.stringify({
-    functionId,
-    valid,
-    errors: errors.length > 0 ? errors : undefined,
-    qualityScore,
-    latencyMs,
-  }, null, 2));
-
-  return valid ? 0 : 1;
-}
-
-function main() {
-  const args = process.argv.slice(2);
-  if (args.length === 0) uso();
-
-  if (args[0] === '--rebuild-aggregate') {
-    const r = metricsStore.reconstruirAgregado(process.cwd());
-    console.log(`Agregado reconstruido: ${r.rebuilt} eventos, ${r.functions} funciones únicas.`);
-    process.exit(0);
-  }
-
-  process.exit(ejecutarEval(args[0]));
-}
-
-if (require.main === module) {
-  main();
-}
-
-module.exports = {
-  ejecutarEval,
-};
+#!/usr/bin/env node
+'use strict';
+
+/**
+ * run-eval.js — CLI para ejecutar evaluaciones del eval framework.
+ *
+ * Uso:
+ *   node scripts/run-eval.js <ruta-eval.json>
+ *
+ * Formato del archivo JSON de eval:
+ * {
+ *   "functionId": "memoria-busqueda::search",
+ *   "schemaName": "MEMORY_SEARCH_RESULT_SCHEMA",   // opcional, valida output
+ *   "qualityScorer": "scoreObservacion",           // opcional, calcula calidad
+ *   "input":  { ... },                              // datos de entrada
+ *   "expectedKeys": ["id", "tipo", "titulo"],       // opcional, valida presencia
+ *   "output": { ... }                               // output a evaluar
+ * }
+ *
+ * Exit codes:
+ *   0 - eval pasa (valid: true)
+ *   1 - eval falla (valid: false) o error de I/O
+ *   2 - error de uso (argumentos inválidos)
+ */
+
+const fs   = require('fs');
+const path = require('path');
+
+const schemas         = require('./lib/eval-schemas');
+const validator       = require('./lib/eval-validator');
+const quality         = require('./lib/eval-quality');
+const metricsStore    = require('./lib/eval-metrics-store');
+
+function uso() {
+  console.error('Uso: node scripts/run-eval.js <ruta-eval.json>');
+  console.error('     node scripts/run-eval.js --rebuild-aggregate');
+  process.exit(2);
+}
+
+function ejecutarEval(ruta) {
+  if (!fs.existsSync(ruta)) {
+    console.error(`Archivo no existe: ${ruta}`);
+    return 1;
+  }
+
+  let definicion;
+  try {
+    definicion = JSON.parse(fs.readFileSync(ruta, 'utf8'));
+  } catch (err) {
+    console.error(`Error parseando ${ruta}: ${err.message}`);
+    return 1;
+  }
+
+  const { functionId, schemaName, qualityScorer, output } = definicion;
+  if (!functionId || typeof functionId !== 'string') {
+    console.error('functionId requerido en el archivo de eval');
+    return 1;
+  }
+
+  const inicio = Date.now();
+  let valid = true;
+  let errors = [];
+  let qualityScore = null;
+
+  // Validar contra schema si se especifica
+  if (schemaName) {
+    const schema = schemas[schemaName];
+    if (!schema) {
+      console.error(`Schema desconocido: ${schemaName}. Disponibles: ${Object.keys(schemas).filter(k => k.endsWith('_SCHEMA')).join(', ')}`);
+      return 1;
+    }
+    const r = validator.validar(output, schema);
+    valid = valid && r.valid;
+    if (!r.valid) errors.push(...r.errors);
+  }
+
+  // Validar campos esperados si se especifican
+  if (Array.isArray(definicion.expectedKeys)) {
+    for (const key of definicion.expectedKeys) {
+      if (!output || !(key in output)) {
+        valid = false;
+        errors.push(`expectedKey faltante: ${key}`);
+      }
+    }
+  }
+
+  // Calcular quality score si se especifica
+  if (qualityScorer) {
+    const scorer = quality[qualityScorer];
+    if (typeof scorer !== 'function') {
+      console.error(`Quality scorer desconocido: ${qualityScorer}. Disponibles: ${Object.keys(quality).join(', ')}`);
+      return 1;
+    }
+    qualityScore = scorer(output);
+  }
+
+  const latencyMs = Date.now() - inicio;
+  const exito = valid;
+
+  // Persistir resultado
+  const baseDir = process.cwd();
+  metricsStore.registrar(baseDir, {
+    functionId,
+    latencyMs,
+    success: exito,
+    qualityScore,
+    metadata: { schemaName, qualityScorer, evalFile: path.basename(ruta) },
+  });
+
+  // Reportar
+  console.log(JSON.stringify({
+    functionId,
+    valid,
+    errors: errors.length > 0 ? errors : undefined,
+    qualityScore,
+    latencyMs,
+  }, null, 2));
+
+  return valid ? 0 : 1;
+}
+
+function main() {
+  const args = process.argv.slice(2);
+  if (args.length === 0) uso();
+
+  if (args[0] === '--rebuild-aggregate') {
+    const r = metricsStore.reconstruirAgregado(process.cwd());
+    console.log(`Agregado reconstruido: ${r.rebuilt} eventos, ${r.functions} funciones únicas.`);
+    process.exit(0);
+  }
+
+  process.exit(ejecutarEval(args[0]));
+}
+
+if (require.main === module) {
+  main();
+}
+
+module.exports = {
+  ejecutarEval,
+};