@saulwade/swl-ses 2.6.1 → 2.8.0

package/scripts/lib/eval-metrics-store.js

@@ -1,218 +1,218 @@
-'use strict';
-
-/**
- * eval-metrics-store.js — Persistencia agregada de métricas de evaluación.
- *
- * Patrón adoptado de `temp/agentmemory-main/src/eval/metrics-store.ts`.
- * Adaptado a swl-ses: file-based en lugar de SQLite. Persiste:
- *   - JSONL append-only:    `.planning/evolution/eval-results.jsonl` (cada eval individual)
- *   - JSON agregado:        `.planning/evolution/eval-metrics.json`  (totales por functionId)
- *
- * El JSONL preserva el detalle histórico (un evento por evaluación). El JSON
- * agregado se recalcula incrementalmente: avg latency, avg quality, success
- * rate por functionId. Lectura barata sin escanear todo el JSONL.
- *
- * Funciones puras donde es posible. Las funciones I/O usan escrituras atómicas
- * (atomicWriteJSON) para `eval-metrics.json`. El JSONL usa appendFileSync
- * (regla SWL: JSONL para alta frecuencia).
- *
- * @module scripts/lib/eval-metrics-store
- */
-
-const fs   = require('fs');
-const path = require('path');
-
-let atomicWriteJSON;
-try {
-  ({ atomicWriteJSON } = require('../../hooks/lib/atomic-write'));
-} catch {
-  atomicWriteJSON = (p, o) => fs.writeFileSync(p, JSON.stringify(o, null, 2), 'utf8');
-}
-
-// ── constantes ────────────────────────────────────────────────────────────────
-
-const DIR_EVOLUCION = path.join('.planning', 'evolution');
-const RUTA_JSONL    = path.join(DIR_EVOLUCION, 'eval-results.jsonl');
-const RUTA_AGREGADO = path.join(DIR_EVOLUCION, 'eval-metrics.json');
-
-// ── helpers ───────────────────────────────────────────────────────────────────
-
-function asegurarDir(baseDir) {
-  const dir = path.join(baseDir, DIR_EVOLUCION);
-  if (!fs.existsSync(dir)) {
-    fs.mkdirSync(dir, { recursive: true });
-  }
-}
-
-function leerAgregado(baseDir) {
-  const ruta = path.join(baseDir, RUTA_AGREGADO);
-  if (!fs.existsSync(ruta)) return {};
-  try {
-    return JSON.parse(fs.readFileSync(ruta, 'utf8'));
-  } catch {
-    return {};
-  }
-}
-
-// ── API pública ───────────────────────────────────────────────────────────────
-
-/**
- * Registra una evaluación completada.
- *
- * Append-only al JSONL + actualización incremental del agregado.
- *
- * @param {string} baseDir - Raíz del proyecto.
- * @param {object} evento
- * @param {string} evento.functionId - Identificador de la función evaluada.
- * @param {number} evento.latencyMs
- * @param {boolean} evento.success
- * @param {number} [evento.qualityScore] - en [0, 100]
- * @param {object} [evento.metadata]
- * @returns {{ recorded: boolean, error?: string }}
- */
-function registrar(baseDir, evento) {
-  if (!evento || typeof evento.functionId !== 'string') {
-    return { recorded: false, error: 'functionId requerido' };
-  }
-
-  asegurarDir(baseDir);
-
-  const ts = new Date().toISOString();
-  const lineaJSONL = JSON.stringify({
-    timestamp: ts,
-    functionId: evento.functionId,
-    latencyMs: typeof evento.latencyMs === 'number' ? evento.latencyMs : 0,
-    success: Boolean(evento.success),
-    qualityScore: typeof evento.qualityScore === 'number' ? evento.qualityScore : null,
-    metadata: evento.metadata || null,
-  });
-
-  try {
-    fs.appendFileSync(path.join(baseDir, RUTA_JSONL), lineaJSONL + '\n', 'utf8');
-  } catch (err) {
-    return { recorded: false, error: 'JSONL append failed: ' + err.message };
-  }
-
-  // Actualizar agregado
-  try {
-    const agregado = leerAgregado(baseDir);
-    const fid = evento.functionId;
-    const m = agregado[fid] || {
-      functionId: fid,
-      totalCalls: 0,
-      successCount: 0,
-      failureCount: 0,
-      avgLatencyMs: 0,
-      avgQualityScore: 0,
-      qualityCallCounts: 0,
-      lastUpdatedAt: ts,
-    };
-
-    const prev = m.totalCalls;
-    m.totalCalls += 1;
-    m.avgLatencyMs = (m.avgLatencyMs * prev + (evento.latencyMs || 0)) / m.totalCalls;
-    if (evento.success) m.successCount += 1;
-    else m.failureCount += 1;
-
-    if (typeof evento.qualityScore === 'number') {
-      const prevQ = m.qualityCallCounts || 0;
-      m.avgQualityScore = (m.avgQualityScore * prevQ + evento.qualityScore) / (prevQ + 1);
-      m.qualityCallCounts = prevQ + 1;
-    }
-
-    m.lastUpdatedAt = ts;
-    agregado[fid] = m;
-    atomicWriteJSON(path.join(baseDir, RUTA_AGREGADO), agregado);
-  } catch (err) {
-    return { recorded: true, error: 'Aggregate update failed: ' + err.message };
-  }
-
-  return { recorded: true };
-}
-
-/**
- * Lee las métricas agregadas para un functionId específico.
- * @param {string} baseDir
- * @param {string} functionId
- * @returns {object|null}
- */
-function obtener(baseDir, functionId) {
-  const agregado = leerAgregado(baseDir);
-  return agregado[functionId] || null;
-}
-
-/**
- * Lee todas las métricas agregadas.
- * @param {string} baseDir
- * @returns {object[]}
- */
-function obtenerTodos(baseDir) {
-  const agregado = leerAgregado(baseDir);
-  return Object.values(agregado);
-}
-
-/**
- * Recorre el JSONL y reconstruye el agregado desde cero.
- * Útil tras corrupción del agregado o auditoría histórica.
- *
- * @param {string} baseDir
- * @returns {{ rebuilt: number, functions: number }}
- */
-function reconstruirAgregado(baseDir) {
-  const ruta = path.join(baseDir, RUTA_JSONL);
-  if (!fs.existsSync(ruta)) return { rebuilt: 0, functions: 0 };
-
-  const agregado = {};
-  let lineas = 0;
-  const contenido = fs.readFileSync(ruta, 'utf8');
-  for (const linea of contenido.split('\n')) {
-    if (!linea.trim()) continue;
-    let evento;
-    try { evento = JSON.parse(linea); } catch { continue; }
-
-    const fid = evento.functionId;
-    if (!fid) continue;
-    lineas++;
-
-    const m = agregado[fid] || {
-      functionId: fid,
-      totalCalls: 0,
-      successCount: 0,
-      failureCount: 0,
-      avgLatencyMs: 0,
-      avgQualityScore: 0,
-      qualityCallCounts: 0,
-      lastUpdatedAt: evento.timestamp,
-    };
-
-    const prev = m.totalCalls;
-    m.totalCalls += 1;
-    m.avgLatencyMs = (m.avgLatencyMs * prev + (evento.latencyMs || 0)) / m.totalCalls;
-    if (evento.success) m.successCount += 1;
-    else m.failureCount += 1;
-
-    if (typeof evento.qualityScore === 'number') {
-      const prevQ = m.qualityCallCounts || 0;
-      m.avgQualityScore = (m.avgQualityScore * prevQ + evento.qualityScore) / (prevQ + 1);
-      m.qualityCallCounts = prevQ + 1;
-    }
-
-    m.lastUpdatedAt = evento.timestamp;
-    agregado[fid] = m;
-  }
-
-  asegurarDir(baseDir);
-  atomicWriteJSON(path.join(baseDir, RUTA_AGREGADO), agregado);
-  return { rebuilt: lineas, functions: Object.keys(agregado).length };
-}
-
-// ── exports ───────────────────────────────────────────────────────────────────
-
-module.exports = {
-  registrar,
-  obtener,
-  obtenerTodos,
-  reconstruirAgregado,
-  RUTA_JSONL,
-  RUTA_AGREGADO,
-};
+'use strict';
+
+/**
+ * eval-metrics-store.js — Persistencia agregada de métricas de evaluación.
+ *
+ * Patrón adoptado de `temp/agentmemory-main/src/eval/metrics-store.ts`.
+ * Adaptado a swl-ses: file-based en lugar de SQLite. Persiste:
+ *   - JSONL append-only:    `.planning/evolution/eval-results.jsonl` (cada eval individual)
+ *   - JSON agregado:        `.planning/evolution/eval-metrics.json`  (totales por functionId)
+ *
+ * El JSONL preserva el detalle histórico (un evento por evaluación). El JSON
+ * agregado se recalcula incrementalmente: avg latency, avg quality, success
+ * rate por functionId. Lectura barata sin escanear todo el JSONL.
+ *
+ * Funciones puras donde es posible. Las funciones I/O usan escrituras atómicas
+ * (atomicWriteJSON) para `eval-metrics.json`. El JSONL usa appendFileSync
+ * (regla SWL: JSONL para alta frecuencia).
+ *
+ * @module scripts/lib/eval-metrics-store
+ */
+
+const fs   = require('fs');
+const path = require('path');
+
+let atomicWriteJSON;
+try {
+  ({ atomicWriteJSON } = require('../../hooks/lib/atomic-write'));
+} catch {
+  atomicWriteJSON = (p, o) => fs.writeFileSync(p, JSON.stringify(o, null, 2), 'utf8');
+}
+
+// ── constantes ────────────────────────────────────────────────────────────────
+
+const DIR_EVOLUCION = path.join('.planning', 'evolution');
+const RUTA_JSONL    = path.join(DIR_EVOLUCION, 'eval-results.jsonl');
+const RUTA_AGREGADO = path.join(DIR_EVOLUCION, 'eval-metrics.json');
+
+// ── helpers ───────────────────────────────────────────────────────────────────
+
+function asegurarDir(baseDir) {
+  const dir = path.join(baseDir, DIR_EVOLUCION);
+  if (!fs.existsSync(dir)) {
+    fs.mkdirSync(dir, { recursive: true });
+  }
+}
+
+function leerAgregado(baseDir) {
+  const ruta = path.join(baseDir, RUTA_AGREGADO);
+  if (!fs.existsSync(ruta)) return {};
+  try {
+    return JSON.parse(fs.readFileSync(ruta, 'utf8'));
+  } catch {
+    return {};
+  }
+}
+
+// ── API pública ───────────────────────────────────────────────────────────────
+
+/**
+ * Registra una evaluación completada.
+ *
+ * Append-only al JSONL + actualización incremental del agregado.
+ *
+ * @param {string} baseDir - Raíz del proyecto.
+ * @param {object} evento
+ * @param {string} evento.functionId - Identificador de la función evaluada.
+ * @param {number} evento.latencyMs
+ * @param {boolean} evento.success
+ * @param {number} [evento.qualityScore] - en [0, 100]
+ * @param {object} [evento.metadata]
+ * @returns {{ recorded: boolean, error?: string }}
+ */
+function registrar(baseDir, evento) {
+  if (!evento || typeof evento.functionId !== 'string') {
+    return { recorded: false, error: 'functionId requerido' };
+  }
+
+  asegurarDir(baseDir);
+
+  const ts = new Date().toISOString();
+  const lineaJSONL = JSON.stringify({
+    timestamp: ts,
+    functionId: evento.functionId,
+    latencyMs: typeof evento.latencyMs === 'number' ? evento.latencyMs : 0,
+    success: Boolean(evento.success),
+    qualityScore: typeof evento.qualityScore === 'number' ? evento.qualityScore : null,
+    metadata: evento.metadata || null,
+  });
+
+  try {
+    fs.appendFileSync(path.join(baseDir, RUTA_JSONL), lineaJSONL + '\n', 'utf8');
+  } catch (err) {
+    return { recorded: false, error: 'JSONL append failed: ' + err.message };
+  }
+
+  // Actualizar agregado
+  try {
+    const agregado = leerAgregado(baseDir);
+    const fid = evento.functionId;
+    const m = agregado[fid] || {
+      functionId: fid,
+      totalCalls: 0,
+      successCount: 0,
+      failureCount: 0,
+      avgLatencyMs: 0,
+      avgQualityScore: 0,
+      qualityCallCounts: 0,
+      lastUpdatedAt: ts,
+    };
+
+    const prev = m.totalCalls;
+    m.totalCalls += 1;
+    m.avgLatencyMs = (m.avgLatencyMs * prev + (evento.latencyMs || 0)) / m.totalCalls;
+    if (evento.success) m.successCount += 1;
+    else m.failureCount += 1;
+
+    if (typeof evento.qualityScore === 'number') {
+      const prevQ = m.qualityCallCounts || 0;
+      m.avgQualityScore = (m.avgQualityScore * prevQ + evento.qualityScore) / (prevQ + 1);
+      m.qualityCallCounts = prevQ + 1;
+    }
+
+    m.lastUpdatedAt = ts;
+    agregado[fid] = m;
+    atomicWriteJSON(path.join(baseDir, RUTA_AGREGADO), agregado);
+  } catch (err) {
+    return { recorded: true, error: 'Aggregate update failed: ' + err.message };
+  }
+
+  return { recorded: true };
+}
+
+/**
+ * Lee las métricas agregadas para un functionId específico.
+ * @param {string} baseDir
+ * @param {string} functionId
+ * @returns {object|null}
+ */
+function obtener(baseDir, functionId) {
+  const agregado = leerAgregado(baseDir);
+  return agregado[functionId] || null;
+}
+
+/**
+ * Lee todas las métricas agregadas.
+ * @param {string} baseDir
+ * @returns {object[]}
+ */
+function obtenerTodos(baseDir) {
+  const agregado = leerAgregado(baseDir);
+  return Object.values(agregado);
+}
+
+/**
+ * Recorre el JSONL y reconstruye el agregado desde cero.
+ * Útil tras corrupción del agregado o auditoría histórica.
+ *
+ * @param {string} baseDir
+ * @returns {{ rebuilt: number, functions: number }}
+ */
+function reconstruirAgregado(baseDir) {
+  const ruta = path.join(baseDir, RUTA_JSONL);
+  if (!fs.existsSync(ruta)) return { rebuilt: 0, functions: 0 };
+
+  const agregado = {};
+  let lineas = 0;
+  const contenido = fs.readFileSync(ruta, 'utf8');
+  for (const linea of contenido.split('\n')) {
+    if (!linea.trim()) continue;
+    let evento;
+    try { evento = JSON.parse(linea); } catch { continue; }
+
+    const fid = evento.functionId;
+    if (!fid) continue;
+    lineas++;
+
+    const m = agregado[fid] || {
+      functionId: fid,
+      totalCalls: 0,
+      successCount: 0,
+      failureCount: 0,
+      avgLatencyMs: 0,
+      avgQualityScore: 0,
+      qualityCallCounts: 0,
+      lastUpdatedAt: evento.timestamp,
+    };
+
+    const prev = m.totalCalls;
+    m.totalCalls += 1;
+    m.avgLatencyMs = (m.avgLatencyMs * prev + (evento.latencyMs || 0)) / m.totalCalls;
+    if (evento.success) m.successCount += 1;
+    else m.failureCount += 1;
+
+    if (typeof evento.qualityScore === 'number') {
+      const prevQ = m.qualityCallCounts || 0;
+      m.avgQualityScore = (m.avgQualityScore * prevQ + evento.qualityScore) / (prevQ + 1);
+      m.qualityCallCounts = prevQ + 1;
+    }
+
+    m.lastUpdatedAt = evento.timestamp;
+    agregado[fid] = m;
+  }
+
+  asegurarDir(baseDir);
+  atomicWriteJSON(path.join(baseDir, RUTA_AGREGADO), agregado);
+  return { rebuilt: lineas, functions: Object.keys(agregado).length };
+}
+
+// ── exports ───────────────────────────────────────────────────────────────────
+
+module.exports = {
+  registrar,
+  obtener,
+  obtenerTodos,
+  reconstruirAgregado,
+  RUTA_JSONL,
+  RUTA_AGREGADO,
+};