@saulwade/swl-ses 2.3.0 → 2.4.1
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/CLAUDE.md +241 -199
- package/README.md +597 -597
- package/agentes/_intent-spec.md +73 -73
- package/agentes/_propose-step.md +90 -90
- package/agentes/accesibilidad-wcag-swl.md +2 -2
- package/agentes/arquitecto-swl.md +2 -2
- package/agentes/auto-evolucion-swl.md +2 -2
- package/agentes/backend-api-swl.md +2 -2
- package/agentes/backend-csharp-swl.md +2 -2
- package/agentes/backend-go-swl.md +2 -2
- package/agentes/backend-java-swl.md +2 -2
- package/agentes/backend-node-swl.md +2 -2
- package/agentes/backend-python-swl.md +2 -2
- package/agentes/backend-rust-swl.md +2 -2
- package/agentes/backend-workers-swl.md +2 -2
- package/agentes/cloud-infra-swl.md +2 -2
- package/agentes/consolidador-swl.md +2 -2
- package/agentes/datos-swl.md +2 -2
- package/agentes/depurador-swl.md +2 -2
- package/agentes/devops-ci-swl.md +2 -2
- package/agentes/disenador-ui-swl.md +2 -2
- package/agentes/documentador-swl.md +2 -2
- package/agentes/frontend-angular-swl.md +2 -2
- package/agentes/frontend-css-swl.md +2 -2
- package/agentes/frontend-react-swl.md +2 -2
- package/agentes/frontend-swl.md +2 -2
- package/agentes/frontend-tailwind-swl.md +2 -2
- package/agentes/gh-fix-ci-swl.md +275 -275
- package/agentes/implementador-swl.md +2 -2
- package/agentes/investigador-swl.md +2 -2
- package/agentes/investigador-ux-swl.md +2 -2
- package/agentes/llm-apps-swl.md +2 -2
- package/agentes/migrador-swl.md +2 -2
- package/agentes/mobile-android-swl.md +2 -2
- package/agentes/mobile-cross-swl.md +2 -2
- package/agentes/mobile-ios-swl.md +2 -2
- package/agentes/mobile-testing-swl.md +2 -2
- package/agentes/nemesis-auditor-swl.md +1 -1
- package/agentes/notificador-swl.md +2 -2
- package/agentes/observabilidad-swl.md +2 -2
- package/agentes/orquestador-swl.md +41 -14
- package/agentes/pagos-swl.md +2 -2
- package/agentes/perfilador-usuario-swl.md +2 -2
- package/agentes/planificador-swl.md +2 -2
- package/agentes/producto-prd-swl.md +2 -2
- package/agentes/red-team-swl.md +218 -218
- package/agentes/release-manager-swl.md +2 -2
- package/agentes/rendimiento-swl.md +2 -2
- package/agentes/resolutor-build-swl.md +2 -2
- package/agentes/revisor-angular-swl.md +2 -2
- package/agentes/revisor-codigo-swl.md +36 -3
- package/agentes/revisor-csharp-swl.md +2 -2
- package/agentes/revisor-go-swl.md +2 -2
- package/agentes/revisor-java-swl.md +2 -2
- package/agentes/revisor-kotlin-swl.md +2 -2
- package/agentes/revisor-nextjs-swl.md +2 -2
- package/agentes/revisor-php-swl.md +2 -2
- package/agentes/revisor-react-swl.md +2 -2
- package/agentes/revisor-rust-swl.md +2 -2
- package/agentes/revisor-seguridad-swl.md +2 -2
- package/agentes/revisor-swift-swl.md +2 -2
- package/agentes/revisor-typescript-swl.md +2 -2
- package/agentes/sre-swl.md +2 -2
- package/agentes/tdd-qa-swl.md +2 -2
- package/comandos/swl/briefing.md +119 -119
- package/comandos/swl/contexto.md +0 -2
- package/comandos/swl/contribuir.md +233 -233
- package/comandos/swl/deuda-codigo.md +97 -0
- package/comandos/swl/predecir.md +139 -139
- package/comandos/swl/sesiones.md +1 -1
- package/gateway/agent-executor.js +1 -1
- package/gateway/lib/event-channel.js +191 -191
- package/habilidades/agent-deep-links/SKILL.md +148 -148
- package/habilidades/agentes-como-servicio/SKILL.md +2 -2
- package/habilidades/angular-moderno/SKILL.md +24 -1
- package/habilidades/auto-evolucion-protocolo/SKILL.md +276 -276
- package/habilidades/backend-async-postgres-testing/SKILL.md +215 -215
- package/habilidades/backend-error-design/SKILL.md +221 -221
- package/habilidades/backend-production-resilience/SKILL.md +288 -288
- package/habilidades/benchmark-memoria/SKILL.md +186 -186
- package/habilidades/calidad-anti-patrones-universales/SKILL.md +368 -368
- package/habilidades/calidad-contract-testing/SKILL.md +165 -165
- package/habilidades/calidad-mutation-testing/SKILL.md +170 -170
- package/habilidades/changelog-generator/scripts/parse-commits.js +367 -367
- package/habilidades/checklist-seguridad/recursos/stride-cobertura.md +60 -60
- package/habilidades/contenedores-docker/SKILL.md +3 -1
- package/habilidades/diagrama-arquitectura/assets/template.html +276 -276
- package/habilidades/doubt-driven-review/recursos/EXAMPLES.md +130 -130
- package/habilidades/drift-detection/SKILL.md +179 -179
- package/habilidades/estructura-proyecto-claude/recursos/frontmatter-y-hooks-referencia.md +1 -1
- package/habilidades/estructura-proyecto-claude/recursos/mcp-json-template.json +57 -57
- package/habilidades/eval-framework/SKILL.md +212 -212
- package/habilidades/feynman-auditor-swl/recursos/preguntas-language-agnostic.md +108 -108
- package/habilidades/harness-claude-code/SKILL.md +4 -4
- package/habilidades/harness-claude-code/recursos/disciplina-harness-regla.md +253 -252
- package/habilidades/legacy-code-rescue/SKILL.md +268 -267
- package/habilidades/meta-skills-estandar/SKILL.md +1 -1
- package/habilidades/meta-skills-estandar/recursos/convencion-examples.md +93 -93
- package/habilidades/meta-skills-estandar/recursos/skills-as-agents.md +2 -2
- package/habilidades/patrones-python/recursos/patrones-avanzados.md +469 -469
- package/habilidades/perfil-usuario/SKILL.md +200 -200
- package/habilidades/postgresql-experto/SKILL.md +3 -1
- package/habilidades/prevencion-sobreingenieria/SKILL.md +70 -92
- package/habilidades/prevencion-sobreingenieria/recursos/EXAMPLES.md +580 -580
- package/habilidades/prevencion-sobreingenieria/recursos/soluciones-nativas.md +166 -0
- package/habilidades/prevencion-sobreingenieria/recursos/variables-residuales-post-refactor.md +85 -0
- package/habilidades/proceso-ddia-fundamentos/SKILL.md +255 -255
- package/habilidades/proceso-ddia-streaming/SKILL.md +231 -231
- package/habilidades/proceso-debate-adversarial/recursos/personas.md +105 -105
- package/habilidades/proceso-discovery-machote/SKILL.md +157 -157
- package/habilidades/proceso-dynamic-workflows/SKILL.md +138 -138
- package/habilidades/proceso-dynamic-workflows/recursos/template-adversarial-verify.js +65 -65
- package/habilidades/proceso-dynamic-workflows/recursos/template-triage.js +65 -65
- package/habilidades/proceso-intent-engineering/SKILL.md +269 -269
- package/habilidades/proceso-modular-split/SKILL.md +256 -256
- package/habilidades/prompt-engineering/recursos/patrones-avanzados.md +2 -2
- package/habilidades/state-inconsistency-auditor-swl/recursos/coupled-state-patterns.md +147 -147
- package/habilidades/structured-outputs/SKILL.md +2 -2
- package/habilidades/swl-claudemd/recursos/contrato-aprender.md +83 -83
- package/habilidades/swl-claudemd/recursos/duplicacion-reglas-globales.md +85 -85
- package/habilidades/swl-claudemd/recursos/plantillas-init.md +94 -94
- package/habilidades/swl-dashboard/SKILL.md +2 -2
- package/habilidades/tdd-workflow/recursos/gherkin-bdd.md +111 -111
- package/habilidades/validacion-ci-sistema/recursos/validadores-completos.md +1 -1
- package/habilidades/validacion-ci-sistema/scripts/validar-sistema.sh +1 -1
- package/hooks/audit-trail.js +4 -4
- package/hooks/calidad-pre-commit.js +15 -11
- package/hooks/captura-acciones-post.js +3 -2
- package/hooks/captura-acciones-session.js +3 -2
- package/hooks/ciclo-evolucion-subagente.js +26 -26
- package/hooks/ciclo-evolucion.js +26 -26
- package/hooks/claudemd-bloat-detector.js +161 -161
- package/hooks/claudemd-duplicacion-detector.js +170 -170
- package/hooks/contexto-iteracion.js +145 -144
- package/hooks/contexto-subagente.js +68 -0
- package/hooks/guardrail-modelo.js +14 -4
- package/hooks/inyeccion-contexto.js +12 -12
- package/hooks/lib/agent-routing.js +107 -107
- package/hooks/lib/auto-consolidator.js +335 -335
- package/hooks/lib/autonomia.js +208 -208
- package/hooks/lib/ciclo-evolucion.js +47 -47
- package/hooks/lib/deep-links.js +185 -185
- package/hooks/lib/error-classifier.js +308 -308
- package/hooks/lib/etapa-auto-evolucion.js +701 -701
- package/hooks/lib/etapa-metricas.js +388 -388
- package/hooks/lib/etapa-perfil-usuario.js +376 -376
- package/hooks/lib/loop-telemetry.js +321 -321
- package/hooks/lib/merkle-audit.js +96 -96
- package/hooks/lib/model-router.js +2 -2
- package/hooks/lib/propose-step.js +358 -358
- package/hooks/lib/provenance-tracker.js +191 -191
- package/hooks/lib/rate-limit-tracker.js +253 -253
- package/hooks/lib/resource-quota.js +122 -122
- package/hooks/lib/retry-jitter.js +165 -165
- package/hooks/lib/security-net.js +201 -201
- package/hooks/lib/skill-auditor.js +588 -588
- package/hooks/lib/sync-status.js +228 -228
- package/hooks/lib/taint-tracker.js +107 -107
- package/hooks/lib/text-similarity.js +241 -241
- package/hooks/lib/token-estimator.js +1 -0
- package/hooks/lib/toon-compressor.js +245 -245
- package/hooks/lib/usage-model.js +1 -1
- package/hooks/registro-turnos.js +210 -209
- package/hooks/session-briefing.js +98 -98
- package/hooks/spec-gate.js +212 -211
- package/hooks/sugerir-contribuir.js +2 -1
- package/hooks/sugerir-regenerar-inventario.js +171 -170
- package/hooks/tdd-gate.js +242 -241
- package/hooks/telemetria-skill-routing.js +100 -100
- package/hooks/validar-formato-post-subagente.js +140 -140
- package/hooks/validar-intent-spec.js +242 -242
- package/hooks/validar-memoria-hook.js +218 -218
- package/hooks/validar-planning-paths.js +134 -134
- package/instintos/autonomia.yaml +27 -27
- package/instintos/prompt-appendices.yaml +57 -57
- package/llms.txt +29 -29
- package/manifiestos/agent-output-schemas.json +57 -57
- package/manifiestos/canonical-hashes.json +2948 -1964
- package/manifiestos/hook-profiles.json +0 -2
- package/manifiestos/hooks-config.json +469 -477
- package/manifiestos/invariantes-criticos.json +30 -0
- package/manifiestos/modulos.json +1390 -1390
- package/manifiestos/planning-paths.json +44 -44
- package/manifiestos/skills-lock.json +1282 -1282
- package/package.json +93 -93
- package/plantillas/auditor-veto-template.md +105 -105
- package/plantillas/github-workflows/README.md +47 -47
- package/plantillas/github-workflows/release-please.yml +44 -44
- package/plantillas/github-workflows/swl-ci.yml +107 -107
- package/plantillas/github-workflows/swl-security.yml +51 -51
- package/plugin.json +369 -371
- package/reglas/accesibilidad.md +10 -10
- package/reglas/analisis-previo-tareas-grandes.md +172 -172
- package/reglas/api-diseno.md +9 -9
- package/reglas/arreglar-al-detectar.md +240 -240
- package/reglas/auditorias-documentales-estructurales.md +7 -7
- package/reglas/cloud-infra.md +8 -8
- package/reglas/consultar-vault-primero.md +195 -195
- package/reglas/debatir-antes-de-aceptar.md +158 -158
- package/reglas/fragmentos-compartidos.md +183 -183
- package/reglas/hooks.md +6 -6
- package/reglas/intent-engineering.md +218 -218
- package/reglas/markitdown.md +8 -8
- package/reglas/monitor-ci.md +309 -309
- package/reglas/patrones.md +6 -6
- package/reglas/sesiones-paralelas.md +180 -180
- package/reglas/sin-duplicacion-reglas-globales.md +182 -182
- package/reglas/skills-estandar.md +6 -6
- package/reglas/testing.md +7 -7
- package/reglas/tests-cleanup.md +224 -224
- package/reglas/usar-code-review-graph.md +155 -155
- package/reglas/usar-context7.md +226 -226
- package/reglas/verificar-citas-normativas.md +548 -548
- package/schemas/agent-frontmatter.schema.json +5 -3
- package/schemas/agent-message.schema.json +73 -73
- package/schemas/agent-output-implementacion.schema.json +114 -114
- package/schemas/agent-output-planificacion.schema.json +150 -150
- package/schemas/agent-output-review.schema.json +98 -98
- package/schemas/diary-entry.schema.json +112 -112
- package/schemas/hook-profiles.schema.json +54 -54
- package/schemas/hooks-config.schema.json +89 -89
- package/schemas/modulos.schema.json +38 -38
- package/schemas/perfiles.schema.json +36 -36
- package/schemas/plugin.schema.json +77 -77
- package/schemas/skill-evals.schema.json +119 -119
- package/schemas/skill-frontmatter.schema.json +245 -245
- package/scripts/audit-tools/audit-history.js +330 -330
- package/scripts/audit-tools/bundle-tracker.js +290 -290
- package/scripts/audit-tools/canary-monitor.js +352 -352
- package/scripts/audit-tools/code-profiler.js +605 -605
- package/scripts/audit-tools/dep-doctor.js +320 -320
- package/scripts/audit-tools/env-validator.js +206 -206
- package/scripts/audit-tools/lib/fs-walk.js +48 -48
- package/scripts/audit-tools/lib/output.js +23 -23
- package/scripts/audit-tools/migration-checker.js +392 -392
- package/scripts/audit-tools/pentest-scanner.js +1436 -1436
- package/scripts/benchmark-memoria.js +167 -167
- package/scripts/cli/aprobar-plan.js +73 -73
- package/scripts/cli/briefing.js +23 -23
- package/scripts/cli/ciclo-evolucion.js +26 -26
- package/scripts/cli/configurar-ci.js +40 -40
- package/scripts/cli/derivar-feature-list.js +25 -25
- package/scripts/cli/detectar-host.js +27 -27
- package/scripts/cli/diary-entry.js +69 -69
- package/scripts/cli/execution-state.js +18 -18
- package/scripts/cli/gateway-notify.js +41 -41
- package/scripts/cli/liberar-fase.js +42 -42
- package/scripts/cli/loop-telemetry.js +125 -125
- package/scripts/cli/mark-evolved.js +56 -56
- package/scripts/cli/metricas-dora.js +26 -26
- package/scripts/cli/near-duplicate.js +55 -55
- package/scripts/cli/notificaciones.js +123 -123
- package/scripts/cli/propose-step.js +29 -29
- package/scripts/cli/schedule-parse.js +19 -19
- package/scripts/cli/sugerir-modelo.js +20 -20
- package/scripts/cli/verificar-plan.js +36 -36
- package/scripts/cli/verificar-trazabilidad.js +35 -35
- package/scripts/configurar-branch-protection.js +418 -418
- package/scripts/detectar-aprendizajes-duplicados.js +151 -151
- package/scripts/field-report.js +199 -199
- package/scripts/generar-checklists-consolidados.js +273 -273
- package/scripts/generar-matriz-lenguajes.js +271 -271
- package/scripts/instalador.js +4 -1
- package/scripts/lib/artefactos-python.js +43 -43
- package/scripts/lib/auditar-invocaciones-comandos.js +104 -104
- package/scripts/lib/benchmark-metrics.js +160 -160
- package/scripts/lib/budget-enforcer.js +252 -252
- package/scripts/lib/ci-reader.js +193 -193
- package/scripts/lib/claude-sessions.js +1 -0
- package/scripts/lib/configurar-ci.js +380 -380
- package/scripts/lib/contadores-inventario.js +217 -217
- package/scripts/lib/detectar-host-swl.js +175 -175
- package/scripts/lib/detectar-stack-detallado.js +307 -307
- package/scripts/lib/detector-autoduplicacion-intra-archivo.js +234 -234
- package/scripts/lib/detector-reglas-duplicadas.js +220 -220
- package/scripts/lib/diary-entry.js +234 -234
- package/scripts/lib/eval-metrics-store.js +218 -218
- package/scripts/lib/eval-quality.js +171 -171
- package/scripts/lib/eval-schemas.js +144 -144
- package/scripts/lib/eval-self-correct.js +106 -106
- package/scripts/lib/eval-validator.js +185 -185
- package/scripts/lib/evidencia-release.js +322 -322
- package/scripts/lib/gate-hooks-requires.js +249 -249
- package/scripts/lib/gate-licencias.js +212 -212
- package/scripts/lib/git-metricas.js +257 -257
- package/scripts/lib/jaccard-similarity.js +98 -98
- package/scripts/lib/longmemeval-runner.js +125 -125
- package/scripts/lib/metricas-dora.js +204 -204
- package/scripts/lib/npm-version.js +261 -261
- package/scripts/lib/paquetes-conocidos.js +50 -50
- package/scripts/lib/plan-lock.js +275 -275
- package/scripts/lib/pr-analyzer.js +399 -399
- package/scripts/lib/preservar-usuario.js +39 -5
- package/scripts/lib/prompt-builder.js +264 -264
- package/scripts/lib/reglas-globales-conocidas.json +180 -180
- package/scripts/lib/resolver-plan-fase.js +37 -37
- package/scripts/lib/rrf-fusion.js +175 -175
- package/scripts/lib/schema-version.js +164 -164
- package/scripts/lib/scoring-instintos.js +277 -277
- package/scripts/lib/semantic-search.js +252 -252
- package/scripts/lib/tool-cost-analyzer.js +1 -0
- package/scripts/limpiar-artefactos-python.js +131 -131
- package/scripts/migrar-csv-a-array.js +168 -168
- package/scripts/migrar-fase-dominio.js +200 -200
- package/scripts/publicar.js +497 -497
- package/scripts/run-eval.js +141 -141
- package/scripts/tui/componentes/selector-multi.js +189 -189
- package/scripts/tui/componentes/selector-unico.js +158 -158
- package/scripts/tui/ejecutores.js +375 -375
- package/scripts/tui/index.js +162 -162
- package/scripts/tui/lib/colores.js +129 -129
- package/scripts/tui/lib/render.js +264 -264
- package/scripts/tui/lib/teclas.js +113 -113
- package/scripts/tui/pantallas/inspect.js +173 -173
- package/scripts/tui/pantallas/install-wizard.js +334 -334
- package/scripts/tui/pantallas/menu-principal.js +52 -52
- package/scripts/tui/pantallas/progreso.js +274 -274
- package/scripts/tui/pantallas/resumen.js +132 -132
- package/scripts/tui/pantallas/uninstall-wizard.js +208 -208
- package/scripts/tui/pantallas/update-wizard.js +232 -232
- package/scripts/tui/pantallas/welcome.js +187 -187
- package/scripts/validar-userland-vacio.js +110 -110
- package/scripts/validar.js +1 -1
- package/scripts/verificar-release.js +51 -0
- package/hooks/lib/context-compressor.js +0 -657
- package/hooks/linea-estado.js +0 -326
- package/hooks/monitor-contexto.js +0 -373
|
@@ -1,57 +1,57 @@
|
|
|
1
|
-
{
|
|
2
|
-
"_comentario": "Template de .mcp.json para proyectos Claude-ready. Eliminar los servidores que no se usen. Las variables de entorno con valor vacío deben completarse en .env o exportarse antes de correr claude.",
|
|
3
|
-
"_instrucciones": [
|
|
4
|
-
"1. Copiar este archivo a la raíz del proyecto como .mcp.json",
|
|
5
|
-
"2. Eliminar el bloque _comentario y _instrucciones (no son JSON válido en producción)",
|
|
6
|
-
"3. Configurar las variables de entorno requeridas por cada servidor activo",
|
|
7
|
-
"4. Agregar .mcp.json al repositorio (no contiene secretos — los secretos van en env vars)",
|
|
8
|
-
"5. Agregar a .gitignore cualquier archivo .mcp.local.json con credenciales"
|
|
9
|
-
],
|
|
10
|
-
"_nota_archivados": "Los reference servers @modelcontextprotocol/server-github, server-postgres, server-sqlite, server-brave-search y server-puppeteer fueron ARCHIVADOS por el proyecto MCP. No usarlos en proyectos nuevos — los reemplazos vigentes están abajo (GitHub remoto oficial, Playwright oficial de Microsoft).",
|
|
11
|
-
"mcpServers": {
|
|
12
|
-
"context7": {
|
|
13
|
-
"_descripcion": "Documentación actualizada de librerías. Uso: 'use context7' en el prompt.",
|
|
14
|
-
"command": "npx",
|
|
15
|
-
"args": ["-y", "@upstash/context7-mcp@latest"]
|
|
16
|
-
},
|
|
17
|
-
"github": {
|
|
18
|
-
"_descripcion": "GitHub MCP server oficial (remoto): issues, PRs, repos, commits. Reemplaza al archivado @modelcontextprotocol/server-github. Autenticación OAuth al conectar, o PAT vía header.",
|
|
19
|
-
"type": "http",
|
|
20
|
-
"url": "https://api.githubcopilot.com/mcp/"
|
|
21
|
-
},
|
|
22
|
-
"playwright": {
|
|
23
|
-
"_descripcion": "Control de navegador con Playwright (oficial de Microsoft). Testing E2E, scraping, automatización web. Reemplaza al archivado server-puppeteer.",
|
|
24
|
-
"_activar": "Requiere Node 18+ — descarga browsers en el primer uso",
|
|
25
|
-
"command": "npx",
|
|
26
|
-
"args": ["-y", "@playwright/mcp@latest"]
|
|
27
|
-
},
|
|
28
|
-
"filesystem": {
|
|
29
|
-
"_descripcion": "Acceso a sistema de archivos fuera del directorio de trabajo. Usar con cuidado.",
|
|
30
|
-
"_activar": "Descomentar solo si se necesita acceso a paths fuera del proyecto",
|
|
31
|
-
"command": "npx",
|
|
32
|
-
"args": [
|
|
33
|
-
"-y",
|
|
34
|
-
"@modelcontextprotocol/server-filesystem",
|
|
35
|
-
"/ruta/al/directorio/permitido"
|
|
36
|
-
]
|
|
37
|
-
},
|
|
38
|
-
"fetch": {
|
|
39
|
-
"_descripcion": "Extracción y conversión de contenido web a markdown.",
|
|
40
|
-
"_activar": "Útil cuando WebFetch nativo no basta (contenido que requiere conversión estructurada)",
|
|
41
|
-
"command": "npx",
|
|
42
|
-
"args": ["-y", "@modelcontextprotocol/server-fetch"]
|
|
43
|
-
},
|
|
44
|
-
"memory": {
|
|
45
|
-
"_descripcion": "Memoria persistente entre sesiones. Almacena entidades y relaciones en grafo.",
|
|
46
|
-
"_activar": "Útil para proyectos largos donde se quiere persistir contexto entre sesiones",
|
|
47
|
-
"command": "npx",
|
|
48
|
-
"args": ["-y", "@modelcontextprotocol/server-memory"]
|
|
49
|
-
},
|
|
50
|
-
"sequential-thinking": {
|
|
51
|
-
"_descripcion": "Herramienta de razonamiento estructurado para problemas complejos.",
|
|
52
|
-
"_activar": "Útil para arquitectura, debugging complejo, decisiones de diseño",
|
|
53
|
-
"command": "npx",
|
|
54
|
-
"args": ["-y", "@modelcontextprotocol/server-sequential-thinking"]
|
|
55
|
-
}
|
|
56
|
-
}
|
|
57
|
-
}
|
|
1
|
+
{
|
|
2
|
+
"_comentario": "Template de .mcp.json para proyectos Claude-ready. Eliminar los servidores que no se usen. Las variables de entorno con valor vacío deben completarse en .env o exportarse antes de correr claude.",
|
|
3
|
+
"_instrucciones": [
|
|
4
|
+
"1. Copiar este archivo a la raíz del proyecto como .mcp.json",
|
|
5
|
+
"2. Eliminar el bloque _comentario y _instrucciones (no son JSON válido en producción)",
|
|
6
|
+
"3. Configurar las variables de entorno requeridas por cada servidor activo",
|
|
7
|
+
"4. Agregar .mcp.json al repositorio (no contiene secretos — los secretos van en env vars)",
|
|
8
|
+
"5. Agregar a .gitignore cualquier archivo .mcp.local.json con credenciales"
|
|
9
|
+
],
|
|
10
|
+
"_nota_archivados": "Los reference servers @modelcontextprotocol/server-github, server-postgres, server-sqlite, server-brave-search y server-puppeteer fueron ARCHIVADOS por el proyecto MCP. No usarlos en proyectos nuevos — los reemplazos vigentes están abajo (GitHub remoto oficial, Playwright oficial de Microsoft).",
|
|
11
|
+
"mcpServers": {
|
|
12
|
+
"context7": {
|
|
13
|
+
"_descripcion": "Documentación actualizada de librerías. Uso: 'use context7' en el prompt.",
|
|
14
|
+
"command": "npx",
|
|
15
|
+
"args": ["-y", "@upstash/context7-mcp@latest"]
|
|
16
|
+
},
|
|
17
|
+
"github": {
|
|
18
|
+
"_descripcion": "GitHub MCP server oficial (remoto): issues, PRs, repos, commits. Reemplaza al archivado @modelcontextprotocol/server-github. Autenticación OAuth al conectar, o PAT vía header.",
|
|
19
|
+
"type": "http",
|
|
20
|
+
"url": "https://api.githubcopilot.com/mcp/"
|
|
21
|
+
},
|
|
22
|
+
"playwright": {
|
|
23
|
+
"_descripcion": "Control de navegador con Playwright (oficial de Microsoft). Testing E2E, scraping, automatización web. Reemplaza al archivado server-puppeteer.",
|
|
24
|
+
"_activar": "Requiere Node 18+ — descarga browsers en el primer uso",
|
|
25
|
+
"command": "npx",
|
|
26
|
+
"args": ["-y", "@playwright/mcp@latest"]
|
|
27
|
+
},
|
|
28
|
+
"filesystem": {
|
|
29
|
+
"_descripcion": "Acceso a sistema de archivos fuera del directorio de trabajo. Usar con cuidado.",
|
|
30
|
+
"_activar": "Descomentar solo si se necesita acceso a paths fuera del proyecto",
|
|
31
|
+
"command": "npx",
|
|
32
|
+
"args": [
|
|
33
|
+
"-y",
|
|
34
|
+
"@modelcontextprotocol/server-filesystem",
|
|
35
|
+
"/ruta/al/directorio/permitido"
|
|
36
|
+
]
|
|
37
|
+
},
|
|
38
|
+
"fetch": {
|
|
39
|
+
"_descripcion": "Extracción y conversión de contenido web a markdown.",
|
|
40
|
+
"_activar": "Útil cuando WebFetch nativo no basta (contenido que requiere conversión estructurada)",
|
|
41
|
+
"command": "npx",
|
|
42
|
+
"args": ["-y", "@modelcontextprotocol/server-fetch"]
|
|
43
|
+
},
|
|
44
|
+
"memory": {
|
|
45
|
+
"_descripcion": "Memoria persistente entre sesiones. Almacena entidades y relaciones en grafo.",
|
|
46
|
+
"_activar": "Útil para proyectos largos donde se quiere persistir contexto entre sesiones",
|
|
47
|
+
"command": "npx",
|
|
48
|
+
"args": ["-y", "@modelcontextprotocol/server-memory"]
|
|
49
|
+
},
|
|
50
|
+
"sequential-thinking": {
|
|
51
|
+
"_descripcion": "Herramienta de razonamiento estructurado para problemas complejos.",
|
|
52
|
+
"_activar": "Útil para arquitectura, debugging complejo, decisiones de diseño",
|
|
53
|
+
"command": "npx",
|
|
54
|
+
"args": ["-y", "@modelcontextprotocol/server-sequential-thinking"]
|
|
55
|
+
}
|
|
56
|
+
}
|
|
57
|
+
}
|
|
@@ -1,212 +1,212 @@
|
|
|
1
|
-
---
|
|
2
|
-
name: eval-framework
|
|
3
|
-
description: >
|
|
4
|
-
Eval framework para validar y puntuar outputs estructurados de SWL
|
|
5
|
-
(aprendizajes, instintos, observaciones, resúmenes, contextos). Cargar
|
|
6
|
-
cuando un agente produzca un output estructurado y se quiera medir su
|
|
7
|
-
calidad antes de persistir, o cuando se audite la calidad histórica de
|
|
8
|
-
funciones críticas (extractor-de-aprendizajes, perfilador-usuario,
|
|
9
|
-
consolidador, planificador).
|
|
10
|
-
version: "1.0.0"
|
|
11
|
-
herramientasPermitidas: [Read, Bash]
|
|
12
|
-
exclusiones:
|
|
13
|
-
- "No cargar para validación de input de usuario o request HTTP — eso es validación de boundary, usar Pydantic/Zod en el endpoint."
|
|
14
|
-
- "No cargar para auditoría de seguridad — usar `revisor-seguridad-swl` y `escaneo-secretos`."
|
|
15
|
-
- "No cargar para tests unitarios de código — usar `tdd-workflow` y Vitest."
|
|
16
|
-
- "No cargar cuando el output no tiene estructura definida (texto libre): el eval framework requiere schemas declarados o quality scorers específicos."
|
|
17
|
-
evolvable: true # default para skill estandar
|
|
18
|
-
---
|
|
19
|
-
# Eval Framework — Validación + Calidad de Outputs SWL
|
|
20
|
-
|
|
21
|
-
## Cuándo cargar
|
|
22
|
-
|
|
23
|
-
- Tras producir un output estructurado (observación, aprendizaje, resumen,
|
|
24
|
-
resultado de búsqueda) cuando se quiera puntuar su calidad antes de
|
|
25
|
-
persistir.
|
|
26
|
-
- Para auditar histórico de calidad de una función crítica (ver métricas
|
|
27
|
-
agregadas en `.planning/evolution/eval-metrics.json`).
|
|
28
|
-
- En tests/CI cuando el contrato del output tenga campos obligatorios y
|
|
29
|
-
quality thresholds.
|
|
30
|
-
- En loops de auto-corrección donde un output inválido debe regenerarse
|
|
31
|
-
con un prompt más estricto.
|
|
32
|
-
|
|
33
|
-
---
|
|
34
|
-
|
|
35
|
-
## Componentes del framework
|
|
36
|
-
|
|
37
|
-
| Módulo | Propósito |
|
|
38
|
-
|---|---|
|
|
39
|
-
| `scripts/lib/eval-schemas.js` | Schemas JSON-lite para outputs (observación, resumen, search input, etc.). |
|
|
40
|
-
| `scripts/lib/eval-validator.js` | Validador zero-deps de schemas (sin Zod). |
|
|
41
|
-
| `scripts/lib/eval-quality.js` | Funciones de scoring: `scoreObservacion`, `scoreResumen`, `scoreAprendizaje`, `scoreInstinto`, `scoreRelevanciaContexto`. |
|
|
42
|
-
| `scripts/lib/eval-self-correct.js` | Loop de retry con sufijo estricto cuando validador falla. |
|
|
43
|
-
| `scripts/lib/eval-metrics-store.js` | Persistencia: JSONL append-only (`eval-results.jsonl`) + agregado JSON (`eval-metrics.json`). |
|
|
44
|
-
| `scripts/run-eval.js` | CLI para evaluar un output desde archivo JSON. |
|
|
45
|
-
|
|
46
|
-
---
|
|
47
|
-
|
|
48
|
-
## Uso típico desde agente o test
|
|
49
|
-
|
|
50
|
-
### Validar output contra schema
|
|
51
|
-
|
|
52
|
-
```js
|
|
53
|
-
const { validar } = require('./scripts/lib/eval-validator');
|
|
54
|
-
const { COMPRESS_OUTPUT_SCHEMA } = require('./scripts/lib/eval-schemas');
|
|
55
|
-
|
|
56
|
-
const observacion = {
|
|
57
|
-
type: 'discovery',
|
|
58
|
-
title: 'Detalle relevante',
|
|
59
|
-
facts: ['fact 1', 'fact 2'],
|
|
60
|
-
narrative: 'Narrativa con suficiente detalle para evaluar',
|
|
61
|
-
concepts: ['c1'],
|
|
62
|
-
files: ['ruta/al/archivo.js'],
|
|
63
|
-
importance: 7,
|
|
64
|
-
};
|
|
65
|
-
|
|
66
|
-
const r = validar(observacion, COMPRESS_OUTPUT_SCHEMA);
|
|
67
|
-
if (!r.valid) {
|
|
68
|
-
console.error('Output inválido:', r.errors);
|
|
69
|
-
} else {
|
|
70
|
-
// Persistir
|
|
71
|
-
}
|
|
72
|
-
```
|
|
73
|
-
|
|
74
|
-
### Puntuar calidad (independiente de validez)
|
|
75
|
-
|
|
76
|
-
```js
|
|
77
|
-
const { scoreObservacion, scoreAprendizaje, scoreInstinto } = require('./scripts/lib/eval-quality');
|
|
78
|
-
|
|
79
|
-
const score = scoreObservacion(observacion);
|
|
80
|
-
// score ∈ [0, 100]. 100 = todos los campos óptimos.
|
|
81
|
-
```
|
|
82
|
-
|
|
83
|
-
### Loop de auto-corrección
|
|
84
|
-
|
|
85
|
-
```js
|
|
86
|
-
const { compresseConReintento } = require('./scripts/lib/eval-self-correct');
|
|
87
|
-
|
|
88
|
-
const productor = async (sysPrompt, userPrompt) => {
|
|
89
|
-
// Llamar al LLM o ejecutar Skill que produzca el output
|
|
90
|
-
return await llamarClaude(sysPrompt, userPrompt);
|
|
91
|
-
};
|
|
92
|
-
|
|
93
|
-
const validador = (output) => {
|
|
94
|
-
const parsed = JSON.parse(output);
|
|
95
|
-
return validar(parsed, COMPRESS_OUTPUT_SCHEMA);
|
|
96
|
-
};
|
|
97
|
-
|
|
98
|
-
const r = await compresseConReintento({
|
|
99
|
-
productor, validador,
|
|
100
|
-
sysPrompt: '...', userPrompt: '...',
|
|
101
|
-
maxRetries: 2,
|
|
102
|
-
});
|
|
103
|
-
|
|
104
|
-
if (r.valid) {
|
|
105
|
-
// r.output es válido (puede haber requerido r.intentos retries)
|
|
106
|
-
}
|
|
107
|
-
```
|
|
108
|
-
|
|
109
|
-
### Persistir métricas para auditoría histórica
|
|
110
|
-
|
|
111
|
-
```js
|
|
112
|
-
const ms = require('./scripts/lib/eval-metrics-store');
|
|
113
|
-
|
|
114
|
-
ms.registrar(process.cwd(), {
|
|
115
|
-
functionId: 'extractor-de-aprendizajes::scorer',
|
|
116
|
-
latencyMs: 42,
|
|
117
|
-
success: true,
|
|
118
|
-
qualityScore: 85,
|
|
119
|
-
});
|
|
120
|
-
|
|
121
|
-
// Lectura agregada
|
|
122
|
-
const m = ms.obtener(process.cwd(), 'extractor-de-aprendizajes::scorer');
|
|
123
|
-
// → { totalCalls, successCount, failureCount, avgLatencyMs, avgQualityScore, ... }
|
|
124
|
-
```
|
|
125
|
-
|
|
126
|
-
### CLI desde Bash (para CI o manual)
|
|
127
|
-
|
|
128
|
-
```bash
|
|
129
|
-
# Crear archivo de eval
|
|
130
|
-
cat > /tmp/eval.json << 'EOF'
|
|
131
|
-
{
|
|
132
|
-
"functionId": "memoria-busqueda::search",
|
|
133
|
-
"schemaName": "MEMORY_SEARCH_RESULT_SCHEMA",
|
|
134
|
-
"qualityScorer": null,
|
|
135
|
-
"expectedKeys": ["id", "tipo", "titulo", "fecha", "relevancia"],
|
|
136
|
-
"output": { ... }
|
|
137
|
-
}
|
|
138
|
-
EOF
|
|
139
|
-
|
|
140
|
-
# Ejecutar
|
|
141
|
-
node scripts/run-eval.js /tmp/eval.json
|
|
142
|
-
# Exit 0 si valid, 1 si inválido. Persiste métricas automáticamente.
|
|
143
|
-
|
|
144
|
-
# Reconstruir agregado desde JSONL si se corrompe
|
|
145
|
-
node scripts/run-eval.js --rebuild-aggregate
|
|
146
|
-
```
|
|
147
|
-
|
|
148
|
-
---
|
|
149
|
-
|
|
150
|
-
## Schemas disponibles
|
|
151
|
-
|
|
152
|
-
- `COMPRESS_OUTPUT_SCHEMA` — observación comprimida con type, title, facts,
|
|
153
|
-
narrative, concepts, files, importance.
|
|
154
|
-
- `SUMMARY_OUTPUT_SCHEMA` — resumen de sesión con title, narrative,
|
|
155
|
-
keyDecisions, filesModified, concepts.
|
|
156
|
-
- `SEARCH_INPUT_SCHEMA` — input de búsqueda { query, limit? }.
|
|
157
|
-
- `REMEMBER_INPUT_SCHEMA` — input de "remember" { content, type?,
|
|
158
|
-
concepts?, files? }.
|
|
159
|
-
- `EVAL_RESULT_SCHEMA` — resultado de evaluación { valid, errors?,
|
|
160
|
-
qualityScore, latencyMs, functionId, metadata? }.
|
|
161
|
-
- `MEMORY_SEARCH_RESULT_SCHEMA` — resultado de `hooks/lib/memory-search`
|
|
162
|
-
con id, tipo, titulo, fecha, relevancia, combinedScore?, confidence?.
|
|
163
|
-
|
|
164
|
-
Agregar más schemas en `scripts/lib/eval-schemas.js` siguiendo el formato
|
|
165
|
-
JSON Schema-lite (subset documentado en `eval-validator.js`).
|
|
166
|
-
|
|
167
|
-
---
|
|
168
|
-
|
|
169
|
-
## Quality scorers disponibles
|
|
170
|
-
|
|
171
|
-
- `scoreObservacion(obs)` — observación con type/title/facts/narrative/concepts/importance.
|
|
172
|
-
- `scoreResumen(summary)` — resumen con title/narrative/keyDecisions/filesModified/concepts.
|
|
173
|
-
- `scoreAprendizaje(aprendizaje)` — aprendizaje SWL con titulo/contenido/tipo (específico de SWL).
|
|
174
|
-
- `scoreInstinto(instinto)` — instinto con pattern/confidence/status/source_*/evidence_count (específico de SWL).
|
|
175
|
-
- `scoreRelevanciaContexto(context, project)` — contexto inyectado en sesión.
|
|
176
|
-
|
|
177
|
-
Cada scorer devuelve un número en [0, 100]. Los criterios están documentados
|
|
178
|
-
en cada función en `scripts/lib/eval-quality.js`.
|
|
179
|
-
|
|
180
|
-
---
|
|
181
|
-
|
|
182
|
-
## Diferencias con tests unitarios
|
|
183
|
-
|
|
184
|
-
| Eval framework | Tests unitarios |
|
|
185
|
-
|---|---|
|
|
186
|
-
| Mide calidad subjetiva sobre estructura | Mide correctitud lógica |
|
|
187
|
-
| Score graduado [0, 100] | Pass/fail binario |
|
|
188
|
-
| Persiste histórico para auditoría | No persiste (corre en CI) |
|
|
189
|
-
| Para outputs estructurados de agentes | Para funciones puras / API |
|
|
190
|
-
| Permite retry con prompt estricto | No aplicable |
|
|
191
|
-
|
|
192
|
-
Los dos son complementarios: tests unitarios para `scoring-instintos.js`,
|
|
193
|
-
eval framework para "¿el aprendizaje que extrajo el hook es de calidad?".
|
|
194
|
-
|
|
195
|
-
---
|
|
196
|
-
|
|
197
|
-
## Gotchas / Errores comunes no obvios
|
|
198
|
-
|
|
199
|
-
- **Validez estructural ≠ calidad**: un aprendizaje con `titulo: "X"` y
|
|
200
|
-
`contenido: "trivial"` puede pasar `expectedKeys` pero tener
|
|
201
|
-
`qualityScore: 0`. El framework los distingue. En CI gates, considerar
|
|
202
|
-
ambos: `valid && qualityScore >= 60`.
|
|
203
|
-
- **Métricas agregadas se reescriben atómicamente**: si dos procesos
|
|
204
|
-
llaman `registrar()` en paralelo sobre el mismo `functionId`, el último
|
|
205
|
-
gana (race condition en agregado). Para alta concurrencia usar
|
|
206
|
-
`reconstruirAgregado()` periódicamente desde el JSONL append-only.
|
|
207
|
-
- **`run-eval.js` exit code**: 0 = valid, 1 = inválido o error de I/O,
|
|
208
|
-
2 = error de uso. No confundir con quality threshold — el CLI no
|
|
209
|
-
bloquea por quality bajo, solo por validez.
|
|
210
|
-
- **`compresseConReintento` no reintenta indefinidamente**: respeta
|
|
211
|
-
`maxRetries`. Tras agotar reintentos devuelve el último output con
|
|
212
|
-
`valid: false`. El caller decide qué hacer.
|
|
1
|
+
---
|
|
2
|
+
name: eval-framework
|
|
3
|
+
description: >
|
|
4
|
+
Eval framework para validar y puntuar outputs estructurados de SWL
|
|
5
|
+
(aprendizajes, instintos, observaciones, resúmenes, contextos). Cargar
|
|
6
|
+
cuando un agente produzca un output estructurado y se quiera medir su
|
|
7
|
+
calidad antes de persistir, o cuando se audite la calidad histórica de
|
|
8
|
+
funciones críticas (extractor-de-aprendizajes, perfilador-usuario,
|
|
9
|
+
consolidador, planificador).
|
|
10
|
+
version: "1.0.0"
|
|
11
|
+
herramientasPermitidas: [Read, Bash]
|
|
12
|
+
exclusiones:
|
|
13
|
+
- "No cargar para validación de input de usuario o request HTTP — eso es validación de boundary, usar Pydantic/Zod en el endpoint."
|
|
14
|
+
- "No cargar para auditoría de seguridad — usar `revisor-seguridad-swl` y `escaneo-secretos`."
|
|
15
|
+
- "No cargar para tests unitarios de código — usar `tdd-workflow` y Vitest."
|
|
16
|
+
- "No cargar cuando el output no tiene estructura definida (texto libre): el eval framework requiere schemas declarados o quality scorers específicos."
|
|
17
|
+
evolvable: true # default para skill estandar
|
|
18
|
+
---
|
|
19
|
+
# Eval Framework — Validación + Calidad de Outputs SWL
|
|
20
|
+
|
|
21
|
+
## Cuándo cargar
|
|
22
|
+
|
|
23
|
+
- Tras producir un output estructurado (observación, aprendizaje, resumen,
|
|
24
|
+
resultado de búsqueda) cuando se quiera puntuar su calidad antes de
|
|
25
|
+
persistir.
|
|
26
|
+
- Para auditar histórico de calidad de una función crítica (ver métricas
|
|
27
|
+
agregadas en `.planning/evolution/eval-metrics.json`).
|
|
28
|
+
- En tests/CI cuando el contrato del output tenga campos obligatorios y
|
|
29
|
+
quality thresholds.
|
|
30
|
+
- En loops de auto-corrección donde un output inválido debe regenerarse
|
|
31
|
+
con un prompt más estricto.
|
|
32
|
+
|
|
33
|
+
---
|
|
34
|
+
|
|
35
|
+
## Componentes del framework
|
|
36
|
+
|
|
37
|
+
| Módulo | Propósito |
|
|
38
|
+
|---|---|
|
|
39
|
+
| `scripts/lib/eval-schemas.js` | Schemas JSON-lite para outputs (observación, resumen, search input, etc.). |
|
|
40
|
+
| `scripts/lib/eval-validator.js` | Validador zero-deps de schemas (sin Zod). |
|
|
41
|
+
| `scripts/lib/eval-quality.js` | Funciones de scoring: `scoreObservacion`, `scoreResumen`, `scoreAprendizaje`, `scoreInstinto`, `scoreRelevanciaContexto`. |
|
|
42
|
+
| `scripts/lib/eval-self-correct.js` | Loop de retry con sufijo estricto cuando validador falla. |
|
|
43
|
+
| `scripts/lib/eval-metrics-store.js` | Persistencia: JSONL append-only (`eval-results.jsonl`) + agregado JSON (`eval-metrics.json`). |
|
|
44
|
+
| `scripts/run-eval.js` | CLI para evaluar un output desde archivo JSON. |
|
|
45
|
+
|
|
46
|
+
---
|
|
47
|
+
|
|
48
|
+
## Uso típico desde agente o test
|
|
49
|
+
|
|
50
|
+
### Validar output contra schema
|
|
51
|
+
|
|
52
|
+
```js
|
|
53
|
+
const { validar } = require('./scripts/lib/eval-validator');
|
|
54
|
+
const { COMPRESS_OUTPUT_SCHEMA } = require('./scripts/lib/eval-schemas');
|
|
55
|
+
|
|
56
|
+
const observacion = {
|
|
57
|
+
type: 'discovery',
|
|
58
|
+
title: 'Detalle relevante',
|
|
59
|
+
facts: ['fact 1', 'fact 2'],
|
|
60
|
+
narrative: 'Narrativa con suficiente detalle para evaluar',
|
|
61
|
+
concepts: ['c1'],
|
|
62
|
+
files: ['ruta/al/archivo.js'],
|
|
63
|
+
importance: 7,
|
|
64
|
+
};
|
|
65
|
+
|
|
66
|
+
const r = validar(observacion, COMPRESS_OUTPUT_SCHEMA);
|
|
67
|
+
if (!r.valid) {
|
|
68
|
+
console.error('Output inválido:', r.errors);
|
|
69
|
+
} else {
|
|
70
|
+
// Persistir
|
|
71
|
+
}
|
|
72
|
+
```
|
|
73
|
+
|
|
74
|
+
### Puntuar calidad (independiente de validez)
|
|
75
|
+
|
|
76
|
+
```js
|
|
77
|
+
const { scoreObservacion, scoreAprendizaje, scoreInstinto } = require('./scripts/lib/eval-quality');
|
|
78
|
+
|
|
79
|
+
const score = scoreObservacion(observacion);
|
|
80
|
+
// score ∈ [0, 100]. 100 = todos los campos óptimos.
|
|
81
|
+
```
|
|
82
|
+
|
|
83
|
+
### Loop de auto-corrección
|
|
84
|
+
|
|
85
|
+
```js
|
|
86
|
+
const { compresseConReintento } = require('./scripts/lib/eval-self-correct');
|
|
87
|
+
|
|
88
|
+
const productor = async (sysPrompt, userPrompt) => {
|
|
89
|
+
// Llamar al LLM o ejecutar Skill que produzca el output
|
|
90
|
+
return await llamarClaude(sysPrompt, userPrompt);
|
|
91
|
+
};
|
|
92
|
+
|
|
93
|
+
const validador = (output) => {
|
|
94
|
+
const parsed = JSON.parse(output);
|
|
95
|
+
return validar(parsed, COMPRESS_OUTPUT_SCHEMA);
|
|
96
|
+
};
|
|
97
|
+
|
|
98
|
+
const r = await compresseConReintento({
|
|
99
|
+
productor, validador,
|
|
100
|
+
sysPrompt: '...', userPrompt: '...',
|
|
101
|
+
maxRetries: 2,
|
|
102
|
+
});
|
|
103
|
+
|
|
104
|
+
if (r.valid) {
|
|
105
|
+
// r.output es válido (puede haber requerido r.intentos retries)
|
|
106
|
+
}
|
|
107
|
+
```
|
|
108
|
+
|
|
109
|
+
### Persistir métricas para auditoría histórica
|
|
110
|
+
|
|
111
|
+
```js
|
|
112
|
+
const ms = require('./scripts/lib/eval-metrics-store');
|
|
113
|
+
|
|
114
|
+
ms.registrar(process.cwd(), {
|
|
115
|
+
functionId: 'extractor-de-aprendizajes::scorer',
|
|
116
|
+
latencyMs: 42,
|
|
117
|
+
success: true,
|
|
118
|
+
qualityScore: 85,
|
|
119
|
+
});
|
|
120
|
+
|
|
121
|
+
// Lectura agregada
|
|
122
|
+
const m = ms.obtener(process.cwd(), 'extractor-de-aprendizajes::scorer');
|
|
123
|
+
// → { totalCalls, successCount, failureCount, avgLatencyMs, avgQualityScore, ... }
|
|
124
|
+
```
|
|
125
|
+
|
|
126
|
+
### CLI desde Bash (para CI o manual)
|
|
127
|
+
|
|
128
|
+
```bash
|
|
129
|
+
# Crear archivo de eval
|
|
130
|
+
cat > /tmp/eval.json << 'EOF'
|
|
131
|
+
{
|
|
132
|
+
"functionId": "memoria-busqueda::search",
|
|
133
|
+
"schemaName": "MEMORY_SEARCH_RESULT_SCHEMA",
|
|
134
|
+
"qualityScorer": null,
|
|
135
|
+
"expectedKeys": ["id", "tipo", "titulo", "fecha", "relevancia"],
|
|
136
|
+
"output": { ... }
|
|
137
|
+
}
|
|
138
|
+
EOF
|
|
139
|
+
|
|
140
|
+
# Ejecutar
|
|
141
|
+
node scripts/run-eval.js /tmp/eval.json
|
|
142
|
+
# Exit 0 si valid, 1 si inválido. Persiste métricas automáticamente.
|
|
143
|
+
|
|
144
|
+
# Reconstruir agregado desde JSONL si se corrompe
|
|
145
|
+
node scripts/run-eval.js --rebuild-aggregate
|
|
146
|
+
```
|
|
147
|
+
|
|
148
|
+
---
|
|
149
|
+
|
|
150
|
+
## Schemas disponibles
|
|
151
|
+
|
|
152
|
+
- `COMPRESS_OUTPUT_SCHEMA` — observación comprimida con type, title, facts,
|
|
153
|
+
narrative, concepts, files, importance.
|
|
154
|
+
- `SUMMARY_OUTPUT_SCHEMA` — resumen de sesión con title, narrative,
|
|
155
|
+
keyDecisions, filesModified, concepts.
|
|
156
|
+
- `SEARCH_INPUT_SCHEMA` — input de búsqueda { query, limit? }.
|
|
157
|
+
- `REMEMBER_INPUT_SCHEMA` — input de "remember" { content, type?,
|
|
158
|
+
concepts?, files? }.
|
|
159
|
+
- `EVAL_RESULT_SCHEMA` — resultado de evaluación { valid, errors?,
|
|
160
|
+
qualityScore, latencyMs, functionId, metadata? }.
|
|
161
|
+
- `MEMORY_SEARCH_RESULT_SCHEMA` — resultado de `hooks/lib/memory-search`
|
|
162
|
+
con id, tipo, titulo, fecha, relevancia, combinedScore?, confidence?.
|
|
163
|
+
|
|
164
|
+
Agregar más schemas en `scripts/lib/eval-schemas.js` siguiendo el formato
|
|
165
|
+
JSON Schema-lite (subset documentado en `eval-validator.js`).
|
|
166
|
+
|
|
167
|
+
---
|
|
168
|
+
|
|
169
|
+
## Quality scorers disponibles
|
|
170
|
+
|
|
171
|
+
- `scoreObservacion(obs)` — observación con type/title/facts/narrative/concepts/importance.
|
|
172
|
+
- `scoreResumen(summary)` — resumen con title/narrative/keyDecisions/filesModified/concepts.
|
|
173
|
+
- `scoreAprendizaje(aprendizaje)` — aprendizaje SWL con titulo/contenido/tipo (específico de SWL).
|
|
174
|
+
- `scoreInstinto(instinto)` — instinto con pattern/confidence/status/source_*/evidence_count (específico de SWL).
|
|
175
|
+
- `scoreRelevanciaContexto(context, project)` — contexto inyectado en sesión.
|
|
176
|
+
|
|
177
|
+
Cada scorer devuelve un número en [0, 100]. Los criterios están documentados
|
|
178
|
+
en cada función en `scripts/lib/eval-quality.js`.
|
|
179
|
+
|
|
180
|
+
---
|
|
181
|
+
|
|
182
|
+
## Diferencias con tests unitarios
|
|
183
|
+
|
|
184
|
+
| Eval framework | Tests unitarios |
|
|
185
|
+
|---|---|
|
|
186
|
+
| Mide calidad subjetiva sobre estructura | Mide correctitud lógica |
|
|
187
|
+
| Score graduado [0, 100] | Pass/fail binario |
|
|
188
|
+
| Persiste histórico para auditoría | No persiste (corre en CI) |
|
|
189
|
+
| Para outputs estructurados de agentes | Para funciones puras / API |
|
|
190
|
+
| Permite retry con prompt estricto | No aplicable |
|
|
191
|
+
|
|
192
|
+
Los dos son complementarios: tests unitarios para `scoring-instintos.js`,
|
|
193
|
+
eval framework para "¿el aprendizaje que extrajo el hook es de calidad?".
|
|
194
|
+
|
|
195
|
+
---
|
|
196
|
+
|
|
197
|
+
## Gotchas / Errores comunes no obvios
|
|
198
|
+
|
|
199
|
+
- **Validez estructural ≠ calidad**: un aprendizaje con `titulo: "X"` y
|
|
200
|
+
`contenido: "trivial"` puede pasar `expectedKeys` pero tener
|
|
201
|
+
`qualityScore: 0`. El framework los distingue. En CI gates, considerar
|
|
202
|
+
ambos: `valid && qualityScore >= 60`.
|
|
203
|
+
- **Métricas agregadas se reescriben atómicamente**: si dos procesos
|
|
204
|
+
llaman `registrar()` en paralelo sobre el mismo `functionId`, el último
|
|
205
|
+
gana (race condition en agregado). Para alta concurrencia usar
|
|
206
|
+
`reconstruirAgregado()` periódicamente desde el JSONL append-only.
|
|
207
|
+
- **`run-eval.js` exit code**: 0 = valid, 1 = inválido o error de I/O,
|
|
208
|
+
2 = error de uso. No confundir con quality threshold — el CLI no
|
|
209
|
+
bloquea por quality bajo, solo por validez.
|
|
210
|
+
- **`compresseConReintento` no reintenta indefinidamente**: respeta
|
|
211
|
+
`maxRetries`. Tras agotar reintentos devuelve el último output con
|
|
212
|
+
`valid: false`. El caller decide qué hacer.
|