@saulwade/swl-ses 1.3.8 → 1.4.0
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/CLAUDE.md +12 -4
- package/README.md +1 -1
- package/bin/swl-mcp-server.js +187 -187
- package/bin/swl-webhook-server.js +198 -0
- package/comandos/swl/.evolved.json +22 -22
- package/comandos/swl/adoptar-proyecto.md +21 -1
- package/comandos/swl/claudemd.md +14 -1
- package/comandos/swl/contribuir.md +233 -233
- package/comandos/swl/exportar-vault.md +108 -0
- package/comandos/swl/nuevo-proyecto.md +24 -2
- package/gateway/adapters/base.js +109 -0
- package/gateway/adapters/discord.js +167 -0
- package/gateway/adapters/email.js +221 -0
- package/gateway/adapters/slack.js +192 -0
- package/gateway/adapters/telegram.js +183 -0
- package/gateway/adapters/webhook.js +113 -0
- package/gateway/adapters/whatsapp.js +214 -0
- package/gateway/agent-executor.js +322 -0
- package/gateway/command-relay.js +271 -0
- package/gateway/cron/jobs.js +263 -0
- package/gateway/cron/scheduler.js +322 -0
- package/gateway/cron/store.js +335 -0
- package/gateway/index.js +320 -0
- package/gateway/lib/event-channel.js +191 -0
- package/gateway/session.js +131 -0
- package/gateway/webhook-server.js +324 -0
- package/habilidades/backend-production-resilience/SKILL.md +288 -288
- package/habilidades/benchmark-memoria/SKILL.md +186 -186
- package/habilidades/build-errors-nextjs/SKILL.md +55 -1
- package/habilidades/diagrama-arquitectura/assets/template.html +276 -276
- package/habilidades/doubt-driven-review/SKILL.md +171 -171
- package/habilidades/doubt-driven-review/recursos/EXAMPLES.md +130 -130
- package/habilidades/eval-framework/SKILL.md +212 -212
- package/habilidades/extractor-de-aprendizajes/SKILL.md +20 -10
- package/habilidades/harness-claude-code/SKILL.md +299 -299
- package/habilidades/infra-github-actions/SKILL.md +166 -166
- package/habilidades/legacy-code-rescue/SKILL.md +267 -267
- package/habilidades/manejo-errores/.evolved.json +8 -8
- package/habilidades/meta-skills-estandar/recursos/convencion-examples.md +93 -93
- package/habilidades/meta-skills-estandar/recursos/skills-as-agents.md +163 -163
- package/habilidades/nextjs-testing/SKILL.md +89 -5
- package/habilidades/node-experto/SKILL.md +37 -1
- package/habilidades/patrones-python/SKILL.md +229 -229
- package/habilidades/patrones-python/recursos/patrones-avanzados.md +469 -469
- package/habilidades/planear-fase/SKILL.md +319 -319
- package/habilidades/react-experto/SKILL.md +45 -4
- package/habilidades/release-semver/.evolved.json +8 -8
- package/habilidades/tdd-workflow/SKILL.md +36 -4
- package/habilidades/testing-python/SKILL.md +340 -340
- package/hooks/claudemd-bloat-detector.js +161 -161
- package/hooks/inyeccion-contexto.js +8 -3
- package/hooks/lib/agent-routing.js +107 -107
- package/hooks/lib/auto-consolidator.js +335 -335
- package/hooks/lib/error-classifier.js +308 -308
- package/hooks/lib/merkle-audit.js +96 -96
- package/hooks/lib/provenance-tracker.js +191 -191
- package/hooks/lib/rate-limit-ip.js +177 -0
- package/hooks/lib/rate-limit-tracker.js +253 -253
- package/hooks/lib/resource-quota.js +122 -122
- package/hooks/lib/retry-jitter.js +165 -165
- package/hooks/lib/skill-auditor.js +588 -588
- package/hooks/lib/sync-status.js +228 -228
- package/hooks/lib/taint-tracker.js +107 -107
- package/hooks/lib/text-similarity.js +241 -241
- package/hooks/lib/toon-compressor.js +245 -245
- package/hooks/lib/webhook-dedup.js +184 -0
- package/hooks/lib/webhook-verify.js +123 -0
- package/hooks/proteccion-rutas.js +120 -15
- package/hooks/registro-turnos.js +209 -209
- package/hooks/sugerir-regenerar-inventario.js +170 -170
- package/hooks/validar-formato-post-subagente.js +140 -140
- package/hooks/validar-memoria-hook.js +218 -218
- package/instintos/prompt-appendices.yaml +57 -57
- package/manifiestos/agent-output-schemas.json +57 -57
- package/manifiestos/modulos.json +1 -0
- package/manifiestos/skills-lock.json +34 -34
- package/package.json +5 -3
- package/plantillas/auditor-veto-template.md +105 -105
- package/plantillas/github-workflows/README.md +47 -47
- package/plantillas/github-workflows/release-please.yml +44 -44
- package/plantillas/github-workflows/swl-ci.yml +107 -107
- package/plantillas/github-workflows/swl-security.yml +51 -51
- package/plugin.json +1 -1
- package/reglas/analisis-previo-tareas-grandes.md +172 -172
- package/reglas/arreglar-al-detectar.md +147 -147
- package/reglas/fragmentos-compartidos.md +152 -152
- package/reglas/harness-claude-code.md +213 -213
- package/reglas/usar-context7.md +226 -226
- package/reglas/usar-sistema-swl.md +251 -0
- package/schemas/diary-entry.schema.json +80 -80
- package/scripts/benchmark-memoria.js +167 -167
- package/scripts/comandos/skills.js +251 -2
- package/scripts/configurar-branch-protection.js +418 -418
- package/scripts/detectar-aprendizajes-duplicados.js +151 -151
- package/scripts/field-report.js +199 -199
- package/scripts/generar-checklists-consolidados.js +273 -273
- package/scripts/generar-inventario.js +420 -420
- package/scripts/generar-matriz-lenguajes.js +271 -271
- package/scripts/lib/artefactos-python.js +43 -43
- package/scripts/lib/benchmark-metrics.js +160 -160
- package/scripts/lib/budget-enforcer.js +252 -252
- package/scripts/lib/configurar-ci.js +380 -380
- package/scripts/lib/contadores-inventario.js +217 -217
- package/scripts/lib/detectar-stack-detallado.js +307 -307
- package/scripts/lib/diary-entry.js +234 -234
- package/scripts/lib/eval-metrics-store.js +218 -218
- package/scripts/lib/eval-quality.js +171 -171
- package/scripts/lib/eval-schemas.js +144 -144
- package/scripts/lib/eval-self-correct.js +106 -106
- package/scripts/lib/eval-validator.js +185 -185
- package/scripts/lib/jaccard-similarity.js +98 -98
- package/scripts/lib/longmemeval-runner.js +125 -125
- package/scripts/lib/npm-version.js +261 -261
- package/scripts/lib/paquetes-conocidos.js +50 -50
- package/scripts/lib/prompt-builder.js +264 -264
- package/scripts/lib/rrf-fusion.js +175 -175
- package/scripts/lib/scoring-instintos.js +277 -277
- package/scripts/lib/semantic-search.js +252 -252
- package/scripts/limpiar-artefactos-python.js +131 -131
- package/scripts/mcp-server/README.md +128 -128
- package/scripts/mcp-server/handlers.js +206 -206
- package/scripts/migrar-csv-a-array.js +168 -168
- package/scripts/migrar-fase-dominio.js +201 -201
- package/scripts/publicar.js +511 -511
- package/scripts/run-eval.js +141 -141
- package/scripts/validar-manifest.js +195 -195
- package/scripts/validar-userland-vacio.js +110 -110
- package/scripts/verificar-release.js +110 -0
|
@@ -1,212 +1,212 @@
|
|
|
1
|
-
---
|
|
2
|
-
name: eval-framework
|
|
3
|
-
description: >
|
|
4
|
-
Eval framework para validar y puntuar outputs estructurados de SWL
|
|
5
|
-
(aprendizajes, instintos, observaciones, resúmenes, contextos). Cargar
|
|
6
|
-
cuando un agente produzca un output estructurado y se quiera medir su
|
|
7
|
-
calidad antes de persistir, o cuando se audite la calidad histórica de
|
|
8
|
-
funciones críticas (extractor-de-aprendizajes, perfilador-usuario,
|
|
9
|
-
consolidador, planificador).
|
|
10
|
-
version: "1.0.0"
|
|
11
|
-
herramientasPermitidas: [Read, Bash]
|
|
12
|
-
exclusiones:
|
|
13
|
-
- "No cargar para validación de input de usuario o request HTTP — eso es validación de boundary, usar Pydantic/Zod en el endpoint."
|
|
14
|
-
- "No cargar para auditoría de seguridad — usar `revisor-seguridad-swl` y `escaneo-secretos`."
|
|
15
|
-
- "No cargar para tests unitarios de código — usar `tdd-workflow` y Vitest."
|
|
16
|
-
- "No cargar cuando el output no tiene estructura definida (texto libre): el eval framework requiere schemas declarados o quality scorers específicos."
|
|
17
|
-
evolvable: true # default para skill estandar
|
|
18
|
-
---
|
|
19
|
-
# Eval Framework — Validación + Calidad de Outputs SWL
|
|
20
|
-
|
|
21
|
-
## Cuándo cargar
|
|
22
|
-
|
|
23
|
-
- Tras producir un output estructurado (observación, aprendizaje, resumen,
|
|
24
|
-
resultado de búsqueda) cuando se quiera puntuar su calidad antes de
|
|
25
|
-
persistir.
|
|
26
|
-
- Para auditar histórico de calidad de una función crítica (ver métricas
|
|
27
|
-
agregadas en `.planning/evolucion/eval-metrics.json`).
|
|
28
|
-
- En tests/CI cuando el contrato del output tenga campos obligatorios y
|
|
29
|
-
quality thresholds.
|
|
30
|
-
- En loops de auto-corrección donde un output inválido debe regenerarse
|
|
31
|
-
con un prompt más estricto.
|
|
32
|
-
|
|
33
|
-
---
|
|
34
|
-
|
|
35
|
-
## Componentes del framework
|
|
36
|
-
|
|
37
|
-
| Módulo | Propósito |
|
|
38
|
-
|---|---|
|
|
39
|
-
| `scripts/lib/eval-schemas.js` | Schemas JSON-lite para outputs (observación, resumen, search input, etc.). |
|
|
40
|
-
| `scripts/lib/eval-validator.js` | Validador zero-deps de schemas (sin Zod). |
|
|
41
|
-
| `scripts/lib/eval-quality.js` | Funciones de scoring: `scoreObservacion`, `scoreResumen`, `scoreAprendizaje`, `scoreInstinto`, `scoreRelevanciaContexto`. |
|
|
42
|
-
| `scripts/lib/eval-self-correct.js` | Loop de retry con sufijo estricto cuando validador falla. |
|
|
43
|
-
| `scripts/lib/eval-metrics-store.js` | Persistencia: JSONL append-only (`eval-results.jsonl`) + agregado JSON (`eval-metrics.json`). |
|
|
44
|
-
| `scripts/run-eval.js` | CLI para evaluar un output desde archivo JSON. |
|
|
45
|
-
|
|
46
|
-
---
|
|
47
|
-
|
|
48
|
-
## Uso típico desde agente o test
|
|
49
|
-
|
|
50
|
-
### Validar output contra schema
|
|
51
|
-
|
|
52
|
-
```js
|
|
53
|
-
const { validar } = require('./scripts/lib/eval-validator');
|
|
54
|
-
const { COMPRESS_OUTPUT_SCHEMA } = require('./scripts/lib/eval-schemas');
|
|
55
|
-
|
|
56
|
-
const observacion = {
|
|
57
|
-
type: 'discovery',
|
|
58
|
-
title: 'Detalle relevante',
|
|
59
|
-
facts: ['fact 1', 'fact 2'],
|
|
60
|
-
narrative: 'Narrativa con suficiente detalle para evaluar',
|
|
61
|
-
concepts: ['c1'],
|
|
62
|
-
files: ['ruta/al/archivo.js'],
|
|
63
|
-
importance: 7,
|
|
64
|
-
};
|
|
65
|
-
|
|
66
|
-
const r = validar(observacion, COMPRESS_OUTPUT_SCHEMA);
|
|
67
|
-
if (!r.valid) {
|
|
68
|
-
console.error('Output inválido:', r.errors);
|
|
69
|
-
} else {
|
|
70
|
-
// Persistir
|
|
71
|
-
}
|
|
72
|
-
```
|
|
73
|
-
|
|
74
|
-
### Puntuar calidad (independiente de validez)
|
|
75
|
-
|
|
76
|
-
```js
|
|
77
|
-
const { scoreObservacion, scoreAprendizaje, scoreInstinto } = require('./scripts/lib/eval-quality');
|
|
78
|
-
|
|
79
|
-
const score = scoreObservacion(observacion);
|
|
80
|
-
// score ∈ [0, 100]. 100 = todos los campos óptimos.
|
|
81
|
-
```
|
|
82
|
-
|
|
83
|
-
### Loop de auto-corrección
|
|
84
|
-
|
|
85
|
-
```js
|
|
86
|
-
const { compresseConReintento } = require('./scripts/lib/eval-self-correct');
|
|
87
|
-
|
|
88
|
-
const productor = async (sysPrompt, userPrompt) => {
|
|
89
|
-
// Llamar al LLM o ejecutar Skill que produzca el output
|
|
90
|
-
return await llamarClaude(sysPrompt, userPrompt);
|
|
91
|
-
};
|
|
92
|
-
|
|
93
|
-
const validador = (output) => {
|
|
94
|
-
const parsed = JSON.parse(output);
|
|
95
|
-
return validar(parsed, COMPRESS_OUTPUT_SCHEMA);
|
|
96
|
-
};
|
|
97
|
-
|
|
98
|
-
const r = await compresseConReintento({
|
|
99
|
-
productor, validador,
|
|
100
|
-
sysPrompt: '...', userPrompt: '...',
|
|
101
|
-
maxRetries: 2,
|
|
102
|
-
});
|
|
103
|
-
|
|
104
|
-
if (r.valid) {
|
|
105
|
-
// r.output es válido (puede haber requerido r.intentos retries)
|
|
106
|
-
}
|
|
107
|
-
```
|
|
108
|
-
|
|
109
|
-
### Persistir métricas para auditoría histórica
|
|
110
|
-
|
|
111
|
-
```js
|
|
112
|
-
const ms = require('./scripts/lib/eval-metrics-store');
|
|
113
|
-
|
|
114
|
-
ms.registrar(process.cwd(), {
|
|
115
|
-
functionId: 'extractor-de-aprendizajes::scorer',
|
|
116
|
-
latencyMs: 42,
|
|
117
|
-
success: true,
|
|
118
|
-
qualityScore: 85,
|
|
119
|
-
});
|
|
120
|
-
|
|
121
|
-
// Lectura agregada
|
|
122
|
-
const m = ms.obtener(process.cwd(), 'extractor-de-aprendizajes::scorer');
|
|
123
|
-
// → { totalCalls, successCount, failureCount, avgLatencyMs, avgQualityScore, ... }
|
|
124
|
-
```
|
|
125
|
-
|
|
126
|
-
### CLI desde Bash (para CI o manual)
|
|
127
|
-
|
|
128
|
-
```bash
|
|
129
|
-
# Crear archivo de eval
|
|
130
|
-
cat > /tmp/eval.json << 'EOF'
|
|
131
|
-
{
|
|
132
|
-
"functionId": "memoria-busqueda::search",
|
|
133
|
-
"schemaName": "MEMORY_SEARCH_RESULT_SCHEMA",
|
|
134
|
-
"qualityScorer": null,
|
|
135
|
-
"expectedKeys": ["id", "tipo", "titulo", "fecha", "relevancia"],
|
|
136
|
-
"output": { ... }
|
|
137
|
-
}
|
|
138
|
-
EOF
|
|
139
|
-
|
|
140
|
-
# Ejecutar
|
|
141
|
-
node scripts/run-eval.js /tmp/eval.json
|
|
142
|
-
# Exit 0 si valid, 1 si inválido. Persiste métricas automáticamente.
|
|
143
|
-
|
|
144
|
-
# Reconstruir agregado desde JSONL si se corrompe
|
|
145
|
-
node scripts/run-eval.js --rebuild-aggregate
|
|
146
|
-
```
|
|
147
|
-
|
|
148
|
-
---
|
|
149
|
-
|
|
150
|
-
## Schemas disponibles
|
|
151
|
-
|
|
152
|
-
- `COMPRESS_OUTPUT_SCHEMA` — observación comprimida con type, title, facts,
|
|
153
|
-
narrative, concepts, files, importance.
|
|
154
|
-
- `SUMMARY_OUTPUT_SCHEMA` — resumen de sesión con title, narrative,
|
|
155
|
-
keyDecisions, filesModified, concepts.
|
|
156
|
-
- `SEARCH_INPUT_SCHEMA` — input de búsqueda { query, limit? }.
|
|
157
|
-
- `REMEMBER_INPUT_SCHEMA` — input de "remember" { content, type?,
|
|
158
|
-
concepts?, files? }.
|
|
159
|
-
- `EVAL_RESULT_SCHEMA` — resultado de evaluación { valid, errors?,
|
|
160
|
-
qualityScore, latencyMs, functionId, metadata? }.
|
|
161
|
-
- `MEMORY_SEARCH_RESULT_SCHEMA` — resultado de `hooks/lib/memory-search`
|
|
162
|
-
con id, tipo, titulo, fecha, relevancia, combinedScore?, confidence?.
|
|
163
|
-
|
|
164
|
-
Agregar más schemas en `scripts/lib/eval-schemas.js` siguiendo el formato
|
|
165
|
-
JSON Schema-lite (subset documentado en `eval-validator.js`).
|
|
166
|
-
|
|
167
|
-
---
|
|
168
|
-
|
|
169
|
-
## Quality scorers disponibles
|
|
170
|
-
|
|
171
|
-
- `scoreObservacion(obs)` — observación con type/title/facts/narrative/concepts/importance.
|
|
172
|
-
- `scoreResumen(summary)` — resumen con title/narrative/keyDecisions/filesModified/concepts.
|
|
173
|
-
- `scoreAprendizaje(aprendizaje)` — aprendizaje SWL con titulo/contenido/tipo (específico de SWL).
|
|
174
|
-
- `scoreInstinto(instinto)` — instinto con pattern/confidence/status/source_*/evidence_count (específico de SWL).
|
|
175
|
-
- `scoreRelevanciaContexto(context, project)` — contexto inyectado en sesión.
|
|
176
|
-
|
|
177
|
-
Cada scorer devuelve un número en [0, 100]. Los criterios están documentados
|
|
178
|
-
en cada función en `scripts/lib/eval-quality.js`.
|
|
179
|
-
|
|
180
|
-
---
|
|
181
|
-
|
|
182
|
-
## Diferencias con tests unitarios
|
|
183
|
-
|
|
184
|
-
| Eval framework | Tests unitarios |
|
|
185
|
-
|---|---|
|
|
186
|
-
| Mide calidad subjetiva sobre estructura | Mide correctitud lógica |
|
|
187
|
-
| Score graduado [0, 100] | Pass/fail binario |
|
|
188
|
-
| Persiste histórico para auditoría | No persiste (corre en CI) |
|
|
189
|
-
| Para outputs estructurados de agentes | Para funciones puras / API |
|
|
190
|
-
| Permite retry con prompt estricto | No aplicable |
|
|
191
|
-
|
|
192
|
-
Los dos son complementarios: tests unitarios para `scoring-instintos.js`,
|
|
193
|
-
eval framework para "¿el aprendizaje que extrajo el hook es de calidad?".
|
|
194
|
-
|
|
195
|
-
---
|
|
196
|
-
|
|
197
|
-
## Gotchas / Errores comunes no obvios
|
|
198
|
-
|
|
199
|
-
- **Validez estructural ≠ calidad**: un aprendizaje con `titulo: "X"` y
|
|
200
|
-
`contenido: "trivial"` puede pasar `expectedKeys` pero tener
|
|
201
|
-
`qualityScore: 0`. El framework los distingue. En CI gates, considerar
|
|
202
|
-
ambos: `valid && qualityScore >= 60`.
|
|
203
|
-
- **Métricas agregadas se reescriben atómicamente**: si dos procesos
|
|
204
|
-
llaman `registrar()` en paralelo sobre el mismo `functionId`, el último
|
|
205
|
-
gana (race condition en agregado). Para alta concurrencia usar
|
|
206
|
-
`reconstruirAgregado()` periódicamente desde el JSONL append-only.
|
|
207
|
-
- **`run-eval.js` exit code**: 0 = valid, 1 = inválido o error de I/O,
|
|
208
|
-
2 = error de uso. No confundir con quality threshold — el CLI no
|
|
209
|
-
bloquea por quality bajo, solo por validez.
|
|
210
|
-
- **`compresseConReintento` no reintenta indefinidamente**: respeta
|
|
211
|
-
`maxRetries`. Tras agotar reintentos devuelve el último output con
|
|
212
|
-
`valid: false`. El caller decide qué hacer.
|
|
1
|
+
---
|
|
2
|
+
name: eval-framework
|
|
3
|
+
description: >
|
|
4
|
+
Eval framework para validar y puntuar outputs estructurados de SWL
|
|
5
|
+
(aprendizajes, instintos, observaciones, resúmenes, contextos). Cargar
|
|
6
|
+
cuando un agente produzca un output estructurado y se quiera medir su
|
|
7
|
+
calidad antes de persistir, o cuando se audite la calidad histórica de
|
|
8
|
+
funciones críticas (extractor-de-aprendizajes, perfilador-usuario,
|
|
9
|
+
consolidador, planificador).
|
|
10
|
+
version: "1.0.0"
|
|
11
|
+
herramientasPermitidas: [Read, Bash]
|
|
12
|
+
exclusiones:
|
|
13
|
+
- "No cargar para validación de input de usuario o request HTTP — eso es validación de boundary, usar Pydantic/Zod en el endpoint."
|
|
14
|
+
- "No cargar para auditoría de seguridad — usar `revisor-seguridad-swl` y `escaneo-secretos`."
|
|
15
|
+
- "No cargar para tests unitarios de código — usar `tdd-workflow` y Vitest."
|
|
16
|
+
- "No cargar cuando el output no tiene estructura definida (texto libre): el eval framework requiere schemas declarados o quality scorers específicos."
|
|
17
|
+
evolvable: true # default para skill estandar
|
|
18
|
+
---
|
|
19
|
+
# Eval Framework — Validación + Calidad de Outputs SWL
|
|
20
|
+
|
|
21
|
+
## Cuándo cargar
|
|
22
|
+
|
|
23
|
+
- Tras producir un output estructurado (observación, aprendizaje, resumen,
|
|
24
|
+
resultado de búsqueda) cuando se quiera puntuar su calidad antes de
|
|
25
|
+
persistir.
|
|
26
|
+
- Para auditar histórico de calidad de una función crítica (ver métricas
|
|
27
|
+
agregadas en `.planning/evolucion/eval-metrics.json`).
|
|
28
|
+
- En tests/CI cuando el contrato del output tenga campos obligatorios y
|
|
29
|
+
quality thresholds.
|
|
30
|
+
- En loops de auto-corrección donde un output inválido debe regenerarse
|
|
31
|
+
con un prompt más estricto.
|
|
32
|
+
|
|
33
|
+
---
|
|
34
|
+
|
|
35
|
+
## Componentes del framework
|
|
36
|
+
|
|
37
|
+
| Módulo | Propósito |
|
|
38
|
+
|---|---|
|
|
39
|
+
| `scripts/lib/eval-schemas.js` | Schemas JSON-lite para outputs (observación, resumen, search input, etc.). |
|
|
40
|
+
| `scripts/lib/eval-validator.js` | Validador zero-deps de schemas (sin Zod). |
|
|
41
|
+
| `scripts/lib/eval-quality.js` | Funciones de scoring: `scoreObservacion`, `scoreResumen`, `scoreAprendizaje`, `scoreInstinto`, `scoreRelevanciaContexto`. |
|
|
42
|
+
| `scripts/lib/eval-self-correct.js` | Loop de retry con sufijo estricto cuando validador falla. |
|
|
43
|
+
| `scripts/lib/eval-metrics-store.js` | Persistencia: JSONL append-only (`eval-results.jsonl`) + agregado JSON (`eval-metrics.json`). |
|
|
44
|
+
| `scripts/run-eval.js` | CLI para evaluar un output desde archivo JSON. |
|
|
45
|
+
|
|
46
|
+
---
|
|
47
|
+
|
|
48
|
+
## Uso típico desde agente o test
|
|
49
|
+
|
|
50
|
+
### Validar output contra schema
|
|
51
|
+
|
|
52
|
+
```js
|
|
53
|
+
const { validar } = require('./scripts/lib/eval-validator');
|
|
54
|
+
const { COMPRESS_OUTPUT_SCHEMA } = require('./scripts/lib/eval-schemas');
|
|
55
|
+
|
|
56
|
+
const observacion = {
|
|
57
|
+
type: 'discovery',
|
|
58
|
+
title: 'Detalle relevante',
|
|
59
|
+
facts: ['fact 1', 'fact 2'],
|
|
60
|
+
narrative: 'Narrativa con suficiente detalle para evaluar',
|
|
61
|
+
concepts: ['c1'],
|
|
62
|
+
files: ['ruta/al/archivo.js'],
|
|
63
|
+
importance: 7,
|
|
64
|
+
};
|
|
65
|
+
|
|
66
|
+
const r = validar(observacion, COMPRESS_OUTPUT_SCHEMA);
|
|
67
|
+
if (!r.valid) {
|
|
68
|
+
console.error('Output inválido:', r.errors);
|
|
69
|
+
} else {
|
|
70
|
+
// Persistir
|
|
71
|
+
}
|
|
72
|
+
```
|
|
73
|
+
|
|
74
|
+
### Puntuar calidad (independiente de validez)
|
|
75
|
+
|
|
76
|
+
```js
|
|
77
|
+
const { scoreObservacion, scoreAprendizaje, scoreInstinto } = require('./scripts/lib/eval-quality');
|
|
78
|
+
|
|
79
|
+
const score = scoreObservacion(observacion);
|
|
80
|
+
// score ∈ [0, 100]. 100 = todos los campos óptimos.
|
|
81
|
+
```
|
|
82
|
+
|
|
83
|
+
### Loop de auto-corrección
|
|
84
|
+
|
|
85
|
+
```js
|
|
86
|
+
const { compresseConReintento } = require('./scripts/lib/eval-self-correct');
|
|
87
|
+
|
|
88
|
+
const productor = async (sysPrompt, userPrompt) => {
|
|
89
|
+
// Llamar al LLM o ejecutar Skill que produzca el output
|
|
90
|
+
return await llamarClaude(sysPrompt, userPrompt);
|
|
91
|
+
};
|
|
92
|
+
|
|
93
|
+
const validador = (output) => {
|
|
94
|
+
const parsed = JSON.parse(output);
|
|
95
|
+
return validar(parsed, COMPRESS_OUTPUT_SCHEMA);
|
|
96
|
+
};
|
|
97
|
+
|
|
98
|
+
const r = await compresseConReintento({
|
|
99
|
+
productor, validador,
|
|
100
|
+
sysPrompt: '...', userPrompt: '...',
|
|
101
|
+
maxRetries: 2,
|
|
102
|
+
});
|
|
103
|
+
|
|
104
|
+
if (r.valid) {
|
|
105
|
+
// r.output es válido (puede haber requerido r.intentos retries)
|
|
106
|
+
}
|
|
107
|
+
```
|
|
108
|
+
|
|
109
|
+
### Persistir métricas para auditoría histórica
|
|
110
|
+
|
|
111
|
+
```js
|
|
112
|
+
const ms = require('./scripts/lib/eval-metrics-store');
|
|
113
|
+
|
|
114
|
+
ms.registrar(process.cwd(), {
|
|
115
|
+
functionId: 'extractor-de-aprendizajes::scorer',
|
|
116
|
+
latencyMs: 42,
|
|
117
|
+
success: true,
|
|
118
|
+
qualityScore: 85,
|
|
119
|
+
});
|
|
120
|
+
|
|
121
|
+
// Lectura agregada
|
|
122
|
+
const m = ms.obtener(process.cwd(), 'extractor-de-aprendizajes::scorer');
|
|
123
|
+
// → { totalCalls, successCount, failureCount, avgLatencyMs, avgQualityScore, ... }
|
|
124
|
+
```
|
|
125
|
+
|
|
126
|
+
### CLI desde Bash (para CI o manual)
|
|
127
|
+
|
|
128
|
+
```bash
|
|
129
|
+
# Crear archivo de eval
|
|
130
|
+
cat > /tmp/eval.json << 'EOF'
|
|
131
|
+
{
|
|
132
|
+
"functionId": "memoria-busqueda::search",
|
|
133
|
+
"schemaName": "MEMORY_SEARCH_RESULT_SCHEMA",
|
|
134
|
+
"qualityScorer": null,
|
|
135
|
+
"expectedKeys": ["id", "tipo", "titulo", "fecha", "relevancia"],
|
|
136
|
+
"output": { ... }
|
|
137
|
+
}
|
|
138
|
+
EOF
|
|
139
|
+
|
|
140
|
+
# Ejecutar
|
|
141
|
+
node scripts/run-eval.js /tmp/eval.json
|
|
142
|
+
# Exit 0 si valid, 1 si inválido. Persiste métricas automáticamente.
|
|
143
|
+
|
|
144
|
+
# Reconstruir agregado desde JSONL si se corrompe
|
|
145
|
+
node scripts/run-eval.js --rebuild-aggregate
|
|
146
|
+
```
|
|
147
|
+
|
|
148
|
+
---
|
|
149
|
+
|
|
150
|
+
## Schemas disponibles
|
|
151
|
+
|
|
152
|
+
- `COMPRESS_OUTPUT_SCHEMA` — observación comprimida con type, title, facts,
|
|
153
|
+
narrative, concepts, files, importance.
|
|
154
|
+
- `SUMMARY_OUTPUT_SCHEMA` — resumen de sesión con title, narrative,
|
|
155
|
+
keyDecisions, filesModified, concepts.
|
|
156
|
+
- `SEARCH_INPUT_SCHEMA` — input de búsqueda { query, limit? }.
|
|
157
|
+
- `REMEMBER_INPUT_SCHEMA` — input de "remember" { content, type?,
|
|
158
|
+
concepts?, files? }.
|
|
159
|
+
- `EVAL_RESULT_SCHEMA` — resultado de evaluación { valid, errors?,
|
|
160
|
+
qualityScore, latencyMs, functionId, metadata? }.
|
|
161
|
+
- `MEMORY_SEARCH_RESULT_SCHEMA` — resultado de `hooks/lib/memory-search`
|
|
162
|
+
con id, tipo, titulo, fecha, relevancia, combinedScore?, confidence?.
|
|
163
|
+
|
|
164
|
+
Agregar más schemas en `scripts/lib/eval-schemas.js` siguiendo el formato
|
|
165
|
+
JSON Schema-lite (subset documentado en `eval-validator.js`).
|
|
166
|
+
|
|
167
|
+
---
|
|
168
|
+
|
|
169
|
+
## Quality scorers disponibles
|
|
170
|
+
|
|
171
|
+
- `scoreObservacion(obs)` — observación con type/title/facts/narrative/concepts/importance.
|
|
172
|
+
- `scoreResumen(summary)` — resumen con title/narrative/keyDecisions/filesModified/concepts.
|
|
173
|
+
- `scoreAprendizaje(aprendizaje)` — aprendizaje SWL con titulo/contenido/tipo (específico de SWL).
|
|
174
|
+
- `scoreInstinto(instinto)` — instinto con pattern/confidence/status/source_*/evidence_count (específico de SWL).
|
|
175
|
+
- `scoreRelevanciaContexto(context, project)` — contexto inyectado en sesión.
|
|
176
|
+
|
|
177
|
+
Cada scorer devuelve un número en [0, 100]. Los criterios están documentados
|
|
178
|
+
en cada función en `scripts/lib/eval-quality.js`.
|
|
179
|
+
|
|
180
|
+
---
|
|
181
|
+
|
|
182
|
+
## Diferencias con tests unitarios
|
|
183
|
+
|
|
184
|
+
| Eval framework | Tests unitarios |
|
|
185
|
+
|---|---|
|
|
186
|
+
| Mide calidad subjetiva sobre estructura | Mide correctitud lógica |
|
|
187
|
+
| Score graduado [0, 100] | Pass/fail binario |
|
|
188
|
+
| Persiste histórico para auditoría | No persiste (corre en CI) |
|
|
189
|
+
| Para outputs estructurados de agentes | Para funciones puras / API |
|
|
190
|
+
| Permite retry con prompt estricto | No aplicable |
|
|
191
|
+
|
|
192
|
+
Los dos son complementarios: tests unitarios para `scoring-instintos.js`,
|
|
193
|
+
eval framework para "¿el aprendizaje que extrajo el hook es de calidad?".
|
|
194
|
+
|
|
195
|
+
---
|
|
196
|
+
|
|
197
|
+
## Gotchas / Errores comunes no obvios
|
|
198
|
+
|
|
199
|
+
- **Validez estructural ≠ calidad**: un aprendizaje con `titulo: "X"` y
|
|
200
|
+
`contenido: "trivial"` puede pasar `expectedKeys` pero tener
|
|
201
|
+
`qualityScore: 0`. El framework los distingue. En CI gates, considerar
|
|
202
|
+
ambos: `valid && qualityScore >= 60`.
|
|
203
|
+
- **Métricas agregadas se reescriben atómicamente**: si dos procesos
|
|
204
|
+
llaman `registrar()` en paralelo sobre el mismo `functionId`, el último
|
|
205
|
+
gana (race condition en agregado). Para alta concurrencia usar
|
|
206
|
+
`reconstruirAgregado()` periódicamente desde el JSONL append-only.
|
|
207
|
+
- **`run-eval.js` exit code**: 0 = valid, 1 = inválido o error de I/O,
|
|
208
|
+
2 = error de uso. No confundir con quality threshold — el CLI no
|
|
209
|
+
bloquea por quality bajo, solo por validez.
|
|
210
|
+
- **`compresseConReintento` no reintenta indefinidamente**: respeta
|
|
211
|
+
`maxRetries`. Tras agotar reintentos devuelve el último output con
|
|
212
|
+
`valid: false`. El caller decide qué hacer.
|
|
@@ -1,7 +1,7 @@
|
|
|
1
1
|
---
|
|
2
2
|
name: extractor-de-aprendizajes
|
|
3
3
|
description: Convertir errores y patrones descubiertos durante la implementación en nuevas habilidades o reglas. Ciclo de mejora continua del sistema SWL.
|
|
4
|
-
version: "1.0.
|
|
4
|
+
version: "1.0.5"
|
|
5
5
|
herramientasPermitidas: [Read]
|
|
6
6
|
exclusiones:
|
|
7
7
|
- "No cargar para actualizar el perfil del usuario — las correcciones explícitas del usuario van a `instintos/perfil-usuario.yaml` vía `perfilador-usuario-swl`, no a APRENDIZAJES.md."
|
|
@@ -10,10 +10,10 @@ exclusiones:
|
|
|
10
10
|
- "No cargar si el aprendizaje no tiene causa raíz identificada — documentar síntoma sin causa produce reglas que no previenen el error real."
|
|
11
11
|
evolvable: true # default para skill estandar
|
|
12
12
|
evolved: true
|
|
13
|
-
evolved-from: "1.0.
|
|
14
|
-
evolved-at: "2026-05-
|
|
13
|
+
evolved-from: "1.0.4"
|
|
14
|
+
evolved-at: "2026-05-12"
|
|
15
15
|
evolved-by: "aprender"
|
|
16
|
-
evolved-note: "
|
|
16
|
+
evolved-note: "Backport L-140 SIGM: extender gotcha sub-agentes a Modo C (revisor-codigo-swl reporta ubicaciones incorrectas y severidades subestimadas); CONFIRMADO x4 → x5"
|
|
17
17
|
---
|
|
18
18
|
# Extractor de Aprendizajes
|
|
19
19
|
|
|
@@ -296,17 +296,27 @@ Durante `/swl:aprender`, aplicar estas reglas:
|
|
|
296
296
|
- **`rating: HIGH` asignado sin verificar criterio de irreversibilidad**: el agente promueve a CLAUDE.md un aprendizaje "MEDIUM" por el entusiasmo del momento. Causa: no se aplicó el criterio de "decisión irreversible o bug crítico". Solución: antes de asignar HIGH, verificar: ¿cambiar esto en el futuro requeriría refactorizar múltiples archivos o migrar datos? Si no, mantener MEDIUM.
|
|
297
297
|
- **Regla incompleta sobre registro de hooks**: una entrada en memoria dice "registrar en modulos.json" pero omite `hooks-config.json`, y en la siguiente iteración se repite el fallo en CI porque ambos manifiestos son obligatorios. Causa: la regla de la lección anterior no cubrió todos los manifiestos afectados. Solución: al documentar una regla sobre registro en manifiestos, listar EXPLÍCITAMENTE cada manifiesto con su responsabilidad distinta (`modulos.json` = qué copiar; `hooks-config.json` = cómo registrar evento). Evidencia: tres incidentes históricos del mismo patrón incompleto (v5.7.1, v5.7.2/3, v5.11.0).
|
|
298
298
|
- **Inventario estimado a mano en vez de regenerar**: el agente cuenta "28 hooks" visualmente y propaga la cifra a 5 archivos (CLAUDE/README/package/plugin/SALUD); al regenerar con `scripts/generar-inventario.js` el número real es 30. Causa: confiar en la observación directa en vez de la fuente de verdad determinista. Solución: antes de modificar cualquier contador en documentación oficial, ejecutar el script de inventario y usar su salida como ground truth.
|
|
299
|
-
- **Sub-
|
|
299
|
+
- **Sub-agentes (Explore + revisores) reportan afirmaciones factuales no verificadas sobre el código** [CONFIRMADO x5]: aplica a `Explore`, `revisor-codigo-swl`, `revisor-seguridad-swl`, `investigador-swl`, `planificador-swl`, y en general a cualquier sub-agente que reporte hallazgos sobre código del proyecto destino. **Tres modos de falla observados**:
|
|
300
300
|
|
|
301
|
-
**Modo A — papers académicos** (sesión 2026-04-25): sub-agente propuso 50h+ para implementar SPRT + Lyapunov + compositionality theorem del paper Bhardwaj 2026; costo real validado fue ~5h (solo Drift Score + Recovery Catalog). Causa: el Explore evalúa portabilidad técnica sin aplicar filtro de "datos disponibles" ni "infraestructura zero-deps". Evidencia: 3 papers analizados (evolver, Bhardwaj 2026, Zhang et al. 2026) con descarte sistemático ~70-90% del contenido propuesto.
|
|
301
|
+
**Modo A — papers académicos** (sesión 2026-04-25): sub-agente Explore propuso 50h+ para implementar SPRT + Lyapunov + compositionality theorem del paper Bhardwaj 2026; costo real validado fue ~5h (solo Drift Score + Recovery Catalog). Causa: el Explore evalúa portabilidad técnica sin aplicar filtro de "datos disponibles" ni "infraestructura zero-deps". Evidencia: 3 papers analizados (evolver, Bhardwaj 2026, Zhang et al. 2026) con descarte sistemático ~70-90% del contenido propuesto.
|
|
302
302
|
|
|
303
|
-
**Modo B — repositorios externos** (sesión 2026-05-02 cosecha-temp/ EMAIA): sub-agente analizando `temp/docetl-main` (UC Berkeley, arXiv:2410.12189) afirmó dos cosas FALSAS verificables contra el código del proyecto destino: (1) "EMAIA ya usa LiteLLM" — verificación contra `pyproject.toml` + `grep -r litellm core/` mostró que EMAIA tiene clientes propios (`OllamaClient`/`NIMClient`/`vLLMClient`) y NO usa LiteLLM en absoluto; (2) recomendó portar Gleaning como patrón nuevo, cuando `core/learning/evaluator_optimizer.py` y `core/llm/quality_judge.py` YA implementan Anthropic Evaluator-Optimizer + LLM-as-judge. El fix real era WIRING (~30 LOC), no porting. Costo "MEDIO" del agente quedó como BAJO real. Causa: el Explore evalúa el repo externo en aislamiento, sin leer paths del proyecto destino para verificar qué mecanismos ya existen.
|
|
303
|
+
**Modo B — repositorios externos** (sesión 2026-05-02 cosecha-temp/ EMAIA): sub-agente Explore analizando `temp/docetl-main` (UC Berkeley, arXiv:2410.12189) afirmó dos cosas FALSAS verificables contra el código del proyecto destino: (1) "EMAIA ya usa LiteLLM" — verificación contra `pyproject.toml` + `grep -r litellm core/` mostró que EMAIA tiene clientes propios (`OllamaClient`/`NIMClient`/`vLLMClient`) y NO usa LiteLLM en absoluto; (2) recomendó portar Gleaning como patrón nuevo, cuando `core/learning/evaluator_optimizer.py` y `core/llm/quality_judge.py` YA implementan Anthropic Evaluator-Optimizer + LLM-as-judge. El fix real era WIRING (~30 LOC), no porting. Costo "MEDIO" del agente quedó como BAJO real. Causa: el Explore evalúa el repo externo en aislamiento, sin leer paths del proyecto destino para verificar qué mecanismos ya existen.
|
|
304
304
|
|
|
305
|
-
**
|
|
305
|
+
**Modo C — revisores reportan ubicaciones y severidades incorrectas en código del proyecto** (sesión 2026-05-12 SIGM): `revisor-codigo-swl` ejecutado en `/swl:verificar --until-converge` reportó dos errores factuales: (1) **ubicación incorrecta**: "deferred import en `caja/router.py:545`" cuando la línea real estaba en `caja/service.py:545` — el archivo `caja/router.py` solo tiene 157 líneas (`wc -l caja/router.py = 157`); (2) **severidad subestimada**: reportó "mismatch `CobroConsolidadoResponse` en pantalla de éxito" como MAYOR, mi auditoría manual descubrió que `CobroConsolidadoRequest` también estaba completamente desalineado (más grave, debería ser CRÍTICO bloqueante) — el revisor solo miró el Response. Causa: el revisor analiza código sin re-verificar el path/línea/extensión reportada cuando produce el reporte; sub-agentes basados en LLM hallucinan números de línea con frecuencia ≥15% en archivos grandes.
|
|
306
306
|
|
|
307
|
-
|
|
307
|
+
**Solución unificada — protocolo de verificación de afirmaciones factuales antes de aceptar propuesta de CUALQUIER sub-agente**:
|
|
308
308
|
|
|
309
|
-
*
|
|
309
|
+
*Patrón obligatorio aplicable a TODOS los modos*: extraer 2-3 afirmaciones factuales del reporte del sub-agente y verificar cada una con primitivas baratas (`Grep`/`Read`/`wc -l`/`ls`/`git log`) ANTES de aceptar el plan o acción. Tipos de afirmaciones a verificar:
|
|
310
|
+
|
|
311
|
+
- **Ubicaciones de código** (`archivo.py:123`): verificar `wc -l archivo.py` muestra ≥123, y `sed -n '120,125p' archivo.py` muestra el contenido reportado.
|
|
312
|
+
- **Claims tipo "X usa Y" o "Z no existe"**: `grep -l Y archivo` o `find . -name "Z*"` para confirmar.
|
|
313
|
+
- **Severidad y alcance**: si el revisor reporta "MAYOR" pero el bug afecta el happy path, re-clasificar a CRÍTICO manualmente.
|
|
314
|
+
|
|
315
|
+
*Para papers académicos (Modo A)*: 3 filtros adicionales: (1) ¿requiere SMT solver / SPRT / Lyapunov / DTMC / formal verification? → descartar (rompe zero-deps); (2) ¿requiere N>100 sesiones de campo para validación estadística? → descartar; (3) ¿genera valor accionable HOY o solo elegancia matemática? → solo implementar si HOY.
|
|
316
|
+
|
|
317
|
+
*Para repos externos (Modo B)*: 4 filtros adicionales: (1) ¿qué % es teoría/código no-portable vs portable? — si >70% no-portable, recortar; (2) **¿la propuesta reescribe mecanismos existentes en el proyecto destino?** — VERIFICAR con `Grep`/`Read` 2-3 afirmaciones concretas del agente contra el código real ANTES de aceptar; (3) ¿LOC nuevas estimadas vs reutilizar lo existente? — si la propuesta supera 500 LOC para un solo patrón, hay sobre-ingeniería; (4) ¿el alcance reducido cubre 80% del valor? — Pareto.
|
|
318
|
+
|
|
319
|
+
*Para revisores de código (Modo C)*: además del patrón obligatorio, **re-clasificar severidad cuando el revisor solo miró parte del flujo**. Si el revisor marca MAYOR un bug del Response, verificar si el Request también está afectado — los happy paths típicamente involucran ambos lados.
|
|
310
320
|
- **Hooks de calidad pre-commit bloquean fixtures de tests como falsos positivos**: el hook `calidad-pre-commit.js` aplica regex `\b(api_key|password|token|secret)\s*[=:]\s*["'][^"'\s]{4,}["']` que matchea fixtures legítimos en archivos de test. Caso real: test que valida que la función `sanitizar()` redacta `api_key="abc12345xyz"` se bloquea. Causa: el hook no distingue contexto de test vs producción. Solución: en archivos de test, construir fixtures con concatenación de strings (`'api' + '_key'`, `'pass' + 'word'`) o agregar marcador placeholder reconocido por el hook (`fake_`, `dummy_`, `placeholder`, `example`, `os.environ`). NUNCA bypassear el hook con `--no-verify` — el detector cumple su función; ajustar el fixture es lo correcto.
|
|
311
321
|
- **Regex de path-matching `/[\\/]<dir>[\\/]/` falla con paths relativos sin slash inicial** [CONFIRMADO x4]: hooks que filtran archivos por directorio (ej: `hooks/extraccion-aprendizajes.js` con `PATRONES_ARCHIVO_SWL_EXCLUIDO`) usan patrones que requieren un separator ANTES del nombre. Caso real: path `scripts/lib/foo.js` (sin slash inicial) eludía el filtro de exclusión y generaba placeholders espurios en APRENDIZAJES.md cada vez que se hacía `Edit` o `Write` sobre archivos del sistema SWL. Causa: el regex `[\\/]` requiere un caracter slash/backslash previo; cuando el path empieza con el nombre del directorio directamente, no matchea. Solución: usar `/(?:^|[\\/])<dir>[\\/]/` para aceptar tanto el inicio del string como un separator previo. Evidencia: 4 placeholders eliminados manualmente entre v1.3.3-v1.3.5 antes de identificar la causa raíz; fix endurecido aplicado en v1.3.5 (Fix I).
|
|
312
322
|
- **`git ls-files` es preferible a `fs.readdir` recursivo para tests anti-regresión que escanean el repo**: usar `execSync('git ls-files')` limita el escaneo a archivos versionados — evita `node_modules/`, `.git/`, `_userland/`, archivos temporales y backups sin enumerar exclusiones. Caso real: `tests/scripts/no-legacy-npx-pattern.test.js` v1.3.6 escanea 1000+ archivos versionados en <200ms; el equivalente con `fs.readdir` recursivo más exclusiones manuales sería más lento y propenso a olvidar paths. Cuando el test es de "calidad del repo" (no de comportamiento), `git ls-files` es la primitiva correcta.
|