@saulwade/swl-ses 1.1.4 → 1.2.1

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (41) hide show
  1. package/CLAUDE.md +13 -2
  2. package/README.md +3 -3
  3. package/agentes/revisor-codigo-swl.md +88 -36
  4. package/bin/swl-mcp-server.js +187 -0
  5. package/habilidades/benchmark-memoria/SKILL.md +186 -0
  6. package/habilidades/contenedores-docker/SKILL.md +8 -1
  7. package/habilidades/datos-etl/SKILL.md +18 -1
  8. package/habilidades/doubt-driven-review/SKILL.md +171 -0
  9. package/habilidades/doubt-driven-review/recursos/EXAMPLES.md +130 -0
  10. package/habilidades/eval-framework/SKILL.md +212 -0
  11. package/habilidades/memoria-busqueda/SKILL.md +24 -1
  12. package/habilidades/meta-skills-estandar/SKILL.md +4 -0
  13. package/habilidades/meta-skills-estandar/recursos/convencion-examples.md +93 -0
  14. package/habilidades/planear-fase/SKILL.md +299 -269
  15. package/habilidades/postgresql-experto/SKILL.md +24 -1
  16. package/habilidades/verificar-trabajo/SKILL.md +7 -1
  17. package/hooks/lib/evolution-tracker.js +65 -11
  18. package/hooks/lib/memory-search.js +44 -13
  19. package/hooks/sugerir-contribuir.js +226 -0
  20. package/manifiestos/hooks-config.json +9 -0
  21. package/manifiestos/modulos.json +35 -2
  22. package/manifiestos/perfiles.json +2 -1
  23. package/package.json +6 -3
  24. package/plugin.json +343 -343
  25. package/reglas/skills-estandar.md +3 -0
  26. package/scripts/benchmark-memoria.js +167 -0
  27. package/scripts/detectar-aprendizajes-duplicados.js +151 -0
  28. package/scripts/generar-checklists-consolidados.js +273 -0
  29. package/scripts/lib/benchmark-metrics.js +160 -0
  30. package/scripts/lib/eval-metrics-store.js +218 -0
  31. package/scripts/lib/eval-quality.js +171 -0
  32. package/scripts/lib/eval-schemas.js +144 -0
  33. package/scripts/lib/eval-self-correct.js +106 -0
  34. package/scripts/lib/eval-validator.js +185 -0
  35. package/scripts/lib/jaccard-similarity.js +98 -0
  36. package/scripts/lib/longmemeval-runner.js +125 -0
  37. package/scripts/lib/rrf-fusion.js +175 -0
  38. package/scripts/lib/scoring-instintos.js +40 -3
  39. package/scripts/mcp-server/README.md +128 -0
  40. package/scripts/mcp-server/handlers.js +206 -0
  41. package/scripts/run-eval.js +141 -0
@@ -0,0 +1,171 @@
1
+ ---
2
+ name: doubt-driven-review
3
+ description: >
4
+ Adversarial peer review de decisiones técnicas antes de comprometerlas.
5
+ Cuestiona supuestos, fuerza la articulación de alternativas descartadas y
6
+ detecta confianza injustificada. Cargar antes de decidir arquitecturas
7
+ irreversibles, elegir un framework crítico, definir un contrato de API
8
+ público o aprobar un PR de alto impacto. NO cubre adversarial review de
9
+ memoria (eso lo hace red-team-swl) ni de seguridad de código (eso lo hace
10
+ revisor-seguridad-swl) — este skill se especializa en decisiones técnicas
11
+ con costo de cambio alto.
12
+ ---
13
+
14
+ # Doubt-Driven Review
15
+
16
+ ## Cuándo cargar
17
+
18
+ - Antes de aprobar un ADR que toma una decisión irreversible.
19
+ - Antes de comprometer un contrato público de API o un schema de BD que afecta integraciones externas.
20
+ - Antes de elegir un framework, librería o patrón con costo de migración alto.
21
+ - Antes de fusionar un PR cuyo blast radius incluye módulos críticos.
22
+ - Cuando el equipo o el agente exhibe **alta confianza con baja evidencia** sobre una decisión técnica.
23
+
24
+ ## Cuándo NO cargar
25
+
26
+ - Para revisar código por calidad — eso es `revisor-codigo-swl` con `Skill("checklist-calidad")`.
27
+ - Para revisar seguridad — eso es `revisor-seguridad-swl` con `Skill("checklist-seguridad")`.
28
+ - Para validar memoria contra prompt injection o privacidad — eso es `red-team-swl`.
29
+ - Para discutir alcances con el usuario — eso es `Skill("brainstorming")` o `swl:discutir-fase`.
30
+ - Para fixes triviales o decisiones reversibles en menos de 10 minutos.
31
+
32
+ ## Principio
33
+
34
+ > Una decisión cuya alternativa no se ha articulado, no es una decisión:
35
+ > es una preferencia. Toda decisión técnica con costo de cambio alto debe
36
+ > sobrevivir a un round adversarial antes de comprometerse.
37
+
38
+ El skill ejecuta un protocolo en 5 pasos. Cada paso produce evidencia en
39
+ texto. La salida del skill NO aprueba ni rechaza — produce un reporte que
40
+ el agente o usuario humano usa para decidir.
41
+
42
+ ## Protocolo
43
+
44
+ ### Paso 1 — Articular la decisión y su irreversibilidad
45
+
46
+ Pedir explícitamente:
47
+
48
+ - **Qué se decide**: 1-3 oraciones, sin jerga ambigua.
49
+ - **Qué se descarta**: la decisión opuesta concreta.
50
+ - **Costo de revertir**: estimación en turnos / archivos / horas si en 3 meses se concluye que fue incorrecta.
51
+
52
+ Si el costo de revertir es < 4 horas y < 5 archivos: la decisión NO es candidata
53
+ a doubt-driven review. Cerrar el skill y proceder.
54
+
55
+ ### Paso 2 — Forzar 3 alternativas descartadas
56
+
57
+ El agente o usuario debe articular las 3 alternativas más fuertes que NO se eligieron, con:
58
+
59
+ - Por qué cada una es plausible (≥ 1 razón concreta).
60
+ - Qué tradeoff la hace inferior a la elegida (sin frase genérica como "menos flexible").
61
+
62
+ Si la persona/agente no puede articular 3 alternativas: **señal de decisión bajo-evidencia**.
63
+ Reportar: "Decisión propuesta sin alternativas articuladas. Riesgo de selección por inercia."
64
+
65
+ ### Paso 3 — Buscar contraevidencia activamente
66
+
67
+ Para la decisión propuesta:
68
+
69
+ - Listar 3 escenarios donde la decisión **fallaría** o produciría costos no anticipados.
70
+ - Listar 1 caso histórico (dentro o fuera del proyecto) donde una decisión similar resultó incorrecta.
71
+ - Identificar 1 supuesto de la decisión que NO está validado con evidencia (corre el riesgo de ser falso).
72
+
73
+ Si los 3 escenarios de falla son improbables Y el supuesto está validado: la decisión gana robustez.
74
+ Si ≥ 1 escenario tiene probabilidad ≥ 30%: documentar el riesgo en el reporte.
75
+
76
+ ### Paso 4 — Detectar confianza injustificada
77
+
78
+ Patrones a marcar como red flags:
79
+
80
+ - "Es la mejor práctica" sin citar fuente o caso.
81
+ - "Siempre se hace así" sin verificar el contexto del proyecto actual.
82
+ - "Es lo que recomienda <autoridad>" sin verificar que la recomendación aplica al stack/escala/dominio.
83
+ - "No hay otra opción razonable" cuando el paso 2 ya forzó 3 alternativas.
84
+ - Cita de un blog post o tweet como evidencia única.
85
+ - Argumentos de tipo "todo el mundo lo usa" sin métrica concreta.
86
+
87
+ Por cada red flag detectado: 1 línea en el reporte con cita textual del argumento.
88
+
89
+ ### Paso 5 — Trigger de reversión
90
+
91
+ Toda decisión que pase doubt-driven review debe incluir:
92
+
93
+ - **Trigger de reversión**: condición observable que, de cumplirse, obliga a reabrir la decisión.
94
+ Ejemplos válidos: "p95 de latencia > 800ms en producción durante 7 días",
95
+ "≥3 reportes de bugs relacionados con la limitación X en 30 días", "vendor X
96
+ publica deprecation notice", "costo mensual de infra excede $Y".
97
+ - **Fecha de reevaluación automática**: 6-12 meses desde la fecha de decisión.
98
+
99
+ Si la decisión NO puede tener trigger observable: es una decisión **basada en preferencia**,
100
+ no en hipótesis falsable. Documentarla como tal en el reporte.
101
+
102
+ ## Formato del reporte
103
+
104
+ ```markdown
105
+ ## Doubt-Driven Review — [decisión] — [fecha]
106
+
107
+ ### Decisión articulada
108
+ - Qué se decide: [...]
109
+ - Qué se descarta: [...]
110
+ - Costo de revertir: [estimación]
111
+
112
+ ### Alternativas articuladas
113
+ 1. [alt-1]: plausible porque [...]; descartada porque [tradeoff concreto]
114
+ 2. [alt-2]: ...
115
+ 3. [alt-3]: ...
116
+
117
+ ### Contraevidencia
118
+ - Escenario de falla 1 [prob: alta/media/baja]: [...]
119
+ - Escenario de falla 2 [prob: ...]: [...]
120
+ - Escenario de falla 3 [prob: ...]: [...]
121
+ - Caso histórico relevante: [...]
122
+ - Supuesto sin validar: [...]
123
+
124
+ ### Red flags detectados
125
+ - [línea N: cita textual del argumento débil]
126
+ - [...]
127
+ - (o "Ninguno")
128
+
129
+ ### Trigger de reversión
130
+ - Condición: [observable falsable]
131
+ - Fecha de reevaluación: [YYYY-MM-DD]
132
+
133
+ ### Veredicto
134
+ - ROBUSTA — pasó los 5 pasos sin red flags y con trigger claro
135
+ - ACEPTABLE — pasó con 1-2 red flags documentados y trigger claro
136
+ - BAJO-EVIDENCIA — falla en pasos 2, 4 o 5; reabrir antes de comprometer
137
+ ```
138
+
139
+ ## Anti-patrones del skill
140
+
141
+ - **Auto-revisión**: el agente que tomó la decisión ejecuta el skill sobre sí mismo.
142
+ Pierde el efecto adversarial. Cargar el skill desde un agente distinto al
143
+ decisor (ej: `arquitecto-swl` decidió → `revisor-codigo-swl` ejecuta el skill
144
+ con foco en la decisión).
145
+ - **Trigger inverificable**: "cuando el sistema deje de escalar" no es trigger.
146
+ Debe ser una métrica observable con valor numérico o evento concreto.
147
+ - **Alternativas de paja**: las 3 alternativas no pueden ser opciones triviales
148
+ inferiores a propósito. Si las 3 son obviamente peores, el skill perdió su valor
149
+ — pedir 3 alternativas reales o aceptar que la decisión es bajo-evidencia.
150
+ - **Convertirlo en proceso burocrático**: aplicar doubt-driven a decisiones
151
+ reversibles es overhead. El paso 1 filtra esto explícitamente.
152
+
153
+ ## Relación con otras capacidades del sistema
154
+
155
+ - `red-team-swl`: cubre adversarial review de **memoria del sistema** (perfil-usuario,
156
+ instintos, APRENDIZAJES). Doubt-driven cubre **decisiones técnicas**. NO duplicación.
157
+ - `arquitecto-swl`: produce ADRs. Doubt-driven se carga ANTES de aceptar el ADR.
158
+ - `revisor-codigo-swl`: revisa calidad de código ya escrito. Doubt-driven revisa
159
+ decisiones ANTES de escribir código.
160
+ - `Skill("verificar-trabajo")`: verificación goal-backward del resultado.
161
+ Doubt-driven es goal-backward del **diseño**, no del resultado.
162
+
163
+ ## Origen
164
+
165
+ Patrón observado en `temp/agent-skills-main/skills/doubt-driven-development`
166
+ (2026-05-09). Adaptado al sistema swl-ses: en español, con trigger de
167
+ reversión obligatorio (alineado con `reglas/arquitectura.md` § ADRs en estado
168
+ Propuesto), y con relación explícita a `red-team-swl` para evitar duplicar
169
+ funciones que ya existen en el sistema.
170
+
171
+ Para ejemplos concretos de aplicación, ver [`recursos/EXAMPLES.md`](recursos/EXAMPLES.md).
@@ -0,0 +1,130 @@
1
+ # EXAMPLES — Doubt-Driven Review
2
+
3
+ Tres aplicaciones concretas del skill, dos exitosas y una que detectó decisión bajo-evidencia.
4
+
5
+ ---
6
+
7
+ ## Ejemplo 1 — Decisión que pasó como ROBUSTA
8
+
9
+ **Contexto**: equipo evalúa migrar de PostgreSQL local a un servicio managed (RDS).
10
+
11
+ ### ❌ Sin doubt-driven (hipotético)
12
+
13
+ > "RDS es la mejor opción porque AWS lo recomienda y todos lo usan."
14
+
15
+ Costo de revertir no estimado, alternativas no articuladas, cero contraevidencia.
16
+ Decisión se toma. 8 meses después se descubre que la latencia p95 desde el
17
+ único cluster on-premise legacy del cliente sube 40ms y rompe SLA.
18
+
19
+ ### ✓ Con doubt-driven
20
+
21
+ **Paso 1 — Articular**:
22
+ - Qué se decide: migrar a RDS Aurora PostgreSQL en us-east-1.
23
+ - Qué se descarta: mantener PostgreSQL self-hosted en EC2.
24
+ - Costo de revertir: ~3 semanas (migrar datos de vuelta, reconfigurar backups, ajustar IAM).
25
+
26
+ **Paso 2 — 3 alternativas**:
27
+ 1. **Self-hosted PostgreSQL en EC2**: control total de versión y extensiones; descartada
28
+ por costo operativo (on-call para BD).
29
+ 2. **Cloud SQL en GCP**: feature parity con RDS; descartada porque el resto del
30
+ stack ya está en AWS y multi-cloud agrega complejidad de red.
31
+ 3. **Supabase managed**: incluye Auth + Realtime gratis; descartada porque el
32
+ equipo no necesita Realtime y el lock-in en API propietario es alto.
33
+
34
+ **Paso 3 — Contraevidencia**:
35
+ - Falla 1 (prob: media): vendor lock-in si Aurora introduce features no portables → mitigación: limitar uso a SQL estándar.
36
+ - Falla 2 (prob: baja): outage regional de us-east-1 → mitigación: read replica en us-west-2.
37
+ - Falla 3 (prob: baja): costo de I/O excede presupuesto → mitigación: alertas de costo en CloudWatch.
38
+ - Caso histórico: cliente X migró a RDS, descubrió que `pg_cron` no estaba disponible y refactoró 3 jobs.
39
+ - Supuesto sin validar: "la latencia desde nuestros clientes on-premise será aceptable" — necesita pruebas reales.
40
+
41
+ **Paso 4 — Red flags**: ninguno. Cada argumento está respaldado con caso o métrica.
42
+
43
+ **Paso 5 — Trigger**:
44
+ - Condición: "p95 de latencia desde el cliente legacy excede 200ms durante 7 días consecutivos" o "costo mensual supera $1500".
45
+ - Fecha de reevaluación: 2026-11-15 (6 meses).
46
+
47
+ **Veredicto**: ROBUSTA con 1 supuesto pendiente de validar (latencia on-premise → ejecutar prueba antes de migrar).
48
+
49
+ ---
50
+
51
+ ## Ejemplo 2 — Decisión BAJO-EVIDENCIA detectada
52
+
53
+ **Contexto**: agente propone "vamos a usar Kafka para todos los flujos asíncronos del sistema."
54
+
55
+ **Paso 1 — Articular**:
56
+ - Qué se decide: introducir Apache Kafka como broker único.
57
+ - Qué se descarta: Redis Streams + RabbitMQ ya existentes en el stack.
58
+ - Costo de revertir: alto — requiere rehacer 12 productores y 8 consumidores.
59
+
60
+ **Paso 2 — 3 alternativas**: el agente solo articula 1 (RabbitMQ) y dice "los demás
61
+ no son comparables." → **Red flag**: incapacidad de articular 3 alternativas reales.
62
+
63
+ **Paso 3 — Contraevidencia**: el agente dice "Kafka nunca falla en producción
64
+ porque tiene replication." → **Red flag**: argumento sin caso histórico.
65
+
66
+ **Paso 4 — Red flags**:
67
+ - "Es la mejor práctica para event-driven architectures" (sin fuente).
68
+ - "Todo el mundo lo usa a escala" (sin métrica del proyecto actual).
69
+ - "No hay otra opción razonable" (contradicho por el paso 2 incompleto).
70
+
71
+ **Paso 5 — Trigger**: "cuando lo necesitemos a más escala" — **Trigger inverificable**.
72
+ Reescribir como "throughput supera 10k msg/s sostenido durante 14 días."
73
+
74
+ **Veredicto**: BAJO-EVIDENCIA. Reabrir antes de comprometer.
75
+
76
+ Resultado real: la decisión se difiere; al revisar, se descubre que el throughput
77
+ actual del sistema es ~80 msg/s — Kafka habría sido sobre-ingeniería con costo
78
+ operativo de un cluster que el equipo no tiene capacidad de mantener.
79
+
80
+ ---
81
+
82
+ ## Ejemplo 3 — Decisión ACEPTABLE con red flag documentado
83
+
84
+ **Contexto**: elegir framework frontend para un dashboard interno nuevo.
85
+
86
+ **Paso 1**:
87
+ - Qué se decide: Next.js App Router + Server Components.
88
+ - Qué se descarta: SPA con Vite + React Query.
89
+ - Costo de revertir: medio — 2 semanas de migración + reescritura de data fetching.
90
+
91
+ **Paso 2 — 3 alternativas**:
92
+ 1. **SPA Vite + React Query**: más simple, menos magia; descartada porque queremos SSR para SEO interno y autenticación server-side.
93
+ 2. **Remix**: nested routing nativo; descartada porque el equipo ya tiene experiencia con Next.js y la curva de Remix agrega 2 semanas.
94
+ 3. **Astro con islands**: ideal si fuera contenido estático; descartada porque el dashboard es 80% interactivo.
95
+
96
+ **Paso 3 — Contraevidencia**:
97
+ - Falla 1 (prob: media): App Router introduce breaking changes y rompe el build (ya pasó con v13→v14).
98
+ - Falla 2 (prob: baja): RSC mental model genera bugs sutiles de hidratación.
99
+ - Falla 3 (prob: baja): vendor lock-in con Vercel — mitigación: deploy en Cloudflare Workers o self-hosted.
100
+ - Caso histórico: equipo Y adoptó App Router en beta y tardó 3 meses en estabilizar.
101
+ - Supuesto: "el equipo aprenderá RSC en 2 sprints" — moderadamente optimista.
102
+
103
+ **Paso 4 — Red flags**:
104
+ - "App Router es el futuro" (cita de blog post de Vercel — sesgo de fuente).
105
+
106
+ **Paso 5 — Trigger**:
107
+ - Condición: "≥3 bugs de hidratación reportados por usuarios en sprint 5" O "Vercel
108
+ anuncia deprecation de App Router".
109
+ - Fecha de reevaluación: 2026-08-15 (3 meses, periodo corto por uso de feature reciente).
110
+
111
+ **Veredicto**: ACEPTABLE — 1 red flag documentado (cita de Vercel como fuente única
112
+ para "futuro"). El equipo procede con awareness del sesgo.
113
+
114
+ ---
115
+
116
+ ## Patrón de aplicación
117
+
118
+ | Ejemplo | Costo revertir | Alternativas articuladas | Red flags | Trigger | Veredicto |
119
+ |---|---|---|---|---|---|
120
+ | 1 — RDS | 3 semanas | 3 sólidas | 0 | Métrico claro | ROBUSTA |
121
+ | 2 — Kafka | 12+8 servicios | 1 (incompleto) | 3 | Inverificable | BAJO-EVIDENCIA |
122
+ | 3 — Next.js | 2 semanas | 3 sólidas | 1 (sesgo de fuente) | Métrico + evento externo | ACEPTABLE |
123
+
124
+ El skill es útil cuando:
125
+ - El costo de revertir es alto Y
126
+ - Hay tendencia a saltar al "qué" sin articular el "por qué no las otras".
127
+
128
+ Es overhead cuando:
129
+ - La decisión es reversible en horas O
130
+ - La decisión ya fue auditada por un proceso equivalente (ADR formal con contexto + alternativas + consecuencias).
@@ -0,0 +1,212 @@
1
+ ---
2
+ name: eval-framework
3
+ description: >
4
+ Eval framework para validar y puntuar outputs estructurados de SWL
5
+ (aprendizajes, instintos, observaciones, resúmenes, contextos). Cargar
6
+ cuando un agente produzca un output estructurado y se quiera medir su
7
+ calidad antes de persistir, o cuando se audite la calidad histórica de
8
+ funciones críticas (extractor-de-aprendizajes, perfilador-usuario,
9
+ consolidador, planificador).
10
+ version: "1.0.0"
11
+ herramientasPermitidas: [Read, Bash]
12
+ exclusiones:
13
+ - "No cargar para validación de input de usuario o request HTTP — eso es validación de boundary, usar Pydantic/Zod en el endpoint."
14
+ - "No cargar para auditoría de seguridad — usar `revisor-seguridad-swl` y `escaneo-secretos`."
15
+ - "No cargar para tests unitarios de código — usar `tdd-workflow` y Vitest."
16
+ - "No cargar cuando el output no tiene estructura definida (texto libre): el eval framework requiere schemas declarados o quality scorers específicos."
17
+ evolvable: true # default para skill estandar
18
+ ---
19
+ # Eval Framework — Validación + Calidad de Outputs SWL
20
+
21
+ ## Cuándo cargar
22
+
23
+ - Tras producir un output estructurado (observación, aprendizaje, resumen,
24
+ resultado de búsqueda) cuando se quiera puntuar su calidad antes de
25
+ persistir.
26
+ - Para auditar histórico de calidad de una función crítica (ver métricas
27
+ agregadas en `.planning/evolucion/eval-metrics.json`).
28
+ - En tests/CI cuando el contrato del output tenga campos obligatorios y
29
+ quality thresholds.
30
+ - En loops de auto-corrección donde un output inválido debe regenerarse
31
+ con un prompt más estricto.
32
+
33
+ ---
34
+
35
+ ## Componentes del framework
36
+
37
+ | Módulo | Propósito |
38
+ |---|---|
39
+ | `scripts/lib/eval-schemas.js` | Schemas JSON-lite para outputs (observación, resumen, search input, etc.). |
40
+ | `scripts/lib/eval-validator.js` | Validador zero-deps de schemas (sin Zod). |
41
+ | `scripts/lib/eval-quality.js` | Funciones de scoring: `scoreObservacion`, `scoreResumen`, `scoreAprendizaje`, `scoreInstinto`, `scoreRelevanciaContexto`. |
42
+ | `scripts/lib/eval-self-correct.js` | Loop de retry con sufijo estricto cuando validador falla. |
43
+ | `scripts/lib/eval-metrics-store.js` | Persistencia: JSONL append-only (`eval-results.jsonl`) + agregado JSON (`eval-metrics.json`). |
44
+ | `scripts/run-eval.js` | CLI para evaluar un output desde archivo JSON. |
45
+
46
+ ---
47
+
48
+ ## Uso típico desde agente o test
49
+
50
+ ### Validar output contra schema
51
+
52
+ ```js
53
+ const { validar } = require('./scripts/lib/eval-validator');
54
+ const { COMPRESS_OUTPUT_SCHEMA } = require('./scripts/lib/eval-schemas');
55
+
56
+ const observacion = {
57
+ type: 'discovery',
58
+ title: 'Detalle relevante',
59
+ facts: ['fact 1', 'fact 2'],
60
+ narrative: 'Narrativa con suficiente detalle para evaluar',
61
+ concepts: ['c1'],
62
+ files: ['ruta/al/archivo.js'],
63
+ importance: 7,
64
+ };
65
+
66
+ const r = validar(observacion, COMPRESS_OUTPUT_SCHEMA);
67
+ if (!r.valid) {
68
+ console.error('Output inválido:', r.errors);
69
+ } else {
70
+ // Persistir
71
+ }
72
+ ```
73
+
74
+ ### Puntuar calidad (independiente de validez)
75
+
76
+ ```js
77
+ const { scoreObservacion, scoreAprendizaje, scoreInstinto } = require('./scripts/lib/eval-quality');
78
+
79
+ const score = scoreObservacion(observacion);
80
+ // score ∈ [0, 100]. 100 = todos los campos óptimos.
81
+ ```
82
+
83
+ ### Loop de auto-corrección
84
+
85
+ ```js
86
+ const { compresseConReintento } = require('./scripts/lib/eval-self-correct');
87
+
88
+ const productor = async (sysPrompt, userPrompt) => {
89
+ // Llamar al LLM o ejecutar Skill que produzca el output
90
+ return await llamarClaude(sysPrompt, userPrompt);
91
+ };
92
+
93
+ const validador = (output) => {
94
+ const parsed = JSON.parse(output);
95
+ return validar(parsed, COMPRESS_OUTPUT_SCHEMA);
96
+ };
97
+
98
+ const r = await compresseConReintento({
99
+ productor, validador,
100
+ sysPrompt: '...', userPrompt: '...',
101
+ maxRetries: 2,
102
+ });
103
+
104
+ if (r.valid) {
105
+ // r.output es válido (puede haber requerido r.intentos retries)
106
+ }
107
+ ```
108
+
109
+ ### Persistir métricas para auditoría histórica
110
+
111
+ ```js
112
+ const ms = require('./scripts/lib/eval-metrics-store');
113
+
114
+ ms.registrar(process.cwd(), {
115
+ functionId: 'extractor-de-aprendizajes::scorer',
116
+ latencyMs: 42,
117
+ success: true,
118
+ qualityScore: 85,
119
+ });
120
+
121
+ // Lectura agregada
122
+ const m = ms.obtener(process.cwd(), 'extractor-de-aprendizajes::scorer');
123
+ // → { totalCalls, successCount, failureCount, avgLatencyMs, avgQualityScore, ... }
124
+ ```
125
+
126
+ ### CLI desde Bash (para CI o manual)
127
+
128
+ ```bash
129
+ # Crear archivo de eval
130
+ cat > /tmp/eval.json << 'EOF'
131
+ {
132
+ "functionId": "memoria-busqueda::search",
133
+ "schemaName": "MEMORY_SEARCH_RESULT_SCHEMA",
134
+ "qualityScorer": null,
135
+ "expectedKeys": ["id", "tipo", "titulo", "fecha", "relevancia"],
136
+ "output": { ... }
137
+ }
138
+ EOF
139
+
140
+ # Ejecutar
141
+ node scripts/run-eval.js /tmp/eval.json
142
+ # Exit 0 si valid, 1 si inválido. Persiste métricas automáticamente.
143
+
144
+ # Reconstruir agregado desde JSONL si se corrompe
145
+ node scripts/run-eval.js --rebuild-aggregate
146
+ ```
147
+
148
+ ---
149
+
150
+ ## Schemas disponibles
151
+
152
+ - `COMPRESS_OUTPUT_SCHEMA` — observación comprimida con type, title, facts,
153
+ narrative, concepts, files, importance.
154
+ - `SUMMARY_OUTPUT_SCHEMA` — resumen de sesión con title, narrative,
155
+ keyDecisions, filesModified, concepts.
156
+ - `SEARCH_INPUT_SCHEMA` — input de búsqueda { query, limit? }.
157
+ - `REMEMBER_INPUT_SCHEMA` — input de "remember" { content, type?,
158
+ concepts?, files? }.
159
+ - `EVAL_RESULT_SCHEMA` — resultado de evaluación { valid, errors?,
160
+ qualityScore, latencyMs, functionId, metadata? }.
161
+ - `MEMORY_SEARCH_RESULT_SCHEMA` — resultado de `hooks/lib/memory-search`
162
+ con id, tipo, titulo, fecha, relevancia, combinedScore?, confidence?.
163
+
164
+ Agregar más schemas en `scripts/lib/eval-schemas.js` siguiendo el formato
165
+ JSON Schema-lite (subset documentado en `eval-validator.js`).
166
+
167
+ ---
168
+
169
+ ## Quality scorers disponibles
170
+
171
+ - `scoreObservacion(obs)` — observación con type/title/facts/narrative/concepts/importance.
172
+ - `scoreResumen(summary)` — resumen con title/narrative/keyDecisions/filesModified/concepts.
173
+ - `scoreAprendizaje(aprendizaje)` — aprendizaje SWL con titulo/contenido/tipo (específico de SWL).
174
+ - `scoreInstinto(instinto)` — instinto con pattern/confidence/status/source_*/evidence_count (específico de SWL).
175
+ - `scoreRelevanciaContexto(context, project)` — contexto inyectado en sesión.
176
+
177
+ Cada scorer devuelve un número en [0, 100]. Los criterios están documentados
178
+ en cada función en `scripts/lib/eval-quality.js`.
179
+
180
+ ---
181
+
182
+ ## Diferencias con tests unitarios
183
+
184
+ | Eval framework | Tests unitarios |
185
+ |---|---|
186
+ | Mide calidad subjetiva sobre estructura | Mide correctitud lógica |
187
+ | Score graduado [0, 100] | Pass/fail binario |
188
+ | Persiste histórico para auditoría | No persiste (corre en CI) |
189
+ | Para outputs estructurados de agentes | Para funciones puras / API |
190
+ | Permite retry con prompt estricto | No aplicable |
191
+
192
+ Los dos son complementarios: tests unitarios para `scoring-instintos.js`,
193
+ eval framework para "¿el aprendizaje que extrajo el hook es de calidad?".
194
+
195
+ ---
196
+
197
+ ## Gotchas / Errores comunes no obvios
198
+
199
+ - **Validez estructural ≠ calidad**: un aprendizaje con `titulo: "X"` y
200
+ `contenido: "trivial"` puede pasar `expectedKeys` pero tener
201
+ `qualityScore: 0`. El framework los distingue. En CI gates, considerar
202
+ ambos: `valid && qualityScore >= 60`.
203
+ - **Métricas agregadas se reescriben atómicamente**: si dos procesos
204
+ llaman `registrar()` en paralelo sobre el mismo `functionId`, el último
205
+ gana (race condition en agregado). Para alta concurrencia usar
206
+ `reconstruirAgregado()` periódicamente desde el JSONL append-only.
207
+ - **`run-eval.js` exit code**: 0 = valid, 1 = inválido o error de I/O,
208
+ 2 = error de uso. No confundir con quality threshold — el CLI no
209
+ bloquea por quality bajo, solo por validez.
210
+ - **`compresseConReintento` no reintenta indefinidamente**: respeta
211
+ `maxRetries`. Tras agotar reintentos devuelve el último output con
212
+ `valid: false`. El caller decide qué hacer.
@@ -6,7 +6,7 @@ description: >
6
6
  instintos/proyecto.yaml. Cargar cuando se necesite recuperar trabajo pasado,
7
7
  buscar decisiones anteriores, entender qué se hizo en sesiones previas, o
8
8
  evitar repetir errores ya documentados.
9
- version: "1.0.0"
9
+ version: "1.1.0"
10
10
  herramientasPermitidas: [Read]
11
11
  exclusiones:
12
12
  - "No cargar para búsquedas triviales en el codebase (nombre de función, ruta de archivo); `Grep` directo es más barato y no requiere el índice de sesiones."
@@ -42,6 +42,29 @@ Con las 3 capas, el costo típico es:
42
42
 
43
43
  ---
44
44
 
45
+ ## Fusión de fuentes con RRF (desde v1.2.0)
46
+
47
+ `search()` combina las 3 fuentes (aprendizajes, sesiones, instintos) usando
48
+ **Reciprocal Rank Fusion** (`scripts/lib/rrf-fusion.js`). En lugar de
49
+ sumar relevancias heterogéneas (que no son comparables — la "relevancia 0.7"
50
+ de un aprendizaje no significa lo mismo que en una sesión), RRF combina
51
+ basándose en la posición (rank) que cada documento ocupa en su propia lista.
52
+
53
+ Fórmula: `score(d) = Σ_i w_i / (k + rank_i(d))` con `k=60` y pesos
54
+ empíricos `[aprendizajes 0.4, sesiones 0.4, instintos 0.2]`.
55
+
56
+ Propiedades:
57
+ - Documentos que aparecen en múltiples streams reciben boost natural.
58
+ - Documentos que aparecen en un solo stream NO son penalizados.
59
+ - Robust ante magnitudes distintas de score por fuente.
60
+
61
+ Backward compatible: el retorno conserva el campo `relevancia` (calculado
62
+ por la fuente). Se agrega `combinedScore` para que el caller pueda razonar
63
+ sobre el ranking RRF si lo desea. Si `rrf-fusion.js` no está disponible,
64
+ `search()` cae al merge por relevancia simple legado.
65
+
66
+ ---
67
+
45
68
  ## Las 3 capas de búsqueda
46
69
 
47
70
  ### Capa 1 — search(): índices compactos
@@ -263,6 +263,10 @@ el contenido específico, sin inflar el contexto con cada invocación:
263
263
  - **Mapeo a frameworks de seguridad (NIST CSF, NIST AI RMF, MITRE ATT&CK/ATLAS/
264
264
  D3FEND)** + **migración a nombres de campo en español (REC-S15)**. Ver
265
265
  [recursos/frameworks-seguridad.md](recursos/frameworks-seguridad.md).
266
+ - **Convención `EXAMPLES.md` como recurso opcional** para skills críticos cuyo
267
+ valor depende de mostrar diff MAL→BIEN lado a lado (decisiones, arquitectura,
268
+ anti-patrones sutiles). NO retroactiva — las 63 carpetas `recursos/` existentes
269
+ no se renombran. Ver [recursos/convencion-examples.md](recursos/convencion-examples.md).
266
270
 
267
271
  Cada recurso tiene ToC al inicio y es autocontenido — leer solo el relevante
268
272
  al caso en cuestión en lugar de los tres.
@@ -0,0 +1,93 @@
1
+ # Convención `EXAMPLES.md` — recurso opcional para skills críticos
2
+
3
+ Convención **opcional** para skills cuyo valor depende de ejemplos concretos
4
+ con diff MAL → BIEN. Esta convención NO es retroactiva: las 63 carpetas
5
+ `recursos/` existentes en `habilidades/` no se renombran. Solo aplica a:
6
+
7
+ - Skills nuevos cuyo dominio se entiende mejor con ejemplos lado a lado.
8
+ - Skills existentes que reciban actualización mayor y agreguen ejemplos.
9
+
10
+ ---
11
+
12
+ ## Cuándo aplicarla
13
+
14
+ Aplicar cuando:
15
+
16
+ - El skill prescribe **decisiones técnicas** o **patrones** cuyo error es
17
+ sutil sin un caso concreto (ej: anti-patrones de async, gotchas de framework,
18
+ decisiones arquitecturales).
19
+ - El skill se beneficia de mostrar 2-4 ejemplos lado a lado: el caso aplicado
20
+ correctamente vs el caso degenerado.
21
+ - Los ejemplos suman > 100 líneas y meterlos en SKILL.md lo pasaría del
22
+ límite de 300 líneas.
23
+
24
+ NO aplicar cuando:
25
+
26
+ - El skill ya tiene `recursos/` con archivos temáticos específicos
27
+ (ej: `meta-skills-estandar/recursos/anti-patrones-y-leyes.md`). El nombre
28
+ temático es más informativo que `EXAMPLES.md`.
29
+ - El skill es un how-to procedural sin antipatrones contrastables.
30
+ - El skill tiene < 80 líneas en SKILL.md y los ejemplos caben en línea.
31
+
32
+ ---
33
+
34
+ ## Estructura recomendada
35
+
36
+ ```
37
+ habilidades/<skill-name>/
38
+ ├── SKILL.md
39
+ └── recursos/
40
+ └── EXAMPLES.md
41
+ ```
42
+
43
+ `SKILL.md` enlaza al final con:
44
+
45
+ ```markdown
46
+ Para ejemplos concretos de aplicación, ver [`recursos/EXAMPLES.md`](recursos/EXAMPLES.md).
47
+ ```
48
+
49
+ `EXAMPLES.md` contiene 2-4 ejemplos siguiendo el patrón:
50
+
51
+ ```markdown
52
+ ## Ejemplo N — [título corto del escenario]
53
+
54
+ **Contexto**: [1-2 líneas]
55
+
56
+ ### ❌ Sin <skill-name> (hipotético)
57
+ [código o descripción del enfoque incorrecto + consecuencia observable]
58
+
59
+ ### ✓ Con <skill-name>
60
+ [código o descripción del enfoque correcto + por qué evita la consecuencia]
61
+ ```
62
+
63
+ Cierre de `EXAMPLES.md`: tabla resumen de los ejemplos con la dimensión
64
+ clave que cambió (costo, tiempo, severidad de bug, etc.).
65
+
66
+ ---
67
+
68
+ ## Por qué OPCIONAL y no obligatoria
69
+
70
+ - 63 carpetas `recursos/` ya existen con nomenclatura temática
71
+ (`anti-patrones-y-leyes.md`, `frameworks-seguridad.md`,
72
+ `idiomas-framework.md`). Forzar `EXAMPLES.md` rompería información
73
+ semántica del nombre.
74
+ - La regla core `reglas/skills-estandar.md` ya prescribe que `SKILL.md`
75
+ no exceda 300 líneas y que los `recursos/` se nombren en kebab-case
76
+ con sufijo `.md` — esa regla cubre el 95% de los casos.
77
+ - Esta convención **complementa** la regla core para skills donde un nombre
78
+ semántico genérico (`EXAMPLES.md`) comunica mejor el contenido que un
79
+ nombre específico (ej: `casos-decisiones-arquitecturales.md` es más largo
80
+ y menos buscable).
81
+
82
+ ---
83
+
84
+ ## Origen
85
+
86
+ Patrón observado en repos externos analizados el 2026-05-09
87
+ (`temp/agent-skills-main`, `temp/andrej-karpathy-skills-main`):
88
+ varios skills críticos exponen un `EXAMPLES.md` con diffs MAL/BIEN
89
+ auto-cargable como referencia rápida del agente.
90
+
91
+ Adoptado en `habilidades/doubt-driven-review/recursos/EXAMPLES.md` como
92
+ primera aplicación. Casos futuros: skills de decisiones arquitecturales,
93
+ seguridad, debugging avanzado.