@saulwade/swl-ses 2.3.0 → 2.4.1
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/CLAUDE.md +241 -199
- package/README.md +597 -597
- package/agentes/_intent-spec.md +73 -73
- package/agentes/_propose-step.md +90 -90
- package/agentes/accesibilidad-wcag-swl.md +2 -2
- package/agentes/arquitecto-swl.md +2 -2
- package/agentes/auto-evolucion-swl.md +2 -2
- package/agentes/backend-api-swl.md +2 -2
- package/agentes/backend-csharp-swl.md +2 -2
- package/agentes/backend-go-swl.md +2 -2
- package/agentes/backend-java-swl.md +2 -2
- package/agentes/backend-node-swl.md +2 -2
- package/agentes/backend-python-swl.md +2 -2
- package/agentes/backend-rust-swl.md +2 -2
- package/agentes/backend-workers-swl.md +2 -2
- package/agentes/cloud-infra-swl.md +2 -2
- package/agentes/consolidador-swl.md +2 -2
- package/agentes/datos-swl.md +2 -2
- package/agentes/depurador-swl.md +2 -2
- package/agentes/devops-ci-swl.md +2 -2
- package/agentes/disenador-ui-swl.md +2 -2
- package/agentes/documentador-swl.md +2 -2
- package/agentes/frontend-angular-swl.md +2 -2
- package/agentes/frontend-css-swl.md +2 -2
- package/agentes/frontend-react-swl.md +2 -2
- package/agentes/frontend-swl.md +2 -2
- package/agentes/frontend-tailwind-swl.md +2 -2
- package/agentes/gh-fix-ci-swl.md +275 -275
- package/agentes/implementador-swl.md +2 -2
- package/agentes/investigador-swl.md +2 -2
- package/agentes/investigador-ux-swl.md +2 -2
- package/agentes/llm-apps-swl.md +2 -2
- package/agentes/migrador-swl.md +2 -2
- package/agentes/mobile-android-swl.md +2 -2
- package/agentes/mobile-cross-swl.md +2 -2
- package/agentes/mobile-ios-swl.md +2 -2
- package/agentes/mobile-testing-swl.md +2 -2
- package/agentes/nemesis-auditor-swl.md +1 -1
- package/agentes/notificador-swl.md +2 -2
- package/agentes/observabilidad-swl.md +2 -2
- package/agentes/orquestador-swl.md +41 -14
- package/agentes/pagos-swl.md +2 -2
- package/agentes/perfilador-usuario-swl.md +2 -2
- package/agentes/planificador-swl.md +2 -2
- package/agentes/producto-prd-swl.md +2 -2
- package/agentes/red-team-swl.md +218 -218
- package/agentes/release-manager-swl.md +2 -2
- package/agentes/rendimiento-swl.md +2 -2
- package/agentes/resolutor-build-swl.md +2 -2
- package/agentes/revisor-angular-swl.md +2 -2
- package/agentes/revisor-codigo-swl.md +36 -3
- package/agentes/revisor-csharp-swl.md +2 -2
- package/agentes/revisor-go-swl.md +2 -2
- package/agentes/revisor-java-swl.md +2 -2
- package/agentes/revisor-kotlin-swl.md +2 -2
- package/agentes/revisor-nextjs-swl.md +2 -2
- package/agentes/revisor-php-swl.md +2 -2
- package/agentes/revisor-react-swl.md +2 -2
- package/agentes/revisor-rust-swl.md +2 -2
- package/agentes/revisor-seguridad-swl.md +2 -2
- package/agentes/revisor-swift-swl.md +2 -2
- package/agentes/revisor-typescript-swl.md +2 -2
- package/agentes/sre-swl.md +2 -2
- package/agentes/tdd-qa-swl.md +2 -2
- package/comandos/swl/briefing.md +119 -119
- package/comandos/swl/contexto.md +0 -2
- package/comandos/swl/contribuir.md +233 -233
- package/comandos/swl/deuda-codigo.md +97 -0
- package/comandos/swl/predecir.md +139 -139
- package/comandos/swl/sesiones.md +1 -1
- package/gateway/agent-executor.js +1 -1
- package/gateway/lib/event-channel.js +191 -191
- package/habilidades/agent-deep-links/SKILL.md +148 -148
- package/habilidades/agentes-como-servicio/SKILL.md +2 -2
- package/habilidades/angular-moderno/SKILL.md +24 -1
- package/habilidades/auto-evolucion-protocolo/SKILL.md +276 -276
- package/habilidades/backend-async-postgres-testing/SKILL.md +215 -215
- package/habilidades/backend-error-design/SKILL.md +221 -221
- package/habilidades/backend-production-resilience/SKILL.md +288 -288
- package/habilidades/benchmark-memoria/SKILL.md +186 -186
- package/habilidades/calidad-anti-patrones-universales/SKILL.md +368 -368
- package/habilidades/calidad-contract-testing/SKILL.md +165 -165
- package/habilidades/calidad-mutation-testing/SKILL.md +170 -170
- package/habilidades/changelog-generator/scripts/parse-commits.js +367 -367
- package/habilidades/checklist-seguridad/recursos/stride-cobertura.md +60 -60
- package/habilidades/contenedores-docker/SKILL.md +3 -1
- package/habilidades/diagrama-arquitectura/assets/template.html +276 -276
- package/habilidades/doubt-driven-review/recursos/EXAMPLES.md +130 -130
- package/habilidades/drift-detection/SKILL.md +179 -179
- package/habilidades/estructura-proyecto-claude/recursos/frontmatter-y-hooks-referencia.md +1 -1
- package/habilidades/estructura-proyecto-claude/recursos/mcp-json-template.json +57 -57
- package/habilidades/eval-framework/SKILL.md +212 -212
- package/habilidades/feynman-auditor-swl/recursos/preguntas-language-agnostic.md +108 -108
- package/habilidades/harness-claude-code/SKILL.md +4 -4
- package/habilidades/harness-claude-code/recursos/disciplina-harness-regla.md +253 -252
- package/habilidades/legacy-code-rescue/SKILL.md +268 -267
- package/habilidades/meta-skills-estandar/SKILL.md +1 -1
- package/habilidades/meta-skills-estandar/recursos/convencion-examples.md +93 -93
- package/habilidades/meta-skills-estandar/recursos/skills-as-agents.md +2 -2
- package/habilidades/patrones-python/recursos/patrones-avanzados.md +469 -469
- package/habilidades/perfil-usuario/SKILL.md +200 -200
- package/habilidades/postgresql-experto/SKILL.md +3 -1
- package/habilidades/prevencion-sobreingenieria/SKILL.md +70 -92
- package/habilidades/prevencion-sobreingenieria/recursos/EXAMPLES.md +580 -580
- package/habilidades/prevencion-sobreingenieria/recursos/soluciones-nativas.md +166 -0
- package/habilidades/prevencion-sobreingenieria/recursos/variables-residuales-post-refactor.md +85 -0
- package/habilidades/proceso-ddia-fundamentos/SKILL.md +255 -255
- package/habilidades/proceso-ddia-streaming/SKILL.md +231 -231
- package/habilidades/proceso-debate-adversarial/recursos/personas.md +105 -105
- package/habilidades/proceso-discovery-machote/SKILL.md +157 -157
- package/habilidades/proceso-dynamic-workflows/SKILL.md +138 -138
- package/habilidades/proceso-dynamic-workflows/recursos/template-adversarial-verify.js +65 -65
- package/habilidades/proceso-dynamic-workflows/recursos/template-triage.js +65 -65
- package/habilidades/proceso-intent-engineering/SKILL.md +269 -269
- package/habilidades/proceso-modular-split/SKILL.md +256 -256
- package/habilidades/prompt-engineering/recursos/patrones-avanzados.md +2 -2
- package/habilidades/state-inconsistency-auditor-swl/recursos/coupled-state-patterns.md +147 -147
- package/habilidades/structured-outputs/SKILL.md +2 -2
- package/habilidades/swl-claudemd/recursos/contrato-aprender.md +83 -83
- package/habilidades/swl-claudemd/recursos/duplicacion-reglas-globales.md +85 -85
- package/habilidades/swl-claudemd/recursos/plantillas-init.md +94 -94
- package/habilidades/swl-dashboard/SKILL.md +2 -2
- package/habilidades/tdd-workflow/recursos/gherkin-bdd.md +111 -111
- package/habilidades/validacion-ci-sistema/recursos/validadores-completos.md +1 -1
- package/habilidades/validacion-ci-sistema/scripts/validar-sistema.sh +1 -1
- package/hooks/audit-trail.js +4 -4
- package/hooks/calidad-pre-commit.js +15 -11
- package/hooks/captura-acciones-post.js +3 -2
- package/hooks/captura-acciones-session.js +3 -2
- package/hooks/ciclo-evolucion-subagente.js +26 -26
- package/hooks/ciclo-evolucion.js +26 -26
- package/hooks/claudemd-bloat-detector.js +161 -161
- package/hooks/claudemd-duplicacion-detector.js +170 -170
- package/hooks/contexto-iteracion.js +145 -144
- package/hooks/contexto-subagente.js +68 -0
- package/hooks/guardrail-modelo.js +14 -4
- package/hooks/inyeccion-contexto.js +12 -12
- package/hooks/lib/agent-routing.js +107 -107
- package/hooks/lib/auto-consolidator.js +335 -335
- package/hooks/lib/autonomia.js +208 -208
- package/hooks/lib/ciclo-evolucion.js +47 -47
- package/hooks/lib/deep-links.js +185 -185
- package/hooks/lib/error-classifier.js +308 -308
- package/hooks/lib/etapa-auto-evolucion.js +701 -701
- package/hooks/lib/etapa-metricas.js +388 -388
- package/hooks/lib/etapa-perfil-usuario.js +376 -376
- package/hooks/lib/loop-telemetry.js +321 -321
- package/hooks/lib/merkle-audit.js +96 -96
- package/hooks/lib/model-router.js +2 -2
- package/hooks/lib/propose-step.js +358 -358
- package/hooks/lib/provenance-tracker.js +191 -191
- package/hooks/lib/rate-limit-tracker.js +253 -253
- package/hooks/lib/resource-quota.js +122 -122
- package/hooks/lib/retry-jitter.js +165 -165
- package/hooks/lib/security-net.js +201 -201
- package/hooks/lib/skill-auditor.js +588 -588
- package/hooks/lib/sync-status.js +228 -228
- package/hooks/lib/taint-tracker.js +107 -107
- package/hooks/lib/text-similarity.js +241 -241
- package/hooks/lib/token-estimator.js +1 -0
- package/hooks/lib/toon-compressor.js +245 -245
- package/hooks/lib/usage-model.js +1 -1
- package/hooks/registro-turnos.js +210 -209
- package/hooks/session-briefing.js +98 -98
- package/hooks/spec-gate.js +212 -211
- package/hooks/sugerir-contribuir.js +2 -1
- package/hooks/sugerir-regenerar-inventario.js +171 -170
- package/hooks/tdd-gate.js +242 -241
- package/hooks/telemetria-skill-routing.js +100 -100
- package/hooks/validar-formato-post-subagente.js +140 -140
- package/hooks/validar-intent-spec.js +242 -242
- package/hooks/validar-memoria-hook.js +218 -218
- package/hooks/validar-planning-paths.js +134 -134
- package/instintos/autonomia.yaml +27 -27
- package/instintos/prompt-appendices.yaml +57 -57
- package/llms.txt +29 -29
- package/manifiestos/agent-output-schemas.json +57 -57
- package/manifiestos/canonical-hashes.json +2948 -1964
- package/manifiestos/hook-profiles.json +0 -2
- package/manifiestos/hooks-config.json +469 -477
- package/manifiestos/invariantes-criticos.json +30 -0
- package/manifiestos/modulos.json +1390 -1390
- package/manifiestos/planning-paths.json +44 -44
- package/manifiestos/skills-lock.json +1282 -1282
- package/package.json +93 -93
- package/plantillas/auditor-veto-template.md +105 -105
- package/plantillas/github-workflows/README.md +47 -47
- package/plantillas/github-workflows/release-please.yml +44 -44
- package/plantillas/github-workflows/swl-ci.yml +107 -107
- package/plantillas/github-workflows/swl-security.yml +51 -51
- package/plugin.json +369 -371
- package/reglas/accesibilidad.md +10 -10
- package/reglas/analisis-previo-tareas-grandes.md +172 -172
- package/reglas/api-diseno.md +9 -9
- package/reglas/arreglar-al-detectar.md +240 -240
- package/reglas/auditorias-documentales-estructurales.md +7 -7
- package/reglas/cloud-infra.md +8 -8
- package/reglas/consultar-vault-primero.md +195 -195
- package/reglas/debatir-antes-de-aceptar.md +158 -158
- package/reglas/fragmentos-compartidos.md +183 -183
- package/reglas/hooks.md +6 -6
- package/reglas/intent-engineering.md +218 -218
- package/reglas/markitdown.md +8 -8
- package/reglas/monitor-ci.md +309 -309
- package/reglas/patrones.md +6 -6
- package/reglas/sesiones-paralelas.md +180 -180
- package/reglas/sin-duplicacion-reglas-globales.md +182 -182
- package/reglas/skills-estandar.md +6 -6
- package/reglas/testing.md +7 -7
- package/reglas/tests-cleanup.md +224 -224
- package/reglas/usar-code-review-graph.md +155 -155
- package/reglas/usar-context7.md +226 -226
- package/reglas/verificar-citas-normativas.md +548 -548
- package/schemas/agent-frontmatter.schema.json +5 -3
- package/schemas/agent-message.schema.json +73 -73
- package/schemas/agent-output-implementacion.schema.json +114 -114
- package/schemas/agent-output-planificacion.schema.json +150 -150
- package/schemas/agent-output-review.schema.json +98 -98
- package/schemas/diary-entry.schema.json +112 -112
- package/schemas/hook-profiles.schema.json +54 -54
- package/schemas/hooks-config.schema.json +89 -89
- package/schemas/modulos.schema.json +38 -38
- package/schemas/perfiles.schema.json +36 -36
- package/schemas/plugin.schema.json +77 -77
- package/schemas/skill-evals.schema.json +119 -119
- package/schemas/skill-frontmatter.schema.json +245 -245
- package/scripts/audit-tools/audit-history.js +330 -330
- package/scripts/audit-tools/bundle-tracker.js +290 -290
- package/scripts/audit-tools/canary-monitor.js +352 -352
- package/scripts/audit-tools/code-profiler.js +605 -605
- package/scripts/audit-tools/dep-doctor.js +320 -320
- package/scripts/audit-tools/env-validator.js +206 -206
- package/scripts/audit-tools/lib/fs-walk.js +48 -48
- package/scripts/audit-tools/lib/output.js +23 -23
- package/scripts/audit-tools/migration-checker.js +392 -392
- package/scripts/audit-tools/pentest-scanner.js +1436 -1436
- package/scripts/benchmark-memoria.js +167 -167
- package/scripts/cli/aprobar-plan.js +73 -73
- package/scripts/cli/briefing.js +23 -23
- package/scripts/cli/ciclo-evolucion.js +26 -26
- package/scripts/cli/configurar-ci.js +40 -40
- package/scripts/cli/derivar-feature-list.js +25 -25
- package/scripts/cli/detectar-host.js +27 -27
- package/scripts/cli/diary-entry.js +69 -69
- package/scripts/cli/execution-state.js +18 -18
- package/scripts/cli/gateway-notify.js +41 -41
- package/scripts/cli/liberar-fase.js +42 -42
- package/scripts/cli/loop-telemetry.js +125 -125
- package/scripts/cli/mark-evolved.js +56 -56
- package/scripts/cli/metricas-dora.js +26 -26
- package/scripts/cli/near-duplicate.js +55 -55
- package/scripts/cli/notificaciones.js +123 -123
- package/scripts/cli/propose-step.js +29 -29
- package/scripts/cli/schedule-parse.js +19 -19
- package/scripts/cli/sugerir-modelo.js +20 -20
- package/scripts/cli/verificar-plan.js +36 -36
- package/scripts/cli/verificar-trazabilidad.js +35 -35
- package/scripts/configurar-branch-protection.js +418 -418
- package/scripts/detectar-aprendizajes-duplicados.js +151 -151
- package/scripts/field-report.js +199 -199
- package/scripts/generar-checklists-consolidados.js +273 -273
- package/scripts/generar-matriz-lenguajes.js +271 -271
- package/scripts/instalador.js +4 -1
- package/scripts/lib/artefactos-python.js +43 -43
- package/scripts/lib/auditar-invocaciones-comandos.js +104 -104
- package/scripts/lib/benchmark-metrics.js +160 -160
- package/scripts/lib/budget-enforcer.js +252 -252
- package/scripts/lib/ci-reader.js +193 -193
- package/scripts/lib/claude-sessions.js +1 -0
- package/scripts/lib/configurar-ci.js +380 -380
- package/scripts/lib/contadores-inventario.js +217 -217
- package/scripts/lib/detectar-host-swl.js +175 -175
- package/scripts/lib/detectar-stack-detallado.js +307 -307
- package/scripts/lib/detector-autoduplicacion-intra-archivo.js +234 -234
- package/scripts/lib/detector-reglas-duplicadas.js +220 -220
- package/scripts/lib/diary-entry.js +234 -234
- package/scripts/lib/eval-metrics-store.js +218 -218
- package/scripts/lib/eval-quality.js +171 -171
- package/scripts/lib/eval-schemas.js +144 -144
- package/scripts/lib/eval-self-correct.js +106 -106
- package/scripts/lib/eval-validator.js +185 -185
- package/scripts/lib/evidencia-release.js +322 -322
- package/scripts/lib/gate-hooks-requires.js +249 -249
- package/scripts/lib/gate-licencias.js +212 -212
- package/scripts/lib/git-metricas.js +257 -257
- package/scripts/lib/jaccard-similarity.js +98 -98
- package/scripts/lib/longmemeval-runner.js +125 -125
- package/scripts/lib/metricas-dora.js +204 -204
- package/scripts/lib/npm-version.js +261 -261
- package/scripts/lib/paquetes-conocidos.js +50 -50
- package/scripts/lib/plan-lock.js +275 -275
- package/scripts/lib/pr-analyzer.js +399 -399
- package/scripts/lib/preservar-usuario.js +39 -5
- package/scripts/lib/prompt-builder.js +264 -264
- package/scripts/lib/reglas-globales-conocidas.json +180 -180
- package/scripts/lib/resolver-plan-fase.js +37 -37
- package/scripts/lib/rrf-fusion.js +175 -175
- package/scripts/lib/schema-version.js +164 -164
- package/scripts/lib/scoring-instintos.js +277 -277
- package/scripts/lib/semantic-search.js +252 -252
- package/scripts/lib/tool-cost-analyzer.js +1 -0
- package/scripts/limpiar-artefactos-python.js +131 -131
- package/scripts/migrar-csv-a-array.js +168 -168
- package/scripts/migrar-fase-dominio.js +200 -200
- package/scripts/publicar.js +497 -497
- package/scripts/run-eval.js +141 -141
- package/scripts/tui/componentes/selector-multi.js +189 -189
- package/scripts/tui/componentes/selector-unico.js +158 -158
- package/scripts/tui/ejecutores.js +375 -375
- package/scripts/tui/index.js +162 -162
- package/scripts/tui/lib/colores.js +129 -129
- package/scripts/tui/lib/render.js +264 -264
- package/scripts/tui/lib/teclas.js +113 -113
- package/scripts/tui/pantallas/inspect.js +173 -173
- package/scripts/tui/pantallas/install-wizard.js +334 -334
- package/scripts/tui/pantallas/menu-principal.js +52 -52
- package/scripts/tui/pantallas/progreso.js +274 -274
- package/scripts/tui/pantallas/resumen.js +132 -132
- package/scripts/tui/pantallas/uninstall-wizard.js +208 -208
- package/scripts/tui/pantallas/update-wizard.js +232 -232
- package/scripts/tui/pantallas/welcome.js +187 -187
- package/scripts/validar-userland-vacio.js +110 -110
- package/scripts/validar.js +1 -1
- package/scripts/verificar-release.js +51 -0
- package/hooks/lib/context-compressor.js +0 -657
- package/hooks/linea-estado.js +0 -326
- package/hooks/monitor-contexto.js +0 -373
|
@@ -1,130 +1,130 @@
|
|
|
1
|
-
# EXAMPLES — Doubt-Driven Review
|
|
2
|
-
|
|
3
|
-
Tres aplicaciones concretas del skill, dos exitosas y una que detectó decisión bajo-evidencia.
|
|
4
|
-
|
|
5
|
-
---
|
|
6
|
-
|
|
7
|
-
## Ejemplo 1 — Decisión que pasó como ROBUSTA
|
|
8
|
-
|
|
9
|
-
**Contexto**: equipo evalúa migrar de PostgreSQL local a un servicio managed (RDS).
|
|
10
|
-
|
|
11
|
-
### ❌ Sin doubt-driven (hipotético)
|
|
12
|
-
|
|
13
|
-
> "RDS es la mejor opción porque AWS lo recomienda y todos lo usan."
|
|
14
|
-
|
|
15
|
-
Costo de revertir no estimado, alternativas no articuladas, cero contraevidencia.
|
|
16
|
-
Decisión se toma. 8 meses después se descubre que la latencia p95 desde el
|
|
17
|
-
único cluster on-premise legacy del cliente sube 40ms y rompe SLA.
|
|
18
|
-
|
|
19
|
-
### ✓ Con doubt-driven
|
|
20
|
-
|
|
21
|
-
**Paso 1 — Articular**:
|
|
22
|
-
- Qué se decide: migrar a RDS Aurora PostgreSQL en us-east-1.
|
|
23
|
-
- Qué se descarta: mantener PostgreSQL self-hosted en EC2.
|
|
24
|
-
- Costo de revertir: ~3 semanas (migrar datos de vuelta, reconfigurar backups, ajustar IAM).
|
|
25
|
-
|
|
26
|
-
**Paso 2 — 3 alternativas**:
|
|
27
|
-
1. **Self-hosted PostgreSQL en EC2**: control total de versión y extensiones; descartada
|
|
28
|
-
por costo operativo (on-call para BD).
|
|
29
|
-
2. **Cloud SQL en GCP**: feature parity con RDS; descartada porque el resto del
|
|
30
|
-
stack ya está en AWS y multi-cloud agrega complejidad de red.
|
|
31
|
-
3. **Supabase managed**: incluye Auth + Realtime gratis; descartada porque el
|
|
32
|
-
equipo no necesita Realtime y el lock-in en API propietario es alto.
|
|
33
|
-
|
|
34
|
-
**Paso 3 — Contraevidencia**:
|
|
35
|
-
- Falla 1 (prob: media): vendor lock-in si Aurora introduce features no portables → mitigación: limitar uso a SQL estándar.
|
|
36
|
-
- Falla 2 (prob: baja): outage regional de us-east-1 → mitigación: read replica en us-west-2.
|
|
37
|
-
- Falla 3 (prob: baja): costo de I/O excede presupuesto → mitigación: alertas de costo en CloudWatch.
|
|
38
|
-
- Caso histórico: cliente X migró a RDS, descubrió que `pg_cron` no estaba disponible y refactoró 3 jobs.
|
|
39
|
-
- Supuesto sin validar: "la latencia desde nuestros clientes on-premise será aceptable" — necesita pruebas reales.
|
|
40
|
-
|
|
41
|
-
**Paso 4 — Red flags**: ninguno. Cada argumento está respaldado con caso o métrica.
|
|
42
|
-
|
|
43
|
-
**Paso 5 — Trigger**:
|
|
44
|
-
- Condición: "p95 de latencia desde el cliente legacy excede 200ms durante 7 días consecutivos" o "costo mensual supera $1500".
|
|
45
|
-
- Fecha de reevaluación: 2026-11-15 (6 meses).
|
|
46
|
-
|
|
47
|
-
**Veredicto**: ROBUSTA con 1 supuesto pendiente de validar (latencia on-premise → ejecutar prueba antes de migrar).
|
|
48
|
-
|
|
49
|
-
---
|
|
50
|
-
|
|
51
|
-
## Ejemplo 2 — Decisión BAJO-EVIDENCIA detectada
|
|
52
|
-
|
|
53
|
-
**Contexto**: agente propone "vamos a usar Kafka para todos los flujos asíncronos del sistema."
|
|
54
|
-
|
|
55
|
-
**Paso 1 — Articular**:
|
|
56
|
-
- Qué se decide: introducir Apache Kafka como broker único.
|
|
57
|
-
- Qué se descarta: Redis Streams + RabbitMQ ya existentes en el stack.
|
|
58
|
-
- Costo de revertir: alto — requiere rehacer 12 productores y 8 consumidores.
|
|
59
|
-
|
|
60
|
-
**Paso 2 — 3 alternativas**: el agente solo articula 1 (RabbitMQ) y dice "los demás
|
|
61
|
-
no son comparables." → **Red flag**: incapacidad de articular 3 alternativas reales.
|
|
62
|
-
|
|
63
|
-
**Paso 3 — Contraevidencia**: el agente dice "Kafka nunca falla en producción
|
|
64
|
-
porque tiene replication." → **Red flag**: argumento sin caso histórico.
|
|
65
|
-
|
|
66
|
-
**Paso 4 — Red flags**:
|
|
67
|
-
- "Es la mejor práctica para event-driven architectures" (sin fuente).
|
|
68
|
-
- "Todo el mundo lo usa a escala" (sin métrica del proyecto actual).
|
|
69
|
-
- "No hay otra opción razonable" (contradicho por el paso 2 incompleto).
|
|
70
|
-
|
|
71
|
-
**Paso 5 — Trigger**: "cuando lo necesitemos a más escala" — **Trigger inverificable**.
|
|
72
|
-
Reescribir como "throughput supera 10k msg/s sostenido durante 14 días."
|
|
73
|
-
|
|
74
|
-
**Veredicto**: BAJO-EVIDENCIA. Reabrir antes de comprometer.
|
|
75
|
-
|
|
76
|
-
Resultado real: la decisión se difiere; al revisar, se descubre que el throughput
|
|
77
|
-
actual del sistema es ~80 msg/s — Kafka habría sido sobre-ingeniería con costo
|
|
78
|
-
operativo de un cluster que el equipo no tiene capacidad de mantener.
|
|
79
|
-
|
|
80
|
-
---
|
|
81
|
-
|
|
82
|
-
## Ejemplo 3 — Decisión ACEPTABLE con red flag documentado
|
|
83
|
-
|
|
84
|
-
**Contexto**: elegir framework frontend para un dashboard interno nuevo.
|
|
85
|
-
|
|
86
|
-
**Paso 1**:
|
|
87
|
-
- Qué se decide: Next.js App Router + Server Components.
|
|
88
|
-
- Qué se descarta: SPA con Vite + React Query.
|
|
89
|
-
- Costo de revertir: medio — 2 semanas de migración + reescritura de data fetching.
|
|
90
|
-
|
|
91
|
-
**Paso 2 — 3 alternativas**:
|
|
92
|
-
1. **SPA Vite + React Query**: más simple, menos magia; descartada porque queremos SSR para SEO interno y autenticación server-side.
|
|
93
|
-
2. **Remix**: nested routing nativo; descartada porque el equipo ya tiene experiencia con Next.js y la curva de Remix agrega 2 semanas.
|
|
94
|
-
3. **Astro con islands**: ideal si fuera contenido estático; descartada porque el dashboard es 80% interactivo.
|
|
95
|
-
|
|
96
|
-
**Paso 3 — Contraevidencia**:
|
|
97
|
-
- Falla 1 (prob: media): App Router introduce breaking changes y rompe el build (ya pasó con v13→v14).
|
|
98
|
-
- Falla 2 (prob: baja): RSC mental model genera bugs sutiles de hidratación.
|
|
99
|
-
- Falla 3 (prob: baja): vendor lock-in con Vercel — mitigación: deploy en Cloudflare Workers o self-hosted.
|
|
100
|
-
- Caso histórico: equipo Y adoptó App Router en beta y tardó 3 meses en estabilizar.
|
|
101
|
-
- Supuesto: "el equipo aprenderá RSC en 2 sprints" — moderadamente optimista.
|
|
102
|
-
|
|
103
|
-
**Paso 4 — Red flags**:
|
|
104
|
-
- "App Router es el futuro" (cita de blog post de Vercel — sesgo de fuente).
|
|
105
|
-
|
|
106
|
-
**Paso 5 — Trigger**:
|
|
107
|
-
- Condición: "≥3 bugs de hidratación reportados por usuarios en sprint 5" O "Vercel
|
|
108
|
-
anuncia deprecation de App Router".
|
|
109
|
-
- Fecha de reevaluación: 2026-08-15 (3 meses, periodo corto por uso de feature reciente).
|
|
110
|
-
|
|
111
|
-
**Veredicto**: ACEPTABLE — 1 red flag documentado (cita de Vercel como fuente única
|
|
112
|
-
para "futuro"). El equipo procede con awareness del sesgo.
|
|
113
|
-
|
|
114
|
-
---
|
|
115
|
-
|
|
116
|
-
## Patrón de aplicación
|
|
117
|
-
|
|
118
|
-
| Ejemplo | Costo revertir | Alternativas articuladas | Red flags | Trigger | Veredicto |
|
|
119
|
-
|---|---|---|---|---|---|
|
|
120
|
-
| 1 — RDS | 3 semanas | 3 sólidas | 0 | Métrico claro | ROBUSTA |
|
|
121
|
-
| 2 — Kafka | 12+8 servicios | 1 (incompleto) | 3 | Inverificable | BAJO-EVIDENCIA |
|
|
122
|
-
| 3 — Next.js | 2 semanas | 3 sólidas | 1 (sesgo de fuente) | Métrico + evento externo | ACEPTABLE |
|
|
123
|
-
|
|
124
|
-
El skill es útil cuando:
|
|
125
|
-
- El costo de revertir es alto Y
|
|
126
|
-
- Hay tendencia a saltar al "qué" sin articular el "por qué no las otras".
|
|
127
|
-
|
|
128
|
-
Es overhead cuando:
|
|
129
|
-
- La decisión es reversible en horas O
|
|
130
|
-
- La decisión ya fue auditada por un proceso equivalente (ADR formal con contexto + alternativas + consecuencias).
|
|
1
|
+
# EXAMPLES — Doubt-Driven Review
|
|
2
|
+
|
|
3
|
+
Tres aplicaciones concretas del skill, dos exitosas y una que detectó decisión bajo-evidencia.
|
|
4
|
+
|
|
5
|
+
---
|
|
6
|
+
|
|
7
|
+
## Ejemplo 1 — Decisión que pasó como ROBUSTA
|
|
8
|
+
|
|
9
|
+
**Contexto**: equipo evalúa migrar de PostgreSQL local a un servicio managed (RDS).
|
|
10
|
+
|
|
11
|
+
### ❌ Sin doubt-driven (hipotético)
|
|
12
|
+
|
|
13
|
+
> "RDS es la mejor opción porque AWS lo recomienda y todos lo usan."
|
|
14
|
+
|
|
15
|
+
Costo de revertir no estimado, alternativas no articuladas, cero contraevidencia.
|
|
16
|
+
Decisión se toma. 8 meses después se descubre que la latencia p95 desde el
|
|
17
|
+
único cluster on-premise legacy del cliente sube 40ms y rompe SLA.
|
|
18
|
+
|
|
19
|
+
### ✓ Con doubt-driven
|
|
20
|
+
|
|
21
|
+
**Paso 1 — Articular**:
|
|
22
|
+
- Qué se decide: migrar a RDS Aurora PostgreSQL en us-east-1.
|
|
23
|
+
- Qué se descarta: mantener PostgreSQL self-hosted en EC2.
|
|
24
|
+
- Costo de revertir: ~3 semanas (migrar datos de vuelta, reconfigurar backups, ajustar IAM).
|
|
25
|
+
|
|
26
|
+
**Paso 2 — 3 alternativas**:
|
|
27
|
+
1. **Self-hosted PostgreSQL en EC2**: control total de versión y extensiones; descartada
|
|
28
|
+
por costo operativo (on-call para BD).
|
|
29
|
+
2. **Cloud SQL en GCP**: feature parity con RDS; descartada porque el resto del
|
|
30
|
+
stack ya está en AWS y multi-cloud agrega complejidad de red.
|
|
31
|
+
3. **Supabase managed**: incluye Auth + Realtime gratis; descartada porque el
|
|
32
|
+
equipo no necesita Realtime y el lock-in en API propietario es alto.
|
|
33
|
+
|
|
34
|
+
**Paso 3 — Contraevidencia**:
|
|
35
|
+
- Falla 1 (prob: media): vendor lock-in si Aurora introduce features no portables → mitigación: limitar uso a SQL estándar.
|
|
36
|
+
- Falla 2 (prob: baja): outage regional de us-east-1 → mitigación: read replica en us-west-2.
|
|
37
|
+
- Falla 3 (prob: baja): costo de I/O excede presupuesto → mitigación: alertas de costo en CloudWatch.
|
|
38
|
+
- Caso histórico: cliente X migró a RDS, descubrió que `pg_cron` no estaba disponible y refactoró 3 jobs.
|
|
39
|
+
- Supuesto sin validar: "la latencia desde nuestros clientes on-premise será aceptable" — necesita pruebas reales.
|
|
40
|
+
|
|
41
|
+
**Paso 4 — Red flags**: ninguno. Cada argumento está respaldado con caso o métrica.
|
|
42
|
+
|
|
43
|
+
**Paso 5 — Trigger**:
|
|
44
|
+
- Condición: "p95 de latencia desde el cliente legacy excede 200ms durante 7 días consecutivos" o "costo mensual supera $1500".
|
|
45
|
+
- Fecha de reevaluación: 2026-11-15 (6 meses).
|
|
46
|
+
|
|
47
|
+
**Veredicto**: ROBUSTA con 1 supuesto pendiente de validar (latencia on-premise → ejecutar prueba antes de migrar).
|
|
48
|
+
|
|
49
|
+
---
|
|
50
|
+
|
|
51
|
+
## Ejemplo 2 — Decisión BAJO-EVIDENCIA detectada
|
|
52
|
+
|
|
53
|
+
**Contexto**: agente propone "vamos a usar Kafka para todos los flujos asíncronos del sistema."
|
|
54
|
+
|
|
55
|
+
**Paso 1 — Articular**:
|
|
56
|
+
- Qué se decide: introducir Apache Kafka como broker único.
|
|
57
|
+
- Qué se descarta: Redis Streams + RabbitMQ ya existentes en el stack.
|
|
58
|
+
- Costo de revertir: alto — requiere rehacer 12 productores y 8 consumidores.
|
|
59
|
+
|
|
60
|
+
**Paso 2 — 3 alternativas**: el agente solo articula 1 (RabbitMQ) y dice "los demás
|
|
61
|
+
no son comparables." → **Red flag**: incapacidad de articular 3 alternativas reales.
|
|
62
|
+
|
|
63
|
+
**Paso 3 — Contraevidencia**: el agente dice "Kafka nunca falla en producción
|
|
64
|
+
porque tiene replication." → **Red flag**: argumento sin caso histórico.
|
|
65
|
+
|
|
66
|
+
**Paso 4 — Red flags**:
|
|
67
|
+
- "Es la mejor práctica para event-driven architectures" (sin fuente).
|
|
68
|
+
- "Todo el mundo lo usa a escala" (sin métrica del proyecto actual).
|
|
69
|
+
- "No hay otra opción razonable" (contradicho por el paso 2 incompleto).
|
|
70
|
+
|
|
71
|
+
**Paso 5 — Trigger**: "cuando lo necesitemos a más escala" — **Trigger inverificable**.
|
|
72
|
+
Reescribir como "throughput supera 10k msg/s sostenido durante 14 días."
|
|
73
|
+
|
|
74
|
+
**Veredicto**: BAJO-EVIDENCIA. Reabrir antes de comprometer.
|
|
75
|
+
|
|
76
|
+
Resultado real: la decisión se difiere; al revisar, se descubre que el throughput
|
|
77
|
+
actual del sistema es ~80 msg/s — Kafka habría sido sobre-ingeniería con costo
|
|
78
|
+
operativo de un cluster que el equipo no tiene capacidad de mantener.
|
|
79
|
+
|
|
80
|
+
---
|
|
81
|
+
|
|
82
|
+
## Ejemplo 3 — Decisión ACEPTABLE con red flag documentado
|
|
83
|
+
|
|
84
|
+
**Contexto**: elegir framework frontend para un dashboard interno nuevo.
|
|
85
|
+
|
|
86
|
+
**Paso 1**:
|
|
87
|
+
- Qué se decide: Next.js App Router + Server Components.
|
|
88
|
+
- Qué se descarta: SPA con Vite + React Query.
|
|
89
|
+
- Costo de revertir: medio — 2 semanas de migración + reescritura de data fetching.
|
|
90
|
+
|
|
91
|
+
**Paso 2 — 3 alternativas**:
|
|
92
|
+
1. **SPA Vite + React Query**: más simple, menos magia; descartada porque queremos SSR para SEO interno y autenticación server-side.
|
|
93
|
+
2. **Remix**: nested routing nativo; descartada porque el equipo ya tiene experiencia con Next.js y la curva de Remix agrega 2 semanas.
|
|
94
|
+
3. **Astro con islands**: ideal si fuera contenido estático; descartada porque el dashboard es 80% interactivo.
|
|
95
|
+
|
|
96
|
+
**Paso 3 — Contraevidencia**:
|
|
97
|
+
- Falla 1 (prob: media): App Router introduce breaking changes y rompe el build (ya pasó con v13→v14).
|
|
98
|
+
- Falla 2 (prob: baja): RSC mental model genera bugs sutiles de hidratación.
|
|
99
|
+
- Falla 3 (prob: baja): vendor lock-in con Vercel — mitigación: deploy en Cloudflare Workers o self-hosted.
|
|
100
|
+
- Caso histórico: equipo Y adoptó App Router en beta y tardó 3 meses en estabilizar.
|
|
101
|
+
- Supuesto: "el equipo aprenderá RSC en 2 sprints" — moderadamente optimista.
|
|
102
|
+
|
|
103
|
+
**Paso 4 — Red flags**:
|
|
104
|
+
- "App Router es el futuro" (cita de blog post de Vercel — sesgo de fuente).
|
|
105
|
+
|
|
106
|
+
**Paso 5 — Trigger**:
|
|
107
|
+
- Condición: "≥3 bugs de hidratación reportados por usuarios en sprint 5" O "Vercel
|
|
108
|
+
anuncia deprecation de App Router".
|
|
109
|
+
- Fecha de reevaluación: 2026-08-15 (3 meses, periodo corto por uso de feature reciente).
|
|
110
|
+
|
|
111
|
+
**Veredicto**: ACEPTABLE — 1 red flag documentado (cita de Vercel como fuente única
|
|
112
|
+
para "futuro"). El equipo procede con awareness del sesgo.
|
|
113
|
+
|
|
114
|
+
---
|
|
115
|
+
|
|
116
|
+
## Patrón de aplicación
|
|
117
|
+
|
|
118
|
+
| Ejemplo | Costo revertir | Alternativas articuladas | Red flags | Trigger | Veredicto |
|
|
119
|
+
|---|---|---|---|---|---|
|
|
120
|
+
| 1 — RDS | 3 semanas | 3 sólidas | 0 | Métrico claro | ROBUSTA |
|
|
121
|
+
| 2 — Kafka | 12+8 servicios | 1 (incompleto) | 3 | Inverificable | BAJO-EVIDENCIA |
|
|
122
|
+
| 3 — Next.js | 2 semanas | 3 sólidas | 1 (sesgo de fuente) | Métrico + evento externo | ACEPTABLE |
|
|
123
|
+
|
|
124
|
+
El skill es útil cuando:
|
|
125
|
+
- El costo de revertir es alto Y
|
|
126
|
+
- Hay tendencia a saltar al "qué" sin articular el "por qué no las otras".
|
|
127
|
+
|
|
128
|
+
Es overhead cuando:
|
|
129
|
+
- La decisión es reversible en horas O
|
|
130
|
+
- La decisión ya fue auditada por un proceso equivalente (ADR formal con contexto + alternativas + consecuencias).
|
|
@@ -1,179 +1,179 @@
|
|
|
1
|
-
---
|
|
2
|
-
name: drift-detection
|
|
3
|
-
version: 1.0.0
|
|
4
|
-
herramientasPermitidas: [Read]
|
|
5
|
-
description: "Detección de drift de métricas de agentes/skills via ventana deslizante (7d) vs baseline (4 semanas). Integrado al operador Reflect del ciclo AGP."
|
|
6
|
-
exclusiones:
|
|
7
|
-
- "No cargar para detectar drift en código de aplicación (regressions de negocio); este skill detecta drift en métricas de uso de agentes/skills del sistema SWL."
|
|
8
|
-
- "No cargar si hay menos de 7 días de trazas en `.planning/traces/`; el baseline de 4 semanas no existirá y los resultados serán estadísticamente inválidos."
|
|
9
|
-
- "No cargar para observabilidad de la aplicación en producción; usar `monitoring-alertas` para eso."
|
|
10
|
-
- "No cargar manualmente cuando el ciclo AGP ya ejecuta `ejecutarDriftAutomatico()` en cada SubagentStop — invocarlo dos veces dobla el trabajo sin beneficio."
|
|
11
|
-
author: swl-ses
|
|
12
|
-
evolvable: true
|
|
13
|
-
evolvable_scope: [content, examples]
|
|
14
|
-
domain: ingeniería-de-software
|
|
15
|
-
tags: [agp, observabilidad, drift, métricas, ciclo-agp]
|
|
16
|
-
---
|
|
17
|
-
# drift-detection — Detección de drift para el ciclo AGP
|
|
18
|
-
|
|
19
|
-
Algoritmo de ventana deslizante que compara métricas recientes (últimos 7 días)
|
|
20
|
-
contra un baseline histórico (4 semanas previas) para detectar degradación de
|
|
21
|
-
skills y agentes antes de que el health score lo refleje.
|
|
22
|
-
|
|
23
|
-
Adaptado de `runDriftCheck`/`getDriftTimeline` en mission-control-main (MIT).
|
|
24
|
-
|
|
25
|
-
## Módulo principal
|
|
26
|
-
|
|
27
|
-
`scripts/lib/drift-detector.js` — zero-deps, Node stdlib únicamente.
|
|
28
|
-
|
|
29
|
-
## Cuándo se activa
|
|
30
|
-
|
|
31
|
-
- Manual: desde cualquier script o agente que necesite análisis de degradación.
|
|
32
|
-
- Automático (vía `hooks/lib/etapa-auto-evolucion.js`): el hook ejecuta `ejecutarDriftAutomatico()`
|
|
33
|
-
en cada `SubagentStop` con un throttle de 24 h (configurable con `SWL_DRIFT_THROTTLE_H`).
|
|
34
|
-
Se evalúan los últimos 5 archivos JSONL de trazas. Opt-out total con `SWL_DRIFT_DISABLED=1`.
|
|
35
|
-
- Automático (vía ciclo AGP): `hooks/lib/reflect-classifier.js` expone
|
|
36
|
-
`ejecutarDriftReflect(rutaJsonl, nombreAgente)` como punto de extensión alternativo.
|
|
37
|
-
- Las trazas de agentes viven en `.planning/traces/YYYY-MM-DD.jsonl`.
|
|
38
|
-
|
|
39
|
-
## Exports del módulo
|
|
40
|
-
|
|
41
|
-
```js
|
|
42
|
-
const { detectarDrift, generarLineaTemporal } = require('./scripts/lib/drift-detector');
|
|
43
|
-
```
|
|
44
|
-
|
|
45
|
-
### `detectarDrift(opts)`
|
|
46
|
-
|
|
47
|
-
```js
|
|
48
|
-
detectarDrift({
|
|
49
|
-
rutaJsonl: '/ruta/a/traces.jsonl',
|
|
50
|
-
ventanaDias: 7, // default
|
|
51
|
-
baselineSemanasBase: 4, // default
|
|
52
|
-
umbralPct: 10, // warn si |drift| > 10%
|
|
53
|
-
metricas: ['tokens_promedio_por_sesion', 'tasa_exito_tool', 'tasa_finalizacion_tarea'],
|
|
54
|
-
agente: 'backend-python-swl', // para nudges
|
|
55
|
-
})
|
|
56
|
-
```
|
|
57
|
-
|
|
58
|
-
**Retorna:**
|
|
59
|
-
|
|
60
|
-
```json
|
|
61
|
-
{
|
|
62
|
-
"drifts": [
|
|
63
|
-
{
|
|
64
|
-
"metrica": "tokens_promedio_por_sesion",
|
|
65
|
-
"baseline": 1000,
|
|
66
|
-
"reciente": 2100,
|
|
67
|
-
"driftPct": 110.0,
|
|
68
|
-
"estado": "critico"
|
|
69
|
-
},
|
|
70
|
-
{
|
|
71
|
-
"metrica": "tasa_exito_tool",
|
|
72
|
-
"baseline": 0.9,
|
|
73
|
-
"reciente": 0.85,
|
|
74
|
-
"driftPct": -5.56,
|
|
75
|
-
"estado": "ok"
|
|
76
|
-
}
|
|
77
|
-
],
|
|
78
|
-
"timestamp": "2026-04-19T12:00:00.000Z",
|
|
79
|
-
"estado_global": "critico"
|
|
80
|
-
}
|
|
81
|
-
```
|
|
82
|
-
|
|
83
|
-
**Estados por métrica:**
|
|
84
|
-
|
|
85
|
-
| Condición | Estado |
|
|
86
|
-
|-----------|--------|
|
|
87
|
-
| `abs(driftPct) <= umbralPct` | `ok` |
|
|
88
|
-
| `abs(driftPct) > umbralPct` | `warn` |
|
|
89
|
-
| `abs(driftPct) > umbralPct * 2` | `critico` |
|
|
90
|
-
|
|
91
|
-
**Estado global:** el peor estado entre todas las métricas.
|
|
92
|
-
|
|
93
|
-
### `generarLineaTemporal(opts)`
|
|
94
|
-
|
|
95
|
-
```js
|
|
96
|
-
generarLineaTemporal({
|
|
97
|
-
rutaJsonl: '/ruta/a/traces.jsonl',
|
|
98
|
-
dias: 30, // default
|
|
99
|
-
})
|
|
100
|
-
// → [{ fecha: '2026-04-19', tokens: 3200, exitos: 12, fallos: 1 }, ...]
|
|
101
|
-
```
|
|
102
|
-
|
|
103
|
-
Retorna un array de longitud `dias`, uno por día, para visualización en
|
|
104
|
-
el dashboard o en reportes de salud.
|
|
105
|
-
|
|
106
|
-
## Estructura de eventos esperada en el JSONL
|
|
107
|
-
|
|
108
|
-
El módulo es permisivo: extrae métricas de cualquier campo que coincida.
|
|
109
|
-
|
|
110
|
-
| Métrica | Campos aceptados en el evento |
|
|
111
|
-
|---------|-------------------------------|
|
|
112
|
-
| Tokens | `atributos.tokens_totales`, `tokens`, `total_tokens` |
|
|
113
|
-
| Éxito de tool | `success`, `exito`, `atributos.success` |
|
|
114
|
-
| Finalización de tarea | `estado`, `status`, `atributos.estado` (valores: `OK`, `done`, `completado`) |
|
|
115
|
-
| Timestamp | `timestamp`, `ts`, `inicio`, `created_at` |
|
|
116
|
-
|
|
117
|
-
Formato nativo de `.planning/traces/YYYY-MM-DD.jsonl`:
|
|
118
|
-
|
|
119
|
-
```json
|
|
120
|
-
{"traceId":"...","nombre":"agent:backend-python-swl","inicio":"2026-04-19T10:00:00.000Z","estado":"OK","atributos":{"tokens_totales":1500}}
|
|
121
|
-
```
|
|
122
|
-
|
|
123
|
-
## Integración con el ciclo AGP
|
|
124
|
-
|
|
125
|
-
El operador Reflect (`hooks/lib/reflect-classifier.js`) expone:
|
|
126
|
-
|
|
127
|
-
```js
|
|
128
|
-
const { ejecutarDriftReflect } = require('./hooks/lib/reflect-classifier');
|
|
129
|
-
|
|
130
|
-
const resultado = ejecutarDriftReflect(
|
|
131
|
-
'.planning/traces/2026-04-19.jsonl',
|
|
132
|
-
'backend-python-swl'
|
|
133
|
-
);
|
|
134
|
-
// resultado: { drifts, timestamp, estado_global } o null si módulo no disponible
|
|
135
|
-
```
|
|
136
|
-
|
|
137
|
-
Cuando `estado_global === 'critico'`, el módulo emite automáticamente un nudge
|
|
138
|
-
a `.planning/evolution/nudges.jsonl`:
|
|
139
|
-
|
|
140
|
-
```json
|
|
141
|
-
{
|
|
142
|
-
"timestamp": "2026-04-19T12:00:00.000Z",
|
|
143
|
-
"tipo": "drift-detectado",
|
|
144
|
-
"agente_o_skill": "backend-python-swl",
|
|
145
|
-
"metrica": "tokens_promedio_por_sesion",
|
|
146
|
-
"drift_pct": 110.0,
|
|
147
|
-
"estado": "critico"
|
|
148
|
-
}
|
|
149
|
-
```
|
|
150
|
-
|
|
151
|
-
El agente `auto-evolucion-swl` consume estos nudges para proponer mejoras.
|
|
152
|
-
|
|
153
|
-
## Cómo interpretar los resultados
|
|
154
|
-
|
|
155
|
-
- **`ok`**: métricas estables. Sin acción requerida.
|
|
156
|
-
- **`warn`**: degradación moderada. Revisar en el próximo ciclo de evolución.
|
|
157
|
-
- **`critico`**: degradación severa. Invocar `/swl:evolucionar` con el agente
|
|
158
|
-
identificado. El nudge ya fue emitido — aparecerá en `/swl:status salud`.
|
|
159
|
-
|
|
160
|
-
## Cuándo NO cargar
|
|
161
|
-
|
|
162
|
-
- Se busca detectar regresiones en el código de la aplicación (tests fallando, performance degradada); para eso usar `monitoring-alertas` o el revisor de código correspondiente.
|
|
163
|
-
- El proyecto tiene menos de 7 días de trazas — el baseline de 4 semanas no puede calcularse y `detectarDrift` retornará resultados sin significado estadístico.
|
|
164
|
-
- El ciclo AGP ya tiene configurado el throttle automático de 24 h; invocar el drift manualmente en el mismo intervalo produce el mismo nudge dos veces sin nuevo valor.
|
|
165
|
-
|
|
166
|
-
## Gotchas / Errores comunes no obvios
|
|
167
|
-
|
|
168
|
-
- **Timestamps inválidos en eventos JSONL provocan líneas ignoradas silenciosamente**: el módulo es permisivo con los campos pero si ningún campo de timestamp (`timestamp`, `ts`, `inicio`, `created_at`) tiene una fecha ISO válida, el evento se descarta del cálculo. Causa: eventos generados con timestamps de formato local (ej. `"19/04/2026"`) no pasan la validación. Solución: verificar que todos los eventos JSONL del trace tengan al menos un campo de timestamp en formato ISO 8601 — si el baseline aparece como 0, es el primer síntoma de eventos descartados.
|
|
169
|
-
- **Estado `critico` emitido por baseline con muy pocos eventos**: si el baseline de 4 semanas tiene solo 3 eventos y la ventana de 7 días tiene 8, el `driftPct` de tokens se dispara al 166% cuando en realidad el agente está más activo, no degradado. Causa: el módulo no valida que el baseline tenga suficientes eventos para ser estadísticamente válido. Solución: antes de interpretar un estado `critico`, verificar que el baseline tiene al menos 20 eventos — si no, marcar el resultado como `insufficient-data` en lugar de accionar.
|
|
170
|
-
- **Nudge duplicado en `.planning/evolution/nudges.jsonl` por falta de deduplicación**: el hook se ejecuta dos veces en el mismo `SubagentStop` (por bug de throttle) y emite el mismo nudge dos veces. Causa: el throttle `SWL_DRIFT_THROTTLE_H` no validó correctamente el timestamp del último run. Solución: el archivo `nudges.jsonl` es append-only — antes de emitir un nudge, verificar si el último evento del mismo `agente_o_skill` y `metrica` tiene un timestamp dentro de la ventana de throttle.
|
|
171
|
-
- **`atomicWriteJSON` usado para escribir en nudges.jsonl**: escribir el archivo completo en lugar de hacer append corrompe el historial de nudges previos. Causa: confusión entre archivos de estado mutable (usan `atomicWriteJSON`) y archivos de eventos de alta frecuencia (usan `fs.appendFileSync`). Solución: `nudges.jsonl` es un JSONL de alta frecuencia — siempre usar `fs.appendFileSync(ruta, JSON.stringify(nudge) + '\n')`, nunca reescribir el archivo completo.
|
|
172
|
-
|
|
173
|
-
## Referencia cruzada
|
|
174
|
-
|
|
175
|
-
- Módulo: `scripts/lib/drift-detector.js`
|
|
176
|
-
- Tests: `tests/lib/drift-detector.test.js`
|
|
177
|
-
- Operador Reflect: `hooks/lib/reflect-classifier.js`
|
|
178
|
-
- Ciclo AGP: `.planning/evolution/nudges.jsonl`
|
|
179
|
-
- Origen (adaptado de): `temp/mission-control-main/src/lib/agent-evals.ts` — MIT
|
|
1
|
+
---
|
|
2
|
+
name: drift-detection
|
|
3
|
+
version: 1.0.0
|
|
4
|
+
herramientasPermitidas: [Read]
|
|
5
|
+
description: "Detección de drift de métricas de agentes/skills via ventana deslizante (7d) vs baseline (4 semanas). Integrado al operador Reflect del ciclo AGP."
|
|
6
|
+
exclusiones:
|
|
7
|
+
- "No cargar para detectar drift en código de aplicación (regressions de negocio); este skill detecta drift en métricas de uso de agentes/skills del sistema SWL."
|
|
8
|
+
- "No cargar si hay menos de 7 días de trazas en `.planning/traces/`; el baseline de 4 semanas no existirá y los resultados serán estadísticamente inválidos."
|
|
9
|
+
- "No cargar para observabilidad de la aplicación en producción; usar `monitoring-alertas` para eso."
|
|
10
|
+
- "No cargar manualmente cuando el ciclo AGP ya ejecuta `ejecutarDriftAutomatico()` en cada SubagentStop — invocarlo dos veces dobla el trabajo sin beneficio."
|
|
11
|
+
author: swl-ses
|
|
12
|
+
evolvable: true
|
|
13
|
+
evolvable_scope: [content, examples]
|
|
14
|
+
domain: ingeniería-de-software
|
|
15
|
+
tags: [agp, observabilidad, drift, métricas, ciclo-agp]
|
|
16
|
+
---
|
|
17
|
+
# drift-detection — Detección de drift para el ciclo AGP
|
|
18
|
+
|
|
19
|
+
Algoritmo de ventana deslizante que compara métricas recientes (últimos 7 días)
|
|
20
|
+
contra un baseline histórico (4 semanas previas) para detectar degradación de
|
|
21
|
+
skills y agentes antes de que el health score lo refleje.
|
|
22
|
+
|
|
23
|
+
Adaptado de `runDriftCheck`/`getDriftTimeline` en mission-control-main (MIT).
|
|
24
|
+
|
|
25
|
+
## Módulo principal
|
|
26
|
+
|
|
27
|
+
`scripts/lib/drift-detector.js` — zero-deps, Node stdlib únicamente.
|
|
28
|
+
|
|
29
|
+
## Cuándo se activa
|
|
30
|
+
|
|
31
|
+
- Manual: desde cualquier script o agente que necesite análisis de degradación.
|
|
32
|
+
- Automático (vía `hooks/lib/etapa-auto-evolucion.js`): el hook ejecuta `ejecutarDriftAutomatico()`
|
|
33
|
+
en cada `SubagentStop` con un throttle de 24 h (configurable con `SWL_DRIFT_THROTTLE_H`).
|
|
34
|
+
Se evalúan los últimos 5 archivos JSONL de trazas. Opt-out total con `SWL_DRIFT_DISABLED=1`.
|
|
35
|
+
- Automático (vía ciclo AGP): `hooks/lib/reflect-classifier.js` expone
|
|
36
|
+
`ejecutarDriftReflect(rutaJsonl, nombreAgente)` como punto de extensión alternativo.
|
|
37
|
+
- Las trazas de agentes viven en `.planning/traces/YYYY-MM-DD.jsonl`.
|
|
38
|
+
|
|
39
|
+
## Exports del módulo
|
|
40
|
+
|
|
41
|
+
```js
|
|
42
|
+
const { detectarDrift, generarLineaTemporal } = require('./scripts/lib/drift-detector');
|
|
43
|
+
```
|
|
44
|
+
|
|
45
|
+
### `detectarDrift(opts)`
|
|
46
|
+
|
|
47
|
+
```js
|
|
48
|
+
detectarDrift({
|
|
49
|
+
rutaJsonl: '/ruta/a/traces.jsonl',
|
|
50
|
+
ventanaDias: 7, // default
|
|
51
|
+
baselineSemanasBase: 4, // default
|
|
52
|
+
umbralPct: 10, // warn si |drift| > 10%
|
|
53
|
+
metricas: ['tokens_promedio_por_sesion', 'tasa_exito_tool', 'tasa_finalizacion_tarea'],
|
|
54
|
+
agente: 'backend-python-swl', // para nudges
|
|
55
|
+
})
|
|
56
|
+
```
|
|
57
|
+
|
|
58
|
+
**Retorna:**
|
|
59
|
+
|
|
60
|
+
```json
|
|
61
|
+
{
|
|
62
|
+
"drifts": [
|
|
63
|
+
{
|
|
64
|
+
"metrica": "tokens_promedio_por_sesion",
|
|
65
|
+
"baseline": 1000,
|
|
66
|
+
"reciente": 2100,
|
|
67
|
+
"driftPct": 110.0,
|
|
68
|
+
"estado": "critico"
|
|
69
|
+
},
|
|
70
|
+
{
|
|
71
|
+
"metrica": "tasa_exito_tool",
|
|
72
|
+
"baseline": 0.9,
|
|
73
|
+
"reciente": 0.85,
|
|
74
|
+
"driftPct": -5.56,
|
|
75
|
+
"estado": "ok"
|
|
76
|
+
}
|
|
77
|
+
],
|
|
78
|
+
"timestamp": "2026-04-19T12:00:00.000Z",
|
|
79
|
+
"estado_global": "critico"
|
|
80
|
+
}
|
|
81
|
+
```
|
|
82
|
+
|
|
83
|
+
**Estados por métrica:**
|
|
84
|
+
|
|
85
|
+
| Condición | Estado |
|
|
86
|
+
|-----------|--------|
|
|
87
|
+
| `abs(driftPct) <= umbralPct` | `ok` |
|
|
88
|
+
| `abs(driftPct) > umbralPct` | `warn` |
|
|
89
|
+
| `abs(driftPct) > umbralPct * 2` | `critico` |
|
|
90
|
+
|
|
91
|
+
**Estado global:** el peor estado entre todas las métricas.
|
|
92
|
+
|
|
93
|
+
### `generarLineaTemporal(opts)`
|
|
94
|
+
|
|
95
|
+
```js
|
|
96
|
+
generarLineaTemporal({
|
|
97
|
+
rutaJsonl: '/ruta/a/traces.jsonl',
|
|
98
|
+
dias: 30, // default
|
|
99
|
+
})
|
|
100
|
+
// → [{ fecha: '2026-04-19', tokens: 3200, exitos: 12, fallos: 1 }, ...]
|
|
101
|
+
```
|
|
102
|
+
|
|
103
|
+
Retorna un array de longitud `dias`, uno por día, para visualización en
|
|
104
|
+
el dashboard o en reportes de salud.
|
|
105
|
+
|
|
106
|
+
## Estructura de eventos esperada en el JSONL
|
|
107
|
+
|
|
108
|
+
El módulo es permisivo: extrae métricas de cualquier campo que coincida.
|
|
109
|
+
|
|
110
|
+
| Métrica | Campos aceptados en el evento |
|
|
111
|
+
|---------|-------------------------------|
|
|
112
|
+
| Tokens | `atributos.tokens_totales`, `tokens`, `total_tokens` |
|
|
113
|
+
| Éxito de tool | `success`, `exito`, `atributos.success` |
|
|
114
|
+
| Finalización de tarea | `estado`, `status`, `atributos.estado` (valores: `OK`, `done`, `completado`) |
|
|
115
|
+
| Timestamp | `timestamp`, `ts`, `inicio`, `created_at` |
|
|
116
|
+
|
|
117
|
+
Formato nativo de `.planning/traces/YYYY-MM-DD.jsonl`:
|
|
118
|
+
|
|
119
|
+
```json
|
|
120
|
+
{"traceId":"...","nombre":"agent:backend-python-swl","inicio":"2026-04-19T10:00:00.000Z","estado":"OK","atributos":{"tokens_totales":1500}}
|
|
121
|
+
```
|
|
122
|
+
|
|
123
|
+
## Integración con el ciclo AGP
|
|
124
|
+
|
|
125
|
+
El operador Reflect (`hooks/lib/reflect-classifier.js`) expone:
|
|
126
|
+
|
|
127
|
+
```js
|
|
128
|
+
const { ejecutarDriftReflect } = require('./hooks/lib/reflect-classifier');
|
|
129
|
+
|
|
130
|
+
const resultado = ejecutarDriftReflect(
|
|
131
|
+
'.planning/traces/2026-04-19.jsonl',
|
|
132
|
+
'backend-python-swl'
|
|
133
|
+
);
|
|
134
|
+
// resultado: { drifts, timestamp, estado_global } o null si módulo no disponible
|
|
135
|
+
```
|
|
136
|
+
|
|
137
|
+
Cuando `estado_global === 'critico'`, el módulo emite automáticamente un nudge
|
|
138
|
+
a `.planning/evolution/nudges.jsonl`:
|
|
139
|
+
|
|
140
|
+
```json
|
|
141
|
+
{
|
|
142
|
+
"timestamp": "2026-04-19T12:00:00.000Z",
|
|
143
|
+
"tipo": "drift-detectado",
|
|
144
|
+
"agente_o_skill": "backend-python-swl",
|
|
145
|
+
"metrica": "tokens_promedio_por_sesion",
|
|
146
|
+
"drift_pct": 110.0,
|
|
147
|
+
"estado": "critico"
|
|
148
|
+
}
|
|
149
|
+
```
|
|
150
|
+
|
|
151
|
+
El agente `auto-evolucion-swl` consume estos nudges para proponer mejoras.
|
|
152
|
+
|
|
153
|
+
## Cómo interpretar los resultados
|
|
154
|
+
|
|
155
|
+
- **`ok`**: métricas estables. Sin acción requerida.
|
|
156
|
+
- **`warn`**: degradación moderada. Revisar en el próximo ciclo de evolución.
|
|
157
|
+
- **`critico`**: degradación severa. Invocar `/swl:evolucionar` con el agente
|
|
158
|
+
identificado. El nudge ya fue emitido — aparecerá en `/swl:status salud`.
|
|
159
|
+
|
|
160
|
+
## Cuándo NO cargar
|
|
161
|
+
|
|
162
|
+
- Se busca detectar regresiones en el código de la aplicación (tests fallando, performance degradada); para eso usar `monitoring-alertas` o el revisor de código correspondiente.
|
|
163
|
+
- El proyecto tiene menos de 7 días de trazas — el baseline de 4 semanas no puede calcularse y `detectarDrift` retornará resultados sin significado estadístico.
|
|
164
|
+
- El ciclo AGP ya tiene configurado el throttle automático de 24 h; invocar el drift manualmente en el mismo intervalo produce el mismo nudge dos veces sin nuevo valor.
|
|
165
|
+
|
|
166
|
+
## Gotchas / Errores comunes no obvios
|
|
167
|
+
|
|
168
|
+
- **Timestamps inválidos en eventos JSONL provocan líneas ignoradas silenciosamente**: el módulo es permisivo con los campos pero si ningún campo de timestamp (`timestamp`, `ts`, `inicio`, `created_at`) tiene una fecha ISO válida, el evento se descarta del cálculo. Causa: eventos generados con timestamps de formato local (ej. `"19/04/2026"`) no pasan la validación. Solución: verificar que todos los eventos JSONL del trace tengan al menos un campo de timestamp en formato ISO 8601 — si el baseline aparece como 0, es el primer síntoma de eventos descartados.
|
|
169
|
+
- **Estado `critico` emitido por baseline con muy pocos eventos**: si el baseline de 4 semanas tiene solo 3 eventos y la ventana de 7 días tiene 8, el `driftPct` de tokens se dispara al 166% cuando en realidad el agente está más activo, no degradado. Causa: el módulo no valida que el baseline tenga suficientes eventos para ser estadísticamente válido. Solución: antes de interpretar un estado `critico`, verificar que el baseline tiene al menos 20 eventos — si no, marcar el resultado como `insufficient-data` en lugar de accionar.
|
|
170
|
+
- **Nudge duplicado en `.planning/evolution/nudges.jsonl` por falta de deduplicación**: el hook se ejecuta dos veces en el mismo `SubagentStop` (por bug de throttle) y emite el mismo nudge dos veces. Causa: el throttle `SWL_DRIFT_THROTTLE_H` no validó correctamente el timestamp del último run. Solución: el archivo `nudges.jsonl` es append-only — antes de emitir un nudge, verificar si el último evento del mismo `agente_o_skill` y `metrica` tiene un timestamp dentro de la ventana de throttle.
|
|
171
|
+
- **`atomicWriteJSON` usado para escribir en nudges.jsonl**: escribir el archivo completo en lugar de hacer append corrompe el historial de nudges previos. Causa: confusión entre archivos de estado mutable (usan `atomicWriteJSON`) y archivos de eventos de alta frecuencia (usan `fs.appendFileSync`). Solución: `nudges.jsonl` es un JSONL de alta frecuencia — siempre usar `fs.appendFileSync(ruta, JSON.stringify(nudge) + '\n')`, nunca reescribir el archivo completo.
|
|
172
|
+
|
|
173
|
+
## Referencia cruzada
|
|
174
|
+
|
|
175
|
+
- Módulo: `scripts/lib/drift-detector.js`
|
|
176
|
+
- Tests: `tests/lib/drift-detector.test.js`
|
|
177
|
+
- Operador Reflect: `hooks/lib/reflect-classifier.js`
|
|
178
|
+
- Ciclo AGP: `.planning/evolution/nudges.jsonl`
|
|
179
|
+
- Origen (adaptado de): `temp/mission-control-main/src/lib/agent-evals.ts` — MIT
|