@saulwade/swl-ses 2.6.1 → 2.8.0

package/schemas/skill-evals.schema.json

@@ -1,119 +1,119 @@
-{
-  "$schema": "https://json-schema.org/draft/2020-12/schema",
-  "$id": "https://swl-ses.dev/schemas/skill-evals.schema.json",
-  "$schemaVersion": "1.0.0",
-  "title": "SWL Skill Evals",
-  "description": "Artefacto de evaluación estructurada para skills y agentes SWL. Inspirado en el formato de skills Anthropic (LikeC4 likec4-dsl). Permite ejecutar evaluaciones reproducibles y auditables con /swl:evaluar-skill.",
-  "type": "object",
-  "required": [
-    "skill_name",
-    "schema_version",
-    "evals"
-  ],
-  "additionalProperties": false,
-  "properties": {
-    "skill_name": {
-      "type": "string",
-      "description": "Nombre del skill o agente evaluado. Debe coincidir con el campo `name` del frontmatter del artefacto evaluado.",
-      "minLength": 1
-    },
-    "artifact_type": {
-      "type": "string",
-      "description": "Tipo de artefacto. Informativo; el validador usa el mismo schema para ambos.",
-      "enum": [
-        "skill",
-        "agent",
-        "command",
-        "rule"
-      ],
-      "default": "skill"
-    },
-    "schema_version": {
-      "type": "integer",
-      "description": "Versión del schema. Incrementar al introducir cambios incompatibles.",
-      "minimum": 1
-    },
-    "description": {
-      "type": "string",
-      "description": "Descripción corta (<200 chars) de qué cubre este set de evals."
-    },
-    "evals": {
-      "type": "array",
-      "description": "Lista de casos de evaluación. Cada caso tiene un prompt, expectativas testables y guía de grading.",
-      "minItems": 1,
-      "items": {
-        "$ref": "#/$defs/eval"
-      }
-    }
-  },
-  "$defs": {
-    "eval": {
-      "type": "object",
-      "required": [
-        "id",
-        "prompt",
-        "expectations"
-      ],
-      "additionalProperties": false,
-      "properties": {
-        "id": {
-          "description": "Identificador único del caso. Entero secuencial o slug descriptivo.",
-          "oneOf": [
-            {
-              "type": "integer",
-              "minimum": 0
-            },
-            {
-              "type": "string",
-              "pattern": "^[a-z0-9][a-z0-9-]{0,63}$"
-            }
-          ]
-        },
-        "prompt": {
-          "type": "string",
-          "description": "Prompt exacto que se envía al modelo con el skill cargado. Debe ser autocontenido.",
-          "minLength": 10
-        },
-        "files": {
-          "type": "array",
-          "description": "Archivos adicionales (paths relativos al eval) que el modelo debe poder leer durante la evaluación.",
-          "items": {
-            "type": "string"
-          },
-          "default": []
-        },
-        "expected_output": {
-          "type": "string",
-          "description": "Descripción narrativa breve de cómo debería verse una respuesta correcta. Opcional — las expectations[] son lo normativo."
-        },
-        "expectations": {
-          "type": "array",
-          "description": "Lista de invariantes testables. Cada una debe poder verificarse de forma no ambigua leyendo la respuesta del modelo.",
-          "minItems": 1,
-          "items": {
-            "type": "string",
-            "minLength": 10
-          }
-        },
-        "grading_guidance": {
-          "type": "string",
-          "description": "Notas para el evaluador humano o LLM sobre variantes aceptables, flexibilidad en versiones, y qué es estrictamente obligatorio vs. recomendado."
-        },
-        "tags": {
-          "type": "array",
-          "description": "Tags opcionales para filtrar subsets (ej: ['regression', 'edge-case', 'anti-pattern']).",
-          "items": {
-            "type": "string"
-          }
-        },
-        "weight": {
-          "type": "number",
-          "description": "Peso del eval en el score agregado. Default 1.0.",
-          "minimum": 0,
-          "exclusiveMaximum": 100,
-          "default": 1
-        }
-      }
-    }
-  }
-}
+{
+  "$schema": "https://json-schema.org/draft/2020-12/schema",
+  "$id": "https://swl-ses.dev/schemas/skill-evals.schema.json",
+  "$schemaVersion": "1.0.0",
+  "title": "SWL Skill Evals",
+  "description": "Artefacto de evaluación estructurada para skills y agentes SWL. Inspirado en el formato de skills Anthropic (LikeC4 likec4-dsl). Permite ejecutar evaluaciones reproducibles y auditables con /swl:evaluar-skill.",
+  "type": "object",
+  "required": [
+    "skill_name",
+    "schema_version",
+    "evals"
+  ],
+  "additionalProperties": false,
+  "properties": {
+    "skill_name": {
+      "type": "string",
+      "description": "Nombre del skill o agente evaluado. Debe coincidir con el campo `name` del frontmatter del artefacto evaluado.",
+      "minLength": 1
+    },
+    "artifact_type": {
+      "type": "string",
+      "description": "Tipo de artefacto. Informativo; el validador usa el mismo schema para ambos.",
+      "enum": [
+        "skill",
+        "agent",
+        "command",
+        "rule"
+      ],
+      "default": "skill"
+    },
+    "schema_version": {
+      "type": "integer",
+      "description": "Versión del schema. Incrementar al introducir cambios incompatibles.",
+      "minimum": 1
+    },
+    "description": {
+      "type": "string",
+      "description": "Descripción corta (<200 chars) de qué cubre este set de evals."
+    },
+    "evals": {
+      "type": "array",
+      "description": "Lista de casos de evaluación. Cada caso tiene un prompt, expectativas testables y guía de grading.",
+      "minItems": 1,
+      "items": {
+        "$ref": "#/$defs/eval"
+      }
+    }
+  },
+  "$defs": {
+    "eval": {
+      "type": "object",
+      "required": [
+        "id",
+        "prompt",
+        "expectations"
+      ],
+      "additionalProperties": false,
+      "properties": {
+        "id": {
+          "description": "Identificador único del caso. Entero secuencial o slug descriptivo.",
+          "oneOf": [
+            {
+              "type": "integer",
+              "minimum": 0
+            },
+            {
+              "type": "string",
+              "pattern": "^[a-z0-9][a-z0-9-]{0,63}$"
+            }
+          ]
+        },
+        "prompt": {
+          "type": "string",
+          "description": "Prompt exacto que se envía al modelo con el skill cargado. Debe ser autocontenido.",
+          "minLength": 10
+        },
+        "files": {
+          "type": "array",
+          "description": "Archivos adicionales (paths relativos al eval) que el modelo debe poder leer durante la evaluación.",
+          "items": {
+            "type": "string"
+          },
+          "default": []
+        },
+        "expected_output": {
+          "type": "string",
+          "description": "Descripción narrativa breve de cómo debería verse una respuesta correcta. Opcional — las expectations[] son lo normativo."
+        },
+        "expectations": {
+          "type": "array",
+          "description": "Lista de invariantes testables. Cada una debe poder verificarse de forma no ambigua leyendo la respuesta del modelo.",
+          "minItems": 1,
+          "items": {
+            "type": "string",
+            "minLength": 10
+          }
+        },
+        "grading_guidance": {
+          "type": "string",
+          "description": "Notas para el evaluador humano o LLM sobre variantes aceptables, flexibilidad en versiones, y qué es estrictamente obligatorio vs. recomendado."
+        },
+        "tags": {
+          "type": "array",
+          "description": "Tags opcionales para filtrar subsets (ej: ['regression', 'edge-case', 'anti-pattern']).",
+          "items": {
+            "type": "string"
+          }
+        },
+        "weight": {
+          "type": "number",
+          "description": "Peso del eval en el score agregado. Default 1.0.",
+          "minimum": 0,
+          "exclusiveMaximum": 100,
+          "default": 1
+        }
+      }
+    }
+  }
+}