@openpond/evals 0.11.21 → 0.12.0

package/dist/types/tasksets.d.ts

@@ -57,6 +57,7 @@ export declare const EnvironmentContractSchema: z.ZodObject<{
 }, z.core.$strict>;
 export declare const DeterministicGraderSpecSchema: z.ZodObject<{
     id: z.ZodString;
+    taskIds: z.ZodOptional<z.ZodArray<z.ZodString>>;
     version: z.ZodString;
     weight: z.ZodDefault<z.ZodNumber>;
     hardGate: z.ZodDefault<z.ZodBoolean>;
@@ -73,6 +74,7 @@ export declare const DeterministicGraderSpecSchema: z.ZodObject<{
 }, z.core.$strict>;
 export declare const ModelJudgeGraderSpecSchema: z.ZodObject<{
     id: z.ZodString;
+    taskIds: z.ZodOptional<z.ZodArray<z.ZodString>>;
     version: z.ZodString;
     weight: z.ZodDefault<z.ZodNumber>;
     hardGate: z.ZodDefault<z.ZodBoolean>;
@@ -109,6 +111,7 @@ export declare const CustomVerifierRuntimeSchema: z.ZodEnum<{
 }>;
 export declare const CustomVerifierGraderSpecSchema: z.ZodObject<{
     id: z.ZodString;
+    taskIds: z.ZodOptional<z.ZodArray<z.ZodString>>;
     version: z.ZodString;
     weight: z.ZodDefault<z.ZodNumber>;
     hardGate: z.ZodDefault<z.ZodBoolean>;
@@ -137,6 +140,7 @@ export declare const CustomVerifierGraderSpecSchema: z.ZodObject<{
 }, z.core.$strict>;
 export declare const HumanGraderSpecSchema: z.ZodObject<{
     id: z.ZodString;
+    taskIds: z.ZodOptional<z.ZodArray<z.ZodString>>;
     version: z.ZodString;
     weight: z.ZodDefault<z.ZodNumber>;
     hardGate: z.ZodDefault<z.ZodBoolean>;
@@ -236,6 +240,7 @@ export declare const HumanGraderSpecSchema: z.ZodObject<{
 }, z.core.$strict>;
 export declare const GraderSpecSchema: z.ZodUnion<readonly [z.ZodObject<{
     id: z.ZodString;
+    taskIds: z.ZodOptional<z.ZodArray<z.ZodString>>;
     version: z.ZodString;
     weight: z.ZodDefault<z.ZodNumber>;
     hardGate: z.ZodDefault<z.ZodBoolean>;
@@ -251,6 +256,7 @@ export declare const GraderSpecSchema: z.ZodUnion<readonly [z.ZodObject<{
     config: z.ZodRecord<z.ZodString, z.ZodUnknown>;
 }, z.core.$strict>, z.ZodObject<{
     id: z.ZodString;
+    taskIds: z.ZodOptional<z.ZodArray<z.ZodString>>;
     version: z.ZodString;
     weight: z.ZodDefault<z.ZodNumber>;
     hardGate: z.ZodDefault<z.ZodBoolean>;
@@ -282,6 +288,7 @@ export declare const GraderSpecSchema: z.ZodUnion<readonly [z.ZodObject<{
     temperature: z.ZodOptional<z.ZodNumber>;
 }, z.core.$strict>, z.ZodObject<{
     id: z.ZodString;
+    taskIds: z.ZodOptional<z.ZodArray<z.ZodString>>;
     version: z.ZodString;
     weight: z.ZodDefault<z.ZodNumber>;
     hardGate: z.ZodDefault<z.ZodBoolean>;
@@ -309,6 +316,7 @@ export declare const GraderSpecSchema: z.ZodUnion<readonly [z.ZodObject<{
     networkPolicy: z.ZodLiteral<"none">;
 }, z.core.$strict>, z.ZodObject<{
     id: z.ZodString;
+    taskIds: z.ZodOptional<z.ZodArray<z.ZodString>>;
     version: z.ZodString;
     weight: z.ZodDefault<z.ZodNumber>;
     hardGate: z.ZodDefault<z.ZodBoolean>;
@@ -559,6 +567,7 @@ export declare const TasksetReleaseContentSchema: z.ZodObject<{
     }, z.core.$strict>>;
     graders: z.ZodArray<z.ZodUnion<readonly [z.ZodObject<{
         id: z.ZodString;
+        taskIds: z.ZodOptional<z.ZodArray<z.ZodString>>;
         version: z.ZodString;
         weight: z.ZodDefault<z.ZodNumber>;
         hardGate: z.ZodDefault<z.ZodBoolean>;
@@ -574,6 +583,7 @@ export declare const TasksetReleaseContentSchema: z.ZodObject<{
         config: z.ZodRecord<z.ZodString, z.ZodUnknown>;
     }, z.core.$strict>, z.ZodObject<{
         id: z.ZodString;
+        taskIds: z.ZodOptional<z.ZodArray<z.ZodString>>;
         version: z.ZodString;
         weight: z.ZodDefault<z.ZodNumber>;
         hardGate: z.ZodDefault<z.ZodBoolean>;
@@ -605,6 +615,7 @@ export declare const TasksetReleaseContentSchema: z.ZodObject<{
         temperature: z.ZodOptional<z.ZodNumber>;
     }, z.core.$strict>, z.ZodObject<{
         id: z.ZodString;
+        taskIds: z.ZodOptional<z.ZodArray<z.ZodString>>;
         version: z.ZodString;
         weight: z.ZodDefault<z.ZodNumber>;
         hardGate: z.ZodDefault<z.ZodBoolean>;
@@ -632,6 +643,7 @@ export declare const TasksetReleaseContentSchema: z.ZodObject<{
         networkPolicy: z.ZodLiteral<"none">;
     }, z.core.$strict>, z.ZodObject<{
         id: z.ZodString;
+        taskIds: z.ZodOptional<z.ZodArray<z.ZodString>>;
         version: z.ZodString;
         weight: z.ZodDefault<z.ZodNumber>;
         hardGate: z.ZodDefault<z.ZodBoolean>;
@@ -865,6 +877,7 @@ export declare const TasksetReleaseSchema: z.ZodObject<{
     }, z.core.$strict>>;
     graders: z.ZodArray<z.ZodUnion<readonly [z.ZodObject<{
         id: z.ZodString;
+        taskIds: z.ZodOptional<z.ZodArray<z.ZodString>>;
         version: z.ZodString;
         weight: z.ZodDefault<z.ZodNumber>;
         hardGate: z.ZodDefault<z.ZodBoolean>;
@@ -880,6 +893,7 @@ export declare const TasksetReleaseSchema: z.ZodObject<{
         config: z.ZodRecord<z.ZodString, z.ZodUnknown>;
     }, z.core.$strict>, z.ZodObject<{
         id: z.ZodString;
+        taskIds: z.ZodOptional<z.ZodArray<z.ZodString>>;
         version: z.ZodString;
         weight: z.ZodDefault<z.ZodNumber>;
         hardGate: z.ZodDefault<z.ZodBoolean>;
@@ -911,6 +925,7 @@ export declare const TasksetReleaseSchema: z.ZodObject<{
         temperature: z.ZodOptional<z.ZodNumber>;
     }, z.core.$strict>, z.ZodObject<{
         id: z.ZodString;
+        taskIds: z.ZodOptional<z.ZodArray<z.ZodString>>;
         version: z.ZodString;
         weight: z.ZodDefault<z.ZodNumber>;
         hardGate: z.ZodDefault<z.ZodBoolean>;
@@ -938,6 +953,7 @@ export declare const TasksetReleaseSchema: z.ZodObject<{
         networkPolicy: z.ZodLiteral<"none">;
     }, z.core.$strict>, z.ZodObject<{
         id: z.ZodString;
+        taskIds: z.ZodOptional<z.ZodArray<z.ZodString>>;
         version: z.ZodString;
         weight: z.ZodDefault<z.ZodNumber>;
         hardGate: z.ZodDefault<z.ZodBoolean>;

package/dist/types/tasksets.d.ts.map

@@ -1 +1 @@
-{"version":3,"file":"tasksets.d.ts","sourceRoot":"","sources":["../../../../src/tasksets.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAExB,OAAO,EAEL,uBAAuB,EAOxB,MAAM,mBAAmB,CAAC;AAI3B,eAAO,MAAM,eAAe;;;;;EAAyD,CAAC;AACtF,eAAO,MAAM,4BAA4B;;;;;;;;;;;;;;;;;kBAM9B,CAAC;AACZ,eAAO,MAAM,oBAAoB;;;;;kBAKtB,CAAC;AAEZ,eAAO,MAAM,yBAAyB;;;;;;;;;;;;;;;;;;;;;;;;kBAS3B,CAAC;AAWZ,eAAO,MAAM,6BAA6B;;;;;;;;;;;;;;;kBAG/B,CAAC;AACZ,eAAO,MAAM,0BAA0B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAM5B,CAAC;AACZ,eAAO,MAAM,2BAA2B;;;EAAqD,CAAC;AAC9F,eAAO,MAAM,8BAA8B;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAQhC,CAAC;AACZ,eAAO,MAAM,qBAAqB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAKvB,CAAC;AACZ,eAAO,MAAM,gBAAgB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;oBAK3B,CAAC;AAEH,eAAO,MAAM,gBAAgB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAWlB,CAAC;AAEZ,eAAO,MAAM,2BAA2B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAc7B,CAAC;AACZ,eAAO,MAAM,oBAAoB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAAkF,CAAC;AAEpH,MAAM,MAAM,sBAAsB,GAAG;IACnC,IAAI,EAAE,MAAM,CAAC;IACb,QAAQ,EAAE,SAAS,GAAG,OAAO,CAAC;IAC9B,OAAO,EAAE,MAAM,CAAC;IAChB,IAAI,EAAE,MAAM,GAAG,IAAI,CAAC;CACrB,CAAC;AAEF,wBAAgB,sBAAsB,CAAC,KAAK,EAAE,OAAO,GAAG;IACtD,KAAK,EAAE,OAAO,CAAC;IACf,OAAO,EAAE,cAAc,GAAG,IAAI,CAAC;IAC/B,YAAY,EAAE,MAAM,GAAG,IAAI,CAAC;IAC5B,MAAM,EAAE,sBAAsB,EAAE,CAAC;CAClC,CAyDA;AAED,wBAAgB,oBAAoB,CAAC,OAAO,EAAE,cAAc,GAAG,IAAI,CAKlE;AAED,wBAAgB,cAAc,CAAC,IAAI,EAAE,UAAU,GAAG;IAChD,EAAE,EAAE,MAAM,CAAC;IACX,KAAK,EAAE,MAAM,CAAC,MAAM,EAAE,OAAO,CAAC,CAAC;IAC/B,oBAAoB,EAAE,MAAM,CAAC,MAAM,EAAE,OAAO,CAAC,CAAC;IAC9C,YAAY,EAAE,KAAK,CAAC,CAAC,CAAC,KAAK,CAAC,OAAO,uBAAuB,CAAC,CAAC,CAAC;IAC7D,IAAI,EAAE,MAAM,EAAE,CAAC;CAChB,CAQA;AAED,wBAAgB,uBAAuB,CAAC,OAAO,EAAE,cAAc,GAAG,UAAU,CAAC,OAAO,cAAc,CAAC,EAAE,CAIpG;AAED,MAAM,MAAM,mBAAmB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,yBAAyB,CAAC,CAAC;AAC5E,MAAM,MAAM,UAAU,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,gBAAgB,CAAC,CAAC;AAC1D,MAAM,MAAM,uBAAuB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,6BAA6B,CAAC,CAAC;AACpF,MAAM,MAAM,UAAU,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,gBAAgB,CAAC,CAAC;AAC1D,MAAM,MAAM,cAAc,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,oBAAoB,CAAC,CAAC;AAClE,MAAM,MAAM,sBAAsB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,4BAA4B,CAAC,CAAC;AAElF,OAAO,EACL,2BAA2B,EAC3B,qBAAqB,EACrB,KAAK,qBAAqB,EAC1B,KAAK,eAAe,GACrB,MAAM,mBAAmB,CAAC"}
+{"version":3,"file":"tasksets.d.ts","sourceRoot":"","sources":["../../../../src/tasksets.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAExB,OAAO,EAEL,uBAAuB,EAOxB,MAAM,mBAAmB,CAAC;AAI3B,eAAO,MAAM,eAAe;;;;;EAAyD,CAAC;AACtF,eAAO,MAAM,4BAA4B;;;;;;;;;;;;;;;;;kBAM9B,CAAC;AACZ,eAAO,MAAM,oBAAoB;;;;;kBAKtB,CAAC;AAEZ,eAAO,MAAM,yBAAyB;;;;;;;;;;;;;;;;;;;;;;;;kBAS3B,CAAC;AAYZ,eAAO,MAAM,6BAA6B;;;;;;;;;;;;;;;;kBAG/B,CAAC;AACZ,eAAO,MAAM,0BAA0B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAM5B,CAAC;AACZ,eAAO,MAAM,2BAA2B;;;EAAqD,CAAC;AAC9F,eAAO,MAAM,8BAA8B;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAQhC,CAAC;AACZ,eAAO,MAAM,qBAAqB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAKvB,CAAC;AACZ,eAAO,MAAM,gBAAgB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;oBAK3B,CAAC;AAEH,eAAO,MAAM,gBAAgB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAWlB,CAAC;AAEZ,eAAO,MAAM,2BAA2B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAc7B,CAAC;AACZ,eAAO,MAAM,oBAAoB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAAkF,CAAC;AAEpH,MAAM,MAAM,sBAAsB,GAAG;IACnC,IAAI,EAAE,MAAM,CAAC;IACb,QAAQ,EAAE,SAAS,GAAG,OAAO,CAAC;IAC9B,OAAO,EAAE,MAAM,CAAC;IAChB,IAAI,EAAE,MAAM,GAAG,IAAI,CAAC;CACrB,CAAC;AAEF,wBAAgB,sBAAsB,CAAC,KAAK,EAAE,OAAO,GAAG;IACtD,KAAK,EAAE,OAAO,CAAC;IACf,OAAO,EAAE,cAAc,GAAG,IAAI,CAAC;IAC/B,YAAY,EAAE,MAAM,GAAG,IAAI,CAAC;IAC5B,MAAM,EAAE,sBAAsB,EAAE,CAAC;CAClC,CA6DA;AAED,wBAAgB,oBAAoB,CAAC,OAAO,EAAE,cAAc,GAAG,IAAI,CAKlE;AAED,wBAAgB,cAAc,CAAC,IAAI,EAAE,UAAU,GAAG;IAChD,EAAE,EAAE,MAAM,CAAC;IACX,KAAK,EAAE,MAAM,CAAC,MAAM,EAAE,OAAO,CAAC,CAAC;IAC/B,oBAAoB,EAAE,MAAM,CAAC,MAAM,EAAE,OAAO,CAAC,CAAC;IAC9C,YAAY,EAAE,KAAK,CAAC,CAAC,CAAC,KAAK,CAAC,OAAO,uBAAuB,CAAC,CAAC,CAAC;IAC7D,IAAI,EAAE,MAAM,EAAE,CAAC;CAChB,CAQA;AAED,wBAAgB,uBAAuB,CAAC,OAAO,EAAE,cAAc,GAAG,UAAU,CAAC,OAAO,cAAc,CAAC,EAAE,CAIpG;AAED,MAAM,MAAM,mBAAmB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,yBAAyB,CAAC,CAAC;AAC5E,MAAM,MAAM,UAAU,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,gBAAgB,CAAC,CAAC;AAC1D,MAAM,MAAM,uBAAuB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,6BAA6B,CAAC,CAAC;AACpF,MAAM,MAAM,UAAU,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,gBAAgB,CAAC,CAAC;AAC1D,MAAM,MAAM,cAAc,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,oBAAoB,CAAC,CAAC;AAClE,MAAM,MAAM,sBAAsB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,4BAA4B,CAAC,CAAC;AAElF,OAAO,EACL,2BAA2B,EAC3B,qBAAqB,EACrB,KAAK,qBAAqB,EAC1B,KAAK,eAAe,GACrB,MAAM,mBAAmB,CAAC"}

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@openpond/evals",
-  "version": "0.11.21",
+  "version": "0.12.0",
   "description": "Portable Tasksets, graders, evaluation runs, receipts, conformance fixtures, and Work evidence for OpenPond Harnesses",
   "license": "MIT",
   "type": "module",
@@ -19,6 +19,10 @@
     "LICENSE"
   ],
   "exports": {
+    "./connected-evidence/git": {
+      "types": "./dist/types/connected-evidence/git.d.ts",
+      "import": "./dist/connected-evidence/git.js"
+    },
     "./native-conversations": {
       "types": "./dist/types/native-conversations/index.d.ts",
       "import": "./dist/native-conversations/index.js"
@@ -177,6 +181,7 @@
   "dependencies": {
     "@jitl/quickjs-singlefile-cjs-release-sync": "0.32.0",
     "@sqlite.org/sqlite-wasm": "3.53.0-build1",
+    "acorn": "8.15.0",
     "ajv": "^8.20.0",
     "cron-parser": "^5.6.2",
     "quickjs-emscripten-core": "0.32.0",

package/schemas/learning/v1/binding.schema.json

@@ -93,6 +93,14 @@
         "graderId": {
           "$ref": "#/$defs/__schema0"
         },
+        "taskIds": {
+          "minItems": 1,
+          "maxItems": 10000,
+          "type": "array",
+          "items": {
+            "$ref": "#/$defs/__schema0"
+          }
+        },
         "reward": {
           "$ref": "#/$defs/__schema1"
         },

package/schemas/learning/v1/command-request.schema.json

@@ -1482,6 +1482,14 @@
         "graderId": {
           "$ref": "#/$defs/__schema0"
         },
+        "taskIds": {
+          "minItems": 1,
+          "maxItems": 10000,
+          "type": "array",
+          "items": {
+            "$ref": "#/$defs/__schema0"
+          }
+        },
         "reward": {
           "$ref": "#/$defs/__schema1"
         },

package/schemas/learning/v1/decision.schema.json

@@ -236,6 +236,9 @@
         "taskHash": {
           "$ref": "#/$defs/__schema2"
         },
+        "taskId": {
+          "$ref": "#/$defs/__schema0"
+        },
         "outputHash": {
           "$ref": "#/$defs/__schema2"
         },
@@ -368,7 +371,8 @@
             "scored",
             "pending",
             "unavailable",
-            "failed"
+            "failed",
+            "not_applicable"
           ]
         },
         "rawScore": {

package/schemas/learning/v1/draft.schema.json

@@ -439,6 +439,14 @@
         "graderId": {
           "$ref": "#/$defs/__schema0"
         },
+        "taskIds": {
+          "minItems": 1,
+          "maxItems": 10000,
+          "type": "array",
+          "items": {
+            "$ref": "#/$defs/__schema0"
+          }
+        },
         "reward": {
           "$ref": "#/$defs/__schema2"
         },

package/schemas/learning/v1/grade.schema.json

@@ -62,6 +62,9 @@
             "taskHash": {
               "$ref": "#/$defs/__schema2"
             },
+            "taskId": {
+              "$ref": "#/$defs/__schema0"
+            },
             "outputHash": {
               "$ref": "#/$defs/__schema2"
             },
@@ -345,7 +348,8 @@
             "scored",
             "pending",
             "unavailable",
-            "failed"
+            "failed",
+            "not_applicable"
           ]
         },
         "rawScore": {