@openpond/evals 0.8.1 → 0.9.1

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (47) hide show
  1. package/README.md +47 -0
  2. package/dist/deterministic-graders.js +110 -0
  3. package/dist/graders.js +9 -51
  4. package/dist/index.js +1 -0
  5. package/dist/metric-policy.js +50 -0
  6. package/dist/metrics-node.js +16 -0
  7. package/dist/metrics.js +105 -0
  8. package/dist/runs.js +12 -0
  9. package/dist/tasksets.js +5 -0
  10. package/dist/types/builtin-benchmarks/harness-refiner.d.ts +14 -0
  11. package/dist/types/builtin-benchmarks/harness-refiner.d.ts.map +1 -1
  12. package/dist/types/conformance.d.ts +28 -0
  13. package/dist/types/conformance.d.ts.map +1 -1
  14. package/dist/types/deterministic-graders.d.ts +23 -0
  15. package/dist/types/deterministic-graders.d.ts.map +1 -0
  16. package/dist/types/evidence/conformance.d.ts +4 -4
  17. package/dist/types/evidence/contracts.d.ts +8 -8
  18. package/dist/types/graders.d.ts +1 -0
  19. package/dist/types/graders.d.ts.map +1 -1
  20. package/dist/types/index.d.ts +1 -0
  21. package/dist/types/index.d.ts.map +1 -1
  22. package/dist/types/javascript-isolate.d.ts +1 -1
  23. package/dist/types/javascript-isolate.d.ts.map +1 -1
  24. package/dist/types/learning/admission.d.ts +3 -3
  25. package/dist/types/learning/contracts.d.ts +3 -3
  26. package/dist/types/learning/operations.d.ts +12 -12
  27. package/dist/types/learning/repository.d.ts +26 -4
  28. package/dist/types/learning/repository.d.ts.map +1 -1
  29. package/dist/types/learning/transport.d.ts +33 -11
  30. package/dist/types/learning/transport.d.ts.map +1 -1
  31. package/dist/types/metric-policy.d.ts +112 -0
  32. package/dist/types/metric-policy.d.ts.map +1 -0
  33. package/dist/types/metrics-node.d.ts +8 -0
  34. package/dist/types/metrics-node.d.ts.map +1 -0
  35. package/dist/types/metrics.d.ts +37 -0
  36. package/dist/types/metrics.d.ts.map +1 -0
  37. package/dist/types/preferences.d.ts +3 -3
  38. package/dist/types/rewards.d.ts +9 -9
  39. package/dist/types/runs.d.ts +88 -0
  40. package/dist/types/runs.d.ts.map +1 -1
  41. package/dist/types/tasksets.d.ts +44 -0
  42. package/dist/types/tasksets.d.ts.map +1 -1
  43. package/dist/types/telemetry-analysis.d.ts +1 -1
  44. package/dist/types/telemetry-bundle.d.ts +4 -4
  45. package/dist/types/telemetry.d.ts +3 -3
  46. package/package.json +9 -1
  47. package/schemas/learning/v1/package.schema.json +108 -0
package/dist/types/evidence/contracts.d.ts CHANGED
@@ -87,9 +87,9 @@ export declare const WorkInterventionOutcomeSchema: z.ZodEnum<{
87
87
  dismissed: "dismissed";
88
88
  }>;
89
89
  export declare const WorkProcessErrorClassSchema: z.ZodEnum<{
90
- validation: "validation";
91
- policy: "policy";
92
90
  unknown: "unknown";
91
+ policy: "policy";
92
+ validation: "validation";
93
93
  environment: "environment";
94
94
  cancelled: "cancelled";
95
95
  timeout: "timeout";
@@ -197,9 +197,9 @@ export declare const WorkProcessStepSchema: z.ZodObject<{
197
197
  cpuTimeMs: z.ZodNullable<z.ZodNumber>;
198
198
  memoryPeakBytes: z.ZodNullable<z.ZodNumber>;
199
199
  errorClass: z.ZodNullable<z.ZodEnum<{
200
- validation: "validation";
201
- policy: "policy";
202
200
  unknown: "unknown";
201
+ policy: "policy";
202
+ validation: "validation";
203
203
  environment: "environment";
204
204
  cancelled: "cancelled";
205
205
  timeout: "timeout";
@@ -315,9 +315,9 @@ export declare const WorkProcessTraceContentSchema: z.ZodObject<{
315
315
  cpuTimeMs: z.ZodNullable<z.ZodNumber>;
316
316
  memoryPeakBytes: z.ZodNullable<z.ZodNumber>;
317
317
  errorClass: z.ZodNullable<z.ZodEnum<{
318
- validation: "validation";
319
- policy: "policy";
320
318
  unknown: "unknown";
319
+ policy: "policy";
320
+ validation: "validation";
321
321
  environment: "environment";
322
322
  cancelled: "cancelled";
323
323
  timeout: "timeout";
@@ -434,9 +434,9 @@ export declare const WorkProcessTraceSchema: z.ZodObject<{
434
434
  cpuTimeMs: z.ZodNullable<z.ZodNumber>;
435
435
  memoryPeakBytes: z.ZodNullable<z.ZodNumber>;
436
436
  errorClass: z.ZodNullable<z.ZodEnum<{
437
- validation: "validation";
438
- policy: "policy";
439
437
  unknown: "unknown";
438
+ policy: "policy";
439
+ validation: "validation";
440
440
  environment: "environment";
441
441
  cancelled: "cancelled";
442
442
  timeout: "timeout";
package/dist/types/graders.d.ts CHANGED
@@ -1,5 +1,6 @@
1
1
  import { z } from "zod";
2
2
  import type { GraderSpec, TaskRecord } from "./tasksets.js";
3
+ export { evaluateDeterministicGrader, portableDeterministicCheck } from "./deterministic-graders.js";
3
4
  export declare const GraderEvidenceContentSchema: z.ZodObject<{
4
5
  schemaVersion: z.ZodLiteral<"openpond.graderEvidence.v1">;
5
6
  graderId: z.ZodString;
package/dist/types/graders.d.ts.map CHANGED
@@ -1 +1 @@
1
- {"version":3,"file":"graders.d.ts","sourceRoot":"","sources":["../../../../src/graders.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAGxB,OAAO,KAAK,EAA2B,UAAU,EAAE,UAAU,EAAE,MAAM,eAAe,CAAC;AAGrF,eAAO,MAAM,2BAA2B;;;;;;;;;;;;;;;;;;kBAW7B,CAAC;AACZ,eAAO,MAAM,oBAAoB;;;;;;;;;;;;;;;;;;;kBAAkF,CAAC;AAEpH,MAAM,MAAM,eAAe,GAAG;IAC5B,MAAM,EAAE,MAAM,CAAC,MAAM,EAAE,OAAO,CAAC,CAAC;IAChC,gBAAgB,EAAE,MAAM,EAAE,CAAC;IAC3B,YAAY,EAAE,MAAM,EAAE,CAAC;IACvB,mBAAmB,CAAC,EAAE,MAAM,GAAG,IAAI,CAAC;CACrC,CAAC;AACF,MAAM,MAAM,gBAAgB,GAAG,CAAC,KAAK,EAAE;IAAE,MAAM,EAAE,OAAO,CAAC,UAAU,EAAE;QAAE,IAAI,EAAE,aAAa,CAAA;KAAE,CAAC,CAAC;IAAC,IAAI,EAAE,UAAU,CAAC;IAAC,QAAQ,EAAE,eAAe,CAAA;CAAE,KAAK,OAAO,CAAC,IAAI,CAAC,cAAc,EAAE,eAAe,GAAG,UAAU,GAAG,eAAe,GAAG,aAAa,CAAC,CAAC,CAAC;AAC/O,MAAM,MAAM,oBAAoB,GAAG,CAAC,KAAK,EAAE;IAAE,MAAM,EAAE,OAAO,CAAC,UAAU,EAAE;QAAE,IAAI,EAAE,iBAAiB,CAAA;KAAE,CAAC,CAAC;IAAC,IAAI,EAAE,UAAU,CAAC;IAAC,QAAQ,EAAE,eAAe,CAAA;CAAE,KAAK,OAAO,CAAC,IAAI,CAAC,cAAc,EAAE,eAAe,GAAG,UAAU,GAAG,eAAe,GAAG,aAAa,CAAC,CAAC,CAAC;AAEvP,wBAAsB,aAAa,CAAC,KAAK,EAAE;IACzC,IAAI,EAAE,UAAU,CAAC;IACjB,QAAQ,EAAE,eAAe,CAAC;IAC1B,OAAO,EAAE,UAAU,EAAE,CAAC;IACtB,UAAU,CAAC,EAAE,gBAAgB,CAAC;IAC9B,cAAc,CAAC,EAAE,oBAAoB,CAAC;CACvC,GAAG,OAAO,CAAC,cAAc,EAAE,CAAC,CAwB5B;AA+DD,MAAM,MAAM,cAAc,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,oBAAoB,CAAC,CAAC"}
1
+ {"version":3,"file":"graders.d.ts","sourceRoot":"","sources":["../../../../src/graders.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAGxB,OAAO,KAAK,EAA2B,UAAU,EAAE,UAAU,EAAE,MAAM,eAAe,CAAC;AAErF,OAAO,EAAE,2BAA2B,EAAE,0BAA0B,EAAE,MAAM,4BAA4B,CAAC;AAErG,eAAO,MAAM,2BAA2B;;;;;;;;;;;;;;;;;;kBAW7B,CAAC;AACZ,eAAO,MAAM,oBAAoB;;;;;;;;;;;;;;;;;;;kBAAkF,CAAC;AAEpH,MAAM,MAAM,eAAe,GAAG;IAC5B,MAAM,EAAE,MAAM,CAAC,MAAM,EAAE,OAAO,CAAC,CAAC;IAChC,gBAAgB,EAAE,MAAM,EAAE,CAAC;IAC3B,YAAY,EAAE,MAAM,EAAE,CAAC;IACvB,mBAAmB,CAAC,EAAE,MAAM,GAAG,IAAI,CAAC;CACrC,CAAC;AACF,MAAM,MAAM,gBAAgB,GAAG,CAAC,KAAK,EAAE;IAAE,MAAM,EAAE,OAAO,CAAC,UAAU,EAAE;QAAE,IAAI,EAAE,aAAa,CAAA;KAAE,CAAC,CAAC;IAAC,IAAI,EAAE,UAAU,CAAC;IAAC,QAAQ,EAAE,eAAe,CAAA;CAAE,KAAK,OAAO,CAAC,IAAI,CAAC,cAAc,EAAE,eAAe,GAAG,UAAU,GAAG,eAAe,GAAG,aAAa,CAAC,CAAC,CAAC;AAC/O,MAAM,MAAM,oBAAoB,GAAG,CAAC,KAAK,EAAE;IAAE,MAAM,EAAE,OAAO,CAAC,UAAU,EAAE;QAAE,IAAI,EAAE,iBAAiB,CAAA;KAAE,CAAC,CAAC;IAAC,IAAI,EAAE,UAAU,CAAC;IAAC,QAAQ,EAAE,eAAe,CAAA;CAAE,KAAK,OAAO,CAAC,IAAI,CAAC,cAAc,EAAE,eAAe,GAAG,UAAU,GAAG,eAAe,GAAG,aAAa,CAAC,CAAC,CAAC;AAEvP,wBAAsB,aAAa,CAAC,KAAK,EAAE;IACzC,IAAI,EAAE,UAAU,CAAC;IACjB,QAAQ,EAAE,eAAe,CAAC;IAC1B,OAAO,EAAE,UAAU,EAAE,CAAC;IACtB,UAAU,CAAC,EAAE,gBAAgB,CAAC;IAC9B,cAAc,CAAC,EAAE,oBAAoB,CAAC;CACvC,GAAG,OAAO,CAAC,cAAc,EAAE,CAAC,CAwB5B;AA8BD,MAAM,MAAM,cAAc,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,oBAAoB,CAAC,CAAC"}
package/dist/types/index.d.ts CHANGED
@@ -8,6 +8,7 @@ export * from "./graders.js";
8
8
  export * from "./harness.js";
9
9
  export * from "./learned-preference.js";
10
10
  export * from "./runs.js";
11
+ export * from "./metrics.js";
11
12
  export * from "./model-improvement-qualification.js";
12
13
  export * from "./preferences.js";
13
14
  export * from "./review-conformance.js";
package/dist/types/index.d.ts.map CHANGED
@@ -1 +1 @@
1
- {"version":3,"file":"index.d.ts","sourceRoot":"","sources":["../../../../src/index.ts"],"names":[],"mappings":"AAAA,cAAc,oBAAoB,CAAC;AACnC,cAAc,iBAAiB,CAAC;AAChC,cAAc,4BAA4B,CAAC;AAC3C,cAAc,qBAAqB,CAAC;AACpC,cAAc,0BAA0B,CAAC;AACzC,cAAc,yBAAyB,CAAC;AACxC,cAAc,cAAc,CAAC;AAC7B,cAAc,cAAc,CAAC;AAC7B,cAAc,yBAAyB,CAAC;AACxC,cAAc,WAAW,CAAC;AAC1B,cAAc,sCAAsC,CAAC;AACrD,cAAc,kBAAkB,CAAC;AACjC,cAAc,yBAAyB,CAAC;AACxC,cAAc,eAAe,CAAC;AAC9B,cAAc,gBAAgB,CAAC;AAC/B,cAAc,wBAAwB,CAAC;AACvC,cAAc,yBAAyB,CAAC;AACxC,cAAc,uBAAuB,CAAC;AACtC,cAAc,eAAe,CAAC;AAC9B,cAAc,kBAAkB,CAAC;AACjC,cAAc,cAAc,CAAC;AAC7B,cAAc,qBAAqB,CAAC"}
1
+ {"version":3,"file":"index.d.ts","sourceRoot":"","sources":["../../../../src/index.ts"],"names":[],"mappings":"AAAA,cAAc,oBAAoB,CAAC;AACnC,cAAc,iBAAiB,CAAC;AAChC,cAAc,4BAA4B,CAAC;AAC3C,cAAc,qBAAqB,CAAC;AACpC,cAAc,0BAA0B,CAAC;AACzC,cAAc,yBAAyB,CAAC;AACxC,cAAc,cAAc,CAAC;AAC7B,cAAc,cAAc,CAAC;AAC7B,cAAc,yBAAyB,CAAC;AACxC,cAAc,WAAW,CAAC;AAC1B,cAAc,cAAc,CAAC;AAC7B,cAAc,sCAAsC,CAAC;AACrD,cAAc,kBAAkB,CAAC;AACjC,cAAc,yBAAyB,CAAC;AACxC,cAAc,eAAe,CAAC;AAC9B,cAAc,gBAAgB,CAAC;AAC/B,cAAc,wBAAwB,CAAC;AACvC,cAAc,yBAAyB,CAAC;AACxC,cAAc,uBAAuB,CAAC;AACtC,cAAc,eAAe,CAAC;AAC9B,cAAc,kBAAkB,CAAC;AACjC,cAAc,cAAc,CAAC;AAC7B,cAAc,qBAAqB,CAAC"}
package/dist/types/javascript-isolate.d.ts CHANGED
@@ -6,7 +6,7 @@ export interface JavaScriptIsolateInput {
6
6
  signal?: AbortSignal;
7
7
  maxResultBytes: number;
8
8
  deterministic?: boolean;
9
- errorPrefix: "verifier" | "environment" | "candidate";
9
+ errorPrefix: "verifier" | "environment" | "candidate" | "metric";
10
10
  }
11
11
  export declare class JavaScriptIsolateExecutionError extends Error {
12
12
  constructor(message: string);
package/dist/types/javascript-isolate.d.ts.map CHANGED
@@ -1 +1 @@
1
- {"version":3,"file":"javascript-isolate.d.ts","sourceRoot":"","sources":["../../../../src/javascript-isolate.ts"],"names":[],"mappings":"AAIA,MAAM,WAAW,sBAAsB;IACrC,MAAM,EAAE,MAAM,CAAC;IACf,UAAU,EAAE,MAAM,CAAC;IACnB,KAAK,EAAE,OAAO,CAAC;IACf,SAAS,EAAE,MAAM,CAAC;IAClB,MAAM,CAAC,EAAE,WAAW,CAAC;IACrB,cAAc,EAAE,MAAM,CAAC;IACvB,aAAa,CAAC,EAAE,OAAO,CAAC;IACxB,WAAW,EAAE,UAAU,GAAG,aAAa,GAAG,WAAW,CAAC;CACvD;AAED,qBAAa,+BAAgC,SAAQ,KAAK;gBAC5C,OAAO,EAAE,MAAM;CAC5B;AAED,kFAAkF;AAClF,wBAAsB,wBAAwB,CAAC,KAAK,EAAE,sBAAsB,GAAG,OAAO,CAAC,OAAO,CAAC,CAqC9F;AAED,wBAAgB,8BAA8B,CAAC,KAAK,EAAE,sBAAsB,GAAG,IAAI,CAKlF"}
1
+ {"version":3,"file":"javascript-isolate.d.ts","sourceRoot":"","sources":["../../../../src/javascript-isolate.ts"],"names":[],"mappings":"AAIA,MAAM,WAAW,sBAAsB;IACrC,MAAM,EAAE,MAAM,CAAC;IACf,UAAU,EAAE,MAAM,CAAC;IACnB,KAAK,EAAE,OAAO,CAAC;IACf,SAAS,EAAE,MAAM,CAAC;IAClB,MAAM,CAAC,EAAE,WAAW,CAAC;IACrB,cAAc,EAAE,MAAM,CAAC;IACvB,aAAa,CAAC,EAAE,OAAO,CAAC;IACxB,WAAW,EAAE,UAAU,GAAG,aAAa,GAAG,WAAW,GAAG,QAAQ,CAAC;CAClE;AAED,qBAAa,+BAAgC,SAAQ,KAAK;gBAC5C,OAAO,EAAE,MAAM;CAC5B;AAED,kFAAkF;AAClF,wBAAsB,wBAAwB,CAAC,KAAK,EAAE,sBAAsB,GAAG,OAAO,CAAC,OAAO,CAAC,CAqC9F;AAED,wBAAgB,8BAA8B,CAAC,KAAK,EAAE,sBAAsB,GAAG,IAAI,CAKlF"}
package/dist/types/learning/admission.d.ts CHANGED
@@ -240,8 +240,10 @@ export declare const TaskBatchPackageMetadataSchema: z.ZodObject<{
240
240
  }, z.core.$strict>>;
241
241
  temperature: z.ZodOptional<z.ZodNumber>;
242
242
  }, z.core.$strict>, z.ZodObject<{
243
- kind: z.ZodLiteral<"custom_verifier">;
243
+ exportName: z.ZodOptional<z.ZodString>;
244
+ timeoutMs: z.ZodNumber;
244
245
  networkPolicy: z.ZodLiteral<"none">;
246
+ kind: z.ZodLiteral<"custom_verifier">;
245
247
  verifierRef: z.ZodObject<{
246
248
  id: z.ZodString;
247
249
  path: z.ZodString;
@@ -254,8 +256,6 @@ export declare const TaskBatchPackageMetadataSchema: z.ZodObject<{
254
256
  host_private: "host_private";
255
257
  }>;
256
258
  }, z.core.$strict>;
257
- exportName: z.ZodOptional<z.ZodString>;
258
- timeoutMs: z.ZodNumber;
259
259
  }, z.core.$strict>, z.ZodObject<{
260
260
  kind: z.ZodLiteral<"human">;
261
261
  rubricRef: z.ZodObject<{
package/dist/types/learning/contracts.d.ts CHANGED
@@ -1471,8 +1471,10 @@ export declare const LearningResourceSchema: z.ZodUnion<readonly [z.ZodObject<{
1471
1471
  }, z.core.$strict>>;
1472
1472
  temperature: z.ZodOptional<z.ZodNumber>;
1473
1473
  }, z.core.$strict>, z.ZodObject<{
1474
- kind: z.ZodLiteral<"custom_verifier">;
1474
+ exportName: z.ZodOptional<z.ZodString>;
1475
+ timeoutMs: z.ZodNumber;
1475
1476
  networkPolicy: z.ZodLiteral<"none">;
1477
+ kind: z.ZodLiteral<"custom_verifier">;
1476
1478
  verifierRef: z.ZodObject<{
1477
1479
  id: z.ZodString;
1478
1480
  path: z.ZodString;
@@ -1485,8 +1487,6 @@ export declare const LearningResourceSchema: z.ZodUnion<readonly [z.ZodObject<{
1485
1487
  host_private: "host_private";
1486
1488
  }>;
1487
1489
  }, z.core.$strict>;
1488
- exportName: z.ZodOptional<z.ZodString>;
1489
- timeoutMs: z.ZodNumber;
1490
1490
  }, z.core.$strict>, z.ZodObject<{
1491
1491
  kind: z.ZodLiteral<"human">;
1492
1492
  rubricRef: z.ZodObject<{
package/dist/types/learning/operations.d.ts CHANGED
@@ -214,8 +214,10 @@ export declare const PublishLearningResourceCommandSchema: z.ZodDiscriminatedUni
214
214
  }, z.core.$strict>>;
215
215
  temperature: z.ZodOptional<z.ZodNumber>;
216
216
  }, z.core.$strict>, z.ZodObject<{
217
- kind: z.ZodLiteral<"custom_verifier">;
217
+ exportName: z.ZodOptional<z.ZodString>;
218
+ timeoutMs: z.ZodNumber;
218
219
  networkPolicy: z.ZodLiteral<"none">;
220
+ kind: z.ZodLiteral<"custom_verifier">;
219
221
  verifierRef: z.ZodObject<{
220
222
  id: z.ZodString;
221
223
  path: z.ZodString;
@@ -228,8 +230,6 @@ export declare const PublishLearningResourceCommandSchema: z.ZodDiscriminatedUni
228
230
  host_private: "host_private";
229
231
  }>;
230
232
  }, z.core.$strict>;
231
- exportName: z.ZodOptional<z.ZodString>;
232
- timeoutMs: z.ZodNumber;
233
233
  }, z.core.$strict>, z.ZodObject<{
234
234
  kind: z.ZodLiteral<"human">;
235
235
  rubricRef: z.ZodObject<{
@@ -747,8 +747,10 @@ export declare const PublishLearningResourcesCommandSchema: z.ZodObject<{
747
747
  }, z.core.$strict>>;
748
748
  temperature: z.ZodOptional<z.ZodNumber>;
749
749
  }, z.core.$strict>, z.ZodObject<{
750
- kind: z.ZodLiteral<"custom_verifier">;
750
+ exportName: z.ZodOptional<z.ZodString>;
751
+ timeoutMs: z.ZodNumber;
751
752
  networkPolicy: z.ZodLiteral<"none">;
753
+ kind: z.ZodLiteral<"custom_verifier">;
752
754
  verifierRef: z.ZodObject<{
753
755
  id: z.ZodString;
754
756
  path: z.ZodString;
@@ -761,8 +763,6 @@ export declare const PublishLearningResourcesCommandSchema: z.ZodObject<{
761
763
  host_private: "host_private";
762
764
  }>;
763
765
  }, z.core.$strict>;
764
- exportName: z.ZodOptional<z.ZodString>;
765
- timeoutMs: z.ZodNumber;
766
766
  }, z.core.$strict>, z.ZodObject<{
767
767
  kind: z.ZodLiteral<"human">;
768
768
  rubricRef: z.ZodObject<{
@@ -1826,8 +1826,10 @@ export declare const LearningCommandSchema: z.ZodUnion<readonly [z.ZodObject<{
1826
1826
  }, z.core.$strict>>;
1827
1827
  temperature: z.ZodOptional<z.ZodNumber>;
1828
1828
  }, z.core.$strict>, z.ZodObject<{
1829
- kind: z.ZodLiteral<"custom_verifier">;
1829
+ exportName: z.ZodOptional<z.ZodString>;
1830
+ timeoutMs: z.ZodNumber;
1830
1831
  networkPolicy: z.ZodLiteral<"none">;
1832
+ kind: z.ZodLiteral<"custom_verifier">;
1831
1833
  verifierRef: z.ZodObject<{
1832
1834
  id: z.ZodString;
1833
1835
  path: z.ZodString;
@@ -1840,8 +1842,6 @@ export declare const LearningCommandSchema: z.ZodUnion<readonly [z.ZodObject<{
1840
1842
  host_private: "host_private";
1841
1843
  }>;
1842
1844
  }, z.core.$strict>;
1843
- exportName: z.ZodOptional<z.ZodString>;
1844
- timeoutMs: z.ZodNumber;
1845
1845
  }, z.core.$strict>, z.ZodObject<{
1846
1846
  kind: z.ZodLiteral<"human">;
1847
1847
  rubricRef: z.ZodObject<{
@@ -2358,8 +2358,10 @@ export declare const LearningCommandSchema: z.ZodUnion<readonly [z.ZodObject<{
2358
2358
  }, z.core.$strict>>;
2359
2359
  temperature: z.ZodOptional<z.ZodNumber>;
2360
2360
  }, z.core.$strict>, z.ZodObject<{
2361
- kind: z.ZodLiteral<"custom_verifier">;
2361
+ exportName: z.ZodOptional<z.ZodString>;
2362
+ timeoutMs: z.ZodNumber;
2362
2363
  networkPolicy: z.ZodLiteral<"none">;
2364
+ kind: z.ZodLiteral<"custom_verifier">;
2363
2365
  verifierRef: z.ZodObject<{
2364
2366
  id: z.ZodString;
2365
2367
  path: z.ZodString;
@@ -2372,8 +2374,6 @@ export declare const LearningCommandSchema: z.ZodUnion<readonly [z.ZodObject<{
2372
2374
  host_private: "host_private";
2373
2375
  }>;
2374
2376
  }, z.core.$strict>;
2375
- exportName: z.ZodOptional<z.ZodString>;
2376
- timeoutMs: z.ZodNumber;
2377
2377
  }, z.core.$strict>, z.ZodObject<{
2378
2378
  kind: z.ZodLiteral<"human">;
2379
2379
  rubricRef: z.ZodObject<{
package/dist/types/learning/repository.d.ts CHANGED
@@ -440,8 +440,10 @@ export declare const learningResourceSchemas: {
440
440
  }, z.core.$strict>>;
441
441
  temperature: z.ZodOptional<z.ZodNumber>;
442
442
  }, z.core.$strict>, z.ZodObject<{
443
- kind: z.ZodLiteral<"custom_verifier">;
443
+ exportName: z.ZodOptional<z.ZodString>;
444
+ timeoutMs: z.ZodNumber;
444
445
  networkPolicy: z.ZodLiteral<"none">;
446
+ kind: z.ZodLiteral<"custom_verifier">;
445
447
  verifierRef: z.ZodObject<{
446
448
  id: z.ZodString;
447
449
  path: z.ZodString;
@@ -454,8 +456,6 @@ export declare const learningResourceSchemas: {
454
456
  host_private: "host_private";
455
457
  }>;
456
458
  }, z.core.$strict>;
457
- exportName: z.ZodOptional<z.ZodString>;
458
- timeoutMs: z.ZodNumber;
459
459
  }, z.core.$strict>, z.ZodObject<{
460
460
  kind: z.ZodLiteral<"human">;
461
461
  rubricRef: z.ZodObject<{
@@ -1390,6 +1390,28 @@ export declare const learningResourceSchemas: {
1390
1390
  id: z.ZodString;
1391
1391
  contentHash: z.ZodString;
1392
1392
  }, z.core.$strict>>;
1393
+ metrics: z.ZodOptional<z.ZodObject<{
1394
+ schemaVersion: z.ZodLiteral<"openpond.tasksetMetricPolicy.v1">;
1395
+ primaryMetric: z.ZodString;
1396
+ aggregation: z.ZodEnum<{
1397
+ mean_score: "mean_score";
1398
+ pass_rate: "pass_rate";
1399
+ weighted_mean: "weighted_mean";
1400
+ custom: "custom";
1401
+ }>;
1402
+ missingReward: z.ZodEnum<{
1403
+ zero: "zero";
1404
+ exclude: "exclude";
1405
+ }>;
1406
+ taskWeights: z.ZodOptional<z.ZodRecord<z.ZodString, z.ZodNumber>>;
1407
+ customAggregator: z.ZodNullable<z.ZodObject<{
1408
+ module: z.ZodString;
1409
+ exportName: z.ZodString;
1410
+ contentHash: z.ZodString;
1411
+ timeoutMs: z.ZodNumber;
1412
+ networkPolicy: z.ZodLiteral<"none">;
1413
+ }, z.core.$strict>>;
1414
+ }, z.core.$strict>>;
1393
1415
  metadata: z.ZodDefault<z.ZodRecord<z.ZodString, z.ZodUnknown>>;
1394
1416
  contentHash: z.ZodString;
1395
1417
  }, z.core.$strict>;
@@ -1399,10 +1421,10 @@ export declare const LearningResourceKindSchema: z.ZodEnum<{
1399
1421
  policy: "policy";
1400
1422
  feedback: "feedback";
1401
1423
  reward: "reward";
1424
+ evidence: "evidence";
1402
1425
  source: "source";
1403
1426
  asset: "asset";
1404
1427
  decision: "decision";
1405
- evidence: "evidence";
1406
1428
  binding: "binding";
1407
1429
  batch: "batch";
1408
1430
  grade: "grade";
package/dist/types/learning/repository.d.ts.map CHANGED
@@ -1 +1 @@
1
- {"version":3,"file":"repository.d.ts","sourceRoot":"","sources":["../../../../../src/learning/repository.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAGxB,OAAO,EAAkO,KAAK,mBAAmB,EAAE,MAAM,gBAAgB,CAAC;AAG1R,OAAO,EAAE,mBAAmB,EAAE,MAAM,aAAa,CAAC;AAKlD,eAAO,MAAM,uBAAuB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;CAQ1B,CAAC;AACX,MAAM,MAAM,oBAAoB,GAAG,MAAM,OAAO,uBAAuB,CAAC;AACxE,eAAO,MAAM,0BAA0B;;;;;;;;;;;;;;;;EAAoG,CAAC;AAC5I,MAAM,MAAM,mBAAmB,CAAC,CAAC,SAAS,oBAAoB,IAAI,CAAC,CAAC,KAAK,CAAC,CAAC,OAAO,uBAAuB,CAAC,CAAC,CAAC,CAAC,CAAC,CAAC;AAC/G,MAAM,MAAM,sBAAsB,GAAG,mBAAmB,CAAC,oBAAoB,CAAC,CAAC;AAE/E,MAAM,MAAM,uBAAuB,GAAG;IAAE,IAAI,EAAE,oBAAoB,CAAC;IAAC,EAAE,EAAE,MAAM,CAAC;IAAC,QAAQ,EAAE,MAAM,CAAA;CAAE,CAAC;AACnG,MAAM,MAAM,wBAAwB,GAAG;IAAE,WAAW,EAAE,MAAM,CAAC;IAAC,SAAS,EAAE,uBAAuB,EAAE,CAAA;CAAE,CAAC;AACrG,MAAM,MAAM,qBAAqB,GAAG;IAAE,QAAQ,CAAC,EAAE,MAAM,CAAC;IAAC,MAAM,CAAC,EAAE,MAAM,CAAC;IAAC,OAAO,CAAC,EAAE,MAAM,CAAC;IAAC,KAAK,EAAE,MAAM,CAAA;CAAE,CAAC;AAC5G,MAAM,MAAM,oBAAoB,CAAC,CAAC,SAAS,oBAAoB,IAAI;IAAE,KAAK,EAAE,mBAAmB,CAAC,CAAC,CAAC,EAAE,CAAC;IAAC,UAAU,EAAE,MAAM,GAAG,IAAI,CAAA;CAAE,CAAC;AAElI,qFAAqF;AACrF,MAAM,WAAW,mBAAmB;IAClC,GAAG,CAAC,CAAC,SAAS,oBAAoB,EAAE,IAAI,EAAE,CAAC,EAAE,EAAE,EAAE,MAAM,EAAE,QAAQ,CAAC,EAAE,MAAM,GAAG,OAAO,CAAC,mBAAmB,CAAC,CAAC,CAAC,GAAG,IAAI,CAAC,CAAC;IACpH,GAAG,CAAC,CAAC,SAAS,oBAAoB,EAAE,IAAI,EAAE,CAAC,EAAE,QAAQ,EAAE,mBAAmB,CAAC,CAAC,CAAC,EAAE,gBAAgB,EAAE,MAAM,EAAE,KAAK,CAAC,EAAE;QAAE,QAAQ,CAAC,EAAE,MAAM,CAAC;QAAC,MAAM,CAAC,EAAE,MAAM,CAAA;KAAE,GAAG,OAAO,CAAC,IAAI,CAAC,CAAC;IACxK,IAAI,CAAC,CAAC,SAAS,oBAAoB,EAAE,IAAI,EAAE,CAAC,EAAE,KAAK,EAAE,qBAAqB,GAAG,OAAO,CAAC,oBAAoB,CAAC,CAAC,CAAC,CAAC,CAAC;IAC9G,SAAS,CAAC,EAAE,EAAE,MAAM,GAAG,OAAO,CAAC,wBAAwB,GAAG,IAAI,CAAC,CAAC;IAChE,aAAa,CAAC,EAAE,EAAE,MAAM,EAAE,OAAO,EAAE,wBAAwB,GAAG,OAAO,CAAC,IAAI,CAAC,CAAC;IAC5E,WAAW,CAAC,SAAS,EAAE,MAAM,EAAE,IAAI,EAAE,QAAQ,GAAG,OAAO,EAAE,GAAG,EAAE,MAAM,GAAG,OAAO,CAAC,MAAM,GAAG,IAAI,CAAC,CAAC;IAC9F,kBAAkB,CAAC,SAAS,EAAE,MAAM,EAAE,IAAI,EAAE,QAAQ,GAAG,OAAO,EAAE,GAAG,EAAE,MAAM,EAAE,KAAK,EAAE,MAAM,GAAG,OAAO,CAAC,IAAI,CAAC,CAAC;CAC5G;AACD,MAAM,WAAW,kBAAkB;IACjC,WAAW,CAAC,CAAC,EAAE,KAAK,EAAE,MAAM,EAAE,QAAQ,EAAE,CAAC,WAAW,EAAE,mBAAmB,KAAK,OAAO,CAAC,CAAC,CAAC,GAAG,OAAO,CAAC,CAAC,CAAC,CAAC;CACvG;AAED,qBAAa,qBAAsB,SAAQ,mBAAmB;IAChD,QAAQ,CAAC,IAAI,EAAE,MAAM;IAAE,QAAQ,CAAC,EAAE,EAAE,MAAM;IAAE,QAAQ,CAAC,gBAAgB,EAAE,MAAM;IAAE,QAAQ,CAAC,eAAe,EAAE,MAAM;gBAAtG,IAAI,EAAE,MAAM,EAAW,EAAE,EAAE,MAAM,EAAW,gBAAgB,EAAE,MAAM,EAAW,eAAe,EAAE,MAAM;CAI5H;AAED,wBAAsB,uBAAuB,CAAC,CAAC,SAAS,oBAAoB,EAAE,WAAW,EAAE,mBAAmB,EAAE,IAAI,EAAE,CAAC,EAAE,EAAE,EAAE,MAAM,EAAE,QAAQ,CAAC,EAAE,MAAM,GAAG,OAAO,CAAC,mBAAmB,CAAC,CAAC,CAAC,CAAC,CAIvL;AACD,wBAAsB,sBAAsB,CAAC,CAAC,SAAS,oBAAoB,EAAE,WAAW,EAAE,mBAAmB,EAAE,IAAI,EAAE,CAAC,EAAE,GAAG,EAAE,mBAAmB,GAAG,OAAO,CAAC,mBAAmB,CAAC,CAAC,CAAC,CAAC,CAKjL;AACD,wBAAgB,kBAAkB,CAAC,QAAQ,EAAE,MAAM,EAAE,SAAS,EAAE,MAAM,EAAE,SAAS,EAAE,MAAM,GAAG,MAAM,CAEjG;AACD,wBAAgB,mBAAmB,CAAC,OAAO,EAAE,MAAM,EAAE,WAAW,EAAE,MAAM,GAAG,MAAM,CAEhF"}
1
+ {"version":3,"file":"repository.d.ts","sourceRoot":"","sources":["../../../../../src/learning/repository.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAGxB,OAAO,EAAkO,KAAK,mBAAmB,EAAE,MAAM,gBAAgB,CAAC;AAG1R,OAAO,EAAE,mBAAmB,EAAE,MAAM,aAAa,CAAC;AAKlD,eAAO,MAAM,uBAAuB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;CAQ1B,CAAC;AACX,MAAM,MAAM,oBAAoB,GAAG,MAAM,OAAO,uBAAuB,CAAC;AACxE,eAAO,MAAM,0BAA0B;;;;;;;;;;;;;;;;EAAoG,CAAC;AAC5I,MAAM,MAAM,mBAAmB,CAAC,CAAC,SAAS,oBAAoB,IAAI,CAAC,CAAC,KAAK,CAAC,CAAC,OAAO,uBAAuB,CAAC,CAAC,CAAC,CAAC,CAAC,CAAC;AAC/G,MAAM,MAAM,sBAAsB,GAAG,mBAAmB,CAAC,oBAAoB,CAAC,CAAC;AAE/E,MAAM,MAAM,uBAAuB,GAAG;IAAE,IAAI,EAAE,oBAAoB,CAAC;IAAC,EAAE,EAAE,MAAM,CAAC;IAAC,QAAQ,EAAE,MAAM,CAAA;CAAE,CAAC;AACnG,MAAM,MAAM,wBAAwB,GAAG;IAAE,WAAW,EAAE,MAAM,CAAC;IAAC,SAAS,EAAE,uBAAuB,EAAE,CAAA;CAAE,CAAC;AACrG,MAAM,MAAM,qBAAqB,GAAG;IAAE,QAAQ,CAAC,EAAE,MAAM,CAAC;IAAC,MAAM,CAAC,EAAE,MAAM,CAAC;IAAC,OAAO,CAAC,EAAE,MAAM,CAAC;IAAC,KAAK,EAAE,MAAM,CAAA;CAAE,CAAC;AAC5G,MAAM,MAAM,oBAAoB,CAAC,CAAC,SAAS,oBAAoB,IAAI;IAAE,KAAK,EAAE,mBAAmB,CAAC,CAAC,CAAC,EAAE,CAAC;IAAC,UAAU,EAAE,MAAM,GAAG,IAAI,CAAA;CAAE,CAAC;AAElI,qFAAqF;AACrF,MAAM,WAAW,mBAAmB;IAClC,GAAG,CAAC,CAAC,SAAS,oBAAoB,EAAE,IAAI,EAAE,CAAC,EAAE,EAAE,EAAE,MAAM,EAAE,QAAQ,CAAC,EAAE,MAAM,GAAG,OAAO,CAAC,mBAAmB,CAAC,CAAC,CAAC,GAAG,IAAI,CAAC,CAAC;IACpH,GAAG,CAAC,CAAC,SAAS,oBAAoB,EAAE,IAAI,EAAE,CAAC,EAAE,QAAQ,EAAE,mBAAmB,CAAC,CAAC,CAAC,EAAE,gBAAgB,EAAE,MAAM,EAAE,KAAK,CAAC,EAAE;QAAE,QAAQ,CAAC,EAAE,MAAM,CAAC;QAAC,MAAM,CAAC,EAAE,MAAM,CAAA;KAAE,GAAG,OAAO,CAAC,IAAI,CAAC,CAAC;IACxK,IAAI,CAAC,CAAC,SAAS,oBAAoB,EAAE,IAAI,EAAE,CAAC,EAAE,KAAK,EAAE,qBAAqB,GAAG,OAAO,CAAC,oBAAoB,CAAC,CAAC,CAAC,CAAC,CAAC;IAC9G,SAAS,CAAC,EAAE,EAAE,MAAM,GAAG,OAAO,CAAC,wBAAwB,GAAG,IAAI,CAAC,CAAC;IAChE,aAAa,CAAC,EAAE,EAAE,MAAM,EAAE,OAAO,EAAE,wBAAwB,GAAG,OAAO,CAAC,IAAI,CAAC,CAAC;IAC5E,WAAW,CAAC,SAAS,EAAE,MAAM,EAAE,IAAI,EAAE,QAAQ,GAAG,OAAO,EAAE,GAAG,EAAE,MAAM,GAAG,OAAO,CAAC,MAAM,GAAG,IAAI,CAAC,CAAC;IAC9F,kBAAkB,CAAC,SAAS,EAAE,MAAM,EAAE,IAAI,EAAE,QAAQ,GAAG,OAAO,EAAE,GAAG,EAAE,MAAM,EAAE,KAAK,EAAE,MAAM,GAAG,OAAO,CAAC,IAAI,CAAC,CAAC;CAC5G;AACD,MAAM,WAAW,kBAAkB;IACjC,WAAW,CAAC,CAAC,EAAE,KAAK,EAAE,MAAM,EAAE,QAAQ,EAAE,CAAC,WAAW,EAAE,mBAAmB,KAAK,OAAO,CAAC,CAAC,CAAC,GAAG,OAAO,CAAC,CAAC,CAAC,CAAC;CACvG;AAED,qBAAa,qBAAsB,SAAQ,mBAAmB;IAChD,QAAQ,CAAC,IAAI,EAAE,MAAM;IAAE,QAAQ,CAAC,EAAE,EAAE,MAAM;IAAE,QAAQ,CAAC,gBAAgB,EAAE,MAAM;IAAE,QAAQ,CAAC,eAAe,EAAE,MAAM;gBAAtG,IAAI,EAAE,MAAM,EAAW,EAAE,EAAE,MAAM,EAAW,gBAAgB,EAAE,MAAM,EAAW,eAAe,EAAE,MAAM;CAI5H;AAED,wBAAsB,uBAAuB,CAAC,CAAC,SAAS,oBAAoB,EAAE,WAAW,EAAE,mBAAmB,EAAE,IAAI,EAAE,CAAC,EAAE,EAAE,EAAE,MAAM,EAAE,QAAQ,CAAC,EAAE,MAAM,GAAG,OAAO,CAAC,mBAAmB,CAAC,CAAC,CAAC,CAAC,CAIvL;AACD,wBAAsB,sBAAsB,CAAC,CAAC,SAAS,oBAAoB,EAAE,WAAW,EAAE,mBAAmB,EAAE,IAAI,EAAE,CAAC,EAAE,GAAG,EAAE,mBAAmB,GAAG,OAAO,CAAC,mBAAmB,CAAC,CAAC,CAAC,CAAC,CAKjL;AACD,wBAAgB,kBAAkB,CAAC,QAAQ,EAAE,MAAM,EAAE,SAAS,EAAE,MAAM,EAAE,SAAS,EAAE,MAAM,GAAG,MAAM,CAEjG;AACD,wBAAgB,mBAAmB,CAAC,OAAO,EAAE,MAAM,EAAE,WAAW,EAAE,MAAM,GAAG,MAAM,CAEhF"}
package/dist/types/learning/transport.d.ts CHANGED
@@ -416,8 +416,10 @@ export declare const LearningCommandRequestSchema: z.ZodObject<{
416
416
  }, z.core.$strict>>;
417
417
  temperature: z.ZodOptional<z.ZodNumber>;
418
418
  }, z.core.$strict>, z.ZodObject<{
419
- kind: z.ZodLiteral<"custom_verifier">;
419
+ exportName: z.ZodOptional<z.ZodString>;
420
+ timeoutMs: z.ZodNumber;
420
421
  networkPolicy: z.ZodLiteral<"none">;
422
+ kind: z.ZodLiteral<"custom_verifier">;
421
423
  verifierRef: z.ZodObject<{
422
424
  id: z.ZodString;
423
425
  path: z.ZodString;
@@ -430,8 +432,6 @@ export declare const LearningCommandRequestSchema: z.ZodObject<{
430
432
  host_private: "host_private";
431
433
  }>;
432
434
  }, z.core.$strict>;
433
- exportName: z.ZodOptional<z.ZodString>;
434
- timeoutMs: z.ZodNumber;
435
435
  }, z.core.$strict>, z.ZodObject<{
436
436
  kind: z.ZodLiteral<"human">;
437
437
  rubricRef: z.ZodObject<{
@@ -948,8 +948,10 @@ export declare const LearningCommandRequestSchema: z.ZodObject<{
948
948
  }, z.core.$strict>>;
949
949
  temperature: z.ZodOptional<z.ZodNumber>;
950
950
  }, z.core.$strict>, z.ZodObject<{
951
- kind: z.ZodLiteral<"custom_verifier">;
951
+ exportName: z.ZodOptional<z.ZodString>;
952
+ timeoutMs: z.ZodNumber;
952
953
  networkPolicy: z.ZodLiteral<"none">;
954
+ kind: z.ZodLiteral<"custom_verifier">;
953
955
  verifierRef: z.ZodObject<{
954
956
  id: z.ZodString;
955
957
  path: z.ZodString;
@@ -962,8 +964,6 @@ export declare const LearningCommandRequestSchema: z.ZodObject<{
962
964
  host_private: "host_private";
963
965
  }>;
964
966
  }, z.core.$strict>;
965
- exportName: z.ZodOptional<z.ZodString>;
966
- timeoutMs: z.ZodNumber;
967
967
  }, z.core.$strict>, z.ZodObject<{
968
968
  kind: z.ZodLiteral<"human">;
969
969
  rubricRef: z.ZodObject<{
@@ -1422,10 +1422,10 @@ export declare const LearningReadRequestSchema: z.ZodDiscriminatedUnion<[z.ZodOb
1422
1422
  policy: "policy";
1423
1423
  feedback: "feedback";
1424
1424
  reward: "reward";
1425
+ evidence: "evidence";
1425
1426
  source: "source";
1426
1427
  asset: "asset";
1427
1428
  decision: "decision";
1428
- evidence: "evidence";
1429
1429
  binding: "binding";
1430
1430
  batch: "batch";
1431
1431
  grade: "grade";
@@ -1444,10 +1444,10 @@ export declare const LearningReadRequestSchema: z.ZodDiscriminatedUnion<[z.ZodOb
1444
1444
  policy: "policy";
1445
1445
  feedback: "feedback";
1446
1446
  reward: "reward";
1447
+ evidence: "evidence";
1447
1448
  source: "source";
1448
1449
  asset: "asset";
1449
1450
  decision: "decision";
1450
- evidence: "evidence";
1451
1451
  binding: "binding";
1452
1452
  batch: "batch";
1453
1453
  grade: "grade";
@@ -1691,6 +1691,28 @@ export declare const LearningOperationResultSchema: z.ZodObject<{
1691
1691
  id: z.ZodString;
1692
1692
  contentHash: z.ZodString;
1693
1693
  }, z.core.$strict>>;
1694
+ metrics: z.ZodOptional<z.ZodObject<{
1695
+ schemaVersion: z.ZodLiteral<"openpond.tasksetMetricPolicy.v1">;
1696
+ primaryMetric: z.ZodString;
1697
+ aggregation: z.ZodEnum<{
1698
+ mean_score: "mean_score";
1699
+ pass_rate: "pass_rate";
1700
+ weighted_mean: "weighted_mean";
1701
+ custom: "custom";
1702
+ }>;
1703
+ missingReward: z.ZodEnum<{
1704
+ zero: "zero";
1705
+ exclude: "exclude";
1706
+ }>;
1707
+ taskWeights: z.ZodOptional<z.ZodRecord<z.ZodString, z.ZodNumber>>;
1708
+ customAggregator: z.ZodNullable<z.ZodObject<{
1709
+ module: z.ZodString;
1710
+ exportName: z.ZodString;
1711
+ contentHash: z.ZodString;
1712
+ timeoutMs: z.ZodNumber;
1713
+ networkPolicy: z.ZodLiteral<"none">;
1714
+ }, z.core.$strict>>;
1715
+ }, z.core.$strict>>;
1694
1716
  metadata: z.ZodDefault<z.ZodRecord<z.ZodString, z.ZodUnknown>>;
1695
1717
  contentHash: z.ZodString;
1696
1718
  }, z.core.$strict> | z.ZodObject<{
@@ -1752,8 +1774,10 @@ export declare const LearningOperationResultSchema: z.ZodObject<{
1752
1774
  }, z.core.$strict>>;
1753
1775
  temperature: z.ZodOptional<z.ZodNumber>;
1754
1776
  }, z.core.$strict>, z.ZodObject<{
1755
- kind: z.ZodLiteral<"custom_verifier">;
1777
+ exportName: z.ZodOptional<z.ZodString>;
1778
+ timeoutMs: z.ZodNumber;
1756
1779
  networkPolicy: z.ZodLiteral<"none">;
1780
+ kind: z.ZodLiteral<"custom_verifier">;
1757
1781
  verifierRef: z.ZodObject<{
1758
1782
  id: z.ZodString;
1759
1783
  path: z.ZodString;
@@ -1766,8 +1790,6 @@ export declare const LearningOperationResultSchema: z.ZodObject<{
1766
1790
  host_private: "host_private";
1767
1791
  }>;
1768
1792
  }, z.core.$strict>;
1769
- exportName: z.ZodOptional<z.ZodString>;
1770
- timeoutMs: z.ZodNumber;
1771
1793
  }, z.core.$strict>, z.ZodObject<{
1772
1794
  kind: z.ZodLiteral<"human">;
1773
1795
  rubricRef: z.ZodObject<{
package/dist/types/learning/transport.d.ts.map CHANGED
@@ -1 +1 @@
1
- {"version":3,"file":"transport.d.ts","sourceRoot":"","sources":["../../../../../src/learning/transport.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAQxB,mFAAmF;AACnF,wBAAgB,yBAAyB,CAAC,GAAG,EAAE,OAAO,GAAG,IAAI,CAG5D;AAED,0FAA0F;AAC1F,eAAO,MAAM,4BAA4B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAAgF,CAAC;AAC1H,eAAO,MAAM,yBAAyB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;8BAIpC,CAAC;AACH,eAAO,MAAM,kCAAkC;;;;;;;;;;;;;;;;;;;;;;;;kBAOpC,CAAC;AACZ,MAAM,MAAM,4BAA4B,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,kCAAkC,CAAC,CAAC;AAC9F,eAAO,MAAM,6BAA6B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAG/B,CAAC"}
1
+ {"version":3,"file":"transport.d.ts","sourceRoot":"","sources":["../../../../../src/learning/transport.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAQxB,mFAAmF;AACnF,wBAAgB,yBAAyB,CAAC,GAAG,EAAE,OAAO,GAAG,IAAI,CAG5D;AAED,0FAA0F;AAC1F,eAAO,MAAM,4BAA4B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAAgF,CAAC;AAC1H,eAAO,MAAM,yBAAyB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;8BAIpC,CAAC;AACH,eAAO,MAAM,kCAAkC;;;;;;;;;;;;;;;;;;;;;;;;kBAOpC,CAAC;AACZ,MAAM,MAAM,4BAA4B,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,kCAAkC,CAAC,CAAC;AAC9F,eAAO,MAAM,6BAA6B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAG/B,CAAC"}
package/dist/types/metric-policy.d.ts ADDED
@@ -0,0 +1,112 @@
1
+ import { z } from "zod";
2
+ export declare const TasksetMetricPolicySchema: z.ZodObject<{
3
+ schemaVersion: z.ZodLiteral<"openpond.tasksetMetricPolicy.v1">;
4
+ primaryMetric: z.ZodString;
5
+ aggregation: z.ZodEnum<{
6
+ mean_score: "mean_score";
7
+ pass_rate: "pass_rate";
8
+ weighted_mean: "weighted_mean";
9
+ custom: "custom";
10
+ }>;
11
+ missingReward: z.ZodEnum<{
12
+ zero: "zero";
13
+ exclude: "exclude";
14
+ }>;
15
+ taskWeights: z.ZodOptional<z.ZodRecord<z.ZodString, z.ZodNumber>>;
16
+ customAggregator: z.ZodNullable<z.ZodObject<{
17
+ module: z.ZodString;
18
+ exportName: z.ZodString;
19
+ contentHash: z.ZodString;
20
+ timeoutMs: z.ZodNumber;
21
+ networkPolicy: z.ZodLiteral<"none">;
22
+ }, z.core.$strict>>;
23
+ }, z.core.$strict>;
24
+ export declare const TasksetMetricResultContentSchema: z.ZodObject<{
25
+ schemaVersion: z.ZodLiteral<"openpond.tasksetMetricResult.v1">;
26
+ runManifest: z.ZodObject<{
27
+ id: z.ZodString;
28
+ contentHash: z.ZodString;
29
+ }, z.core.$strict>;
30
+ tasksetRelease: z.ZodObject<{
31
+ id: z.ZodString;
32
+ contentHash: z.ZodString;
33
+ }, z.core.$strict>;
34
+ policy: z.ZodObject<{
35
+ schemaVersion: z.ZodLiteral<"openpond.tasksetMetricPolicy.v1">;
36
+ primaryMetric: z.ZodString;
37
+ aggregation: z.ZodEnum<{
38
+ mean_score: "mean_score";
39
+ pass_rate: "pass_rate";
40
+ weighted_mean: "weighted_mean";
41
+ custom: "custom";
42
+ }>;
43
+ missingReward: z.ZodEnum<{
44
+ zero: "zero";
45
+ exclude: "exclude";
46
+ }>;
47
+ taskWeights: z.ZodOptional<z.ZodRecord<z.ZodString, z.ZodNumber>>;
48
+ customAggregator: z.ZodNullable<z.ZodObject<{
49
+ module: z.ZodString;
50
+ exportName: z.ZodString;
51
+ contentHash: z.ZodString;
52
+ timeoutMs: z.ZodNumber;
53
+ networkPolicy: z.ZodLiteral<"none">;
54
+ }, z.core.$strict>>;
55
+ }, z.core.$strict>;
56
+ policyHash: z.ZodString;
57
+ receiptRefs: z.ZodArray<z.ZodObject<{
58
+ id: z.ZodString;
59
+ contentHash: z.ZodString;
60
+ }, z.core.$strict>>;
61
+ includedCount: z.ZodNumber;
62
+ missingRewardCount: z.ZodNumber;
63
+ excludedCount: z.ZodNumber;
64
+ value: z.ZodNullable<z.ZodNumber>;
65
+ }, z.core.$strict>;
66
+ export declare const TasksetMetricResultSchema: z.ZodObject<{
67
+ schemaVersion: z.ZodLiteral<"openpond.tasksetMetricResult.v1">;
68
+ runManifest: z.ZodObject<{
69
+ id: z.ZodString;
70
+ contentHash: z.ZodString;
71
+ }, z.core.$strict>;
72
+ tasksetRelease: z.ZodObject<{
73
+ id: z.ZodString;
74
+ contentHash: z.ZodString;
75
+ }, z.core.$strict>;
76
+ policy: z.ZodObject<{
77
+ schemaVersion: z.ZodLiteral<"openpond.tasksetMetricPolicy.v1">;
78
+ primaryMetric: z.ZodString;
79
+ aggregation: z.ZodEnum<{
80
+ mean_score: "mean_score";
81
+ pass_rate: "pass_rate";
82
+ weighted_mean: "weighted_mean";
83
+ custom: "custom";
84
+ }>;
85
+ missingReward: z.ZodEnum<{
86
+ zero: "zero";
87
+ exclude: "exclude";
88
+ }>;
89
+ taskWeights: z.ZodOptional<z.ZodRecord<z.ZodString, z.ZodNumber>>;
90
+ customAggregator: z.ZodNullable<z.ZodObject<{
91
+ module: z.ZodString;
92
+ exportName: z.ZodString;
93
+ contentHash: z.ZodString;
94
+ timeoutMs: z.ZodNumber;
95
+ networkPolicy: z.ZodLiteral<"none">;
96
+ }, z.core.$strict>>;
97
+ }, z.core.$strict>;
98
+ policyHash: z.ZodString;
99
+ receiptRefs: z.ZodArray<z.ZodObject<{
100
+ id: z.ZodString;
101
+ contentHash: z.ZodString;
102
+ }, z.core.$strict>>;
103
+ includedCount: z.ZodNumber;
104
+ missingRewardCount: z.ZodNumber;
105
+ excludedCount: z.ZodNumber;
106
+ value: z.ZodNullable<z.ZodNumber>;
107
+ contentHash: z.ZodString;
108
+ }, z.core.$strict>;
109
+ export type TasksetMetricPolicy = z.infer<typeof TasksetMetricPolicySchema>;
110
+ export type TasksetMetricResult = z.infer<typeof TasksetMetricResultSchema>;
111
+ export declare function assertTasksetMetricResult(input: TasksetMetricResult): void;
112
+ //# sourceMappingURL=metric-policy.d.ts.map
package/dist/types/metric-policy.d.ts.map ADDED
@@ -0,0 +1 @@
1
+ {"version":3,"file":"metric-policy.d.ts","sourceRoot":"","sources":["../../../../src/metric-policy.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAQxB,eAAO,MAAM,yBAAyB;;;;;;;;;;;;;;;;;;;;;kBAoBpC,CAAC;AAEH,eAAO,MAAM,gCAAgC;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAWlC,CAAC;AACZ,eAAO,MAAM,yBAAyB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAAuF,CAAC;AAC9H,MAAM,MAAM,mBAAmB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,yBAAyB,CAAC,CAAC;AAC5E,MAAM,MAAM,mBAAmB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,yBAAyB,CAAC,CAAC;AAE5E,wBAAgB,yBAAyB,CAAC,KAAK,EAAE,mBAAmB,GAAG,IAAI,CAU1E"}
package/dist/types/metrics-node.d.ts ADDED
@@ -0,0 +1,8 @@
1
+ import { type TasksetEvaluationInput, type TasksetMetricExecutionInput } from "./metrics.js";
2
+ import type { TasksetMetricResult } from "./metric-policy.js";
3
+ import type { EvaluationResult } from "./runs.js";
4
+ /** Verifies original source before stripping TS, then waits for worker termination
5
+ * on success, error or cancellation. Authored imports and host APIs are unavailable. */
6
+ export declare function executeTasksetMetricInWorker(input: TasksetMetricExecutionInput): Promise<TasksetMetricResult>;
7
+ export declare function aggregateTasksetEvaluationInWorker(input: TasksetEvaluationInput): Promise<EvaluationResult>;
8
+ //# sourceMappingURL=metrics-node.d.ts.map
package/dist/types/metrics-node.d.ts.map ADDED
@@ -0,0 +1 @@
1
+ {"version":3,"file":"metrics-node.d.ts","sourceRoot":"","sources":["../../../../src/metrics-node.ts"],"names":[],"mappings":"AAEA,OAAO,EAA4D,KAAK,sBAAsB,EAAE,KAAK,2BAA2B,EAA8B,MAAM,cAAc,CAAC;AACnL,OAAO,KAAK,EAAE,mBAAmB,EAAE,MAAM,oBAAoB,CAAC;AAC9D,OAAO,KAAK,EAAE,gBAAgB,EAAE,MAAM,WAAW,CAAC;AAElD;wFACwF;AACxF,wBAAgB,4BAA4B,CAAC,KAAK,EAAE,2BAA2B,GAAG,OAAO,CAAC,mBAAmB,CAAC,CAE7G;AAED,wBAAgB,kCAAkC,CAAC,KAAK,EAAE,sBAAsB,GAAG,OAAO,CAAC,gBAAgB,CAAC,CAE3G"}
package/dist/types/metrics.d.ts ADDED
@@ -0,0 +1,37 @@
1
+ import { type AttemptReceipt, type EvaluationResult, type RunManifest } from "./runs.js";
2
+ import { type TasksetMetricPolicy, type TasksetMetricResult } from "./metric-policy.js";
3
+ import { type TasksetRelease } from "./tasksets.js";
4
+ export * from "./metric-policy.js";
5
+ export interface TasksetMetricExecutionInput {
6
+ manifest: RunManifest;
7
+ receipts: AttemptReceipt[];
8
+ policy: TasksetMetricPolicy;
9
+ /** Exact UTF-8 module bytes, verified before any compiler or executor sees them. */
10
+ source?: string;
11
+ signal?: AbortSignal;
12
+ }
13
+ export type TasksetMetricExecutor = (input: {
14
+ source: string;
15
+ module: string;
16
+ exportName: string;
17
+ scores: number[];
18
+ timeoutMs: number;
19
+ signal?: AbortSignal;
20
+ }) => Promise<unknown>;
21
+ export interface TasksetEvaluationInput extends Omit<TasksetMetricExecutionInput, "policy"> {
22
+ id: string;
23
+ taskset: TasksetRelease;
24
+ metadata?: Record<string, unknown>;
25
+ }
26
+ /** Preflight the exact metric source before any model or tool execution. */
27
+ export declare function assertTasksetMetricSource(taskset: TasksetRelease, source?: string): void;
28
+ /** Bind the declared metric to one frozen release and population, retaining
29
+ * ordinary mean-score accounting independently of the authored calculation. */
30
+ export declare function aggregateTasksetEvaluationReceipts(input: TasksetEvaluationInput, executor?: TasksetMetricExecutor): Promise<EvaluationResult>;
31
+ /** Hosts supply the policy from the pinned Taskset, never a mutable form.
32
+ * Operational failures and nonterminal receipts are excluded for every policy.
33
+ * Missing rewards on the remaining receipts obey zero/exclude. A task's weight
34
+ * applies to each of its attempts; pass rate uses the grader's explicit verdict.
35
+ */
36
+ export declare function executeTasksetMetric(input: TasksetMetricExecutionInput, executor?: TasksetMetricExecutor): Promise<TasksetMetricResult>;
37
+ //# sourceMappingURL=metrics.d.ts.map
package/dist/types/metrics.d.ts.map ADDED
@@ -0,0 +1 @@
1
+ {"version":3,"file":"metrics.d.ts","sourceRoot":"","sources":["../../../../src/metrics.ts"],"names":[],"mappings":"AACA,OAAO,EAAwE,KAAK,cAAc,EAAE,KAAK,gBAAgB,EAAE,KAAK,WAAW,EAAE,MAAM,WAAW,CAAC;AAC/J,OAAO,EAA0F,KAAK,mBAAmB,EAAE,KAAK,mBAAmB,EAAE,MAAM,oBAAoB,CAAC;AAChL,OAAO,EAAwB,KAAK,cAAc,EAAE,MAAM,eAAe,CAAC;AAC1E,cAAc,oBAAoB,CAAC;AAEnC,MAAM,WAAW,2BAA2B;IAC1C,QAAQ,EAAE,WAAW,CAAC;IACtB,QAAQ,EAAE,cAAc,EAAE,CAAC;IAC3B,MAAM,EAAE,mBAAmB,CAAC;IAC5B,oFAAoF;IACpF,MAAM,CAAC,EAAE,MAAM,CAAC;IAChB,MAAM,CAAC,EAAE,WAAW,CAAC;CACtB;AAED,MAAM,MAAM,qBAAqB,GAAG,CAAC,KAAK,EAAE;IAC1C,MAAM,EAAE,MAAM,CAAC;IACf,MAAM,EAAE,MAAM,CAAC;IACf,UAAU,EAAE,MAAM,CAAC;IACnB,MAAM,EAAE,MAAM,EAAE,CAAC;IACjB,SAAS,EAAE,MAAM,CAAC;IAClB,MAAM,CAAC,EAAE,WAAW,CAAC;CACtB,KAAK,OAAO,CAAC,OAAO,CAAC,CAAC;AAEvB,MAAM,WAAW,sBAAuB,SAAQ,IAAI,CAAC,2BAA2B,EAAE,QAAQ,CAAC;IACzF,EAAE,EAAE,MAAM,CAAC;IACX,OAAO,EAAE,cAAc,CAAC;IACxB,QAAQ,CAAC,EAAE,MAAM,CAAC,MAAM,EAAE,OAAO,CAAC,CAAC;CACpC;AAED,4EAA4E;AAC5E,wBAAgB,yBAAyB,CAAC,OAAO,EAAE,cAAc,EAAE,MAAM,CAAC,EAAE,MAAM,GAAG,IAAI,CAGxF;AAED;+EAC+E;AAC/E,wBAAsB,kCAAkC,CAAC,KAAK,EAAE,sBAAsB,EAAE,QAAQ,CAAC,EAAE,qBAAqB,GAAG,OAAO,CAAC,gBAAgB,CAAC,CAOnJ;AAED;;;;GAIG;AACH,wBAAsB,oBAAoB,CAAC,KAAK,EAAE,2BAA2B,EAAE,QAAQ,CAAC,EAAE,qBAAqB,GAAG,OAAO,CAAC,mBAAmB,CAAC,CA6D7I"}
package/dist/types/preferences.d.ts CHANGED
@@ -20,8 +20,8 @@ export declare const PreferenceRewardScopeSchema: z.ZodEnum<{
20
20
  synthetic_smoke: "synthetic_smoke";
21
21
  }>;
22
22
  export declare const PreferenceRendererSchema: z.ZodEnum<{
23
- text: "text";
24
23
  code: "code";
24
+ text: "text";
25
25
  markdown: "markdown";
26
26
  json: "json";
27
27
  image: "image";
@@ -49,8 +49,8 @@ export declare const PreferenceComparisonReleaseContentSchema: z.ZodObject<{
49
49
  }>;
50
50
  path: z.ZodString;
51
51
  renderer: z.ZodEnum<{
52
- text: "text";
53
52
  code: "code";
53
+ text: "text";
54
54
  markdown: "markdown";
55
55
  json: "json";
56
56
  image: "image";
@@ -115,8 +115,8 @@ export declare const PreferenceComparisonReleaseSchema: z.ZodObject<{
115
115
  }>;
116
116
  path: z.ZodString;
117
117
  renderer: z.ZodEnum<{
118
- text: "text";
119
118
  code: "code";
119
+ text: "text";
120
120
  markdown: "markdown";
121
121
  json: "json";
122
122
  image: "image";