@openpond/evals 0.10.10 → 0.11.1

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (80) hide show
  1. package/CONTRACT.md +13 -0
  2. package/LEARNING.md +20 -0
  3. package/dist/javascript-verifier-contract.js +5 -0
  4. package/dist/javascript-verifier-node.js +3 -1
  5. package/dist/javascript-verifier.js +2 -1
  6. package/dist/learning/contracts.js +2 -0
  7. package/dist/learning/index.js +2 -0
  8. package/dist/learning/iteration-eligibility.js +5 -2
  9. package/dist/learning/iteration-reservation-contracts.js +1 -0
  10. package/dist/learning/iteration-reservation-service.js +11 -2
  11. package/dist/learning/nightly-schedule.js +69 -0
  12. package/dist/learning/reward-authoring.js +2 -1
  13. package/dist/learning/reward-fixture-executor.js +1 -1
  14. package/dist/learning/schedule-contracts.js +5 -1
  15. package/dist/learning/schedule-service.js +9 -5
  16. package/dist/learning/schedule-worker.js +22 -7
  17. package/dist/learning/service.js +10 -1
  18. package/dist/learning/task-queue-inspection.js +48 -0
  19. package/dist/learning/transport.js +1 -0
  20. package/dist/tasksets.js +3 -0
  21. package/dist/types/builtin-benchmarks/harness-refiner.d.ts +1 -0
  22. package/dist/types/builtin-benchmarks/harness-refiner.d.ts.map +1 -1
  23. package/dist/types/conformance.d.ts +2 -0
  24. package/dist/types/conformance.d.ts.map +1 -1
  25. package/dist/types/execution-contracts.d.ts +8 -0
  26. package/dist/types/execution-contracts.d.ts.map +1 -1
  27. package/dist/types/javascript-verifier-contract.d.ts +2 -0
  28. package/dist/types/javascript-verifier-contract.d.ts.map +1 -1
  29. package/dist/types/javascript-verifier-node.d.ts.map +1 -1
  30. package/dist/types/javascript-verifier.d.ts +1 -0
  31. package/dist/types/javascript-verifier.d.ts.map +1 -1
  32. package/dist/types/learning/admission.d.ts +4 -0
  33. package/dist/types/learning/admission.d.ts.map +1 -1
  34. package/dist/types/learning/batch-service.d.ts +1 -0
  35. package/dist/types/learning/batch-service.d.ts.map +1 -1
  36. package/dist/types/learning/contracts.d.ts +16 -0
  37. package/dist/types/learning/contracts.d.ts.map +1 -1
  38. package/dist/types/learning/index.d.ts +2 -0
  39. package/dist/types/learning/index.d.ts.map +1 -1
  40. package/dist/types/learning/iteration-eligibility.d.ts +8 -1
  41. package/dist/types/learning/iteration-eligibility.d.ts.map +1 -1
  42. package/dist/types/learning/iteration-reservation-contracts.d.ts +6 -0
  43. package/dist/types/learning/iteration-reservation-contracts.d.ts.map +1 -1
  44. package/dist/types/learning/iteration-reservation-service.d.ts.map +1 -1
  45. package/dist/types/learning/nightly-schedule.d.ts +13 -0
  46. package/dist/types/learning/nightly-schedule.d.ts.map +1 -0
  47. package/dist/types/learning/operations.d.ts +38 -0
  48. package/dist/types/learning/operations.d.ts.map +1 -1
  49. package/dist/types/learning/repository.d.ts +19 -0
  50. package/dist/types/learning/repository.d.ts.map +1 -1
  51. package/dist/types/learning/reward-authoring.d.ts.map +1 -1
  52. package/dist/types/learning/reward-calibration.d.ts +1 -0
  53. package/dist/types/learning/reward-calibration.d.ts.map +1 -1
  54. package/dist/types/learning/schedule-contracts.d.ts +4 -0
  55. package/dist/types/learning/schedule-contracts.d.ts.map +1 -1
  56. package/dist/types/learning/schedule-service.d.ts +4 -0
  57. package/dist/types/learning/schedule-service.d.ts.map +1 -1
  58. package/dist/types/learning/schedule-worker.d.ts.map +1 -1
  59. package/dist/types/learning/service.d.ts +10 -0
  60. package/dist/types/learning/service.d.ts.map +1 -1
  61. package/dist/types/learning/task-queue-inspection.d.ts +25 -0
  62. package/dist/types/learning/task-queue-inspection.d.ts.map +1 -0
  63. package/dist/types/learning/transport.d.ts +42 -0
  64. package/dist/types/learning/transport.d.ts.map +1 -1
  65. package/dist/types/review-conformance.d.ts +5 -5
  66. package/dist/types/rewards.d.ts +12 -0
  67. package/dist/types/rewards.d.ts.map +1 -1
  68. package/dist/types/tasksets.d.ts +20 -0
  69. package/dist/types/tasksets.d.ts.map +1 -1
  70. package/dist/types/telemetry-bundle.d.ts +2 -2
  71. package/dist/types/telemetry.d.ts +3 -3
  72. package/package.json +1 -1
  73. package/schemas/learning/v1/command-request.schema.json +48 -0
  74. package/schemas/learning/v1/package.schema.json +7 -0
  75. package/schemas/learning/v1/policy.schema.json +24 -0
  76. package/schemas/learning/v1/read-request.schema.json +28 -0
  77. package/schemas/learning/v1/reservation.schema.json +17 -0
  78. package/schemas/learning/v1/reward.schema.json +7 -0
  79. package/schemas/learning/v1/schedule.schema.json +44 -13
  80. package/schemas/learning/v1/task-queue-inspection.schema.json +72 -0
package/dist/types/learning/transport.d.ts CHANGED
@@ -60,6 +60,9 @@ export declare const LearningCommandRequestSchema: z.ZodObject<{
60
60
  }, z.core.$strict>, z.ZodObject<{
61
61
  kind: z.ZodLiteral<"schedule">;
62
62
  scheduledAt: z.ZodString;
63
+ }, z.core.$strict>, z.ZodObject<{
64
+ kind: z.ZodLiteral<"approved_count">;
65
+ checkedAt: z.ZodString;
63
66
  }, z.core.$strict>], "kind">;
64
67
  }, z.core.$strict>, z.ZodObject<{
65
68
  operationId: z.ZodString;
@@ -507,6 +510,10 @@ export declare const LearningCommandRequestSchema: z.ZodObject<{
507
510
  timeoutMs: z.ZodNumber;
508
511
  networkPolicy: z.ZodLiteral<"none">;
509
512
  kind: z.ZodLiteral<"custom_verifier">;
513
+ runtime: z.ZodOptional<z.ZodEnum<{
514
+ isolated_javascript: "isolated_javascript";
515
+ sandbox_process: "sandbox_process";
516
+ }>>;
510
517
  verifierRef: z.ZodObject<{
511
518
  id: z.ZodString;
512
519
  path: z.ZodString;
@@ -803,6 +810,10 @@ export declare const LearningCommandRequestSchema: z.ZodObject<{
803
810
  }, z.core.$strict>, z.ZodObject<{
804
811
  kind: z.ZodLiteral<"schedule">;
805
812
  intervalSeconds: z.ZodNumber;
813
+ }, z.core.$strict>, z.ZodObject<{
814
+ localTime: z.ZodString;
815
+ timeZone: z.ZodString;
816
+ kind: z.ZodLiteral<"nightly">;
806
817
  }, z.core.$strict>, z.ZodObject<{
807
818
  kind: z.ZodLiteral<"upstream_accepted">;
808
819
  modelProjectId: z.ZodString;
@@ -1063,6 +1074,10 @@ export declare const LearningCommandRequestSchema: z.ZodObject<{
1063
1074
  timeoutMs: z.ZodNumber;
1064
1075
  networkPolicy: z.ZodLiteral<"none">;
1065
1076
  kind: z.ZodLiteral<"custom_verifier">;
1077
+ runtime: z.ZodOptional<z.ZodEnum<{
1078
+ isolated_javascript: "isolated_javascript";
1079
+ sandbox_process: "sandbox_process";
1080
+ }>>;
1066
1081
  verifierRef: z.ZodObject<{
1067
1082
  id: z.ZodString;
1068
1083
  path: z.ZodString;
@@ -1302,6 +1317,10 @@ export declare const LearningCommandRequestSchema: z.ZodObject<{
1302
1317
  }, z.core.$strict>, z.ZodObject<{
1303
1318
  kind: z.ZodLiteral<"schedule">;
1304
1319
  intervalSeconds: z.ZodNumber;
1320
+ }, z.core.$strict>, z.ZodObject<{
1321
+ localTime: z.ZodString;
1322
+ timeZone: z.ZodString;
1323
+ kind: z.ZodLiteral<"nightly">;
1305
1324
  }, z.core.$strict>, z.ZodObject<{
1306
1325
  kind: z.ZodLiteral<"upstream_accepted">;
1307
1326
  modelProjectId: z.ZodString;
@@ -1524,6 +1543,10 @@ export declare const LearningCommandRequestSchema: z.ZodObject<{
1524
1543
  }, z.core.$strict>]>;
1525
1544
  }, z.core.$strict>;
1526
1545
  export declare const LearningReadRequestSchema: z.ZodDiscriminatedUnion<[z.ZodObject<{
1546
+ action: z.ZodLiteral<"inspect_task_queue">;
1547
+ scope: z.ZodString;
1548
+ modelProjectId: z.ZodNullable<z.ZodString>;
1549
+ }, z.core.$strict>, z.ZodObject<{
1527
1550
  action: z.ZodLiteral<"inspect_policy">;
1528
1551
  scope: z.ZodString;
1529
1552
  policy: z.ZodObject<{
@@ -1790,6 +1813,10 @@ export declare const LearningOperationResultSchema: z.ZodObject<{
1790
1813
  rewardEligible: z.ZodDefault<z.ZodBoolean>;
1791
1814
  privileged: z.ZodDefault<z.ZodBoolean>;
1792
1815
  kind: z.ZodLiteral<"custom_verifier">;
1816
+ runtime: z.ZodOptional<z.ZodEnum<{
1817
+ isolated_javascript: "isolated_javascript";
1818
+ sandbox_process: "sandbox_process";
1819
+ }>>;
1793
1820
  verifierRef: z.ZodObject<{
1794
1821
  id: z.ZodString;
1795
1822
  path: z.ZodString;
@@ -1918,6 +1945,10 @@ export declare const LearningOperationResultSchema: z.ZodObject<{
1918
1945
  timeoutMs: z.ZodNumber;
1919
1946
  networkPolicy: z.ZodLiteral<"none">;
1920
1947
  kind: z.ZodLiteral<"custom_verifier">;
1948
+ runtime: z.ZodOptional<z.ZodEnum<{
1949
+ isolated_javascript: "isolated_javascript";
1950
+ sandbox_process: "sandbox_process";
1951
+ }>>;
1921
1952
  verifierRef: z.ZodObject<{
1922
1953
  id: z.ZodString;
1923
1954
  path: z.ZodString;
@@ -2630,6 +2661,10 @@ export declare const LearningOperationResultSchema: z.ZodObject<{
2630
2661
  }, z.core.$strict>, z.ZodObject<{
2631
2662
  kind: z.ZodLiteral<"schedule">;
2632
2663
  intervalSeconds: z.ZodNumber;
2664
+ }, z.core.$strict>, z.ZodObject<{
2665
+ localTime: z.ZodString;
2666
+ timeZone: z.ZodString;
2667
+ kind: z.ZodLiteral<"nightly">;
2633
2668
  }, z.core.$strict>, z.ZodObject<{
2634
2669
  kind: z.ZodLiteral<"upstream_accepted">;
2635
2670
  modelProjectId: z.ZodString;
@@ -2971,6 +3006,9 @@ export declare const LearningOperationResultSchema: z.ZodObject<{
2971
3006
  }, z.core.$strict>, z.ZodObject<{
2972
3007
  kind: z.ZodLiteral<"schedule">;
2973
3008
  scheduledAt: z.ZodString;
3009
+ }, z.core.$strict>, z.ZodObject<{
3010
+ kind: z.ZodLiteral<"approved_count">;
3011
+ checkedAt: z.ZodString;
2974
3012
  }, z.core.$strict>], "kind">;
2975
3013
  requestHash: z.ZodString;
2976
3014
  outcome: z.ZodEnum<{
@@ -3284,6 +3322,10 @@ export declare const LearningOperationResultSchema: z.ZodObject<{
3284
3322
  disabled: "disabled";
3285
3323
  }>;
3286
3324
  intervalSeconds: z.ZodNullable<z.ZodNumber>;
3325
+ calendar: z.ZodDefault<z.ZodNullable<z.ZodObject<{
3326
+ localTime: z.ZodString;
3327
+ timeZone: z.ZodString;
3328
+ }, z.core.$strict>>>;
3287
3329
  nextRunAt: z.ZodNullable<z.ZodString>;
3288
3330
  lastFire: z.ZodNullable<z.ZodObject<{
3289
3331
  id: z.ZodString;
package/dist/types/learning/transport.d.ts.map CHANGED
@@ -1 +1 @@
1
- {"version":3,"file":"transport.d.ts","sourceRoot":"","sources":["../../../../../src/learning/transport.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAQxB,mFAAmF;AACnF,wBAAgB,yBAAyB,CAAC,GAAG,EAAE,OAAO,GAAG,IAAI,CAG5D;AAED,0FAA0F;AAC1F,eAAO,MAAM,4BAA4B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAAgF,CAAC;AAC1H,eAAO,MAAM,yBAAyB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;8BAKpC,CAAC;AACH,eAAO,MAAM,kCAAkC;;;;;;;;;;;;;;;;;;;;;;;;kBAOpC,CAAC;AACZ,MAAM,MAAM,4BAA4B,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,kCAAkC,CAAC,CAAC;AAC9F,eAAO,MAAM,6BAA6B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAG/B,CAAC"}
1
+ {"version":3,"file":"transport.d.ts","sourceRoot":"","sources":["../../../../../src/learning/transport.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAQxB,mFAAmF;AACnF,wBAAgB,yBAAyB,CAAC,GAAG,EAAE,OAAO,GAAG,IAAI,CAG5D;AAED,0FAA0F;AAC1F,eAAO,MAAM,4BAA4B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAAgF,CAAC;AAC1H,eAAO,MAAM,yBAAyB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;8BAMpC,CAAC;AACH,eAAO,MAAM,kCAAkC;;;;;;;;;;;;;;;;;;;;;;;;kBAOpC,CAAC;AACZ,MAAM,MAAM,4BAA4B,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,kCAAkC,CAAC,CAAC;AAC9F,eAAO,MAAM,6BAA6B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAG/B,CAAC"}
package/dist/types/review-conformance.d.ts CHANGED
@@ -62,7 +62,7 @@ export declare const harnessEvaluationReviewConformance: {
62
62
  } | null;
63
63
  classification: "runtime" | "taskset" | "no_action" | "harness_maintenance" | "product" | "model_improvement";
64
64
  triage: {
65
- layer: "model" | "tools" | "evaluation" | "runtime" | "harness" | "product" | "retrieval";
65
+ layer: "model" | "runtime" | "tools" | "evaluation" | "harness" | "product" | "retrieval";
66
66
  status: "blocked" | "resolved" | "not_applicable" | "unresolved";
67
67
  reason: string;
68
68
  evidenceRefs: {
@@ -153,7 +153,7 @@ export declare const harnessEvaluationReviewConformance: {
153
153
  } | null;
154
154
  classification: "runtime" | "taskset" | "no_action" | "harness_maintenance" | "product" | "model_improvement";
155
155
  triage: {
156
- layer: "model" | "tools" | "evaluation" | "runtime" | "harness" | "product" | "retrieval";
156
+ layer: "model" | "runtime" | "tools" | "evaluation" | "harness" | "product" | "retrieval";
157
157
  status: "blocked" | "resolved" | "not_applicable" | "unresolved";
158
158
  reason: string;
159
159
  evidenceRefs: {
@@ -244,7 +244,7 @@ export declare const harnessEvaluationReviewConformance: {
244
244
  } | null;
245
245
  classification: "runtime" | "taskset" | "no_action" | "harness_maintenance" | "product" | "model_improvement";
246
246
  triage: {
247
- layer: "model" | "tools" | "evaluation" | "runtime" | "harness" | "product" | "retrieval";
247
+ layer: "model" | "runtime" | "tools" | "evaluation" | "harness" | "product" | "retrieval";
248
248
  status: "blocked" | "resolved" | "not_applicable" | "unresolved";
249
249
  reason: string;
250
250
  evidenceRefs: {
@@ -335,7 +335,7 @@ export declare const harnessEvaluationReviewConformance: {
335
335
  } | null;
336
336
  classification: "runtime" | "taskset" | "no_action" | "harness_maintenance" | "product" | "model_improvement";
337
337
  triage: {
338
- layer: "model" | "tools" | "evaluation" | "runtime" | "harness" | "product" | "retrieval";
338
+ layer: "model" | "runtime" | "tools" | "evaluation" | "harness" | "product" | "retrieval";
339
339
  status: "blocked" | "resolved" | "not_applicable" | "unresolved";
340
340
  reason: string;
341
341
  evidenceRefs: {
@@ -580,7 +580,7 @@ export declare const harnessEvaluationReviewConformance: {
580
580
  } | null;
581
581
  classification: "runtime" | "taskset" | "no_action" | "harness_maintenance" | "product" | "model_improvement";
582
582
  triage: {
583
- layer: "model" | "tools" | "evaluation" | "runtime" | "harness" | "product" | "retrieval";
583
+ layer: "model" | "runtime" | "tools" | "evaluation" | "harness" | "product" | "retrieval";
584
584
  status: "blocked" | "resolved" | "not_applicable" | "unresolved";
585
585
  reason: string;
586
586
  evidenceRefs: {
package/dist/types/rewards.d.ts CHANGED
@@ -40,6 +40,10 @@ export declare const RewardImplementationSchema: z.ZodUnion<readonly [z.ZodObjec
40
40
  timeoutMs: z.ZodNumber;
41
41
  networkPolicy: z.ZodLiteral<"none">;
42
42
  kind: z.ZodLiteral<"custom_verifier">;
43
+ runtime: z.ZodOptional<z.ZodEnum<{
44
+ isolated_javascript: "isolated_javascript";
45
+ sandbox_process: "sandbox_process";
46
+ }>>;
43
47
  verifierRef: z.ZodObject<{
44
48
  id: z.ZodString;
45
49
  path: z.ZodString;
@@ -131,6 +135,10 @@ export declare const RewardReleaseContentSchema: z.ZodObject<{
131
135
  timeoutMs: z.ZodNumber;
132
136
  networkPolicy: z.ZodLiteral<"none">;
133
137
  kind: z.ZodLiteral<"custom_verifier">;
138
+ runtime: z.ZodOptional<z.ZodEnum<{
139
+ isolated_javascript: "isolated_javascript";
140
+ sandbox_process: "sandbox_process";
141
+ }>>;
134
142
  verifierRef: z.ZodObject<{
135
143
  id: z.ZodString;
136
144
  path: z.ZodString;
@@ -256,6 +264,10 @@ export declare const RewardReleaseSchema: z.ZodObject<{
256
264
  timeoutMs: z.ZodNumber;
257
265
  networkPolicy: z.ZodLiteral<"none">;
258
266
  kind: z.ZodLiteral<"custom_verifier">;
267
+ runtime: z.ZodOptional<z.ZodEnum<{
268
+ isolated_javascript: "isolated_javascript";
269
+ sandbox_process: "sandbox_process";
270
+ }>>;
259
271
  verifierRef: z.ZodObject<{
260
272
  id: z.ZodString;
261
273
  path: z.ZodString;
package/dist/types/rewards.d.ts.map CHANGED
@@ -1 +1 @@
1
- {"version":3,"file":"rewards.d.ts","sourceRoot":"","sources":["../../../../src/rewards.ts"],"names":[],"mappings":"AACA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAGxB,OAAO,EAAuC,KAAK,eAAe,EAAE,KAAK,oBAAoB,EAAE,KAAK,gBAAgB,EAAE,MAAM,cAAc,CAAC;AAC3I,OAAO,EAAsI,KAAK,UAAU,EAAE,KAAK,UAAU,EAAE,MAAM,eAAe,CAAC;AAIrM,eAAO,MAAM,0BAA0B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;oBAMrC,CAAC;AAEH,eAAO,MAAM,0BAA0B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAmBrC,CAAC;AACH,eAAO,MAAM,mBAAmB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAAqF,CAAC;AACtH,eAAO,MAAM,sBAAsB;;;;kBAAuF,CAAC;AAE3H,eAAO,MAAM,yBAAyB;;;;;;;;;;4BAGpC,CAAC;AACH,eAAO,MAAM,yBAAyB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAU3B,CAAC;AACZ,eAAO,MAAM,0BAA0B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAmBrC,CAAC;AACH,eAAO,MAAM,mBAAmB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAAqF,CAAC;AAEtH,eAAO,MAAM,uBAAuB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAWzB,CAAC;AACZ,eAAO,MAAM,8BAA8B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAQhC,CAAC;AACZ,eAAO,MAAM,uBAAuB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAAqF,CAAC;AAE1H,MAAM,MAAM,aAAa,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,mBAAmB,CAAC,CAAC;AAChE,MAAM,MAAM,aAAa,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,mBAAmB,CAAC,CAAC;AAChE,MAAM,MAAM,iBAAiB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,uBAAuB,CAAC,CAAC;AACxE,MAAM,MAAM,iBAAiB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,uBAAuB,CAAC,CAAC;AACxE,MAAM,MAAM,mBAAmB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,yBAAyB,CAAC,CAAC;AAC5E,MAAM,MAAM,mBAAmB,GAAG,CAAC,KAAK,EAAE;IAAE,MAAM,EAAE,aAAa,CAAC;IAAC,IAAI,EAAE,UAAU,CAAC;IAAC,QAAQ,EAAE,eAAe,CAAC;IAAC,MAAM,CAAC,EAAE,WAAW,CAAA;CAAE,KAAK,OAAO,CAAC;IAAE,QAAQ,EAAE,MAAM,CAAC;IAAC,MAAM,EAAE,OAAO,CAAC;IAAC,cAAc,EAAE,MAAM,EAAE,CAAA;CAAE,CAAC,CAAC;AAEpN,wBAAgB,mBAAmB,CAAC,KAAK,EAAE,CAAC,CAAC,KAAK,CAAC,OAAO,0BAA0B,CAAC,GAAG,aAAa,CAIpG;AAED,wBAAgB,mBAAmB,CAAC,KAAK,EAAE,CAAC,CAAC,KAAK,CAAC,OAAO,0BAA0B,CAAC,EAAE,OAAO,EAAE,aAAa,EAAE,GAAG,aAAa,CAK9H;AAED,wBAAgB,mBAAmB,CAAC,KAAK,EAAE,aAAa,EAAE,OAAO,EAAE,aAAa,EAAE,GAAG,KAAK,CAAC;IAAE,MAAM,EAAE,mBAAmB,CAAC;IAAC,MAAM,EAAE,aAAa,CAAA;CAAE,CAAC,CAajJ;AAED,wBAAgB,mBAAmB,CAAC,OAAO,EAAE,aAAa,EAAE,OAAO,EAAE,aAAa,EAAE,GAAG,UAAU,EAAE,CAKlG;AAED,wBAAsB,oBAAoB,CAAC,KAAK,EAAE;IAChD,OAAO,EAAE,aAAa,CAAC;IACvB,OAAO,EAAE,aAAa,EAAE,CAAC;IACzB,IAAI,EAAE,UAAU,CAAC;IACjB,QAAQ,EAAE,eAAe,CAAC;IAC1B,UAAU,CAAC,EAAE,gBAAgB,CAAC;IAC9B,cAAc,CAAC,EAAE,oBAAoB,CAAC;IACtC,aAAa,CAAC,EAAE,mBAAmB,CAAC;IACpC,MAAM,CAAC,EAAE,WAAW,CAAC;IACrB,OAAO,CAAC,EAAE,SAAS,GAAG,qBAAqB,CAAC;CAC7C,GAAG,OAAO,CAAC,iBAAiB,CAAC,CAmC7B;AAED,wBAAgB,mBAAmB,CAAC,KAAK,EAAE;IAAE,OAAO,EAAE,aAAa,CAAC;IAAC,QAAQ,EAAE,MAAM,CAAC;IAAC,UAAU,EAAE,MAAM,CAAC;IAAC,OAAO,EAAE,iBAAiB,EAAE,CAAA;CAAE,GAAG,iBAAiB,CA4C5J;AAED,wBAAgB,gBAAgB,CAAC,KAAK,EAAE;IAAE,WAAW,EAAE,MAAM,CAAA;CAAE,GAAG,IAAI,CAGrE"}
1
+ {"version":3,"file":"rewards.d.ts","sourceRoot":"","sources":["../../../../src/rewards.ts"],"names":[],"mappings":"AACA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAGxB,OAAO,EAAuC,KAAK,eAAe,EAAE,KAAK,oBAAoB,EAAE,KAAK,gBAAgB,EAAE,MAAM,cAAc,CAAC;AAC3I,OAAO,EAAsI,KAAK,UAAU,EAAE,KAAK,UAAU,EAAE,MAAM,eAAe,CAAC;AAIrM,eAAO,MAAM,0BAA0B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;oBAMrC,CAAC;AAEH,eAAO,MAAM,0BAA0B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAmBrC,CAAC;AACH,eAAO,MAAM,mBAAmB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAAqF,CAAC;AACtH,eAAO,MAAM,sBAAsB;;;;kBAAuF,CAAC;AAE3H,eAAO,MAAM,yBAAyB;;;;;;;;;;4BAGpC,CAAC;AACH,eAAO,MAAM,yBAAyB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAU3B,CAAC;AACZ,eAAO,MAAM,0BAA0B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAmBrC,CAAC;AACH,eAAO,MAAM,mBAAmB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAAqF,CAAC;AAEtH,eAAO,MAAM,uBAAuB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAWzB,CAAC;AACZ,eAAO,MAAM,8BAA8B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAQhC,CAAC;AACZ,eAAO,MAAM,uBAAuB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAAqF,CAAC;AAE1H,MAAM,MAAM,aAAa,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,mBAAmB,CAAC,CAAC;AAChE,MAAM,MAAM,aAAa,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,mBAAmB,CAAC,CAAC;AAChE,MAAM,MAAM,iBAAiB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,uBAAuB,CAAC,CAAC;AACxE,MAAM,MAAM,iBAAiB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,uBAAuB,CAAC,CAAC;AACxE,MAAM,MAAM,mBAAmB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,yBAAyB,CAAC,CAAC;AAC5E,MAAM,MAAM,mBAAmB,GAAG,CAAC,KAAK,EAAE;IAAE,MAAM,EAAE,aAAa,CAAC;IAAC,IAAI,EAAE,UAAU,CAAC;IAAC,QAAQ,EAAE,eAAe,CAAC;IAAC,MAAM,CAAC,EAAE,WAAW,CAAA;CAAE,KAAK,OAAO,CAAC;IAAE,QAAQ,EAAE,MAAM,CAAC;IAAC,MAAM,EAAE,OAAO,CAAC;IAAC,cAAc,EAAE,MAAM,EAAE,CAAA;CAAE,CAAC,CAAC;AAEpN,wBAAgB,mBAAmB,CAAC,KAAK,EAAE,CAAC,CAAC,KAAK,CAAC,OAAO,0BAA0B,CAAC,GAAG,aAAa,CAIpG;AAED,wBAAgB,mBAAmB,CAAC,KAAK,EAAE,CAAC,CAAC,KAAK,CAAC,OAAO,0BAA0B,CAAC,EAAE,OAAO,EAAE,aAAa,EAAE,GAAG,aAAa,CAK9H;AAED,wBAAgB,mBAAmB,CAAC,KAAK,EAAE,aAAa,EAAE,OAAO,EAAE,aAAa,EAAE,GAAG,KAAK,CAAC;IAAE,MAAM,EAAE,mBAAmB,CAAC;IAAC,MAAM,EAAE,aAAa,CAAA;CAAE,CAAC,CAajJ;AAED,wBAAgB,mBAAmB,CAAC,OAAO,EAAE,aAAa,EAAE,OAAO,EAAE,aAAa,EAAE,GAAG,UAAU,EAAE,CAKlG;AAED,wBAAsB,oBAAoB,CAAC,KAAK,EAAE;IAChD,OAAO,EAAE,aAAa,CAAC;IACvB,OAAO,EAAE,aAAa,EAAE,CAAC;IACzB,IAAI,EAAE,UAAU,CAAC;IACjB,QAAQ,EAAE,eAAe,CAAC;IAC1B,UAAU,CAAC,EAAE,gBAAgB,CAAC;IAC9B,cAAc,CAAC,EAAE,oBAAoB,CAAC;IACtC,aAAa,CAAC,EAAE,mBAAmB,CAAC;IACpC,MAAM,CAAC,EAAE,WAAW,CAAC;IACrB,OAAO,CAAC,EAAE,SAAS,GAAG,qBAAqB,CAAC;CAC7C,GAAG,OAAO,CAAC,iBAAiB,CAAC,CAmC7B;AAED,wBAAgB,mBAAmB,CAAC,KAAK,EAAE;IAAE,OAAO,EAAE,aAAa,CAAC;IAAC,QAAQ,EAAE,MAAM,CAAC;IAAC,UAAU,EAAE,MAAM,CAAC;IAAC,OAAO,EAAE,iBAAiB,EAAE,CAAA;CAAE,GAAG,iBAAiB,CA4C5J;AAED,wBAAgB,gBAAgB,CAAC,KAAK,EAAE;IAAE,WAAW,EAAE,MAAM,CAAA;CAAE,GAAG,IAAI,CAGrE"}
package/dist/types/tasksets.d.ts CHANGED
@@ -103,6 +103,10 @@ export declare const ModelJudgeGraderSpecSchema: z.ZodObject<{
103
103
  }, z.core.$strict>>;
104
104
  temperature: z.ZodOptional<z.ZodNumber>;
105
105
  }, z.core.$strict>;
106
+ export declare const CustomVerifierRuntimeSchema: z.ZodEnum<{
107
+ isolated_javascript: "isolated_javascript";
108
+ sandbox_process: "sandbox_process";
109
+ }>;
106
110
  export declare const CustomVerifierGraderSpecSchema: z.ZodObject<{
107
111
  id: z.ZodString;
108
112
  version: z.ZodString;
@@ -111,6 +115,10 @@ export declare const CustomVerifierGraderSpecSchema: z.ZodObject<{
111
115
  rewardEligible: z.ZodDefault<z.ZodBoolean>;
112
116
  privileged: z.ZodDefault<z.ZodBoolean>;
113
117
  kind: z.ZodLiteral<"custom_verifier">;
118
+ runtime: z.ZodOptional<z.ZodEnum<{
119
+ isolated_javascript: "isolated_javascript";
120
+ sandbox_process: "sandbox_process";
121
+ }>>;
114
122
  verifierRef: z.ZodObject<{
115
123
  id: z.ZodString;
116
124
  path: z.ZodString;
@@ -203,6 +211,10 @@ export declare const GraderSpecSchema: z.ZodUnion<readonly [z.ZodObject<{
203
211
  rewardEligible: z.ZodDefault<z.ZodBoolean>;
204
212
  privileged: z.ZodDefault<z.ZodBoolean>;
205
213
  kind: z.ZodLiteral<"custom_verifier">;
214
+ runtime: z.ZodOptional<z.ZodEnum<{
215
+ isolated_javascript: "isolated_javascript";
216
+ sandbox_process: "sandbox_process";
217
+ }>>;
206
218
  verifierRef: z.ZodObject<{
207
219
  id: z.ZodString;
208
220
  path: z.ZodString;
@@ -445,6 +457,10 @@ export declare const TasksetReleaseContentSchema: z.ZodObject<{
445
457
  rewardEligible: z.ZodDefault<z.ZodBoolean>;
446
458
  privileged: z.ZodDefault<z.ZodBoolean>;
447
459
  kind: z.ZodLiteral<"custom_verifier">;
460
+ runtime: z.ZodOptional<z.ZodEnum<{
461
+ isolated_javascript: "isolated_javascript";
462
+ sandbox_process: "sandbox_process";
463
+ }>>;
448
464
  verifierRef: z.ZodObject<{
449
465
  id: z.ZodString;
450
466
  path: z.ZodString;
@@ -670,6 +686,10 @@ export declare const TasksetReleaseSchema: z.ZodObject<{
670
686
  rewardEligible: z.ZodDefault<z.ZodBoolean>;
671
687
  privileged: z.ZodDefault<z.ZodBoolean>;
672
688
  kind: z.ZodLiteral<"custom_verifier">;
689
+ runtime: z.ZodOptional<z.ZodEnum<{
690
+ isolated_javascript: "isolated_javascript";
691
+ sandbox_process: "sandbox_process";
692
+ }>>;
673
693
  verifierRef: z.ZodObject<{
674
694
  id: z.ZodString;
675
695
  path: z.ZodString;
package/dist/types/tasksets.d.ts.map CHANGED
@@ -1 +1 @@
1
- {"version":3,"file":"tasksets.d.ts","sourceRoot":"","sources":["../../../../src/tasksets.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAExB,OAAO,EAEL,uBAAuB,EAOxB,MAAM,mBAAmB,CAAC;AAG3B,eAAO,MAAM,eAAe;;;;;EAAyD,CAAC;AACtF,eAAO,MAAM,4BAA4B;;;;;;;;;;;;;;;;;kBAM9B,CAAC;AACZ,eAAO,MAAM,oBAAoB;;;;;kBAKtB,CAAC;AAEZ,eAAO,MAAM,yBAAyB;;;;;;;;;;;;;;;;;;;;;;;;kBAS3B,CAAC;AAWZ,eAAO,MAAM,6BAA6B;;;;;;;;;;;;;;;kBAG/B,CAAC;AACZ,eAAO,MAAM,0BAA0B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAM5B,CAAC;AACZ,eAAO,MAAM,8BAA8B;;;;;;;;;;;;;;;;;;;;;;;kBAMhC,CAAC;AACZ,eAAO,MAAM,qBAAqB;;;;;;;;;;;;;;;;;;;;;kBAIvB,CAAC;AACZ,eAAO,MAAM,gBAAgB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;oBAK3B,CAAC;AAEH,eAAO,MAAM,gBAAgB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAWlB,CAAC;AAEZ,eAAO,MAAM,2BAA2B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAc7B,CAAC;AACZ,eAAO,MAAM,oBAAoB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAAkF,CAAC;AAEpH,MAAM,MAAM,sBAAsB,GAAG;IACnC,IAAI,EAAE,MAAM,CAAC;IACb,QAAQ,EAAE,SAAS,GAAG,OAAO,CAAC;IAC9B,OAAO,EAAE,MAAM,CAAC;IAChB,IAAI,EAAE,MAAM,GAAG,IAAI,CAAC;CACrB,CAAC;AAEF,wBAAgB,sBAAsB,CAAC,KAAK,EAAE,OAAO,GAAG;IACtD,KAAK,EAAE,OAAO,CAAC;IACf,OAAO,EAAE,cAAc,GAAG,IAAI,CAAC;IAC/B,YAAY,EAAE,MAAM,GAAG,IAAI,CAAC;IAC5B,MAAM,EAAE,sBAAsB,EAAE,CAAC;CAClC,CAyDA;AAED,wBAAgB,oBAAoB,CAAC,OAAO,EAAE,cAAc,GAAG,IAAI,CAKlE;AAED,wBAAgB,cAAc,CAAC,IAAI,EAAE,UAAU,GAAG;IAChD,EAAE,EAAE,MAAM,CAAC;IACX,KAAK,EAAE,MAAM,CAAC,MAAM,EAAE,OAAO,CAAC,CAAC;IAC/B,oBAAoB,EAAE,MAAM,CAAC,MAAM,EAAE,OAAO,CAAC,CAAC;IAC9C,YAAY,EAAE,KAAK,CAAC,CAAC,CAAC,KAAK,CAAC,OAAO,uBAAuB,CAAC,CAAC,CAAC;IAC7D,IAAI,EAAE,MAAM,EAAE,CAAC;CAChB,CAQA;AAED,wBAAgB,uBAAuB,CAAC,OAAO,EAAE,cAAc,GAAG,UAAU,CAAC,OAAO,cAAc,CAAC,EAAE,CAIpG;AAED,MAAM,MAAM,mBAAmB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,yBAAyB,CAAC,CAAC;AAC5E,MAAM,MAAM,UAAU,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,gBAAgB,CAAC,CAAC;AAC1D,MAAM,MAAM,uBAAuB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,6BAA6B,CAAC,CAAC;AACpF,MAAM,MAAM,UAAU,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,gBAAgB,CAAC,CAAC;AAC1D,MAAM,MAAM,cAAc,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,oBAAoB,CAAC,CAAC;AAClE,MAAM,MAAM,sBAAsB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,4BAA4B,CAAC,CAAC;AAElF,OAAO,EACL,2BAA2B,EAC3B,qBAAqB,EACrB,KAAK,qBAAqB,EAC1B,KAAK,eAAe,GACrB,MAAM,mBAAmB,CAAC"}
1
+ {"version":3,"file":"tasksets.d.ts","sourceRoot":"","sources":["../../../../src/tasksets.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAExB,OAAO,EAEL,uBAAuB,EAOxB,MAAM,mBAAmB,CAAC;AAG3B,eAAO,MAAM,eAAe;;;;;EAAyD,CAAC;AACtF,eAAO,MAAM,4BAA4B;;;;;;;;;;;;;;;;;kBAM9B,CAAC;AACZ,eAAO,MAAM,oBAAoB;;;;;kBAKtB,CAAC;AAEZ,eAAO,MAAM,yBAAyB;;;;;;;;;;;;;;;;;;;;;;;;kBAS3B,CAAC;AAWZ,eAAO,MAAM,6BAA6B;;;;;;;;;;;;;;;kBAG/B,CAAC;AACZ,eAAO,MAAM,0BAA0B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAM5B,CAAC;AACZ,eAAO,MAAM,2BAA2B;;;EAAqD,CAAC;AAC9F,eAAO,MAAM,8BAA8B;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAQhC,CAAC;AACZ,eAAO,MAAM,qBAAqB;;;;;;;;;;;;;;;;;;;;;kBAIvB,CAAC;AACZ,eAAO,MAAM,gBAAgB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;oBAK3B,CAAC;AAEH,eAAO,MAAM,gBAAgB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAWlB,CAAC;AAEZ,eAAO,MAAM,2BAA2B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAc7B,CAAC;AACZ,eAAO,MAAM,oBAAoB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAAkF,CAAC;AAEpH,MAAM,MAAM,sBAAsB,GAAG;IACnC,IAAI,EAAE,MAAM,CAAC;IACb,QAAQ,EAAE,SAAS,GAAG,OAAO,CAAC;IAC9B,OAAO,EAAE,MAAM,CAAC;IAChB,IAAI,EAAE,MAAM,GAAG,IAAI,CAAC;CACrB,CAAC;AAEF,wBAAgB,sBAAsB,CAAC,KAAK,EAAE,OAAO,GAAG;IACtD,KAAK,EAAE,OAAO,CAAC;IACf,OAAO,EAAE,cAAc,GAAG,IAAI,CAAC;IAC/B,YAAY,EAAE,MAAM,GAAG,IAAI,CAAC;IAC5B,MAAM,EAAE,sBAAsB,EAAE,CAAC;CAClC,CAyDA;AAED,wBAAgB,oBAAoB,CAAC,OAAO,EAAE,cAAc,GAAG,IAAI,CAKlE;AAED,wBAAgB,cAAc,CAAC,IAAI,EAAE,UAAU,GAAG;IAChD,EAAE,EAAE,MAAM,CAAC;IACX,KAAK,EAAE,MAAM,CAAC,MAAM,EAAE,OAAO,CAAC,CAAC;IAC/B,oBAAoB,EAAE,MAAM,CAAC,MAAM,EAAE,OAAO,CAAC,CAAC;IAC9C,YAAY,EAAE,KAAK,CAAC,CAAC,CAAC,KAAK,CAAC,OAAO,uBAAuB,CAAC,CAAC,CAAC;IAC7D,IAAI,EAAE,MAAM,EAAE,CAAC;CAChB,CAQA;AAED,wBAAgB,uBAAuB,CAAC,OAAO,EAAE,cAAc,GAAG,UAAU,CAAC,OAAO,cAAc,CAAC,EAAE,CAIpG;AAED,MAAM,MAAM,mBAAmB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,yBAAyB,CAAC,CAAC;AAC5E,MAAM,MAAM,UAAU,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,gBAAgB,CAAC,CAAC;AAC1D,MAAM,MAAM,uBAAuB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,6BAA6B,CAAC,CAAC;AACpF,MAAM,MAAM,UAAU,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,gBAAgB,CAAC,CAAC;AAC1D,MAAM,MAAM,cAAc,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,oBAAoB,CAAC,CAAC;AAClE,MAAM,MAAM,sBAAsB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,4BAA4B,CAAC,CAAC;AAElF,OAAO,EACL,2BAA2B,EAC3B,qBAAqB,EACrB,KAAK,qBAAqB,EAC1B,KAAK,eAAe,GACrB,MAAM,mBAAmB,CAAC"}
package/dist/types/telemetry-bundle.d.ts CHANGED
@@ -52,10 +52,10 @@ export declare const TelemetryExportBundleContentSchema: z.ZodObject<{
52
52
  sequence: z.ZodNumber;
53
53
  occurredAt: z.ZodString;
54
54
  source: z.ZodEnum<{
55
+ runtime: "runtime";
55
56
  environment: "environment";
56
57
  evaluation: "evaluation";
57
58
  grader: "grader";
58
- runtime: "runtime";
59
59
  optimizer: "optimizer";
60
60
  control_plane: "control_plane";
61
61
  }>;
@@ -200,10 +200,10 @@ export declare const TelemetryExportBundleSchema: z.ZodObject<{
200
200
  sequence: z.ZodNumber;
201
201
  occurredAt: z.ZodString;
202
202
  source: z.ZodEnum<{
203
+ runtime: "runtime";
203
204
  environment: "environment";
204
205
  evaluation: "evaluation";
205
206
  grader: "grader";
206
- runtime: "runtime";
207
207
  optimizer: "optimizer";
208
208
  control_plane: "control_plane";
209
209
  }>;
package/dist/types/telemetry.d.ts CHANGED
@@ -8,10 +8,10 @@ export declare const TelemetryVisibilitySchema: z.ZodEnum<{
8
8
  team_visible: "team_visible";
9
9
  }>;
10
10
  export declare const TelemetrySourceSchema: z.ZodEnum<{
11
+ runtime: "runtime";
11
12
  environment: "environment";
12
13
  evaluation: "evaluation";
13
14
  grader: "grader";
14
- runtime: "runtime";
15
15
  optimizer: "optimizer";
16
16
  control_plane: "control_plane";
17
17
  }>;
@@ -48,10 +48,10 @@ export declare const RunTelemetryEventSchema: z.ZodObject<{
48
48
  sequence: z.ZodNumber;
49
49
  occurredAt: z.ZodString;
50
50
  source: z.ZodEnum<{
51
+ runtime: "runtime";
51
52
  environment: "environment";
52
53
  evaluation: "evaluation";
53
54
  grader: "grader";
54
- runtime: "runtime";
55
55
  optimizer: "optimizer";
56
56
  control_plane: "control_plane";
57
57
  }>;
@@ -190,10 +190,10 @@ export declare const RunTelemetryBatchSchema: z.ZodObject<{
190
190
  sequence: z.ZodNumber;
191
191
  occurredAt: z.ZodString;
192
192
  source: z.ZodEnum<{
193
+ runtime: "runtime";
193
194
  environment: "environment";
194
195
  evaluation: "evaluation";
195
196
  grader: "grader";
196
- runtime: "runtime";
197
197
  optimizer: "optimizer";
198
198
  control_plane: "control_plane";
199
199
  }>;
package/package.json CHANGED
@@ -1,6 +1,6 @@
1
1
  {
2
2
  "name": "@openpond/evals",
3
- "version": "0.10.10",
3
+ "version": "0.11.1",
4
4
  "description": "Portable Tasksets, graders, evaluation runs, receipts, conformance fixtures, and Work evidence for OpenPond Harnesses",
5
5
  "license": "MIT",
6
6
  "type": "module",
package/schemas/learning/v1/command-request.schema.json CHANGED
@@ -225,6 +225,23 @@
225
225
  "scheduledAt"
226
226
  ],
227
227
  "additionalProperties": false
228
+ },
229
+ {
230
+ "type": "object",
231
+ "properties": {
232
+ "kind": {
233
+ "type": "string",
234
+ "const": "approved_count"
235
+ },
236
+ "checkedAt": {
237
+ "$ref": "#/$defs/__schema5"
238
+ }
239
+ },
240
+ "required": [
241
+ "kind",
242
+ "checkedAt"
243
+ ],
244
+ "additionalProperties": false
228
245
  }
229
246
  ]
230
247
  }
@@ -2424,6 +2441,13 @@
2424
2441
  "type": "string",
2425
2442
  "const": "custom_verifier"
2426
2443
  },
2444
+ "runtime": {
2445
+ "type": "string",
2446
+ "enum": [
2447
+ "isolated_javascript",
2448
+ "sandbox_process"
2449
+ ]
2450
+ },
2427
2451
  "verifierRef": {
2428
2452
  "$ref": "#/$defs/__schema21"
2429
2453
  },
@@ -3032,6 +3056,30 @@
3032
3056
  ],
3033
3057
  "additionalProperties": false
3034
3058
  },
3059
+ {
3060
+ "type": "object",
3061
+ "properties": {
3062
+ "localTime": {
3063
+ "type": "string",
3064
+ "pattern": "^(?:[01]\\d|2[0-3]):[0-5]\\d$"
3065
+ },
3066
+ "timeZone": {
3067
+ "type": "string",
3068
+ "minLength": 1,
3069
+ "maxLength": 200
3070
+ },
3071
+ "kind": {
3072
+ "type": "string",
3073
+ "const": "nightly"
3074
+ }
3075
+ },
3076
+ "required": [
3077
+ "localTime",
3078
+ "timeZone",
3079
+ "kind"
3080
+ ],
3081
+ "additionalProperties": false
3082
+ },
3035
3083
  {
3036
3084
  "type": "object",
3037
3085
  "properties": {
package/schemas/learning/v1/package.schema.json CHANGED
@@ -697,6 +697,13 @@
697
697
  "type": "string",
698
698
  "const": "custom_verifier"
699
699
  },
700
+ "runtime": {
701
+ "type": "string",
702
+ "enum": [
703
+ "isolated_javascript",
704
+ "sandbox_process"
705
+ ]
706
+ },
700
707
  "verifierRef": {
701
708
  "$ref": "#/$defs/__schema7"
702
709
  },
package/schemas/learning/v1/policy.schema.json CHANGED
@@ -121,6 +121,30 @@
121
121
  ],
122
122
  "additionalProperties": false
123
123
  },
124
+ {
125
+ "type": "object",
126
+ "properties": {
127
+ "localTime": {
128
+ "type": "string",
129
+ "pattern": "^(?:[01]\\d|2[0-3]):[0-5]\\d$"
130
+ },
131
+ "timeZone": {
132
+ "type": "string",
133
+ "minLength": 1,
134
+ "maxLength": 200
135
+ },
136
+ "kind": {
137
+ "type": "string",
138
+ "const": "nightly"
139
+ }
140
+ },
141
+ "required": [
142
+ "localTime",
143
+ "timeZone",
144
+ "kind"
145
+ ],
146
+ "additionalProperties": false
147
+ },
124
148
  {
125
149
  "type": "object",
126
150
  "properties": {
package/schemas/learning/v1/read-request.schema.json CHANGED
@@ -1,6 +1,34 @@
1
1
  {
2
2
  "$schema": "https://json-schema.org/draft/2020-12/schema",
3
3
  "oneOf": [
4
+ {
5
+ "type": "object",
6
+ "properties": {
7
+ "action": {
8
+ "type": "string",
9
+ "const": "inspect_task_queue"
10
+ },
11
+ "scope": {
12
+ "$ref": "#/$defs/__schema0"
13
+ },
14
+ "modelProjectId": {
15
+ "anyOf": [
16
+ {
17
+ "$ref": "#/$defs/__schema0"
18
+ },
19
+ {
20
+ "type": "null"
21
+ }
22
+ ]
23
+ }
24
+ },
25
+ "required": [
26
+ "action",
27
+ "scope",
28
+ "modelProjectId"
29
+ ],
30
+ "additionalProperties": false
31
+ },
4
32
  {
5
33
  "type": "object",
6
34
  "properties": {
package/schemas/learning/v1/reservation.schema.json CHANGED
@@ -77,6 +77,23 @@
77
77
  "scheduledAt"
78
78
  ],
79
79
  "additionalProperties": false
80
+ },
81
+ {
82
+ "type": "object",
83
+ "properties": {
84
+ "kind": {
85
+ "type": "string",
86
+ "const": "approved_count"
87
+ },
88
+ "checkedAt": {
89
+ "$ref": "#/$defs/__schema2"
90
+ }
91
+ },
92
+ "required": [
93
+ "kind",
94
+ "checkedAt"
95
+ ],
96
+ "additionalProperties": false
80
97
  }
81
98
  ]
82
99
  },
package/schemas/learning/v1/reward.schema.json CHANGED
@@ -119,6 +119,13 @@
119
119
  "type": "string",
120
120
  "const": "custom_verifier"
121
121
  },
122
+ "runtime": {
123
+ "type": "string",
124
+ "enum": [
125
+ "isolated_javascript",
126
+ "sandbox_process"
127
+ ]
128
+ },
122
129
  "verifierRef": {
123
130
  "$ref": "#/$defs/__schema1"
124
131
  },