@openpond/evals 0.11.0 → 0.11.2
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/CONTRACT.md +13 -0
- package/dist/index.js +2 -0
- package/dist/javascript-verifier-contract.js +5 -0
- package/dist/javascript-verifier-node.js +3 -1
- package/dist/javascript-verifier.js +2 -1
- package/dist/learning/reward-authoring.js +2 -1
- package/dist/learning/reward-fixture-executor.js +1 -1
- package/dist/profile-evaluation-comparisons.js +86 -0
- package/dist/profile-evaluations.js +153 -0
- package/dist/taskset-run-contract.js +7 -0
- package/dist/tasksets.js +3 -0
- package/dist/types/builtin-benchmarks/harness-refiner.d.ts +1 -0
- package/dist/types/builtin-benchmarks/harness-refiner.d.ts.map +1 -1
- package/dist/types/conformance.d.ts +2 -0
- package/dist/types/conformance.d.ts.map +1 -1
- package/dist/types/execution-contracts.d.ts +8 -0
- package/dist/types/execution-contracts.d.ts.map +1 -1
- package/dist/types/index.d.ts +2 -0
- package/dist/types/index.d.ts.map +1 -1
- package/dist/types/javascript-verifier-contract.d.ts +2 -0
- package/dist/types/javascript-verifier-contract.d.ts.map +1 -1
- package/dist/types/javascript-verifier-node.d.ts.map +1 -1
- package/dist/types/javascript-verifier.d.ts +1 -0
- package/dist/types/javascript-verifier.d.ts.map +1 -1
- package/dist/types/learning/admission.d.ts +4 -0
- package/dist/types/learning/admission.d.ts.map +1 -1
- package/dist/types/learning/batch-service.d.ts +1 -0
- package/dist/types/learning/batch-service.d.ts.map +1 -1
- package/dist/types/learning/contracts.d.ts +4 -0
- package/dist/types/learning/contracts.d.ts.map +1 -1
- package/dist/types/learning/operations.d.ts +16 -0
- package/dist/types/learning/operations.d.ts.map +1 -1
- package/dist/types/learning/repository.d.ts +8 -0
- package/dist/types/learning/repository.d.ts.map +1 -1
- package/dist/types/learning/reward-authoring.d.ts.map +1 -1
- package/dist/types/learning/reward-calibration.d.ts +1 -0
- package/dist/types/learning/reward-calibration.d.ts.map +1 -1
- package/dist/types/learning/transport.d.ts +16 -0
- package/dist/types/learning/transport.d.ts.map +1 -1
- package/dist/types/profile-evaluation-comparisons.d.ts +135 -0
- package/dist/types/profile-evaluation-comparisons.d.ts.map +1 -0
- package/dist/types/profile-evaluations.d.ts +176 -0
- package/dist/types/profile-evaluations.d.ts.map +1 -0
- package/dist/types/review-conformance.d.ts +5 -5
- package/dist/types/rewards.d.ts +12 -0
- package/dist/types/rewards.d.ts.map +1 -1
- package/dist/types/taskset-run-contract.d.ts +48 -0
- package/dist/types/taskset-run-contract.d.ts.map +1 -1
- package/dist/types/tasksets.d.ts +20 -0
- package/dist/types/tasksets.d.ts.map +1 -1
- package/dist/types/telemetry-bundle.d.ts +2 -2
- package/dist/types/telemetry.d.ts +3 -3
- package/package.json +2 -2
- package/schemas/learning/v1/command-request.schema.json +7 -0
- package/schemas/learning/v1/package.schema.json +7 -0
- package/schemas/learning/v1/reward.schema.json +7 -0
|
@@ -255,6 +255,10 @@ export declare const PublishLearningResourceCommandSchema: z.ZodDiscriminatedUni
|
|
|
255
255
|
timeoutMs: z.ZodNumber;
|
|
256
256
|
networkPolicy: z.ZodLiteral<"none">;
|
|
257
257
|
kind: z.ZodLiteral<"custom_verifier">;
|
|
258
|
+
runtime: z.ZodOptional<z.ZodEnum<{
|
|
259
|
+
isolated_javascript: "isolated_javascript";
|
|
260
|
+
sandbox_process: "sandbox_process";
|
|
261
|
+
}>>;
|
|
258
262
|
verifierRef: z.ZodObject<{
|
|
259
263
|
id: z.ZodString;
|
|
260
264
|
path: z.ZodString;
|
|
@@ -816,6 +820,10 @@ export declare const PublishLearningResourcesCommandSchema: z.ZodObject<{
|
|
|
816
820
|
timeoutMs: z.ZodNumber;
|
|
817
821
|
networkPolicy: z.ZodLiteral<"none">;
|
|
818
822
|
kind: z.ZodLiteral<"custom_verifier">;
|
|
823
|
+
runtime: z.ZodOptional<z.ZodEnum<{
|
|
824
|
+
isolated_javascript: "isolated_javascript";
|
|
825
|
+
sandbox_process: "sandbox_process";
|
|
826
|
+
}>>;
|
|
819
827
|
verifierRef: z.ZodObject<{
|
|
820
828
|
id: z.ZodString;
|
|
821
829
|
path: z.ZodString;
|
|
@@ -2053,6 +2061,10 @@ export declare const LearningCommandSchema: z.ZodUnion<readonly [z.ZodObject<{
|
|
|
2053
2061
|
timeoutMs: z.ZodNumber;
|
|
2054
2062
|
networkPolicy: z.ZodLiteral<"none">;
|
|
2055
2063
|
kind: z.ZodLiteral<"custom_verifier">;
|
|
2064
|
+
runtime: z.ZodOptional<z.ZodEnum<{
|
|
2065
|
+
isolated_javascript: "isolated_javascript";
|
|
2066
|
+
sandbox_process: "sandbox_process";
|
|
2067
|
+
}>>;
|
|
2056
2068
|
verifierRef: z.ZodObject<{
|
|
2057
2069
|
id: z.ZodString;
|
|
2058
2070
|
path: z.ZodString;
|
|
@@ -2613,6 +2625,10 @@ export declare const LearningCommandSchema: z.ZodUnion<readonly [z.ZodObject<{
|
|
|
2613
2625
|
timeoutMs: z.ZodNumber;
|
|
2614
2626
|
networkPolicy: z.ZodLiteral<"none">;
|
|
2615
2627
|
kind: z.ZodLiteral<"custom_verifier">;
|
|
2628
|
+
runtime: z.ZodOptional<z.ZodEnum<{
|
|
2629
|
+
isolated_javascript: "isolated_javascript";
|
|
2630
|
+
sandbox_process: "sandbox_process";
|
|
2631
|
+
}>>;
|
|
2616
2632
|
verifierRef: z.ZodObject<{
|
|
2617
2633
|
id: z.ZodString;
|
|
2618
2634
|
path: z.ZodString;
|
|
@@ -1 +1 @@
|
|
|
1
|
-
{"version":3,"file":"operations.d.ts","sourceRoot":"","sources":["../../../../../src/learning/operations.ts"],"names":[],"mappings":"AACA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAUxB,eAAO,MAAM,6BAA6B;;;;;;;;;;;;;;;;;kBAG/B,CAAC;AAEZ,eAAO,MAAM,oCAAoC
|
|
1
|
+
{"version":3,"file":"operations.d.ts","sourceRoot":"","sources":["../../../../../src/learning/operations.ts"],"names":[],"mappings":"AACA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAUxB,eAAO,MAAM,6BAA6B;;;;;;;;;;;;;;;;;kBAG/B,CAAC;AAEZ,eAAO,MAAM,oCAAoC;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;4BAO/C,CAAC;AACH,eAAO,MAAM,qCAAqC;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAIvC,CAAC;AACZ,eAAO,MAAM,8BAA8B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAAyG,CAAC;AACrJ,eAAO,MAAM,+BAA+B;;;;;;;;;;;;;;;;;;;;;kBAA4G,CAAC;AACzJ,eAAO,MAAM,gCAAgC;;;;;;;;;kBAAuI,CAAC;AACrL,eAAO,MAAM,gCAAgC;;;;;;;;;;;;;;;;kBAA2R,CAAC;AACzU,eAAO,MAAM,2BAA2B;;;;;;;;;;;;;;;kBAA+U,CAAC;AACxX,eAAO,MAAM,+BAA+B;;;;;;;;;;;;;;;;;;;;;;;;kBAKjC,CAAC;AACZ,eAAO,MAAM,0BAA0B;;;;;;;;;;;;;;;;;;;;;;;;kBAAkV,CAAC;AAC1X,eAAO,MAAM,4BAA4B;;;;;kBAA0I,CAAC;AAEpL,eAAO,MAAM,+BAA+B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAAmJ,CAAC;AAChM,eAAO,MAAM,kCAAkC;;;;;;;;kBAAoG,CAAC;AACpJ,eAAO,MAAM,6BAA6B;;;;;;;;;;kBAA6O,CAAC;AACxR,eAAO,MAAM,8BAA8B;;;;;kBAAiJ,CAAC;AAC7L,eAAO,MAAM,iCAAiC;;;;;;;;;;kBACoC,CAAC;AAEnF,eAAO,MAAM,qCAAqC;;;;;;;;;;;;;;;;;;kBAAkJ,CAAC;AAErM,eAAO,MAAM,+CAA+C;;;;;kBAA8J,CAAC;AAC3N,eAAO,MAAM,oCAAoC;;;;;kBAAkJ,CAAC;AACpM,eAAO,MAAM,2CAA2C;;;;;kBAA0J,CAAC;AAEnN,eAAO,MAAM,qBAAqB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;oBAAssB,CAAC;AACzuB,MAAM,MAAM,eAAe,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,qBAAqB,CAAC,CAAC;AACpE,MAAM,MAAM,8BAA8B,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,oCAAoC,CAAC,CAAC"}
|
|
@@ -526,6 +526,10 @@ export declare const learningResourceSchemas: {
|
|
|
526
526
|
timeoutMs: z.ZodNumber;
|
|
527
527
|
networkPolicy: z.ZodLiteral<"none">;
|
|
528
528
|
kind: z.ZodLiteral<"custom_verifier">;
|
|
529
|
+
runtime: z.ZodOptional<z.ZodEnum<{
|
|
530
|
+
isolated_javascript: "isolated_javascript";
|
|
531
|
+
sandbox_process: "sandbox_process";
|
|
532
|
+
}>>;
|
|
529
533
|
verifierRef: z.ZodObject<{
|
|
530
534
|
id: z.ZodString;
|
|
531
535
|
path: z.ZodString;
|
|
@@ -1786,6 +1790,10 @@ export declare const learningResourceSchemas: {
|
|
|
1786
1790
|
rewardEligible: z.ZodDefault<z.ZodBoolean>;
|
|
1787
1791
|
privileged: z.ZodDefault<z.ZodBoolean>;
|
|
1788
1792
|
kind: z.ZodLiteral<"custom_verifier">;
|
|
1793
|
+
runtime: z.ZodOptional<z.ZodEnum<{
|
|
1794
|
+
isolated_javascript: "isolated_javascript";
|
|
1795
|
+
sandbox_process: "sandbox_process";
|
|
1796
|
+
}>>;
|
|
1789
1797
|
verifierRef: z.ZodObject<{
|
|
1790
1798
|
id: z.ZodString;
|
|
1791
1799
|
path: z.ZodString;
|
|
@@ -1 +1 @@
|
|
|
1
|
-
{"version":3,"file":"repository.d.ts","sourceRoot":"","sources":["../../../../../src/learning/repository.ts"],"names":[],"mappings":"AAGA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAGxB,OAAO,EAAkO,KAAK,mBAAmB,EAAE,MAAM,gBAAgB,CAAC;AAG1R,OAAO,EAAE,mBAAmB,EAAE,MAAM,aAAa,CAAC;AAKlD,eAAO,MAAM,uBAAuB
|
|
1
|
+
{"version":3,"file":"repository.d.ts","sourceRoot":"","sources":["../../../../../src/learning/repository.ts"],"names":[],"mappings":"AAGA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAGxB,OAAO,EAAkO,KAAK,mBAAmB,EAAE,MAAM,gBAAgB,CAAC;AAG1R,OAAO,EAAE,mBAAmB,EAAE,MAAM,aAAa,CAAC;AAKlD,eAAO,MAAM,uBAAuB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;CAW1B,CAAC;AACX,MAAM,MAAM,oBAAoB,GAAG,MAAM,OAAO,uBAAuB,CAAC;AACxE,eAAO,MAAM,0BAA0B;;;;;;;;;;;;;;;;;;;;;;EAAoG,CAAC;AAC5I,MAAM,MAAM,mBAAmB,CAAC,CAAC,SAAS,oBAAoB,IAAI,CAAC,CAAC,KAAK,CAAC,CAAC,OAAO,uBAAuB,CAAC,CAAC,CAAC,CAAC,CAAC,CAAC;AAC/G,MAAM,MAAM,sBAAsB,GAAG,mBAAmB,CAAC,oBAAoB,CAAC,CAAC;AAE/E,MAAM,MAAM,uBAAuB,GAAG;IAAE,IAAI,EAAE,oBAAoB,CAAC;IAAC,EAAE,EAAE,MAAM,CAAC;IAAC,QAAQ,EAAE,MAAM,CAAA;CAAE,CAAC;AACnG,MAAM,MAAM,wBAAwB,GAAG;IAAE,WAAW,EAAE,MAAM,CAAC;IAAC,SAAS,EAAE,uBAAuB,EAAE,CAAA;CAAE,CAAC;AACrG,MAAM,MAAM,qBAAqB,GAAG;IAAE,QAAQ,CAAC,EAAE,MAAM,CAAC;IAAC,MAAM,CAAC,EAAE,MAAM,CAAC;IAAC,WAAW,CAAC,EAAE,OAAO,GAAG,UAAU,CAAC;IAAC,OAAO,CAAC,EAAE,MAAM,CAAC;IAAC,KAAK,EAAE,MAAM,CAAA;CAAE,CAAC;AAChJ,MAAM,MAAM,oBAAoB,CAAC,CAAC,SAAS,oBAAoB,IAAI;IAAE,KAAK,EAAE,mBAAmB,CAAC,CAAC,CAAC,EAAE,CAAC;IAAC,UAAU,EAAE,MAAM,GAAG,IAAI,CAAA;CAAE,CAAC;AAElI,qFAAqF;AACrF,MAAM,WAAW,mBAAmB;IAClC,GAAG,CAAC,CAAC,SAAS,oBAAoB,EAAE,IAAI,EAAE,CAAC,EAAE,EAAE,EAAE,MAAM,EAAE,QAAQ,CAAC,EAAE,MAAM,GAAG,OAAO,CAAC,mBAAmB,CAAC,CAAC,CAAC,GAAG,IAAI,CAAC,CAAC;IACpH,GAAG,CAAC,CAAC,SAAS,oBAAoB,EAAE,IAAI,EAAE,CAAC,EAAE,QAAQ,EAAE,mBAAmB,CAAC,CAAC,CAAC,EAAE,gBAAgB,EAAE,MAAM,EAAE,KAAK,CAAC,EAAE;QAAE,QAAQ,CAAC,EAAE,MAAM,CAAC;QAAC,MAAM,CAAC,EAAE,MAAM,CAAA;KAAE,GAAG,OAAO,CAAC,IAAI,CAAC,CAAC;IACxK,IAAI,CAAC,CAAC,SAAS,oBAAoB,EAAE,IAAI,EAAE,CAAC,EAAE,KAAK,EAAE,qBAAqB,GAAG,OAAO,CAAC,oBAAoB,CAAC,CAAC,CAAC,CAAC,CAAC;IAC9G,SAAS,CAAC,EAAE,EAAE,MAAM,GAAG,OAAO,CAAC,wBAAwB,GAAG,IAAI,CAAC,CAAC;IAChE,aAAa,CAAC,EAAE,EAAE,MAAM,EAAE,OAAO,EAAE,wBAAwB,GAAG,OAAO,CAAC,IAAI,CAAC,CAAC;IAC5E,WAAW,CAAC,SAAS,EAAE,MAAM,EAAE,IAAI,EAAE,QAAQ,GAAG,OAAO,EAAE,GAAG,EAAE,MAAM,GAAG,OAAO,CAAC,MAAM,GAAG,IAAI,CAAC,CAAC;IAC9F,kBAAkB,CAAC,SAAS,EAAE,MAAM,EAAE,IAAI,EAAE,QAAQ,GAAG,OAAO,EAAE,GAAG,EAAE,MAAM,EAAE,KAAK,EAAE,MAAM,GAAG,OAAO,CAAC,IAAI,CAAC,CAAC;CAC5G;AACD,MAAM,WAAW,kBAAkB;IACjC,WAAW,CAAC,CAAC,EAAE,KAAK,EAAE,MAAM,EAAE,QAAQ,EAAE,CAAC,WAAW,EAAE,mBAAmB,KAAK,OAAO,CAAC,CAAC,CAAC,GAAG,OAAO,CAAC,CAAC,CAAC,CAAC;CACvG;AAED,qBAAa,qBAAsB,SAAQ,mBAAmB;IAChD,QAAQ,CAAC,IAAI,EAAE,MAAM;IAAE,QAAQ,CAAC,EAAE,EAAE,MAAM;IAAE,QAAQ,CAAC,gBAAgB,EAAE,MAAM;IAAE,QAAQ,CAAC,eAAe,EAAE,MAAM;gBAAtG,IAAI,EAAE,MAAM,EAAW,EAAE,EAAE,MAAM,EAAW,gBAAgB,EAAE,MAAM,EAAW,eAAe,EAAE,MAAM;CAI5H;AAED,wBAAsB,uBAAuB,CAAC,CAAC,SAAS,oBAAoB,EAAE,WAAW,EAAE,mBAAmB,EAAE,IAAI,EAAE,CAAC,EAAE,EAAE,EAAE,MAAM,EAAE,QAAQ,CAAC,EAAE,MAAM,GAAG,OAAO,CAAC,mBAAmB,CAAC,CAAC,CAAC,CAAC,CAIvL;AACD,wBAAsB,sBAAsB,CAAC,CAAC,SAAS,oBAAoB,EAAE,WAAW,EAAE,mBAAmB,EAAE,IAAI,EAAE,CAAC,EAAE,GAAG,EAAE,mBAAmB,GAAG,OAAO,CAAC,mBAAmB,CAAC,CAAC,CAAC,CAAC,CAKjL;AACD,wBAAgB,kBAAkB,CAAC,QAAQ,EAAE,MAAM,EAAE,SAAS,EAAE,MAAM,EAAE,SAAS,EAAE,MAAM,GAAG,MAAM,CAEjG;AACD,wBAAgB,mBAAmB,CAAC,OAAO,EAAE,MAAM,EAAE,WAAW,EAAE,MAAM,GAAG,MAAM,CAEhF"}
|
|
@@ -1 +1 @@
|
|
|
1
|
-
{"version":3,"file":"reward-authoring.d.ts","sourceRoot":"","sources":["../../../../../src/learning/reward-authoring.ts"],"names":[],"mappings":"AAAA,OAAO,EAA4C,KAAK,aAAa,EAAE,MAAM,eAAe,CAAC;AAE7F,OAAO,EAAmE,KAAK,iBAAiB,EAAE,MAAM,gBAAgB,CAAC;AACzH,OAAO,EAAoD,KAAK,iBAAiB,EAAE,MAAM,aAAa,CAAC;AAIvG,MAAM,MAAM,qBAAqB,GAAG,iBAAiB,CAAC,QAAQ,CAAC,CAAC,QAAQ,CAAC,CAAC;AAC1E,eAAO,MAAM,8BAA8B,yWAMzC,CAAC;AAEH,kGAAkG;AAClG,wBAAgB,sBAAsB,CAAC,KAAK,EAAE;IAAE,EAAE,EAAE,MAAM,CAAC;IAAC,MAAM,EAAE,qBAAqB,CAAC;IAAC,IAAI,EAAE,aAAa,GAAG,IAAI,CAAA;CAAE,GAAG;IAAE,MAAM,EAAE,aAAa,CAAC;IAAC,MAAM,EAAE,iBAAiB,EAAE,CAAA;CAAE,
|
|
1
|
+
{"version":3,"file":"reward-authoring.d.ts","sourceRoot":"","sources":["../../../../../src/learning/reward-authoring.ts"],"names":[],"mappings":"AAAA,OAAO,EAA4C,KAAK,aAAa,EAAE,MAAM,eAAe,CAAC;AAE7F,OAAO,EAAmE,KAAK,iBAAiB,EAAE,MAAM,gBAAgB,CAAC;AACzH,OAAO,EAAoD,KAAK,iBAAiB,EAAE,MAAM,aAAa,CAAC;AAIvG,MAAM,MAAM,qBAAqB,GAAG,iBAAiB,CAAC,QAAQ,CAAC,CAAC,QAAQ,CAAC,CAAC;AAC1E,eAAO,MAAM,8BAA8B,yWAMzC,CAAC;AAEH,kGAAkG;AAClG,wBAAgB,sBAAsB,CAAC,KAAK,EAAE;IAAE,EAAE,EAAE,MAAM,CAAC;IAAC,MAAM,EAAE,qBAAqB,CAAC;IAAC,IAAI,EAAE,aAAa,GAAG,IAAI,CAAA;CAAE,GAAG;IAAE,MAAM,EAAE,aAAa,CAAC;IAAC,MAAM,EAAE,iBAAiB,EAAE,CAAA;CAAE,CA8C/K;AAED,wBAAgB,qBAAqB,CAAC,MAAM,EAAE,aAAa,GAAG,IAAI,EAAE,WAAW,EAAE,iBAAiB,GAAG,IAAI,EAAE,YAAY,GAAE,iBAAiB,GAAG,IAAW,GAAG,qBAAqB,CA8B/K;AAED,wBAAgB,0BAA0B,CAAC,KAAK,EAAE,MAAM,EAAE,KAAK,EAAE,MAAM,0CAMtE;AACD,wBAAgB,eAAe,CAAC,KAAK,EAAE,MAAM,EAAE,KAAK,EAAE,MAAM,GAAG,MAAM,CAIpE"}
|
|
@@ -44,6 +44,7 @@ export declare function qualifyRewardCheck(draft: AuthoringDraftFor<"reward">, b
|
|
|
44
44
|
visibility: "policy" | "verifier" | "host_private";
|
|
45
45
|
};
|
|
46
46
|
exportName?: string | undefined;
|
|
47
|
+
runtime?: "isolated_javascript" | "sandbox_process" | undefined;
|
|
47
48
|
} | {
|
|
48
49
|
kind: "human";
|
|
49
50
|
rubricRef: {
|
|
@@ -1 +1 @@
|
|
|
1
|
-
{"version":3,"file":"reward-calibration.d.ts","sourceRoot":"","sources":["../../../../../src/learning/reward-calibration.ts"],"names":[],"mappings":"AACA,OAAO,EAAuB,KAAK,aAAa,EAAE,MAAM,eAAe,CAAC;AACxE,OAAO,KAAK,EAAE,iBAAiB,EAAE,MAAM,gBAAgB,CAAC;AAGxD,OAAO,EAAmD,KAAK,mBAAmB,EAAE,MAAM,iBAAiB,CAAC;AAC5G,OAAO,EAA0C,KAAK,cAAc,EAAE,MAAM,oBAAoB,CAAC;AAEjG;4EAC4E;AAC5E,wBAAgB,kBAAkB,CAAC,KAAK,EAAE,iBAAiB,CAAC,QAAQ,CAAC,EAAE,IAAI,EAAE,aAAa,GAAG,IAAI,EAAE,KAAK,EAAE,cAAc
|
|
1
|
+
{"version":3,"file":"reward-calibration.d.ts","sourceRoot":"","sources":["../../../../../src/learning/reward-calibration.ts"],"names":[],"mappings":"AACA,OAAO,EAAuB,KAAK,aAAa,EAAE,MAAM,eAAe,CAAC;AACxE,OAAO,KAAK,EAAE,iBAAiB,EAAE,MAAM,gBAAgB,CAAC;AAGxD,OAAO,EAAmD,KAAK,mBAAmB,EAAE,MAAM,iBAAiB,CAAC;AAC5G,OAAO,EAA0C,KAAK,cAAc,EAAE,MAAM,oBAAoB,CAAC;AAEjG;4EAC4E;AAC5E,wBAAgB,kBAAkB,CAAC,KAAK,EAAE,iBAAiB,CAAC,QAAQ,CAAC,EAAE,IAAI,EAAE,aAAa,GAAG,IAAI,EAAE,KAAK,EAAE,cAAc;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;EA4BvH;AAED;yEACyE;AACzE,wBAAsB,uBAAuB,CAAC,EAAE,EAAE,mBAAmB,EAAE,MAAM,EAAE,aAAa,iBAe3F"}
|
|
@@ -510,6 +510,10 @@ export declare const LearningCommandRequestSchema: z.ZodObject<{
|
|
|
510
510
|
timeoutMs: z.ZodNumber;
|
|
511
511
|
networkPolicy: z.ZodLiteral<"none">;
|
|
512
512
|
kind: z.ZodLiteral<"custom_verifier">;
|
|
513
|
+
runtime: z.ZodOptional<z.ZodEnum<{
|
|
514
|
+
isolated_javascript: "isolated_javascript";
|
|
515
|
+
sandbox_process: "sandbox_process";
|
|
516
|
+
}>>;
|
|
513
517
|
verifierRef: z.ZodObject<{
|
|
514
518
|
id: z.ZodString;
|
|
515
519
|
path: z.ZodString;
|
|
@@ -1070,6 +1074,10 @@ export declare const LearningCommandRequestSchema: z.ZodObject<{
|
|
|
1070
1074
|
timeoutMs: z.ZodNumber;
|
|
1071
1075
|
networkPolicy: z.ZodLiteral<"none">;
|
|
1072
1076
|
kind: z.ZodLiteral<"custom_verifier">;
|
|
1077
|
+
runtime: z.ZodOptional<z.ZodEnum<{
|
|
1078
|
+
isolated_javascript: "isolated_javascript";
|
|
1079
|
+
sandbox_process: "sandbox_process";
|
|
1080
|
+
}>>;
|
|
1073
1081
|
verifierRef: z.ZodObject<{
|
|
1074
1082
|
id: z.ZodString;
|
|
1075
1083
|
path: z.ZodString;
|
|
@@ -1805,6 +1813,10 @@ export declare const LearningOperationResultSchema: z.ZodObject<{
|
|
|
1805
1813
|
rewardEligible: z.ZodDefault<z.ZodBoolean>;
|
|
1806
1814
|
privileged: z.ZodDefault<z.ZodBoolean>;
|
|
1807
1815
|
kind: z.ZodLiteral<"custom_verifier">;
|
|
1816
|
+
runtime: z.ZodOptional<z.ZodEnum<{
|
|
1817
|
+
isolated_javascript: "isolated_javascript";
|
|
1818
|
+
sandbox_process: "sandbox_process";
|
|
1819
|
+
}>>;
|
|
1808
1820
|
verifierRef: z.ZodObject<{
|
|
1809
1821
|
id: z.ZodString;
|
|
1810
1822
|
path: z.ZodString;
|
|
@@ -1933,6 +1945,10 @@ export declare const LearningOperationResultSchema: z.ZodObject<{
|
|
|
1933
1945
|
timeoutMs: z.ZodNumber;
|
|
1934
1946
|
networkPolicy: z.ZodLiteral<"none">;
|
|
1935
1947
|
kind: z.ZodLiteral<"custom_verifier">;
|
|
1948
|
+
runtime: z.ZodOptional<z.ZodEnum<{
|
|
1949
|
+
isolated_javascript: "isolated_javascript";
|
|
1950
|
+
sandbox_process: "sandbox_process";
|
|
1951
|
+
}>>;
|
|
1936
1952
|
verifierRef: z.ZodObject<{
|
|
1937
1953
|
id: z.ZodString;
|
|
1938
1954
|
path: z.ZodString;
|
|
@@ -1 +1 @@
|
|
|
1
|
-
{"version":3,"file":"transport.d.ts","sourceRoot":"","sources":["../../../../../src/learning/transport.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAQxB,mFAAmF;AACnF,wBAAgB,yBAAyB,CAAC,GAAG,EAAE,OAAO,GAAG,IAAI,CAG5D;AAED,0FAA0F;AAC1F,eAAO,MAAM,4BAA4B
|
|
1
|
+
{"version":3,"file":"transport.d.ts","sourceRoot":"","sources":["../../../../../src/learning/transport.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAQxB,mFAAmF;AACnF,wBAAgB,yBAAyB,CAAC,GAAG,EAAE,OAAO,GAAG,IAAI,CAG5D;AAED,0FAA0F;AAC1F,eAAO,MAAM,4BAA4B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAAgF,CAAC;AAC1H,eAAO,MAAM,yBAAyB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;8BAMpC,CAAC;AACH,eAAO,MAAM,kCAAkC;;;;;;;;;;;;;;;;;;;;;;;;kBAOpC,CAAC;AACZ,MAAM,MAAM,4BAA4B,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,kCAAkC,CAAC,CAAC;AAC9F,eAAO,MAAM,6BAA6B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAG/B,CAAC"}
|
|
@@ -0,0 +1,135 @@
|
|
|
1
|
+
import { z } from "zod";
|
|
2
|
+
import { type TasksetMetricResult } from "./metric-policy.js";
|
|
3
|
+
import { type TasksetRunManifest } from "./taskset-run-contract.js";
|
|
4
|
+
export declare const ProfileEvaluationComparisonContentSchema: z.ZodObject<{
|
|
5
|
+
schemaVersion: z.ZodLiteral<"openpond.profileEvaluationComparison.v1">;
|
|
6
|
+
id: z.ZodString;
|
|
7
|
+
tasksetRelease: z.ZodObject<{
|
|
8
|
+
id: z.ZodString;
|
|
9
|
+
contentHash: z.ZodString;
|
|
10
|
+
}, z.core.$strict>;
|
|
11
|
+
populationHash: z.ZodString;
|
|
12
|
+
environmentHash: z.ZodString;
|
|
13
|
+
metricPolicyHash: z.ZodString;
|
|
14
|
+
limitsHash: z.ZodString;
|
|
15
|
+
members: z.ZodArray<z.ZodObject<{
|
|
16
|
+
runManifest: z.ZodObject<{
|
|
17
|
+
id: z.ZodString;
|
|
18
|
+
contentHash: z.ZodString;
|
|
19
|
+
}, z.core.$strict>;
|
|
20
|
+
metricResultHash: z.ZodString;
|
|
21
|
+
source: z.ZodObject<{
|
|
22
|
+
profileId: z.ZodString;
|
|
23
|
+
sourceRevision: z.ZodString;
|
|
24
|
+
harnessRelease: z.ZodObject<{
|
|
25
|
+
id: z.ZodString;
|
|
26
|
+
contentHash: z.ZodString;
|
|
27
|
+
}, z.core.$strict>;
|
|
28
|
+
catalogHash: z.ZodString;
|
|
29
|
+
definitionId: z.ZodString;
|
|
30
|
+
definitionHash: z.ZodString;
|
|
31
|
+
target: z.ZodDiscriminatedUnion<[z.ZodObject<{
|
|
32
|
+
kind: z.ZodLiteral<"profile">;
|
|
33
|
+
}, z.core.$strict>, z.ZodObject<{
|
|
34
|
+
kind: z.ZodLiteral<"workflow">;
|
|
35
|
+
workflowId: z.ZodString;
|
|
36
|
+
}, z.core.$strict>, z.ZodObject<{
|
|
37
|
+
kind: z.ZodLiteral<"skill">;
|
|
38
|
+
skillPath: z.ZodString;
|
|
39
|
+
}, z.core.$strict>, z.ZodObject<{
|
|
40
|
+
kind: z.ZodLiteral<"agent_action">;
|
|
41
|
+
actionId: z.ZodString;
|
|
42
|
+
}, z.core.$strict>], "kind">;
|
|
43
|
+
environmentHash: z.ZodString;
|
|
44
|
+
}, z.core.$strict>;
|
|
45
|
+
policy: z.ZodDiscriminatedUnion<[z.ZodObject<{
|
|
46
|
+
kind: z.ZodLiteral<"model">;
|
|
47
|
+
model: z.ZodObject<{
|
|
48
|
+
provider: z.ZodString;
|
|
49
|
+
model: z.ZodString;
|
|
50
|
+
revision: z.ZodDefault<z.ZodNullable<z.ZodString>>;
|
|
51
|
+
artifactHash: z.ZodDefault<z.ZodNullable<z.ZodString>>;
|
|
52
|
+
tokenizerRevision: z.ZodDefault<z.ZodNullable<z.ZodString>>;
|
|
53
|
+
chatTemplateHash: z.ZodDefault<z.ZodNullable<z.ZodString>>;
|
|
54
|
+
}, z.core.$strict>;
|
|
55
|
+
configurationHash: z.ZodString;
|
|
56
|
+
}, z.core.$strict>, z.ZodObject<{
|
|
57
|
+
kind: z.ZodLiteral<"fixture">;
|
|
58
|
+
}, z.core.$strict>], "kind">;
|
|
59
|
+
score: z.ZodNullable<z.ZodNumber>;
|
|
60
|
+
}, z.core.$strict>>;
|
|
61
|
+
createdAt: z.ZodString;
|
|
62
|
+
}, z.core.$strict>;
|
|
63
|
+
export declare const ProfileEvaluationComparisonSchema: z.ZodObject<{
|
|
64
|
+
schemaVersion: z.ZodLiteral<"openpond.profileEvaluationComparison.v1">;
|
|
65
|
+
id: z.ZodString;
|
|
66
|
+
tasksetRelease: z.ZodObject<{
|
|
67
|
+
id: z.ZodString;
|
|
68
|
+
contentHash: z.ZodString;
|
|
69
|
+
}, z.core.$strict>;
|
|
70
|
+
populationHash: z.ZodString;
|
|
71
|
+
environmentHash: z.ZodString;
|
|
72
|
+
metricPolicyHash: z.ZodString;
|
|
73
|
+
limitsHash: z.ZodString;
|
|
74
|
+
members: z.ZodArray<z.ZodObject<{
|
|
75
|
+
runManifest: z.ZodObject<{
|
|
76
|
+
id: z.ZodString;
|
|
77
|
+
contentHash: z.ZodString;
|
|
78
|
+
}, z.core.$strict>;
|
|
79
|
+
metricResultHash: z.ZodString;
|
|
80
|
+
source: z.ZodObject<{
|
|
81
|
+
profileId: z.ZodString;
|
|
82
|
+
sourceRevision: z.ZodString;
|
|
83
|
+
harnessRelease: z.ZodObject<{
|
|
84
|
+
id: z.ZodString;
|
|
85
|
+
contentHash: z.ZodString;
|
|
86
|
+
}, z.core.$strict>;
|
|
87
|
+
catalogHash: z.ZodString;
|
|
88
|
+
definitionId: z.ZodString;
|
|
89
|
+
definitionHash: z.ZodString;
|
|
90
|
+
target: z.ZodDiscriminatedUnion<[z.ZodObject<{
|
|
91
|
+
kind: z.ZodLiteral<"profile">;
|
|
92
|
+
}, z.core.$strict>, z.ZodObject<{
|
|
93
|
+
kind: z.ZodLiteral<"workflow">;
|
|
94
|
+
workflowId: z.ZodString;
|
|
95
|
+
}, z.core.$strict>, z.ZodObject<{
|
|
96
|
+
kind: z.ZodLiteral<"skill">;
|
|
97
|
+
skillPath: z.ZodString;
|
|
98
|
+
}, z.core.$strict>, z.ZodObject<{
|
|
99
|
+
kind: z.ZodLiteral<"agent_action">;
|
|
100
|
+
actionId: z.ZodString;
|
|
101
|
+
}, z.core.$strict>], "kind">;
|
|
102
|
+
environmentHash: z.ZodString;
|
|
103
|
+
}, z.core.$strict>;
|
|
104
|
+
policy: z.ZodDiscriminatedUnion<[z.ZodObject<{
|
|
105
|
+
kind: z.ZodLiteral<"model">;
|
|
106
|
+
model: z.ZodObject<{
|
|
107
|
+
provider: z.ZodString;
|
|
108
|
+
model: z.ZodString;
|
|
109
|
+
revision: z.ZodDefault<z.ZodNullable<z.ZodString>>;
|
|
110
|
+
artifactHash: z.ZodDefault<z.ZodNullable<z.ZodString>>;
|
|
111
|
+
tokenizerRevision: z.ZodDefault<z.ZodNullable<z.ZodString>>;
|
|
112
|
+
chatTemplateHash: z.ZodDefault<z.ZodNullable<z.ZodString>>;
|
|
113
|
+
}, z.core.$strict>;
|
|
114
|
+
configurationHash: z.ZodString;
|
|
115
|
+
}, z.core.$strict>, z.ZodObject<{
|
|
116
|
+
kind: z.ZodLiteral<"fixture">;
|
|
117
|
+
}, z.core.$strict>], "kind">;
|
|
118
|
+
score: z.ZodNullable<z.ZodNumber>;
|
|
119
|
+
}, z.core.$strict>>;
|
|
120
|
+
createdAt: z.ZodString;
|
|
121
|
+
contentHash: z.ZodString;
|
|
122
|
+
}, z.core.$strict>;
|
|
123
|
+
export type ProfileEvaluationComparison = z.infer<typeof ProfileEvaluationComparisonSchema>;
|
|
124
|
+
/** Comparison membership is immutable and refers to existing run evidence.
|
|
125
|
+
* The same Taskset, population, environment, metric and limits are required;
|
|
126
|
+
* model and released Profile source may vary independently. */
|
|
127
|
+
export declare function createProfileEvaluationComparison(input: {
|
|
128
|
+
id: string;
|
|
129
|
+
members: Array<{
|
|
130
|
+
manifest: TasksetRunManifest;
|
|
131
|
+
result: TasksetMetricResult;
|
|
132
|
+
}>;
|
|
133
|
+
createdAt: string;
|
|
134
|
+
}): ProfileEvaluationComparison;
|
|
135
|
+
//# sourceMappingURL=profile-evaluation-comparisons.d.ts.map
|
|
@@ -0,0 +1 @@
|
|
|
1
|
+
{"version":3,"file":"profile-evaluation-comparisons.d.ts","sourceRoot":"","sources":["../../../../src/profile-evaluation-comparisons.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAMxB,OAAO,EAA6B,KAAK,mBAAmB,EAAE,MAAM,oBAAoB,CAAC;AAEzF,OAAO,EAA4B,KAAK,kBAAkB,EAAE,MAAM,2BAA2B,CAAC;AAE9F,eAAO,MAAM,wCAAwC;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAgB1C,CAAC;AACZ,eAAO,MAAM,iCAAiC;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAEnC,CAAC;AACZ,MAAM,MAAM,2BAA2B,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,iCAAiC,CAAC,CAAC;AAE5F;;+DAE+D;AAC/D,wBAAgB,iCAAiC,CAAC,KAAK,EAAE;IACvD,EAAE,EAAE,MAAM,CAAC;IACX,OAAO,EAAE,KAAK,CAAC;QAAE,QAAQ,EAAE,kBAAkB,CAAC;QAAC,MAAM,EAAE,mBAAmB,CAAA;KAAE,CAAC,CAAC;IAC9E,SAAS,EAAE,MAAM,CAAC;CACnB,GAAG,2BAA2B,CAuD9B"}
|
|
@@ -0,0 +1,176 @@
|
|
|
1
|
+
import { z } from "zod";
|
|
2
|
+
import { type AgentSnapshot, type HarnessRelease } from "@openpond/harness";
|
|
3
|
+
/** Portable selection only. Taskset releases own task data and graders; run
|
|
4
|
+
* manifests and evidence stay in the installation's evaluation store. */
|
|
5
|
+
export declare const ProfileEvaluationTargetSchema: z.ZodDiscriminatedUnion<[z.ZodObject<{
|
|
6
|
+
kind: z.ZodLiteral<"profile">;
|
|
7
|
+
}, z.core.$strict>, z.ZodObject<{
|
|
8
|
+
kind: z.ZodLiteral<"workflow">;
|
|
9
|
+
workflowId: z.ZodString;
|
|
10
|
+
}, z.core.$strict>, z.ZodObject<{
|
|
11
|
+
kind: z.ZodLiteral<"skill">;
|
|
12
|
+
skillPath: z.ZodString;
|
|
13
|
+
}, z.core.$strict>, z.ZodObject<{
|
|
14
|
+
kind: z.ZodLiteral<"agent_action">;
|
|
15
|
+
actionId: z.ZodString;
|
|
16
|
+
}, z.core.$strict>], "kind">;
|
|
17
|
+
export declare const ProfileEvaluationDefinitionSchema: z.ZodObject<{
|
|
18
|
+
id: z.ZodString;
|
|
19
|
+
label: z.ZodString;
|
|
20
|
+
description: z.ZodString;
|
|
21
|
+
target: z.ZodDiscriminatedUnion<[z.ZodObject<{
|
|
22
|
+
kind: z.ZodLiteral<"profile">;
|
|
23
|
+
}, z.core.$strict>, z.ZodObject<{
|
|
24
|
+
kind: z.ZodLiteral<"workflow">;
|
|
25
|
+
workflowId: z.ZodString;
|
|
26
|
+
}, z.core.$strict>, z.ZodObject<{
|
|
27
|
+
kind: z.ZodLiteral<"skill">;
|
|
28
|
+
skillPath: z.ZodString;
|
|
29
|
+
}, z.core.$strict>, z.ZodObject<{
|
|
30
|
+
kind: z.ZodLiteral<"agent_action">;
|
|
31
|
+
actionId: z.ZodString;
|
|
32
|
+
}, z.core.$strict>], "kind">;
|
|
33
|
+
tasksetRelease: z.ZodObject<{
|
|
34
|
+
id: z.ZodString;
|
|
35
|
+
contentHash: z.ZodString;
|
|
36
|
+
}, z.core.$strict>;
|
|
37
|
+
split: z.ZodEnum<{
|
|
38
|
+
train: "train";
|
|
39
|
+
validation: "validation";
|
|
40
|
+
test: "test";
|
|
41
|
+
frozen_eval: "frozen_eval";
|
|
42
|
+
}>;
|
|
43
|
+
taskIds: z.ZodArray<z.ZodString>;
|
|
44
|
+
seeds: z.ZodArray<z.ZodString>;
|
|
45
|
+
criterion: z.ZodObject<{
|
|
46
|
+
minimumPassRate: z.ZodNumber;
|
|
47
|
+
requireComplete: z.ZodBoolean;
|
|
48
|
+
}, z.core.$strict>;
|
|
49
|
+
}, z.core.$strict>;
|
|
50
|
+
export declare const ProfileEvaluationSuiteSchema: z.ZodObject<{
|
|
51
|
+
id: z.ZodString;
|
|
52
|
+
label: z.ZodString;
|
|
53
|
+
scope: z.ZodEnum<{
|
|
54
|
+
profile: "profile";
|
|
55
|
+
component: "component";
|
|
56
|
+
}>;
|
|
57
|
+
definitionIds: z.ZodArray<z.ZodString>;
|
|
58
|
+
}, z.core.$strict>;
|
|
59
|
+
export declare const ProfileEvaluationCatalogSchema: z.ZodObject<{
|
|
60
|
+
schemaVersion: z.ZodLiteral<"openpond.profileEvaluations.v1">;
|
|
61
|
+
definitions: z.ZodArray<z.ZodObject<{
|
|
62
|
+
id: z.ZodString;
|
|
63
|
+
label: z.ZodString;
|
|
64
|
+
description: z.ZodString;
|
|
65
|
+
target: z.ZodDiscriminatedUnion<[z.ZodObject<{
|
|
66
|
+
kind: z.ZodLiteral<"profile">;
|
|
67
|
+
}, z.core.$strict>, z.ZodObject<{
|
|
68
|
+
kind: z.ZodLiteral<"workflow">;
|
|
69
|
+
workflowId: z.ZodString;
|
|
70
|
+
}, z.core.$strict>, z.ZodObject<{
|
|
71
|
+
kind: z.ZodLiteral<"skill">;
|
|
72
|
+
skillPath: z.ZodString;
|
|
73
|
+
}, z.core.$strict>, z.ZodObject<{
|
|
74
|
+
kind: z.ZodLiteral<"agent_action">;
|
|
75
|
+
actionId: z.ZodString;
|
|
76
|
+
}, z.core.$strict>], "kind">;
|
|
77
|
+
tasksetRelease: z.ZodObject<{
|
|
78
|
+
id: z.ZodString;
|
|
79
|
+
contentHash: z.ZodString;
|
|
80
|
+
}, z.core.$strict>;
|
|
81
|
+
split: z.ZodEnum<{
|
|
82
|
+
train: "train";
|
|
83
|
+
validation: "validation";
|
|
84
|
+
test: "test";
|
|
85
|
+
frozen_eval: "frozen_eval";
|
|
86
|
+
}>;
|
|
87
|
+
taskIds: z.ZodArray<z.ZodString>;
|
|
88
|
+
seeds: z.ZodArray<z.ZodString>;
|
|
89
|
+
criterion: z.ZodObject<{
|
|
90
|
+
minimumPassRate: z.ZodNumber;
|
|
91
|
+
requireComplete: z.ZodBoolean;
|
|
92
|
+
}, z.core.$strict>;
|
|
93
|
+
}, z.core.$strict>>;
|
|
94
|
+
suites: z.ZodArray<z.ZodObject<{
|
|
95
|
+
id: z.ZodString;
|
|
96
|
+
label: z.ZodString;
|
|
97
|
+
scope: z.ZodEnum<{
|
|
98
|
+
profile: "profile";
|
|
99
|
+
component: "component";
|
|
100
|
+
}>;
|
|
101
|
+
definitionIds: z.ZodArray<z.ZodString>;
|
|
102
|
+
}, z.core.$strict>>;
|
|
103
|
+
}, z.core.$strict>;
|
|
104
|
+
export type ProfileEvaluationCatalog = z.infer<typeof ProfileEvaluationCatalogSchema>;
|
|
105
|
+
export type ProfileEvaluationDefinition = z.infer<typeof ProfileEvaluationDefinitionSchema>;
|
|
106
|
+
/** Added to a Taskset run manifest only when a Profile component supplies the
|
|
107
|
+
* candidate behavior. It does not change the Taskset's frozen cases/graders. */
|
|
108
|
+
export declare const ProfileEvaluationRunSourceSchema: z.ZodObject<{
|
|
109
|
+
profileId: z.ZodString;
|
|
110
|
+
sourceRevision: z.ZodString;
|
|
111
|
+
harnessRelease: z.ZodObject<{
|
|
112
|
+
id: z.ZodString;
|
|
113
|
+
contentHash: z.ZodString;
|
|
114
|
+
}, z.core.$strict>;
|
|
115
|
+
catalogHash: z.ZodString;
|
|
116
|
+
definitionId: z.ZodString;
|
|
117
|
+
definitionHash: z.ZodString;
|
|
118
|
+
target: z.ZodDiscriminatedUnion<[z.ZodObject<{
|
|
119
|
+
kind: z.ZodLiteral<"profile">;
|
|
120
|
+
}, z.core.$strict>, z.ZodObject<{
|
|
121
|
+
kind: z.ZodLiteral<"workflow">;
|
|
122
|
+
workflowId: z.ZodString;
|
|
123
|
+
}, z.core.$strict>, z.ZodObject<{
|
|
124
|
+
kind: z.ZodLiteral<"skill">;
|
|
125
|
+
skillPath: z.ZodString;
|
|
126
|
+
}, z.core.$strict>, z.ZodObject<{
|
|
127
|
+
kind: z.ZodLiteral<"agent_action">;
|
|
128
|
+
actionId: z.ZodString;
|
|
129
|
+
}, z.core.$strict>], "kind">;
|
|
130
|
+
environmentHash: z.ZodString;
|
|
131
|
+
}, z.core.$strict>;
|
|
132
|
+
export type ProfileEvaluationRunSource = z.infer<typeof ProfileEvaluationRunSourceSchema>;
|
|
133
|
+
/** Validate component and suite references against the same Profile release. */
|
|
134
|
+
export declare function validateProfileEvaluationCatalog(input: {
|
|
135
|
+
catalog: unknown;
|
|
136
|
+
workflowIds: ReadonlySet<string>;
|
|
137
|
+
skillPaths: ReadonlySet<string>;
|
|
138
|
+
actionIds: ReadonlySet<string>;
|
|
139
|
+
}): {
|
|
140
|
+
catalog: ProfileEvaluationCatalog;
|
|
141
|
+
contentHash: string;
|
|
142
|
+
};
|
|
143
|
+
export declare function resolveProfileEvaluationRunSource(input: {
|
|
144
|
+
catalog: ProfileEvaluationCatalog;
|
|
145
|
+
definitionId: string;
|
|
146
|
+
profileId: string;
|
|
147
|
+
sourceRevision: string;
|
|
148
|
+
harnessRelease: {
|
|
149
|
+
id: string;
|
|
150
|
+
contentHash: string;
|
|
151
|
+
};
|
|
152
|
+
environmentHash: string;
|
|
153
|
+
}): ProfileEvaluationRunSource;
|
|
154
|
+
/** Evaluation definitions are read from the verifier-only bytes of an exact
|
|
155
|
+
* released source package. The caller must never forward this asset to the
|
|
156
|
+
* model-visible policy surface. */
|
|
157
|
+
export declare function loadReleasedProfileEvaluationCatalog(value: unknown): {
|
|
158
|
+
catalog: ProfileEvaluationCatalog;
|
|
159
|
+
catalogHash: string;
|
|
160
|
+
harnessRelease: {
|
|
161
|
+
id: string;
|
|
162
|
+
contentHash: string;
|
|
163
|
+
};
|
|
164
|
+
};
|
|
165
|
+
/** For a local release whose caller already verified its full file inventory. */
|
|
166
|
+
export declare function loadReleasedProfileEvaluationCatalogAssets(input: {
|
|
167
|
+
agentSnapshot: AgentSnapshot;
|
|
168
|
+
harnessRelease: HarnessRelease;
|
|
169
|
+
catalogBytes?: Uint8Array;
|
|
170
|
+
workflowBytes?: Uint8Array;
|
|
171
|
+
actionBytes?: Uint8Array;
|
|
172
|
+
}): {
|
|
173
|
+
catalog: ProfileEvaluationCatalog;
|
|
174
|
+
catalogHash: string;
|
|
175
|
+
};
|
|
176
|
+
//# sourceMappingURL=profile-evaluations.d.ts.map
|
|
@@ -0,0 +1 @@
|
|
|
1
|
+
{"version":3,"file":"profile-evaluations.d.ts","sourceRoot":"","sources":["../../../../src/profile-evaluations.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAExB,OAAO,EAGyB,KAAK,aAAa,EAAE,KAAK,cAAc,EACtE,MAAM,mBAAmB,CAAC;AAS3B;yEACyE;AACzE,eAAO,MAAM,6BAA6B;;;;;;;;;;;4BAKxC,CAAC;AAEH,eAAO,MAAM,iCAAiC;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAoB5C,CAAC;AAEH,eAAO,MAAM,4BAA4B;;;;;;;;kBAK9B,CAAC;AAEZ,eAAO,MAAM,8BAA8B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAIhC,CAAC;AAEZ,MAAM,MAAM,wBAAwB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,8BAA8B,CAAC,CAAC;AACtF,MAAM,MAAM,2BAA2B,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,iCAAiC,CAAC,CAAC;AAE5F;gFACgF;AAChF,eAAO,MAAM,gCAAgC;;;;;;;;;;;;;;;;;;;;;;;kBASlC,CAAC;AACZ,MAAM,MAAM,0BAA0B,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,gCAAgC,CAAC,CAAC;AAE1F,gFAAgF;AAChF,wBAAgB,gCAAgC,CAAC,KAAK,EAAE;IACtD,OAAO,EAAE,OAAO,CAAC;IACjB,WAAW,EAAE,WAAW,CAAC,MAAM,CAAC,CAAC;IACjC,UAAU,EAAE,WAAW,CAAC,MAAM,CAAC,CAAC;IAChC,SAAS,EAAE,WAAW,CAAC,MAAM,CAAC,CAAC;CAChC,GAAG;IAAE,OAAO,EAAE,wBAAwB,CAAC;IAAC,WAAW,EAAE,MAAM,CAAA;CAAE,CA+B7D;AAED,wBAAgB,iCAAiC,CAAC,KAAK,EAAE;IACvD,OAAO,EAAE,wBAAwB,CAAC;IAClC,YAAY,EAAE,MAAM,CAAC;IACrB,SAAS,EAAE,MAAM,CAAC;IAClB,cAAc,EAAE,MAAM,CAAC;IACvB,cAAc,EAAE;QAAE,EAAE,EAAE,MAAM,CAAC;QAAC,WAAW,EAAE,MAAM,CAAA;KAAE,CAAC;IACpD,eAAe,EAAE,MAAM,CAAC;CACzB,GAAG,0BAA0B,CAc7B;AAED;;mCAEmC;AACnC,wBAAgB,oCAAoC,CAAC,KAAK,EAAE,OAAO,GAAG;IACpE,OAAO,EAAE,wBAAwB,CAAC;IAClC,WAAW,EAAE,MAAM,CAAC;IACpB,cAAc,EAAE;QAAE,EAAE,EAAE,MAAM,CAAC;QAAC,WAAW,EAAE,MAAM,CAAA;KAAE,CAAC;CACrD,CAaA;AAED,iFAAiF;AACjF,wBAAgB,0CAA0C,CAAC,KAAK,EAAE;IAChE,aAAa,EAAE,aAAa,CAAC;IAC7B,cAAc,EAAE,cAAc,CAAC;IAC/B,YAAY,CAAC,EAAE,UAAU,CAAC;IAC1B,aAAa,CAAC,EAAE,UAAU,CAAC;IAC3B,WAAW,CAAC,EAAE,UAAU,CAAC;CAC1B,GAAG;IAAE,OAAO,EAAE,wBAAwB,CAAC;IAAC,WAAW,EAAE,MAAM,CAAA;CAAE,CAqB7D"}
|
|
@@ -62,7 +62,7 @@ export declare const harnessEvaluationReviewConformance: {
|
|
|
62
62
|
} | null;
|
|
63
63
|
classification: "runtime" | "taskset" | "no_action" | "harness_maintenance" | "product" | "model_improvement";
|
|
64
64
|
triage: {
|
|
65
|
-
layer: "model" | "
|
|
65
|
+
layer: "model" | "runtime" | "tools" | "evaluation" | "harness" | "product" | "retrieval";
|
|
66
66
|
status: "blocked" | "resolved" | "not_applicable" | "unresolved";
|
|
67
67
|
reason: string;
|
|
68
68
|
evidenceRefs: {
|
|
@@ -153,7 +153,7 @@ export declare const harnessEvaluationReviewConformance: {
|
|
|
153
153
|
} | null;
|
|
154
154
|
classification: "runtime" | "taskset" | "no_action" | "harness_maintenance" | "product" | "model_improvement";
|
|
155
155
|
triage: {
|
|
156
|
-
layer: "model" | "
|
|
156
|
+
layer: "model" | "runtime" | "tools" | "evaluation" | "harness" | "product" | "retrieval";
|
|
157
157
|
status: "blocked" | "resolved" | "not_applicable" | "unresolved";
|
|
158
158
|
reason: string;
|
|
159
159
|
evidenceRefs: {
|
|
@@ -244,7 +244,7 @@ export declare const harnessEvaluationReviewConformance: {
|
|
|
244
244
|
} | null;
|
|
245
245
|
classification: "runtime" | "taskset" | "no_action" | "harness_maintenance" | "product" | "model_improvement";
|
|
246
246
|
triage: {
|
|
247
|
-
layer: "model" | "
|
|
247
|
+
layer: "model" | "runtime" | "tools" | "evaluation" | "harness" | "product" | "retrieval";
|
|
248
248
|
status: "blocked" | "resolved" | "not_applicable" | "unresolved";
|
|
249
249
|
reason: string;
|
|
250
250
|
evidenceRefs: {
|
|
@@ -335,7 +335,7 @@ export declare const harnessEvaluationReviewConformance: {
|
|
|
335
335
|
} | null;
|
|
336
336
|
classification: "runtime" | "taskset" | "no_action" | "harness_maintenance" | "product" | "model_improvement";
|
|
337
337
|
triage: {
|
|
338
|
-
layer: "model" | "
|
|
338
|
+
layer: "model" | "runtime" | "tools" | "evaluation" | "harness" | "product" | "retrieval";
|
|
339
339
|
status: "blocked" | "resolved" | "not_applicable" | "unresolved";
|
|
340
340
|
reason: string;
|
|
341
341
|
evidenceRefs: {
|
|
@@ -580,7 +580,7 @@ export declare const harnessEvaluationReviewConformance: {
|
|
|
580
580
|
} | null;
|
|
581
581
|
classification: "runtime" | "taskset" | "no_action" | "harness_maintenance" | "product" | "model_improvement";
|
|
582
582
|
triage: {
|
|
583
|
-
layer: "model" | "
|
|
583
|
+
layer: "model" | "runtime" | "tools" | "evaluation" | "harness" | "product" | "retrieval";
|
|
584
584
|
status: "blocked" | "resolved" | "not_applicable" | "unresolved";
|
|
585
585
|
reason: string;
|
|
586
586
|
evidenceRefs: {
|
package/dist/types/rewards.d.ts
CHANGED
|
@@ -40,6 +40,10 @@ export declare const RewardImplementationSchema: z.ZodUnion<readonly [z.ZodObjec
|
|
|
40
40
|
timeoutMs: z.ZodNumber;
|
|
41
41
|
networkPolicy: z.ZodLiteral<"none">;
|
|
42
42
|
kind: z.ZodLiteral<"custom_verifier">;
|
|
43
|
+
runtime: z.ZodOptional<z.ZodEnum<{
|
|
44
|
+
isolated_javascript: "isolated_javascript";
|
|
45
|
+
sandbox_process: "sandbox_process";
|
|
46
|
+
}>>;
|
|
43
47
|
verifierRef: z.ZodObject<{
|
|
44
48
|
id: z.ZodString;
|
|
45
49
|
path: z.ZodString;
|
|
@@ -131,6 +135,10 @@ export declare const RewardReleaseContentSchema: z.ZodObject<{
|
|
|
131
135
|
timeoutMs: z.ZodNumber;
|
|
132
136
|
networkPolicy: z.ZodLiteral<"none">;
|
|
133
137
|
kind: z.ZodLiteral<"custom_verifier">;
|
|
138
|
+
runtime: z.ZodOptional<z.ZodEnum<{
|
|
139
|
+
isolated_javascript: "isolated_javascript";
|
|
140
|
+
sandbox_process: "sandbox_process";
|
|
141
|
+
}>>;
|
|
134
142
|
verifierRef: z.ZodObject<{
|
|
135
143
|
id: z.ZodString;
|
|
136
144
|
path: z.ZodString;
|
|
@@ -256,6 +264,10 @@ export declare const RewardReleaseSchema: z.ZodObject<{
|
|
|
256
264
|
timeoutMs: z.ZodNumber;
|
|
257
265
|
networkPolicy: z.ZodLiteral<"none">;
|
|
258
266
|
kind: z.ZodLiteral<"custom_verifier">;
|
|
267
|
+
runtime: z.ZodOptional<z.ZodEnum<{
|
|
268
|
+
isolated_javascript: "isolated_javascript";
|
|
269
|
+
sandbox_process: "sandbox_process";
|
|
270
|
+
}>>;
|
|
259
271
|
verifierRef: z.ZodObject<{
|
|
260
272
|
id: z.ZodString;
|
|
261
273
|
path: z.ZodString;
|
|
@@ -1 +1 @@
|
|
|
1
|
-
{"version":3,"file":"rewards.d.ts","sourceRoot":"","sources":["../../../../src/rewards.ts"],"names":[],"mappings":"AACA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAGxB,OAAO,EAAuC,KAAK,eAAe,EAAE,KAAK,oBAAoB,EAAE,KAAK,gBAAgB,EAAE,MAAM,cAAc,CAAC;AAC3I,OAAO,EAAsI,KAAK,UAAU,EAAE,KAAK,UAAU,EAAE,MAAM,eAAe,CAAC;AAIrM,eAAO,MAAM,0BAA0B
|
|
1
|
+
{"version":3,"file":"rewards.d.ts","sourceRoot":"","sources":["../../../../src/rewards.ts"],"names":[],"mappings":"AACA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAGxB,OAAO,EAAuC,KAAK,eAAe,EAAE,KAAK,oBAAoB,EAAE,KAAK,gBAAgB,EAAE,MAAM,cAAc,CAAC;AAC3I,OAAO,EAAsI,KAAK,UAAU,EAAE,KAAK,UAAU,EAAE,MAAM,eAAe,CAAC;AAIrM,eAAO,MAAM,0BAA0B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;oBAMrC,CAAC;AAEH,eAAO,MAAM,0BAA0B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAmBrC,CAAC;AACH,eAAO,MAAM,mBAAmB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAAqF,CAAC;AACtH,eAAO,MAAM,sBAAsB;;;;kBAAuF,CAAC;AAE3H,eAAO,MAAM,yBAAyB;;;;;;;;;;4BAGpC,CAAC;AACH,eAAO,MAAM,yBAAyB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAU3B,CAAC;AACZ,eAAO,MAAM,0BAA0B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAmBrC,CAAC;AACH,eAAO,MAAM,mBAAmB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAAqF,CAAC;AAEtH,eAAO,MAAM,uBAAuB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAWzB,CAAC;AACZ,eAAO,MAAM,8BAA8B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAQhC,CAAC;AACZ,eAAO,MAAM,uBAAuB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAAqF,CAAC;AAE1H,MAAM,MAAM,aAAa,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,mBAAmB,CAAC,CAAC;AAChE,MAAM,MAAM,aAAa,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,mBAAmB,CAAC,CAAC;AAChE,MAAM,MAAM,iBAAiB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,uBAAuB,CAAC,CAAC;AACxE,MAAM,MAAM,iBAAiB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,uBAAuB,CAAC,CAAC;AACxE,MAAM,MAAM,mBAAmB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,yBAAyB,CAAC,CAAC;AAC5E,MAAM,MAAM,mBAAmB,GAAG,CAAC,KAAK,EAAE;IAAE,MAAM,EAAE,aAAa,CAAC;IAAC,IAAI,EAAE,UAAU,CAAC;IAAC,QAAQ,EAAE,eAAe,CAAC;IAAC,MAAM,CAAC,EAAE,WAAW,CAAA;CAAE,KAAK,OAAO,CAAC;IAAE,QAAQ,EAAE,MAAM,CAAC;IAAC,MAAM,EAAE,OAAO,CAAC;IAAC,cAAc,EAAE,MAAM,EAAE,CAAA;CAAE,CAAC,CAAC;AAEpN,wBAAgB,mBAAmB,CAAC,KAAK,EAAE,CAAC,CAAC,KAAK,CAAC,OAAO,0BAA0B,CAAC,GAAG,aAAa,CAIpG;AAED,wBAAgB,mBAAmB,CAAC,KAAK,EAAE,CAAC,CAAC,KAAK,CAAC,OAAO,0BAA0B,CAAC,EAAE,OAAO,EAAE,aAAa,EAAE,GAAG,aAAa,CAK9H;AAED,wBAAgB,mBAAmB,CAAC,KAAK,EAAE,aAAa,EAAE,OAAO,EAAE,aAAa,EAAE,GAAG,KAAK,CAAC;IAAE,MAAM,EAAE,mBAAmB,CAAC;IAAC,MAAM,EAAE,aAAa,CAAA;CAAE,CAAC,CAajJ;AAED,wBAAgB,mBAAmB,CAAC,OAAO,EAAE,aAAa,EAAE,OAAO,EAAE,aAAa,EAAE,GAAG,UAAU,EAAE,CAKlG;AAED,wBAAsB,oBAAoB,CAAC,KAAK,EAAE;IAChD,OAAO,EAAE,aAAa,CAAC;IACvB,OAAO,EAAE,aAAa,EAAE,CAAC;IACzB,IAAI,EAAE,UAAU,CAAC;IACjB,QAAQ,EAAE,eAAe,CAAC;IAC1B,UAAU,CAAC,EAAE,gBAAgB,CAAC;IAC9B,cAAc,CAAC,EAAE,oBAAoB,CAAC;IACtC,aAAa,CAAC,EAAE,mBAAmB,CAAC;IACpC,MAAM,CAAC,EAAE,WAAW,CAAC;IACrB,OAAO,CAAC,EAAE,SAAS,GAAG,qBAAqB,CAAC;CAC7C,GAAG,OAAO,CAAC,iBAAiB,CAAC,CAmC7B;AAED,wBAAgB,mBAAmB,CAAC,KAAK,EAAE;IAAE,OAAO,EAAE,aAAa,CAAC;IAAC,QAAQ,EAAE,MAAM,CAAC;IAAC,UAAU,EAAE,MAAM,CAAC;IAAC,OAAO,EAAE,iBAAiB,EAAE,CAAA;CAAE,GAAG,iBAAiB,CA4C5J;AAED,wBAAgB,gBAAgB,CAAC,KAAK,EAAE;IAAE,WAAW,EAAE,MAAM,CAAA;CAAE,GAAG,IAAI,CAGrE"}
|