@openpond/evals 0.11.21 → 0.12.1

package/dist/types/learning/authoring.d.ts

@@ -11,8 +11,8 @@ export declare const RewardFixtureAuthoringFieldsSchema: z.ZodObject<{
     runtimeEventRefs: z.ZodArray<z.ZodString>;
     infrastructureError: z.ZodString;
     expectedStatus: z.ZodEnum<{
-        pending: "pending";
         failed: "failed";
+        pending: "pending";
         scored: "scored";
         unavailable: "unavailable";
     }>;
@@ -20,8 +20,8 @@ export declare const RewardFixtureAuthoringFieldsSchema: z.ZodObject<{
     maximumScore: z.ZodString;
     expectedPassed: z.ZodEnum<{
         any: "any";
-        true: "true";
         false: "false";
+        true: "true";
     }>;
     sourceLabel: z.ZodOptional<z.ZodObject<{
         evidence: z.ZodObject<{
@@ -41,15 +41,15 @@ export declare const RewardAuthoringFieldsSchema: z.ZodObject<{
     description: z.ZodString;
     feedbackKey: z.ZodOptional<z.ZodString>;
     kind: z.ZodEnum<{
-        content: "content";
-        schema: "schema";
         artifact: "artifact";
-        runtime_event: "runtime_event";
-        state: "state";
-        model_judge: "model_judge";
+        content: "content";
         custom_verifier: "custom_verifier";
         human: "human";
         learned_model: "learned_model";
+        model_judge: "model_judge";
+        runtime_event: "runtime_event";
+        schema: "schema";
+        state: "state";
     }>;
     fields: z.ZodString;
     outputField: z.ZodString;
@@ -88,8 +88,8 @@ export declare const RewardAuthoringFieldsSchema: z.ZodObject<{
         runtimeEventRefs: z.ZodArray<z.ZodString>;
         infrastructureError: z.ZodString;
         expectedStatus: z.ZodEnum<{
-            pending: "pending";
             failed: "failed";
+            pending: "pending";
             scored: "scored";
             unavailable: "unavailable";
         }>;
@@ -97,8 +97,8 @@ export declare const RewardAuthoringFieldsSchema: z.ZodObject<{
         maximumScore: z.ZodString;
         expectedPassed: z.ZodEnum<{
             any: "any";
-            true: "true";
             false: "false";
+            true: "true";
         }>;
         sourceLabel: z.ZodOptional<z.ZodObject<{
             evidence: z.ZodObject<{
@@ -122,6 +122,7 @@ export declare const TaskFormatAuthoringFieldsSchema: z.ZodObject<{
     familyNamespace: z.ZodString;
     sources: z.ZodArray<z.ZodObject<{
         graderId: z.ZodString;
+        taskIds: z.ZodOptional<z.ZodArray<z.ZodString>>;
         reward: z.ZodObject<{
             id: z.ZodString;
             contentHash: z.ZodString;
@@ -162,6 +163,7 @@ export declare const CombinedRewardAuthoringFieldsSchema: z.ZodObject<{
     description: z.ZodString;
     sources: z.ZodArray<z.ZodObject<{
         graderId: z.ZodString;
+        taskIds: z.ZodOptional<z.ZodArray<z.ZodString>>;
         reward: z.ZodObject<{
             id: z.ZodString;
             contentHash: z.ZodString;
@@ -193,9 +195,9 @@ export declare const CombinedRewardAuthoringFieldsSchema: z.ZodObject<{
     }, z.core.$strict>>;
 }, z.core.$strict>;
 export declare const AuthoringTargetKindSchema: z.ZodEnum<{
-    reward: "reward";
     binding: "binding";
     definition: "definition";
+    reward: "reward";
 }>;
 export declare const AuthoringDraftInputSchema: z.ZodDiscriminatedUnion<[z.ZodObject<{
     id: z.ZodString;
@@ -216,6 +218,7 @@ export declare const AuthoringDraftInputSchema: z.ZodDiscriminatedUnion<[z.ZodOb
         familyNamespace: z.ZodString;
         sources: z.ZodArray<z.ZodObject<{
             graderId: z.ZodString;
+            taskIds: z.ZodOptional<z.ZodArray<z.ZodString>>;
             reward: z.ZodObject<{
                 id: z.ZodString;
                 contentHash: z.ZodString;
@@ -266,15 +269,15 @@ export declare const AuthoringDraftInputSchema: z.ZodDiscriminatedUnion<[z.ZodOb
         description: z.ZodString;
         feedbackKey: z.ZodOptional<z.ZodString>;
         kind: z.ZodEnum<{
-            content: "content";
-            schema: "schema";
             artifact: "artifact";
-            runtime_event: "runtime_event";
-            state: "state";
-            model_judge: "model_judge";
+            content: "content";
             custom_verifier: "custom_verifier";
             human: "human";
             learned_model: "learned_model";
+            model_judge: "model_judge";
+            runtime_event: "runtime_event";
+            schema: "schema";
+            state: "state";
         }>;
         fields: z.ZodString;
         outputField: z.ZodString;
@@ -313,8 +316,8 @@ export declare const AuthoringDraftInputSchema: z.ZodDiscriminatedUnion<[z.ZodOb
             runtimeEventRefs: z.ZodArray<z.ZodString>;
             infrastructureError: z.ZodString;
             expectedStatus: z.ZodEnum<{
-                pending: "pending";
                 failed: "failed";
+                pending: "pending";
                 scored: "scored";
                 unavailable: "unavailable";
             }>;
@@ -322,8 +325,8 @@ export declare const AuthoringDraftInputSchema: z.ZodDiscriminatedUnion<[z.ZodOb
             maximumScore: z.ZodString;
             expectedPassed: z.ZodEnum<{
                 any: "any";
-                true: "true";
                 false: "false";
+                true: "true";
             }>;
             sourceLabel: z.ZodOptional<z.ZodObject<{
                 evidence: z.ZodObject<{
@@ -353,6 +356,7 @@ export declare const AuthoringDraftInputSchema: z.ZodDiscriminatedUnion<[z.ZodOb
         description: z.ZodString;
         sources: z.ZodArray<z.ZodObject<{
             graderId: z.ZodString;
+            taskIds: z.ZodOptional<z.ZodArray<z.ZodString>>;
             reward: z.ZodObject<{
                 id: z.ZodString;
                 contentHash: z.ZodString;
@@ -403,6 +407,7 @@ export declare const AuthoringDraftContentSchema: z.ZodDiscriminatedUnion<[z.Zod
         familyNamespace: z.ZodString;
         sources: z.ZodArray<z.ZodObject<{
             graderId: z.ZodString;
+            taskIds: z.ZodOptional<z.ZodArray<z.ZodString>>;
             reward: z.ZodObject<{
                 id: z.ZodString;
                 contentHash: z.ZodString;
@@ -441,8 +446,8 @@ export declare const AuthoringDraftContentSchema: z.ZodDiscriminatedUnion<[z.Zod
     schemaVersion: z.ZodLiteral<"openpond.authoringDraft.v1">;
     revision: z.ZodNumber;
     status: z.ZodEnum<{
-        draft: "draft";
         archived: "archived";
+        draft: "draft";
         published: "published";
     }>;
     publishedRelease: z.ZodNullable<z.ZodObject<{
@@ -467,15 +472,15 @@ export declare const AuthoringDraftContentSchema: z.ZodDiscriminatedUnion<[z.Zod
         description: z.ZodString;
         feedbackKey: z.ZodOptional<z.ZodString>;
         kind: z.ZodEnum<{
-            content: "content";
-            schema: "schema";
             artifact: "artifact";
-            runtime_event: "runtime_event";
-            state: "state";
-            model_judge: "model_judge";
+            content: "content";
             custom_verifier: "custom_verifier";
             human: "human";
             learned_model: "learned_model";
+            model_judge: "model_judge";
+            runtime_event: "runtime_event";
+            schema: "schema";
+            state: "state";
         }>;
         fields: z.ZodString;
         outputField: z.ZodString;
@@ -514,8 +519,8 @@ export declare const AuthoringDraftContentSchema: z.ZodDiscriminatedUnion<[z.Zod
             runtimeEventRefs: z.ZodArray<z.ZodString>;
             infrastructureError: z.ZodString;
             expectedStatus: z.ZodEnum<{
-                pending: "pending";
                 failed: "failed";
+                pending: "pending";
                 scored: "scored";
                 unavailable: "unavailable";
             }>;
@@ -523,8 +528,8 @@ export declare const AuthoringDraftContentSchema: z.ZodDiscriminatedUnion<[z.Zod
             maximumScore: z.ZodString;
             expectedPassed: z.ZodEnum<{
                 any: "any";
-                true: "true";
                 false: "false";
+                true: "true";
             }>;
             sourceLabel: z.ZodOptional<z.ZodObject<{
                 evidence: z.ZodObject<{
@@ -542,8 +547,8 @@ export declare const AuthoringDraftContentSchema: z.ZodDiscriminatedUnion<[z.Zod
     schemaVersion: z.ZodLiteral<"openpond.authoringDraft.v1">;
     revision: z.ZodNumber;
     status: z.ZodEnum<{
-        draft: "draft";
         archived: "archived";
+        draft: "draft";
         published: "published";
     }>;
     publishedRelease: z.ZodNullable<z.ZodObject<{
@@ -568,6 +573,7 @@ export declare const AuthoringDraftContentSchema: z.ZodDiscriminatedUnion<[z.Zod
         description: z.ZodString;
         sources: z.ZodArray<z.ZodObject<{
             graderId: z.ZodString;
+            taskIds: z.ZodOptional<z.ZodArray<z.ZodString>>;
             reward: z.ZodObject<{
                 id: z.ZodString;
                 contentHash: z.ZodString;
@@ -601,8 +607,8 @@ export declare const AuthoringDraftContentSchema: z.ZodDiscriminatedUnion<[z.Zod
     schemaVersion: z.ZodLiteral<"openpond.authoringDraft.v1">;
     revision: z.ZodNumber;
     status: z.ZodEnum<{
-        draft: "draft";
         archived: "archived";
+        draft: "draft";
         published: "published";
     }>;
     publishedRelease: z.ZodNullable<z.ZodObject<{
@@ -632,6 +638,7 @@ export declare const AuthoringDraftSchema: z.ZodDiscriminatedUnion<[z.ZodObject<
         familyNamespace: z.ZodString;
         sources: z.ZodArray<z.ZodObject<{
             graderId: z.ZodString;
+            taskIds: z.ZodOptional<z.ZodArray<z.ZodString>>;
             reward: z.ZodObject<{
                 id: z.ZodString;
                 contentHash: z.ZodString;
@@ -670,8 +677,8 @@ export declare const AuthoringDraftSchema: z.ZodDiscriminatedUnion<[z.ZodObject<
     schemaVersion: z.ZodLiteral<"openpond.authoringDraft.v1">;
     revision: z.ZodNumber;
     status: z.ZodEnum<{
-        draft: "draft";
         archived: "archived";
+        draft: "draft";
         published: "published";
     }>;
     publishedRelease: z.ZodNullable<z.ZodObject<{
@@ -697,15 +704,15 @@ export declare const AuthoringDraftSchema: z.ZodDiscriminatedUnion<[z.ZodObject<
         description: z.ZodString;
         feedbackKey: z.ZodOptional<z.ZodString>;
         kind: z.ZodEnum<{
-            content: "content";
-            schema: "schema";
             artifact: "artifact";
-            runtime_event: "runtime_event";
-            state: "state";
-            model_judge: "model_judge";
+            content: "content";
             custom_verifier: "custom_verifier";
             human: "human";
             learned_model: "learned_model";
+            model_judge: "model_judge";
+            runtime_event: "runtime_event";
+            schema: "schema";
+            state: "state";
         }>;
         fields: z.ZodString;
         outputField: z.ZodString;
@@ -744,8 +751,8 @@ export declare const AuthoringDraftSchema: z.ZodDiscriminatedUnion<[z.ZodObject<
             runtimeEventRefs: z.ZodArray<z.ZodString>;
             infrastructureError: z.ZodString;
             expectedStatus: z.ZodEnum<{
-                pending: "pending";
                 failed: "failed";
+                pending: "pending";
                 scored: "scored";
                 unavailable: "unavailable";
             }>;
@@ -753,8 +760,8 @@ export declare const AuthoringDraftSchema: z.ZodDiscriminatedUnion<[z.ZodObject<
             maximumScore: z.ZodString;
             expectedPassed: z.ZodEnum<{
                 any: "any";
-                true: "true";
                 false: "false";
+                true: "true";
             }>;
             sourceLabel: z.ZodOptional<z.ZodObject<{
                 evidence: z.ZodObject<{
@@ -772,8 +779,8 @@ export declare const AuthoringDraftSchema: z.ZodDiscriminatedUnion<[z.ZodObject<
     schemaVersion: z.ZodLiteral<"openpond.authoringDraft.v1">;
     revision: z.ZodNumber;
     status: z.ZodEnum<{
-        draft: "draft";
         archived: "archived";
+        draft: "draft";
         published: "published";
     }>;
     publishedRelease: z.ZodNullable<z.ZodObject<{
@@ -799,6 +806,7 @@ export declare const AuthoringDraftSchema: z.ZodDiscriminatedUnion<[z.ZodObject<
         description: z.ZodString;
         sources: z.ZodArray<z.ZodObject<{
             graderId: z.ZodString;
+            taskIds: z.ZodOptional<z.ZodArray<z.ZodString>>;
             reward: z.ZodObject<{
                 id: z.ZodString;
                 contentHash: z.ZodString;
@@ -832,8 +840,8 @@ export declare const AuthoringDraftSchema: z.ZodDiscriminatedUnion<[z.ZodObject<
     schemaVersion: z.ZodLiteral<"openpond.authoringDraft.v1">;
     revision: z.ZodNumber;
     status: z.ZodEnum<{
-        draft: "draft";
         archived: "archived";
+        draft: "draft";
         published: "published";
     }>;
     publishedRelease: z.ZodNullable<z.ZodObject<{
@@ -859,9 +867,9 @@ export declare const AuthoringDraftFinalizationSchema: z.ZodObject<{
         revision: z.ZodNumber;
     }, z.core.$strict>;
     targetKind: z.ZodEnum<{
-        reward: "reward";
         binding: "binding";
         definition: "definition";
+        reward: "reward";
     }>;
     release: z.ZodObject<{
         id: z.ZodString;

package/dist/types/learning/authoring.d.ts.map

@@ -1 +1 @@
-{"version":3,"file":"authoring.d.ts","sourceRoot":"","sources":["../../../../../src/learning/authoring.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAKxB,sFAAsF;AACtF,eAAO,MAAM,kCAAkC;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAQpC,CAAC;AACZ,MAAM,MAAM,4BAA4B,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,kCAAkC,CAAC,CAAC;AAE9F,eAAO,MAAM,2BAA2B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAU7B,CAAC;AACZ,eAAO,MAAM,+BAA+B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAIjC,CAAC;AACZ,eAAO,MAAM,mCAAmC;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAErC,CAAC;AACZ,eAAO,MAAM,yBAAyB;;;;EAA8C,CAAC;AAErF,eAAO,MAAM,yBAAyB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kCAIpC,CAAC;AAMH,eAAO,MAAM,2BAA2B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kCAAoO,CAAC;AAC7Q,eAAO,MAAM,oBAAoB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kCAA2T,CAAC;AAC7V,MAAM,MAAM,cAAc,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,oBAAoB,CAAC,CAAC;AAClE,MAAM,MAAM,mBAAmB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,yBAAyB,CAAC,CAAC;AAC5E,MAAM,MAAM,mBAAmB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,yBAAyB,CAAC,CAAC;AAC5E,MAAM,MAAM,iBAAiB,CAAC,CAAC,SAAS,mBAAmB,IAAI,OAAO,CAAC,cAAc,EAAE;IAAE,UAAU,EAAE,CAAC,CAAA;CAAE,CAAC,CAAC;AAE1G,sFAAsF;AACtF,eAAO,MAAM,gCAAgC;;;;;;;;;;;;;;;;kBAAqI,CAAC"}
+{"version":3,"file":"authoring.d.ts","sourceRoot":"","sources":["../../../src/learning/authoring.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAKxB,sFAAsF;AACtF,eAAO,MAAM,kCAAkC;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAQpC,CAAC;AACZ,MAAM,MAAM,4BAA4B,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,kCAAkC,CAAC,CAAC;AAE9F,eAAO,MAAM,2BAA2B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAU7B,CAAC;AACZ,eAAO,MAAM,+BAA+B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAIjC,CAAC;AACZ,eAAO,MAAM,mCAAmC;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAErC,CAAC;AACZ,eAAO,MAAM,yBAAyB;;;;EAA8C,CAAC;AAErF,eAAO,MAAM,yBAAyB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kCAIpC,CAAC;AAMH,eAAO,MAAM,2BAA2B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kCAAoO,CAAC;AAC7Q,eAAO,MAAM,oBAAoB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kCAA2T,CAAC;AAC7V,MAAM,MAAM,cAAc,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,oBAAoB,CAAC,CAAC;AAClE,MAAM,MAAM,mBAAmB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,yBAAyB,CAAC,CAAC;AAC5E,MAAM,MAAM,mBAAmB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,yBAAyB,CAAC,CAAC;AAC5E,MAAM,MAAM,iBAAiB,CAAC,CAAC,SAAS,mBAAmB,IAAI,OAAO,CAAC,cAAc,EAAE;IAAE,UAAU,EAAE,CAAC,CAAA;CAAE,CAAC,CAAC;AAE1G,sFAAsF;AACtF,eAAO,MAAM,gCAAgC;;;;;;;;;;;;;;;;kBAAqI,CAAC"}