@openpond/evals 0.5.0 → 0.7.0

package/dist/types/learning/transport.d.ts.map

@@ -0,0 +1 @@
+{"version":3,"file":"transport.d.ts","sourceRoot":"","sources":["../../../../../src/learning/transport.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAOxB,mFAAmF;AACnF,wBAAgB,yBAAyB,CAAC,GAAG,EAAE,OAAO,GAAG,IAAI,CAG5D;AAED,0FAA0F;AAC1F,eAAO,MAAM,4BAA4B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAAgF,CAAC;AAC1H,eAAO,MAAM,yBAAyB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;8BAGpC,CAAC;AACH,eAAO,MAAM,6BAA6B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAG/B,CAAC"}

package/dist/types/preferences.d.ts

@@ -10,10 +10,15 @@ export declare const PreferenceComparisonPurposeSchema: z.ZodEnum<{
     training_reward: "training_reward";
 }>;
 export declare const PreferenceReviewerKindSchema: z.ZodEnum<{
-    human: "human";
     model: "model";
+    human: "human";
+    fixture: "fixture";
     deterministic: "deterministic";
 }>;
+export declare const PreferenceRewardScopeSchema: z.ZodEnum<{
+    production: "production";
+    synthetic_smoke: "synthetic_smoke";
+}>;
 export declare const PreferenceRendererSchema: z.ZodEnum<{
     text: "text";
     code: "code";
@@ -290,17 +295,29 @@ export declare const PreferenceReceiptContentSchema: z.ZodObject<{
         id: z.ZodString;
         contentHash: z.ZodString;
     }, z.core.$strict>;
-    reviewer: z.ZodObject<{
+    reviewer: z.ZodDiscriminatedUnion<[z.ZodObject<{
         kind: z.ZodEnum<{
-            human: "human";
             model: "model";
+            human: "human";
             deterministic: "deterministic";
         }>;
         releaseRef: z.ZodObject<{
             id: z.ZodString;
             contentHash: z.ZodString;
         }, z.core.$strict>;
-    }, z.core.$strict>;
+    }, z.core.$strict>, z.ZodObject<{
+        kind: z.ZodLiteral<"fixture">;
+        releaseRef: z.ZodObject<{
+            id: z.ZodString;
+            contentHash: z.ZodString;
+        }, z.core.$strict>;
+        fixtureRelease: z.ZodObject<{
+            id: z.ZodString;
+            contentHash: z.ZodString;
+        }, z.core.$strict>;
+        labelSource: z.ZodLiteral<"synthetic">;
+        qualificationEligibility: z.ZodLiteral<"smoke_only">;
+    }, z.core.$strict>], "kind">;
     order: z.ZodArray<z.ZodArray<z.ZodString>>;
     rejectAll: z.ZodBoolean;
     criterionScores: z.ZodRecord<z.ZodString, z.ZodRecord<z.ZodString, z.ZodNumber>>;
@@ -321,17 +338,29 @@ export declare const PreferenceReceiptSchema: z.ZodObject<{
         id: z.ZodString;
         contentHash: z.ZodString;
     }, z.core.$strict>;
-    reviewer: z.ZodObject<{
+    reviewer: z.ZodDiscriminatedUnion<[z.ZodObject<{
         kind: z.ZodEnum<{
-            human: "human";
             model: "model";
+            human: "human";
             deterministic: "deterministic";
         }>;
         releaseRef: z.ZodObject<{
             id: z.ZodString;
             contentHash: z.ZodString;
         }, z.core.$strict>;
-    }, z.core.$strict>;
+    }, z.core.$strict>, z.ZodObject<{
+        kind: z.ZodLiteral<"fixture">;
+        releaseRef: z.ZodObject<{
+            id: z.ZodString;
+            contentHash: z.ZodString;
+        }, z.core.$strict>;
+        fixtureRelease: z.ZodObject<{
+            id: z.ZodString;
+            contentHash: z.ZodString;
+        }, z.core.$strict>;
+        labelSource: z.ZodLiteral<"synthetic">;
+        qualificationEligibility: z.ZodLiteral<"smoke_only">;
+    }, z.core.$strict>], "kind">;
     order: z.ZodArray<z.ZodArray<z.ZodString>>;
     rejectAll: z.ZodBoolean;
     criterionScores: z.ZodRecord<z.ZodString, z.ZodRecord<z.ZodString, z.ZodNumber>>;
@@ -474,6 +503,23 @@ export declare function createPreferenceReceipt(input: {
     completedAt: string;
     metadata?: Record<string, unknown>;
 }): PreferenceReceipt;
+export declare function createSyntheticFixturePreferenceReceipt(input: {
+    id: string;
+    assignment: ComparisonAssignment;
+    comparisonRelease: PreferenceComparisonRelease;
+    labelerRelease: {
+        id: string;
+        contentHash: string;
+    };
+    fixtureRelease: {
+        id: string;
+        contentHash: string;
+    };
+    ratings: Record<string, "love" | "like" | "reject">;
+    startedAt: string;
+    completedAt: string;
+    metadata?: Record<string, unknown>;
+}): PreferenceReceipt;
 export declare function verifyPreferenceReceipt(value: unknown): value is PreferenceReceipt;
 export declare function aggregatePreferenceReceipts(input: {
     id: string;
@@ -503,9 +549,11 @@ export declare function createPreferenceRewardComponents(input: {
     result: PreferenceReceipt | PreferenceAggregationReceipt;
     calibrationReport?: PreferenceCalibrationReport | null;
     candidates?: readonly PreferenceCandidateEligibility[];
+    rewardScope?: z.input<typeof PreferenceRewardScopeSchema>;
 }): Record<string, RewardComponentReceipt>;
 export type PreferenceComparisonPurpose = z.infer<typeof PreferenceComparisonPurposeSchema>;
 export type PreferenceReviewerKind = z.infer<typeof PreferenceReviewerKindSchema>;
+export type PreferenceRewardScope = z.infer<typeof PreferenceRewardScopeSchema>;
 export type PreferenceComparisonRelease = z.infer<typeof PreferenceComparisonReleaseSchema>;
 export type ComparisonAssignment = z.infer<typeof ComparisonAssignmentSchema>;
 export type PreferenceReceipt = z.infer<typeof PreferenceReceiptSchema>;

package/dist/types/preferences.d.ts.map

@@ -1 +1 @@
-{"version":3,"file":"preferences.d.ts","sourceRoot":"","sources":["../../../../src/preferences.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAExB,OAAO,EACL,0BAA0B,EAO3B,MAAM,mBAAmB,CAAC;AAE3B,OAAO,EAIL,KAAK,gBAAgB,EACrB,KAAK,YAAY,EACjB,KAAK,sBAAsB,EAC5B,MAAM,0BAA0B,CAAC;AAClC,OAAO,EAKL,KAAK,cAAc,EACnB,KAAK,2BAA2B,EAChC,KAAK,WAAW,EACjB,MAAM,WAAW,CAAC;AACnB,OAAO,EAGL,KAAK,cAAc,EACpB,MAAM,eAAe,CAAC;AAEvB,eAAO,MAAM,iCAAiC;;;;;EAK5C,CAAC;AACH,eAAO,MAAM,4BAA4B;;;;EAIvC,CAAC;AACH,eAAO,MAAM,wBAAwB;;;;;;EAMnC,CAAC;AAuDH,eAAO,MAAM,wCAAwC;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAsBnD,CAAC;AACH,eAAO,MAAM,iCAAiC;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAEnC,CAAC;AA6DZ,eAAO,MAAM,iCAAiC;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAAiC,CAAC;AAChF,eAAO,MAAM,0BAA0B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAQnC,CAAC;AA8BL,eAAO,MAAM,8BAA8B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAA8B,CAAC;AAC1E,eAAO,MAAM,uBAAuB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAEzB,CAAC;AAmBZ,eAAO,MAAM,yCAAyC;;;;;;;;;;;;;;;;;;;;;kBAA4B,CAAC;AACnF,eAAO,MAAM,kCAAkC;;;;;;;;;;;;;;;;;;;;;;kBAEpC,CAAC;AAiBZ,eAAO,MAAM,wCAAwC;;;;;;;;;;;;;;;;;;;;;;;;;;kBAAwC,CAAC;AAC9F,eAAO,MAAM,iCAAiC;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAEnC,CAAC;AAEZ,wBAAgB,iCAAiC,CAC/C,KAAK,EAAE,CAAC,CAAC,KAAK,CAAC,OAAO,wCAAwC,CAAC,GAC9D,2BAA2B,CAG7B;AAED,wBAAgB,iCAAiC,CAAC,KAAK,EAAE,OAAO,GAAG,KAAK,IAAI,2BAA2B,CAEtG;AAED,wBAAgB,0BAA0B,CAAC,KAAK,EAAE;IAChD,EAAE,EAAE,MAAM,CAAC;IACX,iBAAiB,EAAE,2BAA2B,CAAC;IAC/C,OAAO,EAAE,cAAc,CAAC;IACxB,UAAU,EAAE,SAAS,kCAAkC,EAAE,CAAC;IAC1D,4BAA4B,CAAC,EAAE,SAAS,2BAA2B,EAAE,CAAC;IACtE,OAAO,EAAE,2BAA2B,CAAC;IACrC,uBAAuB,CAAC,EAAE,SAAS,MAAM,EAAE,CAAC;IAC5C,SAAS,EAAE,MAAM,CAAC;IAClB,QAAQ,CAAC,EAAE,MAAM,CAAC,MAAM,EAAE,OAAO,CAAC,CAAC;CACpC,GAAG,oBAAoB,CA+DvB;AAED,wBAAgB,0BAA0B,CAAC,KAAK,EAAE,OAAO,GAAG,KAAK,IAAI,oBAAoB,CAExF;AAED,wBAAgB,4BAA4B,CAC1C,UAAU,EAAE,oBAAoB,EAChC,OAAO,EAAE,2BAA2B,GACnC,IAAI,CASN;AAED,wBAAgB,uBAAuB,CAAC,KAAK,EAAE;IAC7C,EAAE,EAAE,MAAM,CAAC;IACX,UAAU,EAAE,oBAAoB,CAAC;IACjC,iBAAiB,EAAE,2BAA2B,CAAC;IAC/C,QAAQ,EAAE,kBAAkB,CAAC;IAC7B,KAAK,EAAE,SAAS,CAAC,SAAS,MAAM,EAAE,CAAC,EAAE,CAAC;IACtC,SAAS,EAAE,OAAO,CAAC;IACnB,eAAe,CAAC,EAAE,MAAM,CAAC,MAAM,EAAE,MAAM,CAAC,MAAM,EAAE,MAAM,CAAC,CAAC,CAAC;IACzD,mBAAmB,CAAC,EAAE,CAAC,CAAC,KAAK,CAAC,OAAO,0BAA0B,CAAC,GAAG,IAAI,CAAC;IACxE,SAAS,EAAE,MAAM,CAAC;IAClB,WAAW,EAAE,MAAM,CAAC;IACpB,QAAQ,CAAC,EAAE,MAAM,CAAC,MAAM,EAAE,OAAO,CAAC,CAAC;CACpC,GAAG,iBAAiB,CAoBpB;AAED,wBAAgB,uBAAuB,CAAC,KAAK,EAAE,OAAO,GAAG,KAAK,IAAI,iBAAiB,CAElF;AAED,wBAAgB,2BAA2B,CAAC,KAAK,EAAE;IACjD,EAAE,EAAE,MAAM,CAAC;IACX,UAAU,EAAE,oBAAoB,CAAC;IACjC,iBAAiB,EAAE,2BAA2B,CAAC;IAC/C,QAAQ,EAAE,SAAS,iBAAiB,EAAE,CAAC;IACvC,SAAS,EAAE,MAAM,CAAC;IAClB,QAAQ,CAAC,EAAE,MAAM,CAAC,MAAM,EAAE,OAAO,CAAC,CAAC;CACpC,GAAG,4BAA4B,CAgC/B;AAED,wBAAgB,kCAAkC,CAAC,KAAK,EAAE,OAAO,GAAG,KAAK,IAAI,4BAA4B,CAExG;AAED,wBAAgB,iCAAiC,CAAC,KAAK,EAAE;IACvD,EAAE,EAAE,MAAM,CAAC;IACX,iBAAiB,EAAE,2BAA2B,CAAC;IAC/C,KAAK,EAAE,SAAS,yBAAyB,EAAE,CAAC;IAC5C,SAAS,EAAE,MAAM,CAAC;IAClB,QAAQ,CAAC,EAAE,MAAM,CAAC,MAAM,EAAE,OAAO,CAAC,CAAC;CACpC,GAAG,2BAA2B,CAkC9B;AAED,wBAAgB,iCAAiC,CAAC,KAAK,EAAE,OAAO,GAAG,KAAK,IAAI,2BAA2B,CAEtG;AAED,wBAAgB,0BAA0B,CAAC,KAAK,EAAE;IAChD,UAAU,EAAE,oBAAoB,CAAC;IACjC,iBAAiB,EAAE,2BAA2B,CAAC;IAC/C,MAAM,EAAE,iBAAiB,GAAG,4BAA4B,CAAC;CAC1D,GAAG,MAAM,CAAC,MAAM,EAAE,MAAM,CAAC,CAkBzB;AAED,wBAAgB,gCAAgC,CAAC,KAAK,EAAE;IACtD,UAAU,EAAE,oBAAoB,CAAC;IACjC,iBAAiB,EAAE,2BAA2B,CAAC;IAC/C,MAAM,EAAE,iBAAiB,GAAG,4BAA4B,CAAC;IACzD,iBAAiB,CAAC,EAAE,2BAA2B,GAAG,IAAI,CAAC;IACvD,UAAU,CAAC,EAAE,SAAS,8BAA8B,EAAE,CAAC;CACxD,GAAG,MAAM,CAAC,MAAM,EAAE,sBAAsB,CAAC,CA2DzC;AAmRD,MAAM,MAAM,2BAA2B,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,iCAAiC,CAAC,CAAC;AAC5F,MAAM,MAAM,sBAAsB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,4BAA4B,CAAC,CAAC;AAClF,MAAM,MAAM,2BAA2B,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,iCAAiC,CAAC,CAAC;AAC5F,MAAM,MAAM,oBAAoB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,0BAA0B,CAAC,CAAC;AAC9E,MAAM,MAAM,iBAAiB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,uBAAuB,CAAC,CAAC;AACxE,MAAM,MAAM,4BAA4B,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,kCAAkC,CAAC,CAAC;AAC9F,MAAM,MAAM,2BAA2B,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,iCAAiC,CAAC,CAAC;AAC5F,MAAM,MAAM,kBAAkB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,uBAAuB,CAAC,CAAC,UAAU,CAAC,CAAC;AACrF,MAAM,MAAM,kCAAkC,GAAG;IAC/C,OAAO,EAAE,cAAc,CAAC;IACxB,gBAAgB,EAAE,gBAAgB,CAAC;IACnC,WAAW,EAAE,WAAW,CAAC;IACzB,kBAAkB,EAAE,SAAS,MAAM,EAAE,CAAC;CACvC,CAAC;AACF,MAAM,MAAM,8BAA8B,GAAG;IAC3C,UAAU,EAAE;QAAE,EAAE,EAAE,MAAM,CAAC;QAAC,WAAW,EAAE,MAAM,CAAA;KAAE,CAAC;IAChD,QAAQ,EAAE,OAAO,CAAC;IAClB,YAAY,CAAC,EAAE,YAAY,CAAC;CAC7B,CAAC;AACF,MAAM,MAAM,yBAAyB,GAAG;IACtC,UAAU,EAAE,oBAAoB,CAAC;IACjC,KAAK,EAAE,iBAAiB,CAAC;IACzB,KAAK,EAAE,iBAAiB,CAAC;IACzB,YAAY,CAAC,EAAE,iBAAiB,CAAC;CAClC,CAAC"}
+{"version":3,"file":"preferences.d.ts","sourceRoot":"","sources":["../../../../src/preferences.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAExB,OAAO,EACL,0BAA0B,EAO3B,MAAM,mBAAmB,CAAC;AAE3B,OAAO,EAIL,KAAK,gBAAgB,EACrB,KAAK,YAAY,EACjB,KAAK,sBAAsB,EAC5B,MAAM,0BAA0B,CAAC;AAClC,OAAO,EAKL,KAAK,cAAc,EACnB,KAAK,2BAA2B,EAChC,KAAK,WAAW,EACjB,MAAM,WAAW,CAAC;AACnB,OAAO,EAGL,KAAK,cAAc,EACpB,MAAM,eAAe,CAAC;AAEvB,eAAO,MAAM,iCAAiC;;;;;EAK5C,CAAC;AACH,eAAO,MAAM,4BAA4B;;;;;EAKvC,CAAC;AACH,eAAO,MAAM,2BAA2B;;;EAGtC,CAAC;AACH,eAAO,MAAM,wBAAwB;;;;;;EAMnC,CAAC;AAuDH,eAAO,MAAM,wCAAwC;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAsBnD,CAAC;AACH,eAAO,MAAM,iCAAiC;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAEnC,CAAC;AA6DZ,eAAO,MAAM,iCAAiC;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAAiC,CAAC;AAChF,eAAO,MAAM,0BAA0B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAQnC,CAAC;AAyCL,eAAO,MAAM,8BAA8B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAA8B,CAAC;AAC1E,eAAO,MAAM,uBAAuB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAEzB,CAAC;AAmBZ,eAAO,MAAM,yCAAyC;;;;;;;;;;;;;;;;;;;;;kBAA4B,CAAC;AACnF,eAAO,MAAM,kCAAkC;;;;;;;;;;;;;;;;;;;;;;kBAEpC,CAAC;AAiBZ,eAAO,MAAM,wCAAwC;;;;;;;;;;;;;;;;;;;;;;;;;;kBAAwC,CAAC;AAC9F,eAAO,MAAM,iCAAiC;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAEnC,CAAC;AAEZ,wBAAgB,iCAAiC,CAC/C,KAAK,EAAE,CAAC,CAAC,KAAK,CAAC,OAAO,wCAAwC,CAAC,GAC9D,2BAA2B,CAG7B;AAED,wBAAgB,iCAAiC,CAAC,KAAK,EAAE,OAAO,GAAG,KAAK,IAAI,2BAA2B,CAEtG;AAED,wBAAgB,0BAA0B,CAAC,KAAK,EAAE;IAChD,EAAE,EAAE,MAAM,CAAC;IACX,iBAAiB,EAAE,2BAA2B,CAAC;IAC/C,OAAO,EAAE,cAAc,CAAC;IACxB,UAAU,EAAE,SAAS,kCAAkC,EAAE,CAAC;IAC1D,4BAA4B,CAAC,EAAE,SAAS,2BAA2B,EAAE,CAAC;IACtE,OAAO,EAAE,2BAA2B,CAAC;IACrC,uBAAuB,CAAC,EAAE,SAAS,MAAM,EAAE,CAAC;IAC5C,SAAS,EAAE,MAAM,CAAC;IAClB,QAAQ,CAAC,EAAE,MAAM,CAAC,MAAM,EAAE,OAAO,CAAC,CAAC;CACpC,GAAG,oBAAoB,CAoEvB;AAED,wBAAgB,0BAA0B,CAAC,KAAK,EAAE,OAAO,GAAG,KAAK,IAAI,oBAAoB,CAExF;AAED,wBAAgB,4BAA4B,CAC1C,UAAU,EAAE,oBAAoB,EAChC,OAAO,EAAE,2BAA2B,GACnC,IAAI,CASN;AAED,wBAAgB,uBAAuB,CAAC,KAAK,EAAE;IAC7C,EAAE,EAAE,MAAM,CAAC;IACX,UAAU,EAAE,oBAAoB,CAAC;IACjC,iBAAiB,EAAE,2BAA2B,CAAC;IAC/C,QAAQ,EAAE,kBAAkB,CAAC;IAC7B,KAAK,EAAE,SAAS,CAAC,SAAS,MAAM,EAAE,CAAC,EAAE,CAAC;IACtC,SAAS,EAAE,OAAO,CAAC;IACnB,eAAe,CAAC,EAAE,MAAM,CAAC,MAAM,EAAE,MAAM,CAAC,MAAM,EAAE,MAAM,CAAC,CAAC,CAAC;IACzD,mBAAmB,CAAC,EAAE,CAAC,CAAC,KAAK,CAAC,OAAO,0BAA0B,CAAC,GAAG,IAAI,CAAC;IACxE,SAAS,EAAE,MAAM,CAAC;IAClB,WAAW,EAAE,MAAM,CAAC;IACpB,QAAQ,CAAC,EAAE,MAAM,CAAC,MAAM,EAAE,OAAO,CAAC,CAAC;CACpC,GAAG,iBAAiB,CAoBpB;AAED,wBAAgB,uCAAuC,CAAC,KAAK,EAAE;IAC7D,EAAE,EAAE,MAAM,CAAC;IACX,UAAU,EAAE,oBAAoB,CAAC;IACjC,iBAAiB,EAAE,2BAA2B,CAAC;IAC/C,cAAc,EAAE;QAAE,EAAE,EAAE,MAAM,CAAC;QAAC,WAAW,EAAE,MAAM,CAAA;KAAE,CAAC;IACpD,cAAc,EAAE;QAAE,EAAE,EAAE,MAAM,CAAC;QAAC,WAAW,EAAE,MAAM,CAAA;KAAE,CAAC;IACpD,OAAO,EAAE,MAAM,CAAC,MAAM,EAAE,MAAM,GAAG,MAAM,GAAG,QAAQ,CAAC,CAAC;IACpD,SAAS,EAAE,MAAM,CAAC;IAClB,WAAW,EAAE,MAAM,CAAC;IACpB,QAAQ,CAAC,EAAE,MAAM,CAAC,MAAM,EAAE,OAAO,CAAC,CAAC;CACpC,GAAG,iBAAiB,CAwCpB;AAED,wBAAgB,uBAAuB,CAAC,KAAK,EAAE,OAAO,GAAG,KAAK,IAAI,iBAAiB,CAElF;AAED,wBAAgB,2BAA2B,CAAC,KAAK,EAAE;IACjD,EAAE,EAAE,MAAM,CAAC;IACX,UAAU,EAAE,oBAAoB,CAAC;IACjC,iBAAiB,EAAE,2BAA2B,CAAC;IAC/C,QAAQ,EAAE,SAAS,iBAAiB,EAAE,CAAC;IACvC,SAAS,EAAE,MAAM,CAAC;IAClB,QAAQ,CAAC,EAAE,MAAM,CAAC,MAAM,EAAE,OAAO,CAAC,CAAC;CACpC,GAAG,4BAA4B,CAgC/B;AAED,wBAAgB,kCAAkC,CAAC,KAAK,EAAE,OAAO,GAAG,KAAK,IAAI,4BAA4B,CAExG;AAED,wBAAgB,iCAAiC,CAAC,KAAK,EAAE;IACvD,EAAE,EAAE,MAAM,CAAC;IACX,iBAAiB,EAAE,2BAA2B,CAAC;IAC/C,KAAK,EAAE,SAAS,yBAAyB,EAAE,CAAC;IAC5C,SAAS,EAAE,MAAM,CAAC;IAClB,QAAQ,CAAC,EAAE,MAAM,CAAC,MAAM,EAAE,OAAO,CAAC,CAAC;CACpC,GAAG,2BAA2B,CAkC9B;AAED,wBAAgB,iCAAiC,CAAC,KAAK,EAAE,OAAO,GAAG,KAAK,IAAI,2BAA2B,CAEtG;AAED,wBAAgB,0BAA0B,CAAC,KAAK,EAAE;IAChD,UAAU,EAAE,oBAAoB,CAAC;IACjC,iBAAiB,EAAE,2BAA2B,CAAC;IAC/C,MAAM,EAAE,iBAAiB,GAAG,4BAA4B,CAAC;CAC1D,GAAG,MAAM,CAAC,MAAM,EAAE,MAAM,CAAC,CAkBzB;AAED,wBAAgB,gCAAgC,CAAC,KAAK,EAAE;IACtD,UAAU,EAAE,oBAAoB,CAAC;IACjC,iBAAiB,EAAE,2BAA2B,CAAC;IAC/C,MAAM,EAAE,iBAAiB,GAAG,4BAA4B,CAAC;IACzD,iBAAiB,CAAC,EAAE,2BAA2B,GAAG,IAAI,CAAC;IACvD,UAAU,CAAC,EAAE,SAAS,8BAA8B,EAAE,CAAC;IACvD,WAAW,CAAC,EAAE,CAAC,CAAC,KAAK,CAAC,OAAO,2BAA2B,CAAC,CAAC;CAC3D,GAAG,MAAM,CAAC,MAAM,EAAE,sBAAsB,CAAC,CAmEzC;AA0RD,MAAM,MAAM,2BAA2B,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,iCAAiC,CAAC,CAAC;AAC5F,MAAM,MAAM,sBAAsB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,4BAA4B,CAAC,CAAC;AAClF,MAAM,MAAM,qBAAqB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,2BAA2B,CAAC,CAAC;AAChF,MAAM,MAAM,2BAA2B,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,iCAAiC,CAAC,CAAC;AAC5F,MAAM,MAAM,oBAAoB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,0BAA0B,CAAC,CAAC;AAC9E,MAAM,MAAM,iBAAiB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,uBAAuB,CAAC,CAAC;AACxE,MAAM,MAAM,4BAA4B,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,kCAAkC,CAAC,CAAC;AAC9F,MAAM,MAAM,2BAA2B,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,iCAAiC,CAAC,CAAC;AAC5F,MAAM,MAAM,kBAAkB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,uBAAuB,CAAC,CAAC,UAAU,CAAC,CAAC;AACrF,MAAM,MAAM,kCAAkC,GAAG;IAC/C,OAAO,EAAE,cAAc,CAAC;IACxB,gBAAgB,EAAE,gBAAgB,CAAC;IACnC,WAAW,EAAE,WAAW,CAAC;IACzB,kBAAkB,EAAE,SAAS,MAAM,EAAE,CAAC;CACvC,CAAC;AACF,MAAM,MAAM,8BAA8B,GAAG;IAC3C,UAAU,EAAE;QAAE,EAAE,EAAE,MAAM,CAAC;QAAC,WAAW,EAAE,MAAM,CAAA;KAAE,CAAC;IAChD,QAAQ,EAAE,OAAO,CAAC;IAClB,YAAY,CAAC,EAAE,YAAY,CAAC;CAC7B,CAAC;AACF,MAAM,MAAM,yBAAyB,GAAG;IACtC,UAAU,EAAE,oBAAoB,CAAC;IACjC,KAAK,EAAE,iBAAiB,CAAC;IACzB,KAAK,EAAE,iBAAiB,CAAC;IACzB,YAAY,CAAC,EAAE,iBAAiB,CAAC;CAClC,CAAC"}

package/dist/types/review-conformance.d.ts

@@ -62,7 +62,7 @@ export declare const harnessEvaluationReviewConformance: {
         } | null;
         classification: "runtime" | "taskset" | "no_action" | "harness_maintenance" | "product" | "model_improvement";
         triage: {
-            layer: "tools" | "model" | "evaluation" | "runtime" | "product" | "harness" | "retrieval";
+            layer: "model" | "tools" | "evaluation" | "runtime" | "product" | "harness" | "retrieval";
             status: "blocked" | "resolved" | "not_applicable" | "unresolved";
             reason: string;
             evidenceRefs: {
@@ -153,7 +153,7 @@ export declare const harnessEvaluationReviewConformance: {
         } | null;
         classification: "runtime" | "taskset" | "no_action" | "harness_maintenance" | "product" | "model_improvement";
         triage: {
-            layer: "tools" | "model" | "evaluation" | "runtime" | "product" | "harness" | "retrieval";
+            layer: "model" | "tools" | "evaluation" | "runtime" | "product" | "harness" | "retrieval";
             status: "blocked" | "resolved" | "not_applicable" | "unresolved";
             reason: string;
             evidenceRefs: {
@@ -244,7 +244,7 @@ export declare const harnessEvaluationReviewConformance: {
         } | null;
         classification: "runtime" | "taskset" | "no_action" | "harness_maintenance" | "product" | "model_improvement";
         triage: {
-            layer: "tools" | "model" | "evaluation" | "runtime" | "product" | "harness" | "retrieval";
+            layer: "model" | "tools" | "evaluation" | "runtime" | "product" | "harness" | "retrieval";
             status: "blocked" | "resolved" | "not_applicable" | "unresolved";
             reason: string;
             evidenceRefs: {
@@ -335,7 +335,7 @@ export declare const harnessEvaluationReviewConformance: {
         } | null;
         classification: "runtime" | "taskset" | "no_action" | "harness_maintenance" | "product" | "model_improvement";
         triage: {
-            layer: "tools" | "model" | "evaluation" | "runtime" | "product" | "harness" | "retrieval";
+            layer: "model" | "tools" | "evaluation" | "runtime" | "product" | "harness" | "retrieval";
             status: "blocked" | "resolved" | "not_applicable" | "unresolved";
             reason: string;
             evidenceRefs: {
@@ -580,7 +580,7 @@ export declare const harnessEvaluationReviewConformance: {
         } | null;
         classification: "runtime" | "taskset" | "no_action" | "harness_maintenance" | "product" | "model_improvement";
         triage: {
-            layer: "tools" | "model" | "evaluation" | "runtime" | "product" | "harness" | "retrieval";
+            layer: "model" | "tools" | "evaluation" | "runtime" | "product" | "harness" | "retrieval";
             status: "blocked" | "resolved" | "not_applicable" | "unresolved";
             reason: string;
             evidenceRefs: {