npm - openpond-sdk - Versions diffs - 0.10.0 → 0.11.0 - Mend

openpond-sdk 0.10.0 → 0.11.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.

Files changed (234) hide show

package/dist/types/packages/sdk/src/experiment-run-details.d.ts.map CHANGED Viewed

	@@ -1 +1 @@
1	- {"version":3,"file":"experiment-run-details.d.ts","sourceRoot":"","sources":["../../../../../src/experiment-run-details.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAGxB,OAAO,EAA4F,KAAK,sBAAsB,EAAE,MAAM,mCAAmC,CAAC;AAG1K,QAAA,MAAM,oBAAoB~~;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;~~kBAMf,CAAC;AACZ,eAAO,MAAM,gCAAgC~~;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;~~kBAAiE,CAAC;AAC/G,MAAM,MAAM,0BAA0B,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,gCAAgC,CAAC,CAAC;AAC1F,eAAO,MAAM,0BAA0B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAAiG,CAAC;AACzI,MAAM,MAAM,oBAAoB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,0BAA0B,CAAC,CAAC;AAE9E;4EAC4E;AAC5E,wBAAgB,8BAA8B,CAAC,OAAO,EAAE,sBAAsB~~;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;~~EAI7E;AACD,wBAAgB,8BAA8B,CAAC,KAAK,EAAE,CAAC,CAAC,KAAK,CAAC,OAAO,oBAAoB,CAAC,GAAG,MAAM,CAGlG;AACD,wBAAsB,0BAA0B,CAAC,KAAK,EAAE,OAAO,GAAG,OAAO,CAAC,oBAAoB,CAAC,CAoB9F"}
1	+ {"version":3,"file":"experiment-run-details.d.ts","sourceRoot":"","sources":["../../../../../src/experiment-run-details.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAGxB,OAAO,EAA4F,KAAK,sBAAsB,EAAE,MAAM,mCAAmC,CAAC;AAG1K,QAAA,MAAM,oBAAoB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAMf,CAAC;AACZ,eAAO,MAAM,gCAAgC;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAAiE,CAAC;AAC/G,MAAM,MAAM,0BAA0B,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,gCAAgC,CAAC,CAAC;AAC1F,eAAO,MAAM,0BAA0B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAAiG,CAAC;AACzI,MAAM,MAAM,oBAAoB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,0BAA0B,CAAC,CAAC;AAE9E;4EAC4E;AAC5E,wBAAgB,8BAA8B,CAAC,OAAO,EAAE,sBAAsB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;EAI7E;AACD,wBAAgB,8BAA8B,CAAC,KAAK,EAAE,CAAC,CAAC,KAAK,CAAC,OAAO,oBAAoB,CAAC,GAAG,MAAM,CAGlG;AACD,wBAAsB,0BAA0B,CAAC,KAAK,EAAE,OAAO,GAAG,OAAO,CAAC,oBAAoB,CAAC,CAoB9F"}

package/dist/types/packages/sdk/src/experiment-scoring-contracts.d.ts CHANGED Viewed

@@ -5,6 +5,7 @@ export declare const ExperimentScoringRequestSchema: z.ZodObject<{
         id: z.ZodString;
         contentHash: z.ZodString;
     }, z.core.$strict>;
+    executionKind: z.ZodOptional<z.ZodLiteral<"recorded_evidence">>;
     graders: z.ZodArray<z.ZodObject<{
         id: z.ZodString;
         contentHash: z.ZodString;
@@ -43,6 +44,7 @@ export declare const ExperimentScoringPassSchema: z.ZodObject<{
             id: z.ZodString;
             contentHash: z.ZodString;
         }, z.core.$strict>;
+        executionKind: z.ZodOptional<z.ZodLiteral<"recorded_evidence">>;
         graders: z.ZodArray<z.ZodObject<{
             id: z.ZodString;
             contentHash: z.ZodString;
@@ -98,8 +100,8 @@ export declare const ExperimentScoringPassSchema: z.ZodObject<{
         }, z.core.$strict>>>;
     }, z.core.$strict>>;
     status: z.ZodEnum<{
-        failed: "failed";
         cancelled: "cancelled";
+        failed: "failed";
         queued: "queued";
         running: "running";
         cancelling: "cancelling";
@@ -143,6 +145,7 @@ export declare function verifyExperimentScoringPass(value: unknown): {
             revision: number;
         }[];
         maximumCostUsd: number;
+        executionKind?: "recorded_evidence" | undefined;
         mappings?: {
             graderId: string;
             fields: {
@@ -171,7 +174,7 @@ export declare function verifyExperimentScoringPass(value: unknown): {
             sourcePath: string[];
         }[] | undefined;
     }[];
-    status: "failed" | "cancelled" | "queued" | "running" | "cancelling" | "completed";
+    status: "cancelled" | "failed" | "queued" | "running" | "cancelling" | "completed";
     totalCount: number;
     counts: {
         pending: number;

package/dist/types/packages/sdk/src/experiment-scoring-contracts.d.ts.map CHANGED Viewed

	@@ -1 +1 @@
1	- {"version":3,"file":"experiment-scoring-contracts.d.ts","sourceRoot":"","sources":["../../../../../src/experiment-scoring-contracts.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAOxB,eAAO,MAAM,8BAA8B~~;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAYzC~~,CAAC;AACH,MAAM,MAAM,wBAAwB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,8BAA8B,CAAC,CAAC;AAgBtF,eAAO,MAAM,2BAA2B~~;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;~~kBAAiF,CAAC;AAC1H,MAAM,MAAM,qBAAqB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,2BAA2B,CAAC,CAAC;AAEhF,2EAA2E;AAC3E,wBAAgB,2BAA2B,CAAC,KAAK,EAAE,OAAO~~;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;~~EAezD"}
1	+ {"version":3,"file":"experiment-scoring-contracts.d.ts","sourceRoot":"","sources":["../../../../../src/experiment-scoring-contracts.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAOxB,eAAO,MAAM,8BAA8B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAczC,CAAC;AACH,MAAM,MAAM,wBAAwB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,8BAA8B,CAAC,CAAC;AAgBtF,eAAO,MAAM,2BAA2B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAAiF,CAAC;AAC1H,MAAM,MAAM,qBAAqB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,2BAA2B,CAAC,CAAC;AAEhF,2EAA2E;AAC3E,wBAAgB,2BAA2B,CAAC,KAAK,EAAE,OAAO;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;EAezD"}

package/dist/types/packages/sdk/src/experiments.d.ts CHANGED Viewed

@@ -10,4 +10,7 @@ export * from "./experiment-execution-selection.js";
 export * from "./experiment-run-contracts.js";
 export * from "./experiment-run-details.js";
 export * from "./experiment-harness-catalog.js";
+export * from "./claude-code-runtime.js";
+export * from "./profile-external-dataset-package.js";
+export * from "./profile-evaluation-discovery.js";
 //# sourceMappingURL=experiments.d.ts.map

package/dist/types/packages/sdk/src/experiments.d.ts.map CHANGED Viewed

	@@ -1 +1 @@
1	- {"version":3,"file":"experiments.d.ts","sourceRoot":"","sources":["../../../../../src/experiments.ts"],"names":[],"mappings":"AAAA,cAAc,2BAA2B,CAAC;AAC1C,cAAc,wBAAwB,CAAC;AACvC,cAAc,mCAAmC,CAAC;AAClD,cAAc,gCAAgC,CAAC;AAC/C,cAAc,mCAAmC,CAAC;AAClD,cAAc,gCAAgC,CAAC;AAE/C,cAAc,4BAA4B,CAAC;AAC3C,cAAc,+BAA+B,CAAC;AAC9C,cAAc,qCAAqC,CAAC;AACpD,cAAc,+BAA+B,CAAC;AAC9C,cAAc,6BAA6B,CAAC;AAC5C,cAAc,iCAAiC,CAAC"}
1	+ {"version":3,"file":"experiments.d.ts","sourceRoot":"","sources":["../../../../../src/experiments.ts"],"names":[],"mappings":"AAAA,cAAc,2BAA2B,CAAC;AAC1C,cAAc,wBAAwB,CAAC;AACvC,cAAc,mCAAmC,CAAC;AAClD,cAAc,gCAAgC,CAAC;AAC/C,cAAc,mCAAmC,CAAC;AAClD,cAAc,gCAAgC,CAAC;AAE/C,cAAc,4BAA4B,CAAC;AAC3C,cAAc,+BAA+B,CAAC;AAC9C,cAAc,qCAAqC,CAAC;AACpD,cAAc,+BAA+B,CAAC;AAC9C,cAAc,6BAA6B,CAAC;AAC5C,cAAc,iCAAiC,CAAC;AAChD,cAAc,0BAA0B,CAAC;AACzC,cAAc,uCAAuC,CAAC;AACtD,cAAc,mCAAmC,CAAC"}

package/dist/types/packages/sdk/src/grader-inspection.d.ts CHANGED Viewed

@@ -6,8 +6,8 @@ export declare const GraderCatalogQuerySchema: z.ZodObject<{
     sort: z.ZodOptional<z.ZodEnum<{
         type: "type";
         name: "name";
-        version: "version";
         projects: "projects";
+        version: "version";
         datasets: "datasets";
         runs: "runs";
     }>>;
@@ -85,6 +85,83 @@ export declare const GraderCatalogPageSchema: z.ZodObject<{
                 }, z.core.$strict>;
             }, z.core.$strict>, z.ZodObject<{
                 kind: z.ZodLiteral<"human">;
+                form: z.ZodOptional<z.ZodObject<{
+                    schemaVersion: z.ZodLiteral<"openpond.humanForm.v1">;
+                    mode: z.ZodEnum<{
+                        individual: "individual";
+                        pairwise: "pairwise";
+                    }>;
+                    instructions: z.ZodString;
+                    criteria: z.ZodArray<z.ZodDiscriminatedUnion<[z.ZodObject<{
+                        id: z.ZodString;
+                        label: z.ZodString;
+                        instructions: z.ZodString;
+                        required: z.ZodBoolean;
+                        allowAbstain: z.ZodBoolean;
+                        requireRationale: z.ZodOptional<z.ZodBoolean>;
+                        anchors: z.ZodOptional<z.ZodArray<z.ZodObject<{
+                            value: z.ZodUnion<readonly [z.ZodNumber, z.ZodString, z.ZodBoolean]>;
+                            description: z.ZodString;
+                        }, z.core.$strict>>>;
+                        kind: z.ZodLiteral<"score">;
+                        minimum: z.ZodNumber;
+                        maximum: z.ZodNumber;
+                        step: z.ZodNumber;
+                    }, z.core.$strict>, z.ZodObject<{
+                        id: z.ZodString;
+                        label: z.ZodString;
+                        instructions: z.ZodString;
+                        required: z.ZodBoolean;
+                        allowAbstain: z.ZodBoolean;
+                        requireRationale: z.ZodOptional<z.ZodBoolean>;
+                        anchors: z.ZodOptional<z.ZodArray<z.ZodObject<{
+                            value: z.ZodUnion<readonly [z.ZodNumber, z.ZodString, z.ZodBoolean]>;
+                            description: z.ZodString;
+                        }, z.core.$strict>>>;
+                        kind: z.ZodLiteral<"category">;
+                        options: z.ZodArray<z.ZodString>;
+                    }, z.core.$strict>, z.ZodObject<{
+                        id: z.ZodString;
+                        label: z.ZodString;
+                        instructions: z.ZodString;
+                        required: z.ZodBoolean;
+                        allowAbstain: z.ZodBoolean;
+                        requireRationale: z.ZodOptional<z.ZodBoolean>;
+                        anchors: z.ZodOptional<z.ZodArray<z.ZodObject<{
+                            value: z.ZodUnion<readonly [z.ZodNumber, z.ZodString, z.ZodBoolean]>;
+                            description: z.ZodString;
+                        }, z.core.$strict>>>;
+                        kind: z.ZodLiteral<"boolean">;
+                    }, z.core.$strict>, z.ZodObject<{
+                        id: z.ZodString;
+                        label: z.ZodString;
+                        instructions: z.ZodString;
+                        required: z.ZodBoolean;
+                        allowAbstain: z.ZodBoolean;
+                        requireRationale: z.ZodOptional<z.ZodBoolean>;
+                        anchors: z.ZodOptional<z.ZodArray<z.ZodObject<{
+                            value: z.ZodUnion<readonly [z.ZodNumber, z.ZodString, z.ZodBoolean]>;
+                            description: z.ZodString;
+                        }, z.core.$strict>>>;
+                        kind: z.ZodLiteral<"text">;
+                        minimumLength: z.ZodOptional<z.ZodNumber>;
+                        maximumLength: z.ZodNumber;
+                    }, z.core.$strict>, z.ZodObject<{
+                        id: z.ZodString;
+                        label: z.ZodString;
+                        instructions: z.ZodString;
+                        required: z.ZodBoolean;
+                        allowAbstain: z.ZodBoolean;
+                        requireRationale: z.ZodOptional<z.ZodBoolean>;
+                        anchors: z.ZodOptional<z.ZodArray<z.ZodObject<{
+                            value: z.ZodUnion<readonly [z.ZodNumber, z.ZodString, z.ZodBoolean]>;
+                            description: z.ZodString;
+                        }, z.core.$strict>>>;
+                        kind: z.ZodLiteral<"preference">;
+                        requireStrength: z.ZodOptional<z.ZodBoolean>;
+                        allowTie: z.ZodBoolean;
+                    }, z.core.$strict>], "kind">>;
+                }, z.core.$strict>>;
                 rubricRef: z.ZodObject<{
                     id: z.ZodString;
                     path: z.ZodString;
@@ -225,6 +302,83 @@ export declare const GraderVersionsPageSchema: z.ZodObject<{
             }, z.core.$strict>;
         }, z.core.$strict>, z.ZodObject<{
             kind: z.ZodLiteral<"human">;
+            form: z.ZodOptional<z.ZodObject<{
+                schemaVersion: z.ZodLiteral<"openpond.humanForm.v1">;
+                mode: z.ZodEnum<{
+                    individual: "individual";
+                    pairwise: "pairwise";
+                }>;
+                instructions: z.ZodString;
+                criteria: z.ZodArray<z.ZodDiscriminatedUnion<[z.ZodObject<{
+                    id: z.ZodString;
+                    label: z.ZodString;
+                    instructions: z.ZodString;
+                    required: z.ZodBoolean;
+                    allowAbstain: z.ZodBoolean;
+                    requireRationale: z.ZodOptional<z.ZodBoolean>;
+                    anchors: z.ZodOptional<z.ZodArray<z.ZodObject<{
+                        value: z.ZodUnion<readonly [z.ZodNumber, z.ZodString, z.ZodBoolean]>;
+                        description: z.ZodString;
+                    }, z.core.$strict>>>;
+                    kind: z.ZodLiteral<"score">;
+                    minimum: z.ZodNumber;
+                    maximum: z.ZodNumber;
+                    step: z.ZodNumber;
+                }, z.core.$strict>, z.ZodObject<{
+                    id: z.ZodString;
+                    label: z.ZodString;
+                    instructions: z.ZodString;
+                    required: z.ZodBoolean;
+                    allowAbstain: z.ZodBoolean;
+                    requireRationale: z.ZodOptional<z.ZodBoolean>;
+                    anchors: z.ZodOptional<z.ZodArray<z.ZodObject<{
+                        value: z.ZodUnion<readonly [z.ZodNumber, z.ZodString, z.ZodBoolean]>;
+                        description: z.ZodString;
+                    }, z.core.$strict>>>;
+                    kind: z.ZodLiteral<"category">;
+                    options: z.ZodArray<z.ZodString>;
+                }, z.core.$strict>, z.ZodObject<{
+                    id: z.ZodString;
+                    label: z.ZodString;
+                    instructions: z.ZodString;
+                    required: z.ZodBoolean;
+                    allowAbstain: z.ZodBoolean;
+                    requireRationale: z.ZodOptional<z.ZodBoolean>;
+                    anchors: z.ZodOptional<z.ZodArray<z.ZodObject<{
+                        value: z.ZodUnion<readonly [z.ZodNumber, z.ZodString, z.ZodBoolean]>;
+                        description: z.ZodString;
+                    }, z.core.$strict>>>;
+                    kind: z.ZodLiteral<"boolean">;
+                }, z.core.$strict>, z.ZodObject<{
+                    id: z.ZodString;
+                    label: z.ZodString;
+                    instructions: z.ZodString;
+                    required: z.ZodBoolean;
+                    allowAbstain: z.ZodBoolean;
+                    requireRationale: z.ZodOptional<z.ZodBoolean>;
+                    anchors: z.ZodOptional<z.ZodArray<z.ZodObject<{
+                        value: z.ZodUnion<readonly [z.ZodNumber, z.ZodString, z.ZodBoolean]>;
+                        description: z.ZodString;
+                    }, z.core.$strict>>>;
+                    kind: z.ZodLiteral<"text">;
+                    minimumLength: z.ZodOptional<z.ZodNumber>;
+                    maximumLength: z.ZodNumber;
+                }, z.core.$strict>, z.ZodObject<{
+                    id: z.ZodString;
+                    label: z.ZodString;
+                    instructions: z.ZodString;
+                    required: z.ZodBoolean;
+                    allowAbstain: z.ZodBoolean;
+                    requireRationale: z.ZodOptional<z.ZodBoolean>;
+                    anchors: z.ZodOptional<z.ZodArray<z.ZodObject<{
+                        value: z.ZodUnion<readonly [z.ZodNumber, z.ZodString, z.ZodBoolean]>;
+                        description: z.ZodString;
+                    }, z.core.$strict>>>;
+                    kind: z.ZodLiteral<"preference">;
+                    requireStrength: z.ZodOptional<z.ZodBoolean>;
+                    allowTie: z.ZodBoolean;
+                }, z.core.$strict>], "kind">>;
+            }, z.core.$strict>>;
             rubricRef: z.ZodObject<{
                 id: z.ZodString;
                 path: z.ZodString;
@@ -347,7 +501,7 @@ export declare class OpenPondGraderInspectionClient {
                 name: string;
                 description: string;
                 implementation: {
-                    kind: "content" | "state" | "schema" | "runtime_event" | "artifact";
+                    kind: "content" | "state" | "artifact" | "schema" | "runtime_event";
                     config: Record<string, unknown>;
                 } | {
                     kind: "model_judge";
@@ -359,7 +513,7 @@ export declare class OpenPondGraderInspectionClient {
                         mediaType: string;
                         visibility: "policy" | "verifier" | "host_private";
                     };
-                    calibrationStatus: "passed" | "failed" | "pending";
+                    calibrationStatus: "passed" | "pending" | "failed";
                     model?: {
                         providerId: string;
                         modelId: string;
@@ -391,6 +545,80 @@ export declare class OpenPondGraderInspectionClient {
                         visibility: "policy" | "verifier" | "host_private";
                     };
                     reviewerRole: string;
+                    form?: {
+                        schemaVersion: "openpond.humanForm.v1";
+                        mode: "individual" | "pairwise";
+                        instructions: string;
+                        criteria: ({
+                            id: string;
+                            label: string;
+                            instructions: string;
+                            required: boolean;
+                            allowAbstain: boolean;
+                            kind: "score";
+                            minimum: number;
+                            maximum: number;
+                            step: number;
+                            requireRationale?: boolean | undefined;
+                            anchors?: {
+                                value: string | number | boolean;
+                                description: string;
+                            }[] | undefined;
+                        } | {
+                            id: string;
+                            label: string;
+                            instructions: string;
+                            required: boolean;
+                            allowAbstain: boolean;
+                            kind: "category";
+                            options: string[];
+                            requireRationale?: boolean | undefined;
+                            anchors?: {
+                                value: string | number | boolean;
+                                description: string;
+                            }[] | undefined;
+                        } | {
+                            id: string;
+                            label: string;
+                            instructions: string;
+                            required: boolean;
+                            allowAbstain: boolean;
+                            kind: "boolean";
+                            requireRationale?: boolean | undefined;
+                            anchors?: {
+                                value: string | number | boolean;
+                                description: string;
+                            }[] | undefined;
+                        } | {
+                            id: string;
+                            label: string;
+                            instructions: string;
+                            required: boolean;
+                            allowAbstain: boolean;
+                            kind: "text";
+                            maximumLength: number;
+                            requireRationale?: boolean | undefined;
+                            anchors?: {
+                                value: string | number | boolean;
+                                description: string;
+                            }[] | undefined;
+                            minimumLength?: number | undefined;
+                        } | {
+                            id: string;
+                            label: string;
+                            instructions: string;
+                            required: boolean;
+                            allowAbstain: boolean;
+                            kind: "preference";
+                            allowTie: boolean;
+                            requireRationale?: boolean | undefined;
+                            anchors?: {
+                                value: string | number | boolean;
+                                description: string;
+                            }[] | undefined;
+                            requireStrength?: boolean | undefined;
+                        })[];
+                    } | undefined;
                 } | {
                     kind: "learned_model";
                     modelVersion: {
@@ -453,7 +681,7 @@ export declare class OpenPondGraderInspectionClient {
             name: string;
             description: string;
             implementation: {
-                kind: "content" | "state" | "schema" | "runtime_event" | "artifact";
+                kind: "content" | "state" | "artifact" | "schema" | "runtime_event";
                 config: Record<string, unknown>;
             } | {
                 kind: "model_judge";
@@ -465,7 +693,7 @@ export declare class OpenPondGraderInspectionClient {
                     mediaType: string;
                     visibility: "policy" | "verifier" | "host_private";
                 };
-                calibrationStatus: "passed" | "failed" | "pending";
+                calibrationStatus: "passed" | "pending" | "failed";
                 model?: {
                     providerId: string;
                     modelId: string;
@@ -497,6 +725,80 @@ export declare class OpenPondGraderInspectionClient {
                     visibility: "policy" | "verifier" | "host_private";
                 };
                 reviewerRole: string;
+                form?: {
+                    schemaVersion: "openpond.humanForm.v1";
+                    mode: "individual" | "pairwise";
+                    instructions: string;
+                    criteria: ({
+                        id: string;
+                        label: string;
+                        instructions: string;
+                        required: boolean;
+                        allowAbstain: boolean;
+                        kind: "score";
+                        minimum: number;
+                        maximum: number;
+                        step: number;
+                        requireRationale?: boolean | undefined;
+                        anchors?: {
+                            value: string | number | boolean;
+                            description: string;
+                        }[] | undefined;
+                    } | {
+                        id: string;
+                        label: string;
+                        instructions: string;
+                        required: boolean;
+                        allowAbstain: boolean;
+                        kind: "category";
+                        options: string[];
+                        requireRationale?: boolean | undefined;
+                        anchors?: {
+                            value: string | number | boolean;
+                            description: string;
+                        }[] | undefined;
+                    } | {
+                        id: string;
+                        label: string;
+                        instructions: string;
+                        required: boolean;
+                        allowAbstain: boolean;
+                        kind: "boolean";
+                        requireRationale?: boolean | undefined;
+                        anchors?: {
+                            value: string | number | boolean;
+                            description: string;
+                        }[] | undefined;
+                    } | {
+                        id: string;
+                        label: string;
+                        instructions: string;
+                        required: boolean;
+                        allowAbstain: boolean;
+                        kind: "text";
+                        maximumLength: number;
+                        requireRationale?: boolean | undefined;
+                        anchors?: {
+                            value: string | number | boolean;
+                            description: string;
+                        }[] | undefined;
+                        minimumLength?: number | undefined;
+                    } | {
+                        id: string;
+                        label: string;
+                        instructions: string;
+                        required: boolean;
+                        allowAbstain: boolean;
+                        kind: "preference";
+                        allowTie: boolean;
+                        requireRationale?: boolean | undefined;
+                        anchors?: {
+                            value: string | number | boolean;
+                            description: string;
+                        }[] | undefined;
+                        requireStrength?: boolean | undefined;
+                    })[];
+                } | undefined;
             } | {
                 kind: "learned_model";
                 modelVersion: {

package/dist/types/packages/sdk/src/grader-inspection.d.ts.map CHANGED Viewed

	@@ -1 +1 @@
1	- {"version":3,"file":"grader-inspection.d.ts","sourceRoot":"","sources":["../../../../../src/grader-inspection.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAGxB,eAAO,MAAM,wBAAwB;;;;;;;;;;;;;;;;;;kBAAkW,CAAC;AACxY,eAAO,MAAM,uBAAuB~~;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;~~kBAA8Q,CAAC;AACnT,eAAO,MAAM,wBAAwB~~;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;~~kBAAgJ,CAAC;AACtL,eAAO,MAAM,sBAAsB;;;;;;;;kBAAsJ,CAAC;AAC1L,eAAO,MAAM,qBAAqB;;;;;;;;;;;;;;;;;;;;;;;;kBAIiB,CAAC;AACpD,qBAAa,8BAA8B;IAE7B,OAAO,CAAC,QAAQ,CAAC,OAAO;IADpC,OAAO,CAAC,QAAQ,CAAC,OAAO,CAAS;gBACJ,OAAO,EAAE;QAAE,OAAO,EAAE,MAAM,CAAC;QAAC,MAAM,EAAE,MAAM,CAAC;QAAC,MAAM,EAAE,MAAM,CAAC;QAAC,KAAK,CAAC,EAAE,OAAO,KAAK,CAAA;KAAE;IAKzG,OAAO,CAAC,KAAK,GAAE,CAAC,CAAC,KAAK,CAAC,OAAO,wBAAwB,CAAM,EAAE,MAAM,CAAC,EAAE,WAAW~~;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;~~IAMlF,QAAQ,CAAC,EAAE,EAAE,MAAM,EAAE,KAAK,GAAE;QAAE,cAAc,CAAC,EAAE,MAAM,CAAC;QAAC,KAAK,CAAC,EAAE,MAAM,CAAA;KAAO,EAAE,MAAM,CAAC,EAAE,WAAW~~;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;~~IAMlG,KAAK,CAAC,EAAE,EAAE,MAAM,EAAE,KAAK,EAAE,CAAC,CAAC,KAAK,CAAC,OAAO,sBAAsB,CAAC,EAAE,MAAM,CAAC,EAAE,WAAW;;;;;;;;;;;;;;;;;;;;;YAM7E,IAAI;CAOnB"}
1	+ {"version":3,"file":"grader-inspection.d.ts","sourceRoot":"","sources":["../../../../../src/grader-inspection.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAGxB,eAAO,MAAM,wBAAwB;;;;;;;;;;;;;;;;;;kBAAkW,CAAC;AACxY,eAAO,MAAM,uBAAuB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAA8Q,CAAC;AACnT,eAAO,MAAM,wBAAwB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAAgJ,CAAC;AACtL,eAAO,MAAM,sBAAsB;;;;;;;;kBAAsJ,CAAC;AAC1L,eAAO,MAAM,qBAAqB;;;;;;;;;;;;;;;;;;;;;;;;kBAIiB,CAAC;AACpD,qBAAa,8BAA8B;IAE7B,OAAO,CAAC,QAAQ,CAAC,OAAO;IADpC,OAAO,CAAC,QAAQ,CAAC,OAAO,CAAS;gBACJ,OAAO,EAAE;QAAE,OAAO,EAAE,MAAM,CAAC;QAAC,MAAM,EAAE,MAAM,CAAC;QAAC,MAAM,EAAE,MAAM,CAAC;QAAC,KAAK,CAAC,EAAE,OAAO,KAAK,CAAA;KAAE;IAKzG,OAAO,CAAC,KAAK,GAAE,CAAC,CAAC,KAAK,CAAC,OAAO,wBAAwB,CAAM,EAAE,MAAM,CAAC,EAAE,WAAW;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;IAMlF,QAAQ,CAAC,EAAE,EAAE,MAAM,EAAE,KAAK,GAAE;QAAE,cAAc,CAAC,EAAE,MAAM,CAAC;QAAC,KAAK,CAAC,EAAE,MAAM,CAAA;KAAO,EAAE,MAAM,CAAC,EAAE,WAAW;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;IAMlG,KAAK,CAAC,EAAE,EAAE,MAAM,EAAE,KAAK,EAAE,CAAC,CAAC,KAAK,CAAC,OAAO,sBAAsB,CAAC,EAAE,MAAM,CAAC,EAAE,WAAW;;;;;;;;;;;;;;;;;;;;;YAM7E,IAAI;CAOnB"}