@mastra/server 1.46.0-alpha.2 → 1.46.0-alpha.4

package/dist/server/handlers/datasets.d.ts

@@ -221,10 +221,16 @@ export declare const LIST_ITEMS_ROUTE: import("../server-adapter").ServerRoute<i
         updatedAt: Date;
         groundTruth?: unknown;
         expectedTrajectory?: unknown;
+        toolMocks?: {
+            toolName: string;
+            args: Record<string, unknown>;
+            output: unknown;
+            matchArgs?: "strict" | "ignore" | undefined;
+        }[] | undefined;
         requestContext?: Record<string, unknown> | undefined;
         metadata?: Record<string, unknown> | undefined;
         source?: {
-            type: "json" | "csv" | "trace" | "llm" | "experiment-result";
+            type: "json" | "csv" | "trace" | "llm" | "experiment-result" | "candidate-screener";
             referenceId?: string | undefined;
         } | undefined;
     }[];
@@ -249,6 +255,15 @@ export declare const LIST_ITEMS_ROUTE: import("../server-adapter").ServerRoute<i
         input: z.ZodUnknown;
         groundTruth: z.ZodOptional<z.ZodUnknown>;
         expectedTrajectory: z.ZodOptional<z.ZodUnknown>;
+        toolMocks: z.ZodOptional<z.ZodArray<z.ZodObject<{
+            toolName: z.ZodString;
+            args: z.ZodRecord<z.ZodString, z.ZodUnknown>;
+            output: z.ZodUnknown;
+            matchArgs: z.ZodOptional<z.ZodEnum<{
+                strict: "strict";
+                ignore: "ignore";
+            }>>;
+        }, z.core.$strip>>>;
         requestContext: z.ZodOptional<z.ZodRecord<z.ZodString, z.ZodUnknown>>;
         metadata: z.ZodOptional<z.ZodRecord<z.ZodString, z.ZodUnknown>>;
         source: z.ZodOptional<z.ZodObject<{
@@ -258,6 +273,7 @@ export declare const LIST_ITEMS_ROUTE: import("../server-adapter").ServerRoute<i
                 trace: "trace";
                 llm: "llm";
                 "experiment-result": "experiment-result";
+                "candidate-screener": "candidate-screener";
             }>;
             referenceId: z.ZodOptional<z.ZodString>;
         }, z.core.$strip>>;
@@ -398,6 +414,15 @@ export declare const ADD_ITEM_ROUTE: import("../server-adapter").ServerRoute<imp
         blacklistedSequences: z.ZodOptional<z.ZodArray<z.ZodArray<z.ZodString>>>;
         maxRetriesPerTool: z.ZodOptional<z.ZodNumber>;
     }, z.core.$strip>>>;
+    toolMocks: z.ZodOptional<z.ZodArray<z.ZodObject<{
+        toolName: z.ZodString;
+        args: z.ZodRecord<z.ZodString, z.ZodUnknown>;
+        output: z.ZodUnknown;
+        matchArgs: z.ZodOptional<z.ZodEnum<{
+            strict: "strict";
+            ignore: "ignore";
+        }>>;
+    }, z.core.$strip>>>;
     requestContext: z.ZodOptional<z.ZodRecord<z.ZodString, z.ZodUnknown>>;
     metadata: z.ZodOptional<z.ZodRecord<z.ZodString, z.ZodUnknown>>;
     source: z.ZodOptional<z.ZodObject<{
@@ -407,6 +432,7 @@ export declare const ADD_ITEM_ROUTE: import("../server-adapter").ServerRoute<imp
             trace: "trace";
             llm: "llm";
             "experiment-result": "experiment-result";
+            "candidate-screener": "candidate-screener";
         }>;
         referenceId: z.ZodOptional<z.ZodString>;
     }, z.core.$strip>>;
@@ -419,10 +445,16 @@ export declare const ADD_ITEM_ROUTE: import("../server-adapter").ServerRoute<imp
     updatedAt: Date;
     groundTruth?: unknown;
     expectedTrajectory?: unknown;
+    toolMocks?: {
+        toolName: string;
+        args: Record<string, unknown>;
+        output: unknown;
+        matchArgs?: "strict" | "ignore" | undefined;
+    }[] | undefined;
     requestContext?: Record<string, unknown> | undefined;
     metadata?: Record<string, unknown> | undefined;
     source?: {
-        type: "json" | "csv" | "trace" | "llm" | "experiment-result";
+        type: "json" | "csv" | "trace" | "llm" | "experiment-result" | "candidate-screener";
         referenceId?: string | undefined;
     } | undefined;
 }, "json", import("../server-adapter").RouteSchemas<z.ZodObject<{
@@ -552,6 +584,15 @@ export declare const ADD_ITEM_ROUTE: import("../server-adapter").ServerRoute<imp
         blacklistedSequences: z.ZodOptional<z.ZodArray<z.ZodArray<z.ZodString>>>;
         maxRetriesPerTool: z.ZodOptional<z.ZodNumber>;
     }, z.core.$strip>>>;
+    toolMocks: z.ZodOptional<z.ZodArray<z.ZodObject<{
+        toolName: z.ZodString;
+        args: z.ZodRecord<z.ZodString, z.ZodUnknown>;
+        output: z.ZodUnknown;
+        matchArgs: z.ZodOptional<z.ZodEnum<{
+            strict: "strict";
+            ignore: "ignore";
+        }>>;
+    }, z.core.$strip>>>;
     requestContext: z.ZodOptional<z.ZodRecord<z.ZodString, z.ZodUnknown>>;
     metadata: z.ZodOptional<z.ZodRecord<z.ZodString, z.ZodUnknown>>;
     source: z.ZodOptional<z.ZodObject<{
@@ -561,6 +602,7 @@ export declare const ADD_ITEM_ROUTE: import("../server-adapter").ServerRoute<imp
             trace: "trace";
             llm: "llm";
             "experiment-result": "experiment-result";
+            "candidate-screener": "candidate-screener";
         }>;
         referenceId: z.ZodOptional<z.ZodString>;
     }, z.core.$strip>>;
@@ -571,6 +613,15 @@ export declare const ADD_ITEM_ROUTE: import("../server-adapter").ServerRoute<imp
     input: z.ZodUnknown;
     groundTruth: z.ZodOptional<z.ZodUnknown>;
     expectedTrajectory: z.ZodOptional<z.ZodUnknown>;
+    toolMocks: z.ZodOptional<z.ZodArray<z.ZodObject<{
+        toolName: z.ZodString;
+        args: z.ZodRecord<z.ZodString, z.ZodUnknown>;
+        output: z.ZodUnknown;
+        matchArgs: z.ZodOptional<z.ZodEnum<{
+            strict: "strict";
+            ignore: "ignore";
+        }>>;
+    }, z.core.$strip>>>;
     requestContext: z.ZodOptional<z.ZodRecord<z.ZodString, z.ZodUnknown>>;
     metadata: z.ZodOptional<z.ZodRecord<z.ZodString, z.ZodUnknown>>;
     source: z.ZodOptional<z.ZodObject<{
@@ -580,6 +631,7 @@ export declare const ADD_ITEM_ROUTE: import("../server-adapter").ServerRoute<imp
             trace: "trace";
             llm: "llm";
             "experiment-result": "experiment-result";
+            "candidate-screener": "candidate-screener";
         }>;
         referenceId: z.ZodOptional<z.ZodString>;
     }, z.core.$strip>>;
@@ -598,10 +650,16 @@ export declare const GET_ITEM_ROUTE: import("../server-adapter").ServerRoute<{
     updatedAt: Date;
     groundTruth?: unknown;
     expectedTrajectory?: unknown;
+    toolMocks?: {
+        toolName: string;
+        args: Record<string, unknown>;
+        output: unknown;
+        matchArgs?: "strict" | "ignore" | undefined;
+    }[] | undefined;
     requestContext?: Record<string, unknown> | undefined;
     metadata?: Record<string, unknown> | undefined;
     source?: {
-        type: "json" | "csv" | "trace" | "llm" | "experiment-result";
+        type: "json" | "csv" | "trace" | "llm" | "experiment-result" | "candidate-screener";
         referenceId?: string | undefined;
     } | undefined;
 } | null, "json", import("../server-adapter").RouteSchemas<z.ZodObject<{
@@ -614,6 +672,15 @@ export declare const GET_ITEM_ROUTE: import("../server-adapter").ServerRoute<{
     input: z.ZodUnknown;
     groundTruth: z.ZodOptional<z.ZodUnknown>;
     expectedTrajectory: z.ZodOptional<z.ZodUnknown>;
+    toolMocks: z.ZodOptional<z.ZodArray<z.ZodObject<{
+        toolName: z.ZodString;
+        args: z.ZodRecord<z.ZodString, z.ZodUnknown>;
+        output: z.ZodUnknown;
+        matchArgs: z.ZodOptional<z.ZodEnum<{
+            strict: "strict";
+            ignore: "ignore";
+        }>>;
+    }, z.core.$strip>>>;
     requestContext: z.ZodOptional<z.ZodRecord<z.ZodString, z.ZodUnknown>>;
     metadata: z.ZodOptional<z.ZodRecord<z.ZodString, z.ZodUnknown>>;
     source: z.ZodOptional<z.ZodObject<{
@@ -623,6 +690,7 @@ export declare const GET_ITEM_ROUTE: import("../server-adapter").ServerRoute<{
             trace: "trace";
             llm: "llm";
             "experiment-result": "experiment-result";
+            "candidate-screener": "candidate-screener";
         }>;
         referenceId: z.ZodOptional<z.ZodString>;
     }, z.core.$strip>>;
@@ -757,6 +825,15 @@ export declare const UPDATE_ITEM_ROUTE: import("../server-adapter").ServerRoute<
         blacklistedSequences: z.ZodOptional<z.ZodArray<z.ZodArray<z.ZodString>>>;
         maxRetriesPerTool: z.ZodOptional<z.ZodNumber>;
     }, z.core.$strip>>>;
+    toolMocks: z.ZodOptional<z.ZodArray<z.ZodObject<{
+        toolName: z.ZodString;
+        args: z.ZodRecord<z.ZodString, z.ZodUnknown>;
+        output: z.ZodUnknown;
+        matchArgs: z.ZodOptional<z.ZodEnum<{
+            strict: "strict";
+            ignore: "ignore";
+        }>>;
+    }, z.core.$strip>>>;
     requestContext: z.ZodOptional<z.ZodRecord<z.ZodString, z.ZodUnknown>>;
     metadata: z.ZodOptional<z.ZodRecord<z.ZodString, z.ZodUnknown>>;
     source: z.ZodOptional<z.ZodObject<{
@@ -766,6 +843,7 @@ export declare const UPDATE_ITEM_ROUTE: import("../server-adapter").ServerRoute<
             trace: "trace";
             llm: "llm";
             "experiment-result": "experiment-result";
+            "candidate-screener": "candidate-screener";
         }>;
         referenceId: z.ZodOptional<z.ZodString>;
     }, z.core.$strip>>;
@@ -778,10 +856,16 @@ export declare const UPDATE_ITEM_ROUTE: import("../server-adapter").ServerRoute<
     updatedAt: Date;
     groundTruth?: unknown;
     expectedTrajectory?: unknown;
+    toolMocks?: {
+        toolName: string;
+        args: Record<string, unknown>;
+        output: unknown;
+        matchArgs?: "strict" | "ignore" | undefined;
+    }[] | undefined;
     requestContext?: Record<string, unknown> | undefined;
     metadata?: Record<string, unknown> | undefined;
     source?: {
-        type: "json" | "csv" | "trace" | "llm" | "experiment-result";
+        type: "json" | "csv" | "trace" | "llm" | "experiment-result" | "candidate-screener";
         referenceId?: string | undefined;
     } | undefined;
 }, "json", import("../server-adapter").RouteSchemas<z.ZodObject<{
@@ -912,6 +996,15 @@ export declare const UPDATE_ITEM_ROUTE: import("../server-adapter").ServerRoute<
         blacklistedSequences: z.ZodOptional<z.ZodArray<z.ZodArray<z.ZodString>>>;
         maxRetriesPerTool: z.ZodOptional<z.ZodNumber>;
     }, z.core.$strip>>>;
+    toolMocks: z.ZodOptional<z.ZodArray<z.ZodObject<{
+        toolName: z.ZodString;
+        args: z.ZodRecord<z.ZodString, z.ZodUnknown>;
+        output: z.ZodUnknown;
+        matchArgs: z.ZodOptional<z.ZodEnum<{
+            strict: "strict";
+            ignore: "ignore";
+        }>>;
+    }, z.core.$strip>>>;
     requestContext: z.ZodOptional<z.ZodRecord<z.ZodString, z.ZodUnknown>>;
     metadata: z.ZodOptional<z.ZodRecord<z.ZodString, z.ZodUnknown>>;
     source: z.ZodOptional<z.ZodObject<{
@@ -921,6 +1014,7 @@ export declare const UPDATE_ITEM_ROUTE: import("../server-adapter").ServerRoute<
             trace: "trace";
             llm: "llm";
             "experiment-result": "experiment-result";
+            "candidate-screener": "candidate-screener";
         }>;
         referenceId: z.ZodOptional<z.ZodString>;
     }, z.core.$strip>>;
@@ -931,6 +1025,15 @@ export declare const UPDATE_ITEM_ROUTE: import("../server-adapter").ServerRoute<
     input: z.ZodUnknown;
     groundTruth: z.ZodOptional<z.ZodUnknown>;
     expectedTrajectory: z.ZodOptional<z.ZodUnknown>;
+    toolMocks: z.ZodOptional<z.ZodArray<z.ZodObject<{
+        toolName: z.ZodString;
+        args: z.ZodRecord<z.ZodString, z.ZodUnknown>;
+        output: z.ZodUnknown;
+        matchArgs: z.ZodOptional<z.ZodEnum<{
+            strict: "strict";
+            ignore: "ignore";
+        }>>;
+    }, z.core.$strip>>>;
     requestContext: z.ZodOptional<z.ZodRecord<z.ZodString, z.ZodUnknown>>;
     metadata: z.ZodOptional<z.ZodRecord<z.ZodString, z.ZodUnknown>>;
     source: z.ZodOptional<z.ZodObject<{
@@ -940,6 +1043,7 @@ export declare const UPDATE_ITEM_ROUTE: import("../server-adapter").ServerRoute<
             trace: "trace";
             llm: "llm";
             "experiment-result": "experiment-result";
+            "candidate-screener": "candidate-screener";
         }>;
         referenceId: z.ZodOptional<z.ZodString>;
     }, z.core.$strip>>;
@@ -1173,6 +1277,27 @@ export declare const TRIGGER_EXPERIMENT_ROUTE: import("../server-adapter").Serve
             reason: string | null;
             error: string | null;
         }[];
+        toolMockReport?: {
+            served: {
+                mockIndex: number;
+                toolName: string;
+                args: unknown;
+            }[];
+            unconsumed: {
+                mockIndex: number;
+                toolName: string;
+                args: unknown;
+            }[];
+            liveCalls: {
+                toolName: string;
+                args: unknown;
+            }[];
+            failure?: {
+                code: "TOOL_MOCK_MISMATCH" | "TOOL_MOCK_EXHAUSTED";
+                toolName: string;
+                args: unknown;
+            } | undefined;
+        } | null | undefined;
     }[];
 }, "json", import("../server-adapter").RouteSchemas<z.ZodObject<{
     datasetId: z.ZodString;
@@ -1225,6 +1350,30 @@ export declare const TRIGGER_EXPERIMENT_ROUTE: import("../server-adapter").Serve
         startedAt: z.ZodCoercedDate<unknown>;
         completedAt: z.ZodCoercedDate<unknown>;
         retryCount: z.ZodNumber;
+        toolMockReport: z.ZodNullable<z.ZodOptional<z.ZodObject<{
+            served: z.ZodArray<z.ZodObject<{
+                mockIndex: z.ZodNumber;
+                toolName: z.ZodString;
+                args: z.ZodUnknown;
+            }, z.core.$strip>>;
+            unconsumed: z.ZodArray<z.ZodObject<{
+                mockIndex: z.ZodNumber;
+                toolName: z.ZodString;
+                args: z.ZodUnknown;
+            }, z.core.$strip>>;
+            liveCalls: z.ZodArray<z.ZodObject<{
+                toolName: z.ZodString;
+                args: z.ZodUnknown;
+            }, z.core.$strip>>;
+            failure: z.ZodOptional<z.ZodObject<{
+                code: z.ZodEnum<{
+                    TOOL_MOCK_MISMATCH: "TOOL_MOCK_MISMATCH";
+                    TOOL_MOCK_EXHAUSTED: "TOOL_MOCK_EXHAUSTED";
+                }>;
+                toolName: z.ZodString;
+                args: z.ZodUnknown;
+            }, z.core.$strip>>;
+        }, z.core.$strip>>>;
         scores: z.ZodArray<z.ZodObject<{
             scorerId: z.ZodString;
             scorerName: z.ZodString;
@@ -1317,6 +1466,27 @@ export declare const LIST_EXPERIMENT_RESULTS_ROUTE: import("../server-adapter").
         expectedTrajectory?: unknown;
         status?: "needs-review" | "reviewed" | "complete" | null | undefined;
         tags?: string[] | null | undefined;
+        toolMockReport?: {
+            served: {
+                mockIndex: number;
+                toolName: string;
+                args: unknown;
+            }[];
+            unconsumed: {
+                mockIndex: number;
+                toolName: string;
+                args: unknown;
+            }[];
+            liveCalls: {
+                toolName: string;
+                args: unknown;
+            }[];
+            failure?: {
+                code: "TOOL_MOCK_MISMATCH" | "TOOL_MOCK_EXHAUSTED";
+                toolName: string;
+                args: unknown;
+            } | undefined;
+        } | null | undefined;
     }[];
     pagination: {
         total: number;
@@ -1355,6 +1525,30 @@ export declare const LIST_EXPERIMENT_RESULTS_ROUTE: import("../server-adapter").
             complete: "complete";
         }>>>;
         tags: z.ZodOptional<z.ZodNullable<z.ZodArray<z.ZodString>>>;
+        toolMockReport: z.ZodNullable<z.ZodOptional<z.ZodObject<{
+            served: z.ZodArray<z.ZodObject<{
+                mockIndex: z.ZodNumber;
+                toolName: z.ZodString;
+                args: z.ZodUnknown;
+            }, z.core.$strip>>;
+            unconsumed: z.ZodArray<z.ZodObject<{
+                mockIndex: z.ZodNumber;
+                toolName: z.ZodString;
+                args: z.ZodUnknown;
+            }, z.core.$strip>>;
+            liveCalls: z.ZodArray<z.ZodObject<{
+                toolName: z.ZodString;
+                args: z.ZodUnknown;
+            }, z.core.$strip>>;
+            failure: z.ZodOptional<z.ZodObject<{
+                code: z.ZodEnum<{
+                    TOOL_MOCK_MISMATCH: "TOOL_MOCK_MISMATCH";
+                    TOOL_MOCK_EXHAUSTED: "TOOL_MOCK_EXHAUSTED";
+                }>;
+                toolName: z.ZodString;
+                args: z.ZodUnknown;
+            }, z.core.$strip>>;
+        }, z.core.$strip>>>;
         createdAt: z.ZodCoercedDate<unknown>;
     }, z.core.$strip>>;
     pagination: z.ZodObject<{
@@ -1396,6 +1590,27 @@ export declare const UPDATE_EXPERIMENT_RESULT_ROUTE: import("../server-adapter")
     expectedTrajectory?: unknown;
     status?: "needs-review" | "reviewed" | "complete" | null | undefined;
     tags?: string[] | null | undefined;
+    toolMockReport?: {
+        served: {
+            mockIndex: number;
+            toolName: string;
+            args: unknown;
+        }[];
+        unconsumed: {
+            mockIndex: number;
+            toolName: string;
+            args: unknown;
+        }[];
+        liveCalls: {
+            toolName: string;
+            args: unknown;
+        }[];
+        failure?: {
+            code: "TOOL_MOCK_MISMATCH" | "TOOL_MOCK_EXHAUSTED";
+            toolName: string;
+            args: unknown;
+        } | undefined;
+    } | null | undefined;
 }, "json", import("../server-adapter").RouteSchemas<z.ZodObject<{
     datasetId: z.ZodString;
     experimentId: z.ZodString;
@@ -1431,6 +1646,30 @@ export declare const UPDATE_EXPERIMENT_RESULT_ROUTE: import("../server-adapter")
         complete: "complete";
     }>>>;
     tags: z.ZodOptional<z.ZodNullable<z.ZodArray<z.ZodString>>>;
+    toolMockReport: z.ZodNullable<z.ZodOptional<z.ZodObject<{
+        served: z.ZodArray<z.ZodObject<{
+            mockIndex: z.ZodNumber;
+            toolName: z.ZodString;
+            args: z.ZodUnknown;
+        }, z.core.$strip>>;
+        unconsumed: z.ZodArray<z.ZodObject<{
+            mockIndex: z.ZodNumber;
+            toolName: z.ZodString;
+            args: z.ZodUnknown;
+        }, z.core.$strip>>;
+        liveCalls: z.ZodArray<z.ZodObject<{
+            toolName: z.ZodString;
+            args: z.ZodUnknown;
+        }, z.core.$strip>>;
+        failure: z.ZodOptional<z.ZodObject<{
+            code: z.ZodEnum<{
+                TOOL_MOCK_MISMATCH: "TOOL_MOCK_MISMATCH";
+                TOOL_MOCK_EXHAUSTED: "TOOL_MOCK_EXHAUSTED";
+            }>;
+            toolName: z.ZodString;
+            args: z.ZodUnknown;
+        }, z.core.$strip>>;
+    }, z.core.$strip>>>;
     createdAt: z.ZodCoercedDate<unknown>;
 }, z.core.$strip>>, "PATCH", "/datasets/:datasetId/experiments/:experimentId/results/:resultId">;
 export declare const COMPARE_EXPERIMENTS_ROUTE: import("../server-adapter").ServerRoute<import("../server-adapter").InferParams<z.ZodObject<{
@@ -1518,6 +1757,12 @@ export declare const LIST_ITEM_VERSIONS_ROUTE: import("../server-adapter").Serve
         updatedAt: Date;
         groundTruth?: unknown;
         expectedTrajectory?: unknown;
+        toolMocks?: {
+            toolName: string;
+            args: Record<string, unknown>;
+            output: unknown;
+            matchArgs?: "strict" | "ignore" | undefined;
+        }[] | undefined;
         metadata?: Record<string, unknown> | undefined;
     }[];
 }, "json", import("../server-adapter").RouteSchemas<z.ZodObject<{
@@ -1531,6 +1776,15 @@ export declare const LIST_ITEM_VERSIONS_ROUTE: import("../server-adapter").Serve
         input: z.ZodUnknown;
         groundTruth: z.ZodOptional<z.ZodUnknown>;
         expectedTrajectory: z.ZodOptional<z.ZodUnknown>;
+        toolMocks: z.ZodOptional<z.ZodArray<z.ZodObject<{
+            toolName: z.ZodString;
+            args: z.ZodRecord<z.ZodString, z.ZodUnknown>;
+            output: z.ZodUnknown;
+            matchArgs: z.ZodOptional<z.ZodEnum<{
+                strict: "strict";
+                ignore: "ignore";
+            }>>;
+        }, z.core.$strip>>>;
         metadata: z.ZodOptional<z.ZodRecord<z.ZodString, z.ZodUnknown>>;
         validTo: z.ZodNullable<z.ZodNumber>;
         isDeleted: z.ZodBoolean;
@@ -1551,10 +1805,16 @@ export declare const GET_ITEM_VERSION_ROUTE: import("../server-adapter").ServerR
     updatedAt: Date;
     groundTruth?: unknown;
     expectedTrajectory?: unknown;
+    toolMocks?: {
+        toolName: string;
+        args: Record<string, unknown>;
+        output: unknown;
+        matchArgs?: "strict" | "ignore" | undefined;
+    }[] | undefined;
     requestContext?: Record<string, unknown> | undefined;
     metadata?: Record<string, unknown> | undefined;
     source?: {
-        type: "json" | "csv" | "trace" | "llm" | "experiment-result";
+        type: "json" | "csv" | "trace" | "llm" | "experiment-result" | "candidate-screener";
         referenceId?: string | undefined;
     } | undefined;
 } | null, "json", import("../server-adapter").RouteSchemas<z.ZodObject<{
@@ -1568,6 +1828,15 @@ export declare const GET_ITEM_VERSION_ROUTE: import("../server-adapter").ServerR
     input: z.ZodUnknown;
     groundTruth: z.ZodOptional<z.ZodUnknown>;
     expectedTrajectory: z.ZodOptional<z.ZodUnknown>;
+    toolMocks: z.ZodOptional<z.ZodArray<z.ZodObject<{
+        toolName: z.ZodString;
+        args: z.ZodRecord<z.ZodString, z.ZodUnknown>;
+        output: z.ZodUnknown;
+        matchArgs: z.ZodOptional<z.ZodEnum<{
+            strict: "strict";
+            ignore: "ignore";
+        }>>;
+    }, z.core.$strip>>>;
     requestContext: z.ZodOptional<z.ZodRecord<z.ZodString, z.ZodUnknown>>;
     metadata: z.ZodOptional<z.ZodRecord<z.ZodString, z.ZodUnknown>>;
     source: z.ZodOptional<z.ZodObject<{
@@ -1577,6 +1846,7 @@ export declare const GET_ITEM_VERSION_ROUTE: import("../server-adapter").ServerR
             trace: "trace";
             llm: "llm";
             "experiment-result": "experiment-result";
+            "candidate-screener": "candidate-screener";
         }>;
         referenceId: z.ZodOptional<z.ZodString>;
     }, z.core.$strip>>;
@@ -1711,6 +1981,15 @@ export declare const BATCH_INSERT_ITEMS_ROUTE: import("../server-adapter").Serve
             blacklistedSequences: z.ZodOptional<z.ZodArray<z.ZodArray<z.ZodString>>>;
             maxRetriesPerTool: z.ZodOptional<z.ZodNumber>;
         }, z.core.$strip>>>;
+        toolMocks: z.ZodOptional<z.ZodArray<z.ZodObject<{
+            toolName: z.ZodString;
+            args: z.ZodRecord<z.ZodString, z.ZodUnknown>;
+            output: z.ZodUnknown;
+            matchArgs: z.ZodOptional<z.ZodEnum<{
+                strict: "strict";
+                ignore: "ignore";
+            }>>;
+        }, z.core.$strip>>>;
         requestContext: z.ZodOptional<z.ZodRecord<z.ZodString, z.ZodUnknown>>;
         metadata: z.ZodOptional<z.ZodRecord<z.ZodString, z.ZodUnknown>>;
         source: z.ZodOptional<z.ZodObject<{
@@ -1720,6 +1999,7 @@ export declare const BATCH_INSERT_ITEMS_ROUTE: import("../server-adapter").Serve
                 trace: "trace";
                 llm: "llm";
                 "experiment-result": "experiment-result";
+                "candidate-screener": "candidate-screener";
             }>;
             referenceId: z.ZodOptional<z.ZodString>;
         }, z.core.$strip>>;
@@ -1734,10 +2014,16 @@ export declare const BATCH_INSERT_ITEMS_ROUTE: import("../server-adapter").Serve
         updatedAt: Date;
         groundTruth?: unknown;
         expectedTrajectory?: unknown;
+        toolMocks?: {
+            toolName: string;
+            args: Record<string, unknown>;
+            output: unknown;
+            matchArgs?: "strict" | "ignore" | undefined;
+        }[] | undefined;
         requestContext?: Record<string, unknown> | undefined;
         metadata?: Record<string, unknown> | undefined;
         source?: {
-            type: "json" | "csv" | "trace" | "llm" | "experiment-result";
+            type: "json" | "csv" | "trace" | "llm" | "experiment-result" | "candidate-screener";
             referenceId?: string | undefined;
         } | undefined;
     }[];
@@ -1870,6 +2156,15 @@ export declare const BATCH_INSERT_ITEMS_ROUTE: import("../server-adapter").Serve
             blacklistedSequences: z.ZodOptional<z.ZodArray<z.ZodArray<z.ZodString>>>;
             maxRetriesPerTool: z.ZodOptional<z.ZodNumber>;
         }, z.core.$strip>>>;
+        toolMocks: z.ZodOptional<z.ZodArray<z.ZodObject<{
+            toolName: z.ZodString;
+            args: z.ZodRecord<z.ZodString, z.ZodUnknown>;
+            output: z.ZodUnknown;
+            matchArgs: z.ZodOptional<z.ZodEnum<{
+                strict: "strict";
+                ignore: "ignore";
+            }>>;
+        }, z.core.$strip>>>;
         requestContext: z.ZodOptional<z.ZodRecord<z.ZodString, z.ZodUnknown>>;
         metadata: z.ZodOptional<z.ZodRecord<z.ZodString, z.ZodUnknown>>;
         source: z.ZodOptional<z.ZodObject<{
@@ -1879,6 +2174,7 @@ export declare const BATCH_INSERT_ITEMS_ROUTE: import("../server-adapter").Serve
                 trace: "trace";
                 llm: "llm";
                 "experiment-result": "experiment-result";
+                "candidate-screener": "candidate-screener";
             }>;
             referenceId: z.ZodOptional<z.ZodString>;
         }, z.core.$strip>>;
@@ -1891,6 +2187,15 @@ export declare const BATCH_INSERT_ITEMS_ROUTE: import("../server-adapter").Serve
         input: z.ZodUnknown;
         groundTruth: z.ZodOptional<z.ZodUnknown>;
         expectedTrajectory: z.ZodOptional<z.ZodUnknown>;
+        toolMocks: z.ZodOptional<z.ZodArray<z.ZodObject<{
+            toolName: z.ZodString;
+            args: z.ZodRecord<z.ZodString, z.ZodUnknown>;
+            output: z.ZodUnknown;
+            matchArgs: z.ZodOptional<z.ZodEnum<{
+                strict: "strict";
+                ignore: "ignore";
+            }>>;
+        }, z.core.$strip>>>;
         requestContext: z.ZodOptional<z.ZodRecord<z.ZodString, z.ZodUnknown>>;
         metadata: z.ZodOptional<z.ZodRecord<z.ZodString, z.ZodUnknown>>;
         source: z.ZodOptional<z.ZodObject<{
@@ -1900,6 +2205,7 @@ export declare const BATCH_INSERT_ITEMS_ROUTE: import("../server-adapter").Serve
                 trace: "trace";
                 llm: "llm";
                 "experiment-result": "experiment-result";
+                "candidate-screener": "candidate-screener";
             }>;
             referenceId: z.ZodOptional<z.ZodString>;
         }, z.core.$strip>>;

package/dist/server/handlers/datasets.d.ts.map

@@ -1 +1 @@
-{"version":3,"file":"datasets.d.ts","sourceRoot":"","sources":["../../../src/server/handlers/datasets.ts"],"names":[],"mappings":"AAMA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAgGxB,eAAO,MAAM,mBAAmB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;uCA0B9B,CAAC;AAEH,eAAO,MAAM,oBAAoB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;wCAsD/B,CAAC;AAEH,eAAO,MAAM,iBAAiB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;mDAsB5B,CAAC;AAEH,eAAO,MAAM,oBAAoB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;oDAsE/B,CAAC;AAEH,eAAO,MAAM,oBAAoB;;;;;;;;qDAuB/B,CAAC;AAMH,eAAO,MAAM,gBAAgB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;wDAkC3B,CAAC;AAEH,eAAO,MAAM,cAAc;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;yDAqCzB,CAAC;AAEH,eAAO,MAAM,cAAc;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;iEA0BzB,CAAC;AAEH,eAAO,MAAM,iBAAiB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kEAyC5B,CAAC;AAEH,eAAO,MAAM,iBAAiB;;;;;;;;;;mEA2B5B,CAAC;AAMH,eAAO,MAAM,0BAA0B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;0CAiCrC,CAAC;AAEH,eAAO,MAAM,+BAA+B;;;;;;;;;;;;;;;;yDA6B1C,CAAC;AAEH,eAAO,MAAM,sBAAsB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;8DAyBjC,CAAC;AAEH,eAAO,MAAM,wBAAwB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;+DAkEnC,CAAC;AAEH,eAAO,MAAM,oBAAoB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;6EA0B/B,CAAC;AAEH,eAAO,MAAM,6BAA6B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;oFAiCxC,CAAC;AAEH,eAAO,MAAM,8BAA8B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;gGAsCzC,CAAC;AAMH,eAAO,MAAM,yBAAyB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;2DAgCpC,CAAC;AAMH,eAAO,MAAM,2BAA2B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;2DAyBtC,CAAC;AAEH,eAAO,MAAM,wBAAwB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;wEA2BnC,CAAC;AAEH,eAAO,MAAM,sBAAsB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;0FA6BjC,CAAC;AAMH,eAAO,MAAM,wBAAwB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;+DAuCnC,CAAC;AAEH,eAAO,MAAM,wBAAwB;;;;;;;;;;;;;;iEAyBnC,CAAC;AAoBH,eAAO,MAAM,oBAAoB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kEA+G/B,CAAC;AAyBH,eAAO,MAAM,sBAAsB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;yDAkFjC,CAAC"}
+{"version":3,"file":"datasets.d.ts","sourceRoot":"","sources":["../../../src/server/handlers/datasets.ts"],"names":[],"mappings":"AAMA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAgGxB,eAAO,MAAM,mBAAmB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;uCA0B9B,CAAC;AAEH,eAAO,MAAM,oBAAoB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;wCAsD/B,CAAC;AAEH,eAAO,MAAM,iBAAiB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;mDAsB5B,CAAC;AAEH,eAAO,MAAM,oBAAoB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;oDAsE/B,CAAC;AAEH,eAAO,MAAM,oBAAoB;;;;;;;;qDAuB/B,CAAC;AAMH,eAAO,MAAM,gBAAgB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;wDAkC3B,CAAC;AAEH,eAAO,MAAM,cAAc;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;yDAsCzB,CAAC;AAEH,eAAO,MAAM,cAAc;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;iEA0BzB,CAAC;AAEH,eAAO,MAAM,iBAAiB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kEAkD5B,CAAC;AAEH,eAAO,MAAM,iBAAiB;;;;;;;;;;mEA2B5B,CAAC;AAMH,eAAO,MAAM,0BAA0B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;0CAiCrC,CAAC;AAEH,eAAO,MAAM,+BAA+B;;;;;;;;;;;;;;;;yDA6B1C,CAAC;AAEH,eAAO,MAAM,sBAAsB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;8DAyBjC,CAAC;AAEH,eAAO,MAAM,wBAAwB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;+DAkEnC,CAAC;AAEH,eAAO,MAAM,oBAAoB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;6EA0B/B,CAAC;AAEH,eAAO,MAAM,6BAA6B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;oFAiCxC,CAAC;AAEH,eAAO,MAAM,8BAA8B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;gGAsCzC,CAAC;AAMH,eAAO,MAAM,yBAAyB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;2DAgCpC,CAAC;AAMH,eAAO,MAAM,2BAA2B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;2DAyBtC,CAAC;AAEH,eAAO,MAAM,wBAAwB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;wEA2BnC,CAAC;AAEH,eAAO,MAAM,sBAAsB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;0FA6BjC,CAAC;AAMH,eAAO,MAAM,wBAAwB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;+DAwCnC,CAAC;AAEH,eAAO,MAAM,wBAAwB;;;;;;;;;;;;;;iEAyBnC,CAAC;AAoBH,eAAO,MAAM,oBAAoB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kEA+G/B,CAAC;AAyBH,eAAO,MAAM,sBAAsB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;yDAkFjC,CAAC"}

package/dist/server/handlers/datasets.js

@@ -1,3 +1,3 @@
-export { ADD_ITEM_ROUTE, BATCH_DELETE_ITEMS_ROUTE, BATCH_INSERT_ITEMS_ROUTE, CLUSTER_FAILURES_ROUTE, COMPARE_EXPERIMENTS_ROUTE, CREATE_DATASET_ROUTE, DELETE_DATASET_ROUTE, DELETE_ITEM_ROUTE, EXPERIMENT_REVIEW_SUMMARY_ROUTE, GENERATE_ITEMS_ROUTE, GET_DATASET_ROUTE, GET_EXPERIMENT_ROUTE, GET_ITEM_ROUTE, GET_ITEM_VERSION_ROUTE, LIST_ALL_EXPERIMENTS_ROUTE, LIST_DATASETS_ROUTE, LIST_DATASET_VERSIONS_ROUTE, LIST_EXPERIMENTS_ROUTE, LIST_EXPERIMENT_RESULTS_ROUTE, LIST_ITEMS_ROUTE, LIST_ITEM_VERSIONS_ROUTE, TRIGGER_EXPERIMENT_ROUTE, UPDATE_DATASET_ROUTE, UPDATE_EXPERIMENT_RESULT_ROUTE, UPDATE_ITEM_ROUTE } from '../../chunk-YD3A4BO6.js';
+export { ADD_ITEM_ROUTE, BATCH_DELETE_ITEMS_ROUTE, BATCH_INSERT_ITEMS_ROUTE, CLUSTER_FAILURES_ROUTE, COMPARE_EXPERIMENTS_ROUTE, CREATE_DATASET_ROUTE, DELETE_DATASET_ROUTE, DELETE_ITEM_ROUTE, EXPERIMENT_REVIEW_SUMMARY_ROUTE, GENERATE_ITEMS_ROUTE, GET_DATASET_ROUTE, GET_EXPERIMENT_ROUTE, GET_ITEM_ROUTE, GET_ITEM_VERSION_ROUTE, LIST_ALL_EXPERIMENTS_ROUTE, LIST_DATASETS_ROUTE, LIST_DATASET_VERSIONS_ROUTE, LIST_EXPERIMENTS_ROUTE, LIST_EXPERIMENT_RESULTS_ROUTE, LIST_ITEMS_ROUTE, LIST_ITEM_VERSIONS_ROUTE, TRIGGER_EXPERIMENT_ROUTE, UPDATE_DATASET_ROUTE, UPDATE_EXPERIMENT_RESULT_ROUTE, UPDATE_ITEM_ROUTE } from '../../chunk-GADWAAGI.js';
 //# sourceMappingURL=datasets.js.map
 //# sourceMappingURL=datasets.js.map