@artemiskit/core 0.2.0 → 0.2.2

package/dist/scenario/schema.d.ts

@@ -22,6 +22,7 @@ export declare const ProviderConfigSchema: z.ZodOptional<z.ZodObject<{
     deploymentName: z.ZodOptional<z.ZodString>;
     apiVersion: z.ZodOptional<z.ZodString>;
     embeddingDeploymentName: z.ZodOptional<z.ZodString>;
+    modelFamily: z.ZodOptional<z.ZodString>;
     underlyingProvider: z.ZodOptional<z.ZodEnum<["openai", "azure", "anthropic", "google", "mistral"]>>;
 }, "strip", z.ZodTypeAny, {
     apiKey?: string | undefined;
@@ -34,6 +35,7 @@ export declare const ProviderConfigSchema: z.ZodOptional<z.ZodObject<{
     deploymentName?: string | undefined;
     apiVersion?: string | undefined;
     embeddingDeploymentName?: string | undefined;
+    modelFamily?: string | undefined;
     underlyingProvider?: "openai" | "anthropic" | "google" | "mistral" | "azure" | undefined;
 }, {
     apiKey?: string | undefined;
@@ -46,6 +48,7 @@ export declare const ProviderConfigSchema: z.ZodOptional<z.ZodObject<{
     deploymentName?: string | undefined;
     apiVersion?: string | undefined;
     embeddingDeploymentName?: string | undefined;
+    modelFamily?: string | undefined;
     underlyingProvider?: "openai" | "anthropic" | "google" | "mistral" | "azure" | undefined;
 }>>;
 /**
@@ -1137,6 +1140,7 @@ export declare const ScenarioSchema: z.ZodObject<{
         deploymentName: z.ZodOptional<z.ZodString>;
         apiVersion: z.ZodOptional<z.ZodString>;
         embeddingDeploymentName: z.ZodOptional<z.ZodString>;
+        modelFamily: z.ZodOptional<z.ZodString>;
         underlyingProvider: z.ZodOptional<z.ZodEnum<["openai", "azure", "anthropic", "google", "mistral"]>>;
     }, "strip", z.ZodTypeAny, {
         apiKey?: string | undefined;
@@ -1149,6 +1153,7 @@ export declare const ScenarioSchema: z.ZodObject<{
         deploymentName?: string | undefined;
         apiVersion?: string | undefined;
         embeddingDeploymentName?: string | undefined;
+        modelFamily?: string | undefined;
         underlyingProvider?: "openai" | "anthropic" | "google" | "mistral" | "azure" | undefined;
     }, {
         apiKey?: string | undefined;
@@ -1161,6 +1166,7 @@ export declare const ScenarioSchema: z.ZodObject<{
         deploymentName?: string | undefined;
         apiVersion?: string | undefined;
         embeddingDeploymentName?: string | undefined;
+        modelFamily?: string | undefined;
         underlyingProvider?: "openai" | "anthropic" | "google" | "mistral" | "azure" | undefined;
     }>>;
     seed: z.ZodOptional<z.ZodNumber>;
@@ -2000,6 +2006,7 @@ export declare const ScenarioSchema: z.ZodObject<{
         deploymentName?: string | undefined;
         apiVersion?: string | undefined;
         embeddingDeploymentName?: string | undefined;
+        modelFamily?: string | undefined;
         underlyingProvider?: "openai" | "anthropic" | "google" | "mistral" | "azure" | undefined;
     } | undefined;
     seed?: number | undefined;
@@ -2156,6 +2163,7 @@ export declare const ScenarioSchema: z.ZodObject<{
         deploymentName?: string | undefined;
         apiVersion?: string | undefined;
         embeddingDeploymentName?: string | undefined;
+        modelFamily?: string | undefined;
         underlyingProvider?: "openai" | "anthropic" | "google" | "mistral" | "azure" | undefined;
     } | undefined;
     seed?: number | undefined;

package/dist/scenario/schema.d.ts.map

@@ -1 +1 @@
-{"version":3,"file":"schema.d.ts","sourceRoot":"","sources":["../../src/scenario/schema.ts"],"names":[],"mappings":"AAAA;;GAEG;AAEH,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAGxB;;GAEG;AACH,eAAO,MAAM,cAAc,mIAWzB,CAAC;AAEH;;;;GAIG;AACH,eAAO,MAAM,oBAAoB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;GAqBpB,CAAC;AAoFd;;;GAGG;AACH,eAAO,MAAM,cAAc;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;IA7BvB,0GAA0G;;IAE1G,8EAA8E;;IAE9E,uFAAuF;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;QAJvF,0GAA0G;;QAE1G,8EAA8E;;QAE9E,uFAAuF;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;IAyBR,CAAC;AAEpF;;GAEG;AACH,eAAO,MAAM,iBAAiB;;;;;;;;;EAG5B,CAAC;AAEH;;GAEG;AACH,eAAO,MAAM,eAAe,gFAAuE,CAAC;AAEpG;;;GAGG;AACH,QAAA,MAAM,qBAAqB;;;;;;;;;;;;;;;;;;;;;GAAuC,CAAC;AAEnE;;GAEG;AACH,eAAO,MAAM,cAAc;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;QArDvB,0GAA0G;;QAE1G,8EAA8E;;QAE9E,uFAAuF;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;YAJvF,0GAA0G;;YAE1G,8EAA8E;;YAE9E,uFAAuF;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;IA8DzF,6DAA6D;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;EAE7D,CAAC;AAEH;;GAEG;AACH,eAAO,MAAM,cAAc;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;IAYzB,6CAA6C;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;YArF3C,0GAA0G;;YAE1G,8EAA8E;;YAE9E,uFAAuF;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;gBAJvF,0GAA0G;;gBAE1G,8EAA8E;;gBAE9E,uFAAuF;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;QA8DzF,6DAA6D;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;EAiC7D,CAAC;AAEH,MAAM,MAAM,QAAQ,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,cAAc,CAAC,CAAC;AACtD,MAAM,MAAM,QAAQ,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,cAAc,CAAC,CAAC;AACtD,MAAM,MAAM,QAAQ,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,cAAc,CAAC,CAAC;AACtD,MAAM,MAAM,QAAQ,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,cAAc,CAAC,CAAC;AACtD,MAAM,MAAM,cAAc,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,oBAAoB,CAAC,CAAC;AAClE,MAAM,MAAM,eAAe,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,iBAAiB,CAAC,CAAC;AAChE,MAAM,MAAM,SAAS,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,eAAe,CAAC,CAAC;AACxD,MAAM,MAAM,uBAAuB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,qBAAqB,CAAC,CAAC"}
+{"version":3,"file":"schema.d.ts","sourceRoot":"","sources":["../../src/scenario/schema.ts"],"names":[],"mappings":"AAAA;;GAEG;AAEH,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAGxB;;GAEG;AACH,eAAO,MAAM,cAAc,mIAWzB,CAAC;AAEH;;;;GAIG;AACH,eAAO,MAAM,oBAAoB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;GAyBpB,CAAC;AAoFd;;;GAGG;AACH,eAAO,MAAM,cAAc;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;IA7BvB,0GAA0G;;IAE1G,8EAA8E;;IAE9E,uFAAuF;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;QAJvF,0GAA0G;;QAE1G,8EAA8E;;QAE9E,uFAAuF;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;IAyBR,CAAC;AAEpF;;GAEG;AACH,eAAO,MAAM,iBAAiB;;;;;;;;;EAG5B,CAAC;AAEH;;GAEG;AACH,eAAO,MAAM,eAAe,gFAAuE,CAAC;AAEpG;;;GAGG;AACH,QAAA,MAAM,qBAAqB;;;;;;;;;;;;;;;;;;;;;GAAuC,CAAC;AAEnE;;GAEG;AACH,eAAO,MAAM,cAAc;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;QArDvB,0GAA0G;;QAE1G,8EAA8E;;QAE9E,uFAAuF;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;YAJvF,0GAA0G;;YAE1G,8EAA8E;;YAE9E,uFAAuF;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;IA8DzF,6DAA6D;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;EAE7D,CAAC;AAEH;;GAEG;AACH,eAAO,MAAM,cAAc;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;IAYzB,6CAA6C;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;YArF3C,0GAA0G;;YAE1G,8EAA8E;;YAE9E,uFAAuF;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;gBAJvF,0GAA0G;;gBAE1G,8EAA8E;;gBAE9E,uFAAuF;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;QA8DzF,6DAA6D;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;EAiC7D,CAAC;AAEH,MAAM,MAAM,QAAQ,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,cAAc,CAAC,CAAC;AACtD,MAAM,MAAM,QAAQ,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,cAAc,CAAC,CAAC;AACtD,MAAM,MAAM,QAAQ,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,cAAc,CAAC,CAAC;AACtD,MAAM,MAAM,QAAQ,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,cAAc,CAAC,CAAC;AACtD,MAAM,MAAM,cAAc,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,oBAAoB,CAAC,CAAC;AAClE,MAAM,MAAM,eAAe,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,iBAAiB,CAAC,CAAC;AAChE,MAAM,MAAM,SAAS,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,eAAe,CAAC,CAAC;AACxD,MAAM,MAAM,uBAAuB,GAAG,CAAC,CAAC,KAAK,CAAC,OAAO,qBAAqB,CAAC,CAAC"}

package/dist/storage/local.d.ts

@@ -2,9 +2,10 @@
  * Local filesystem storage adapter
  */
 import type { AnyManifest, RedTeamManifest, RunManifest, StressManifest } from '../artifacts/types';
-import type { ComparisonResult, ListOptions, RunListItem, StorageAdapter } from './types';
-export declare class LocalStorageAdapter implements StorageAdapter {
+import type { BaselineMetadata, BaselineStorageAdapter, ComparisonResult, ListOptions, RunListItem } from './types';
+export declare class LocalStorageAdapter implements BaselineStorageAdapter {
     private basePath;
+    private baselinesPath;
     constructor(basePath?: string);
     save(manifest: AnyManifest): Promise<string>;
     load(runId: string): Promise<AnyManifest>;
@@ -16,5 +17,46 @@ export declare class LocalStorageAdapter implements StorageAdapter {
     compare(baselineId: string, currentId: string): Promise<ComparisonResult>;
     private listDirectories;
     private listFiles;
+    /**
+     * Load baselines file
+     */
+    private loadBaselinesFile;
+    /**
+     * Save baselines file
+     */
+    private saveBaselinesFile;
+    /**
+     * Set a baseline for a scenario
+     */
+    setBaseline(scenario: string, runId: string, tag?: string): Promise<BaselineMetadata>;
+    /**
+     * Get the baseline for a scenario
+     */
+    getBaseline(scenario: string): Promise<BaselineMetadata | null>;
+    /**
+     * Get a baseline by run ID
+     */
+    getBaselineByRunId(runId: string): Promise<BaselineMetadata | null>;
+    /**
+     * List all baselines
+     */
+    listBaselines(): Promise<BaselineMetadata[]>;
+    /**
+     * Remove a baseline by scenario name
+     */
+    removeBaseline(scenario: string): Promise<boolean>;
+    /**
+     * Remove a baseline by run ID
+     */
+    removeBaselineByRunId(runId: string): Promise<boolean>;
+    /**
+     * Compare a run against its baseline (if exists)
+     */
+    compareToBaseline(runId: string, regressionThreshold?: number): Promise<{
+        baseline: BaselineMetadata;
+        comparison: ComparisonResult;
+        hasRegression: boolean;
+        regressionThreshold: number;
+    } | null>;
 }
 //# sourceMappingURL=local.d.ts.map

package/dist/storage/local.d.ts.map

@@ -1 +1 @@
-{"version":3,"file":"local.d.ts","sourceRoot":"","sources":["../../src/storage/local.ts"],"names":[],"mappings":"AAAA;;GAEG;AAIH,OAAO,KAAK,EAAE,WAAW,EAAE,eAAe,EAAE,WAAW,EAAE,cAAc,EAAE,MAAM,oBAAoB,CAAC;AACpG,OAAO,KAAK,EAAE,gBAAgB,EAAE,WAAW,EAAE,WAAW,EAAE,cAAc,EAAE,MAAM,SAAS,CAAC;AAkC1F,qBAAa,mBAAoB,YAAW,cAAc;IACxD,OAAO,CAAC,QAAQ,CAAS;gBAEb,QAAQ,SAAmB;IAIjC,IAAI,CAAC,QAAQ,EAAE,WAAW,GAAG,OAAO,CAAC,MAAM,CAAC;IAU5C,IAAI,CAAC,KAAK,EAAE,MAAM,GAAG,OAAO,CAAC,WAAW,CAAC;IAczC,OAAO,CAAC,KAAK,EAAE,MAAM,GAAG,OAAO,CAAC,WAAW,CAAC;IAQ5C,WAAW,CAAC,KAAK,EAAE,MAAM,GAAG,OAAO,CAAC,eAAe,CAAC;IAQpD,UAAU,CAAC,KAAK,EAAE,MAAM,GAAG,OAAO,CAAC,cAAc,CAAC;IAQlD,IAAI,CAAC,OAAO,CAAC,EAAE,WAAW,GAAG,OAAO,CAAC,WAAW,EAAE,CAAC;IAmDnD,MAAM,CAAC,KAAK,EAAE,MAAM,GAAG,OAAO,CAAC,IAAI,CAAC;IAYpC,OAAO,CAAC,UAAU,EAAE,MAAM,EAAE,SAAS,EAAE,MAAM,GAAG,OAAO,CAAC,gBAAgB,CAAC;YAiBjE,eAAe;YASf,SAAS;CAQxB"}
+{"version":3,"file":"local.d.ts","sourceRoot":"","sources":["../../src/storage/local.ts"],"names":[],"mappings":"AAAA;;GAEG;AAIH,OAAO,KAAK,EAAE,WAAW,EAAE,eAAe,EAAE,WAAW,EAAE,cAAc,EAAE,MAAM,oBAAoB,CAAC;AACpG,OAAO,KAAK,EACV,gBAAgB,EAChB,sBAAsB,EACtB,gBAAgB,EAChB,WAAW,EACX,WAAW,EACZ,MAAM,SAAS,CAAC;AA0CjB,qBAAa,mBAAoB,YAAW,sBAAsB;IAChE,OAAO,CAAC,QAAQ,CAAS;IACzB,OAAO,CAAC,aAAa,CAAS;gBAElB,QAAQ,SAAmB;IAKjC,IAAI,CAAC,QAAQ,EAAE,WAAW,GAAG,OAAO,CAAC,MAAM,CAAC;IAU5C,IAAI,CAAC,KAAK,EAAE,MAAM,GAAG,OAAO,CAAC,WAAW,CAAC;IAczC,OAAO,CAAC,KAAK,EAAE,MAAM,GAAG,OAAO,CAAC,WAAW,CAAC;IAQ5C,WAAW,CAAC,KAAK,EAAE,MAAM,GAAG,OAAO,CAAC,eAAe,CAAC;IAQpD,UAAU,CAAC,KAAK,EAAE,MAAM,GAAG,OAAO,CAAC,cAAc,CAAC;IAQlD,IAAI,CAAC,OAAO,CAAC,EAAE,WAAW,GAAG,OAAO,CAAC,WAAW,EAAE,CAAC;IAmDnD,MAAM,CAAC,KAAK,EAAE,MAAM,GAAG,OAAO,CAAC,IAAI,CAAC;IAYpC,OAAO,CAAC,UAAU,EAAE,MAAM,EAAE,SAAS,EAAE,MAAM,GAAG,OAAO,CAAC,gBAAgB,CAAC;YAiBjE,eAAe;YASf,SAAS;IAWvB;;OAEG;YACW,iBAAiB;IAS/B;;OAEG;YACW,iBAAiB;IAM/B;;OAEG;IACG,WAAW,CAAC,QAAQ,EAAE,MAAM,EAAE,KAAK,EAAE,MAAM,EAAE,GAAG,CAAC,EAAE,MAAM,GAAG,OAAO,CAAC,gBAAgB,CAAC;IA4B3F;;OAEG;IACG,WAAW,CAAC,QAAQ,EAAE,MAAM,GAAG,OAAO,CAAC,gBAAgB,GAAG,IAAI,CAAC;IAKrE;;OAEG;IACG,kBAAkB,CAAC,KAAK,EAAE,MAAM,GAAG,OAAO,CAAC,gBAAgB,GAAG,IAAI,CAAC;IAMzE;;OAEG;IACG,aAAa,IAAI,OAAO,CAAC,gBAAgB,EAAE,CAAC;IAOlD;;OAEG;IACG,cAAc,CAAC,QAAQ,EAAE,MAAM,GAAG,OAAO,CAAC,OAAO,CAAC;IAUxD;;OAEG;IACG,qBAAqB,CAAC,KAAK,EAAE,MAAM,GAAG,OAAO,CAAC,OAAO,CAAC;IAW5D;;OAEG;IACG,iBAAiB,CACrB,KAAK,EAAE,MAAM,EACb,mBAAmB,SAAO,GACzB,OAAO,CAAC;QACT,QAAQ,EAAE,gBAAgB,CAAC;QAC3B,UAAU,EAAE,gBAAgB,CAAC;QAC7B,aAAa,EAAE,OAAO,CAAC;QACvB,mBAAmB,EAAE,MAAM,CAAC;KAC7B,GAAG,IAAI,CAAC;CAwBV"}

package/dist/storage/types.d.ts

@@ -83,4 +83,66 @@ export interface StorageConfig {
     bucket?: string;
     basePath?: string;
 }
+/**
+ * Baseline metadata for regression comparison
+ */
+export interface BaselineMetadata {
+    /** Scenario name or identifier */
+    scenario: string;
+    /** Run ID of the baseline */
+    runId: string;
+    /** ISO timestamp when baseline was set */
+    createdAt: string;
+    /** Key metrics captured at baseline time */
+    metrics: {
+        successRate: number;
+        medianLatencyMs: number;
+        totalTokens: number;
+        passedCases: number;
+        failedCases: number;
+        totalCases: number;
+    };
+    /** Optional description or tag */
+    tag?: string;
+}
+/**
+ * Extended storage adapter with baseline support
+ */
+export interface BaselineStorageAdapter extends StorageAdapter {
+    /**
+     * Set a baseline for a scenario
+     */
+    setBaseline(scenario: string, runId: string, tag?: string): Promise<BaselineMetadata>;
+    /**
+     * Get the baseline by scenario name
+     */
+    getBaseline(scenario: string): Promise<BaselineMetadata | null>;
+    /**
+     * Get the baseline by run ID
+     */
+    getBaselineByRunId(runId: string): Promise<BaselineMetadata | null>;
+    /**
+     * List all baselines
+     */
+    listBaselines(): Promise<BaselineMetadata[]>;
+    /**
+     * Remove a baseline by scenario name
+     */
+    removeBaseline(scenario: string): Promise<boolean>;
+    /**
+     * Remove a baseline by run ID
+     */
+    removeBaselineByRunId(runId: string): Promise<boolean>;
+    /**
+     * Compare a run against its baseline (if exists)
+     * @param runId - The run ID to compare
+     * @param regressionThreshold - Threshold for regression detection (0-1), default 0.05
+     */
+    compareToBaseline?(runId: string, regressionThreshold?: number): Promise<{
+        baseline: BaselineMetadata;
+        comparison: ComparisonResult;
+        hasRegression: boolean;
+        regressionThreshold: number;
+    } | null>;
+}
 //# sourceMappingURL=types.d.ts.map

package/dist/storage/types.d.ts.map

@@ -1 +1 @@
-{"version":3,"file":"types.d.ts","sourceRoot":"","sources":["../../src/storage/types.ts"],"names":[],"mappings":"AAAA;;GAEG;AAEH,OAAO,KAAK,EAAE,WAAW,EAAE,eAAe,EAAE,WAAW,EAAE,cAAc,EAAE,MAAM,oBAAoB,CAAC;AAEpG;;GAEG;AACH,MAAM,WAAW,WAAW;IAC1B,KAAK,EAAE,MAAM,CAAC;IACd,QAAQ,EAAE,MAAM,CAAC;IACjB,WAAW,EAAE,MAAM,CAAC;IACpB,SAAS,EAAE,MAAM,CAAC;IAClB,8CAA8C;IAC9C,IAAI,CAAC,EAAE,KAAK,GAAG,SAAS,GAAG,QAAQ,CAAC;CACrC;AAED;;GAEG;AACH,MAAM,WAAW,gBAAgB;IAC/B,QAAQ,EAAE,WAAW,CAAC;IACtB,OAAO,EAAE,WAAW,CAAC;IACrB,KAAK,EAAE;QACL,WAAW,EAAE,MAAM,CAAC;QACpB,OAAO,EAAE,MAAM,CAAC;QAChB,MAAM,EAAE,MAAM,CAAC;KAChB,CAAC;CACH;AAED;;GAEG;AACH,MAAM,WAAW,WAAW;IAC1B,OAAO,CAAC,EAAE,MAAM,CAAC;IACjB,QAAQ,CAAC,EAAE,MAAM,CAAC;IAClB,KAAK,CAAC,EAAE,MAAM,CAAC;IACf,MAAM,CAAC,EAAE,MAAM,CAAC;IAChB,8BAA8B;IAC9B,IAAI,CAAC,EAAE,KAAK,GAAG,SAAS,GAAG,QAAQ,CAAC;CACrC;AAED;;GAEG;AACH,MAAM,WAAW,cAAc;IAC7B;;OAEG;IACH,IAAI,CAAC,QAAQ,EAAE,WAAW,GAAG,OAAO,CAAC,MAAM,CAAC,CAAC;IAE7C;;OAEG;IACH,IAAI,CAAC,KAAK,EAAE,MAAM,GAAG,OAAO,CAAC,WAAW,CAAC,CAAC;IAE1C;;OAEG;IACH,OAAO,CAAC,CAAC,KAAK,EAAE,MAAM,GAAG,OAAO,CAAC,WAAW,CAAC,CAAC;IAE9C;;OAEG;IACH,WAAW,CAAC,CAAC,KAAK,EAAE,MAAM,GAAG,OAAO,CAAC,eAAe,CAAC,CAAC;IAEtD;;OAEG;IACH,UAAU,CAAC,CAAC,KAAK,EAAE,MAAM,GAAG,OAAO,CAAC,cAAc,CAAC,CAAC;IAEpD;;OAEG;IACH,IAAI,CAAC,OAAO,CAAC,EAAE,WAAW,GAAG,OAAO,CAAC,WAAW,EAAE,CAAC,CAAC;IAEpD;;OAEG;IACH,MAAM,CAAC,KAAK,EAAE,MAAM,GAAG,OAAO,CAAC,IAAI,CAAC,CAAC;IAErC;;OAEG;IACH,OAAO,CAAC,CAAC,UAAU,EAAE,MAAM,EAAE,SAAS,EAAE,MAAM,GAAG,OAAO,CAAC,gBAAgB,CAAC,CAAC;CAC5E;AAED;;GAEG;AACH,MAAM,WAAW,aAAa;IAC5B,IAAI,EAAE,UAAU,GAAG,OAAO,CAAC;IAC3B,GAAG,CAAC,EAAE,MAAM,CAAC;IACb,OAAO,CAAC,EAAE,MAAM,CAAC;IACjB,MAAM,CAAC,EAAE,MAAM,CAAC;IAChB,QAAQ,CAAC,EAAE,MAAM,CAAC;CACnB"}
+{"version":3,"file":"types.d.ts","sourceRoot":"","sources":["../../src/storage/types.ts"],"names":[],"mappings":"AAAA;;GAEG;AAEH,OAAO,KAAK,EAAE,WAAW,EAAE,eAAe,EAAE,WAAW,EAAE,cAAc,EAAE,MAAM,oBAAoB,CAAC;AAEpG;;GAEG;AACH,MAAM,WAAW,WAAW;IAC1B,KAAK,EAAE,MAAM,CAAC;IACd,QAAQ,EAAE,MAAM,CAAC;IACjB,WAAW,EAAE,MAAM,CAAC;IACpB,SAAS,EAAE,MAAM,CAAC;IAClB,8CAA8C;IAC9C,IAAI,CAAC,EAAE,KAAK,GAAG,SAAS,GAAG,QAAQ,CAAC;CACrC;AAED;;GAEG;AACH,MAAM,WAAW,gBAAgB;IAC/B,QAAQ,EAAE,WAAW,CAAC;IACtB,OAAO,EAAE,WAAW,CAAC;IACrB,KAAK,EAAE;QACL,WAAW,EAAE,MAAM,CAAC;QACpB,OAAO,EAAE,MAAM,CAAC;QAChB,MAAM,EAAE,MAAM,CAAC;KAChB,CAAC;CACH;AAED;;GAEG;AACH,MAAM,WAAW,WAAW;IAC1B,OAAO,CAAC,EAAE,MAAM,CAAC;IACjB,QAAQ,CAAC,EAAE,MAAM,CAAC;IAClB,KAAK,CAAC,EAAE,MAAM,CAAC;IACf,MAAM,CAAC,EAAE,MAAM,CAAC;IAChB,8BAA8B;IAC9B,IAAI,CAAC,EAAE,KAAK,GAAG,SAAS,GAAG,QAAQ,CAAC;CACrC;AAED;;GAEG;AACH,MAAM,WAAW,cAAc;IAC7B;;OAEG;IACH,IAAI,CAAC,QAAQ,EAAE,WAAW,GAAG,OAAO,CAAC,MAAM,CAAC,CAAC;IAE7C;;OAEG;IACH,IAAI,CAAC,KAAK,EAAE,MAAM,GAAG,OAAO,CAAC,WAAW,CAAC,CAAC;IAE1C;;OAEG;IACH,OAAO,CAAC,CAAC,KAAK,EAAE,MAAM,GAAG,OAAO,CAAC,WAAW,CAAC,CAAC;IAE9C;;OAEG;IACH,WAAW,CAAC,CAAC,KAAK,EAAE,MAAM,GAAG,OAAO,CAAC,eAAe,CAAC,CAAC;IAEtD;;OAEG;IACH,UAAU,CAAC,CAAC,KAAK,EAAE,MAAM,GAAG,OAAO,CAAC,cAAc,CAAC,CAAC;IAEpD;;OAEG;IACH,IAAI,CAAC,OAAO,CAAC,EAAE,WAAW,GAAG,OAAO,CAAC,WAAW,EAAE,CAAC,CAAC;IAEpD;;OAEG;IACH,MAAM,CAAC,KAAK,EAAE,MAAM,GAAG,OAAO,CAAC,IAAI,CAAC,CAAC;IAErC;;OAEG;IACH,OAAO,CAAC,CAAC,UAAU,EAAE,MAAM,EAAE,SAAS,EAAE,MAAM,GAAG,OAAO,CAAC,gBAAgB,CAAC,CAAC;CAC5E;AAED;;GAEG;AACH,MAAM,WAAW,aAAa;IAC5B,IAAI,EAAE,UAAU,GAAG,OAAO,CAAC;IAC3B,GAAG,CAAC,EAAE,MAAM,CAAC;IACb,OAAO,CAAC,EAAE,MAAM,CAAC;IACjB,MAAM,CAAC,EAAE,MAAM,CAAC;IAChB,QAAQ,CAAC,EAAE,MAAM,CAAC;CACnB;AAED;;GAEG;AACH,MAAM,WAAW,gBAAgB;IAC/B,kCAAkC;IAClC,QAAQ,EAAE,MAAM,CAAC;IACjB,6BAA6B;IAC7B,KAAK,EAAE,MAAM,CAAC;IACd,0CAA0C;IAC1C,SAAS,EAAE,MAAM,CAAC;IAClB,4CAA4C;IAC5C,OAAO,EAAE;QACP,WAAW,EAAE,MAAM,CAAC;QACpB,eAAe,EAAE,MAAM,CAAC;QACxB,WAAW,EAAE,MAAM,CAAC;QACpB,WAAW,EAAE,MAAM,CAAC;QACpB,WAAW,EAAE,MAAM,CAAC;QACpB,UAAU,EAAE,MAAM,CAAC;KACpB,CAAC;IACF,kCAAkC;IAClC,GAAG,CAAC,EAAE,MAAM,CAAC;CACd;AAED;;GAEG;AACH,MAAM,WAAW,sBAAuB,SAAQ,cAAc;IAC5D;;OAEG;IACH,WAAW,CAAC,QAAQ,EAAE,MAAM,EAAE,KAAK,EAAE,MAAM,EAAE,GAAG,CAAC,EAAE,MAAM,GAAG,OAAO,CAAC,gBAAgB,CAAC,CAAC;IAEtF;;OAEG;IACH,WAAW,CAAC,QAAQ,EAAE,MAAM,GAAG,OAAO,CAAC,gBAAgB,GAAG,IAAI,CAAC,CAAC;IAEhE;;OAEG;IACH,kBAAkB,CAAC,KAAK,EAAE,MAAM,GAAG,OAAO,CAAC,gBAAgB,GAAG,IAAI,CAAC,CAAC;IAEpE;;OAEG;IACH,aAAa,IAAI,OAAO,CAAC,gBAAgB,EAAE,CAAC,CAAC;IAE7C;;OAEG;IACH,cAAc,CAAC,QAAQ,EAAE,MAAM,GAAG,OAAO,CAAC,OAAO,CAAC,CAAC;IAEnD;;OAEG;IACH,qBAAqB,CAAC,KAAK,EAAE,MAAM,GAAG,OAAO,CAAC,OAAO,CAAC,CAAC;IAEvD;;;;OAIG;IACH,iBAAiB,CAAC,CAChB,KAAK,EAAE,MAAM,EACb,mBAAmB,CAAC,EAAE,MAAM,GAC3B,OAAO,CAAC;QACT,QAAQ,EAAE,gBAAgB,CAAC;QAC3B,UAAU,EAAE,gBAAgB,CAAC;QAC7B,aAAa,EAAE,OAAO,CAAC;QACvB,mBAAmB,EAAE,MAAM,CAAC;KAC7B,GAAG,IAAI,CAAC,CAAC;CACX"}

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@artemiskit/core",
-  "version": "0.2.0",
+  "version": "0.2.2",
   "description": "Core runner, evaluators, and storage for ArtemisKit LLM evaluation toolkit",
   "type": "module",
   "license": "Apache-2.0",

package/src/adapters/types.ts

@@ -157,6 +157,11 @@ export interface AzureOpenAIAdapterConfig extends BaseAdapterConfig {
   apiVersion: string;
   /** Optional separate deployment name for embedding models */
   embeddingDeploymentName?: string;
+  /**
+   * Model family for parameter detection (e.g., 'gpt-5-mini' when deployment is '5-mini')
+   * Used to determine which API parameters to use (max_tokens vs max_completion_tokens)
+   */
+  modelFamily?: string;
 }
 
 /**

package/src/cost/pricing.ts

@@ -3,6 +3,7 @@
  *
  * Pricing is per 1,000 tokens (1K tokens) in USD
  * Data is updated periodically - always verify with provider's official pricing
+ * Last comprehensive update: January 2026
  */
 
 export interface ModelPricing {
@@ -34,132 +35,230 @@ export interface CostEstimate {
  * Prices are in USD per 1,000 tokens
  */
 export const MODEL_PRICING: Record<string, ModelPricing> = {
-  // OpenAI GPT-4 family
-  'gpt-4': {
-    promptPer1K: 0.03,
-    completionPer1K: 0.06,
-    lastUpdated: '2024-01',
+  // ============================================
+  // OpenAI GPT-5 family (Latest - 2025)
+  // ============================================
+  'gpt-5': {
+    promptPer1K: 0.00125,
+    completionPer1K: 0.01,
+    lastUpdated: '2026-01',
+    notes: '400K context window',
   },
-  'gpt-4-32k': {
-    promptPer1K: 0.06,
-    completionPer1K: 0.12,
-    lastUpdated: '2024-01',
+  'gpt-5.1': {
+    promptPer1K: 0.00125,
+    completionPer1K: 0.01,
+    lastUpdated: '2026-01',
   },
-  'gpt-4-turbo': {
-    promptPer1K: 0.01,
-    completionPer1K: 0.03,
-    lastUpdated: '2024-01',
+  'gpt-5.2': {
+    promptPer1K: 0.00175,
+    completionPer1K: 0.014,
+    lastUpdated: '2026-01',
   },
-  'gpt-4-turbo-preview': {
-    promptPer1K: 0.01,
-    completionPer1K: 0.03,
-    lastUpdated: '2024-01',
+  'gpt-5-mini': {
+    promptPer1K: 0.00025,
+    completionPer1K: 0.002,
+    lastUpdated: '2026-01',
+  },
+  'gpt-5-nano': {
+    promptPer1K: 0.00005,
+    completionPer1K: 0.0004,
+    lastUpdated: '2026-01',
+  },
+
+  // ============================================
+  // OpenAI GPT-4.1 family (2025)
+  // ============================================
+  'gpt-4.1': {
+    promptPer1K: 0.002,
+    completionPer1K: 0.008,
+    lastUpdated: '2026-01',
+    notes: '1M context window',
+  },
+  'gpt-4.1-mini': {
+    promptPer1K: 0.0004,
+    completionPer1K: 0.0016,
+    lastUpdated: '2026-01',
+  },
+  'gpt-4.1-nano': {
+    promptPer1K: 0.0001,
+    completionPer1K: 0.0004,
+    lastUpdated: '2026-01',
   },
+
+  // ============================================
+  // OpenAI GPT-4o family (2024-2025)
+  // ============================================
   'gpt-4o': {
-    promptPer1K: 0.005,
-    completionPer1K: 0.015,
-    lastUpdated: '2024-05',
+    promptPer1K: 0.0025,
+    completionPer1K: 0.01,
+    lastUpdated: '2026-01',
+    notes: '128K context window',
   },
   'gpt-4o-mini': {
     promptPer1K: 0.00015,
     completionPer1K: 0.0006,
-    lastUpdated: '2024-07',
+    lastUpdated: '2026-01',
+    notes: '128K context window',
   },
 
-  // OpenAI GPT-3.5 family
+  // ============================================
+  // OpenAI O-series (Reasoning models)
+  // ============================================
+  o1: {
+    promptPer1K: 0.015,
+    completionPer1K: 0.06,
+    lastUpdated: '2026-01',
+    notes: 'Reasoning model - internal thinking tokens billed as output',
+  },
+  o3: {
+    promptPer1K: 0.002,
+    completionPer1K: 0.008,
+    lastUpdated: '2026-01',
+  },
+  'o3-mini': {
+    promptPer1K: 0.0011,
+    completionPer1K: 0.0044,
+    lastUpdated: '2026-01',
+  },
+  'o4-mini': {
+    promptPer1K: 0.0011,
+    completionPer1K: 0.0044,
+    lastUpdated: '2026-01',
+  },
+
+  // ============================================
+  // OpenAI Legacy GPT-4 family
+  // ============================================
+  'gpt-4-turbo': {
+    promptPer1K: 0.01,
+    completionPer1K: 0.03,
+    lastUpdated: '2026-01',
+  },
+  'gpt-4': {
+    promptPer1K: 0.03,
+    completionPer1K: 0.06,
+    lastUpdated: '2026-01',
+  },
   'gpt-3.5-turbo': {
     promptPer1K: 0.0005,
     completionPer1K: 0.0015,
-    lastUpdated: '2024-01',
+    lastUpdated: '2026-01',
   },
-  'gpt-3.5-turbo-16k': {
+
+  // ============================================
+  // Anthropic Claude 4.5 family (Latest - 2025)
+  // ============================================
+  'claude-opus-4.5': {
+    promptPer1K: 0.005,
+    completionPer1K: 0.025,
+    lastUpdated: '2026-01',
+    notes: 'Most capable Claude model',
+  },
+  'claude-sonnet-4.5': {
     promptPer1K: 0.003,
-    completionPer1K: 0.004,
-    lastUpdated: '2024-01',
+    completionPer1K: 0.015,
+    lastUpdated: '2026-01',
+    notes: 'Balanced performance and cost',
+  },
+  'claude-haiku-4.5': {
+    promptPer1K: 0.001,
+    completionPer1K: 0.005,
+    lastUpdated: '2026-01',
+    notes: 'Fastest Claude model',
   },
 
-  // Anthropic Claude family
-  'claude-3-opus-20240229': {
+  // ============================================
+  // Anthropic Claude 4 family (2025)
+  // ============================================
+  'claude-opus-4': {
     promptPer1K: 0.015,
     completionPer1K: 0.075,
-    lastUpdated: '2024-03',
+    lastUpdated: '2026-01',
   },
-  'claude-3-sonnet-20240229': {
+  'claude-opus-4.1': {
+    promptPer1K: 0.015,
+    completionPer1K: 0.075,
+    lastUpdated: '2026-01',
+  },
+  'claude-sonnet-4': {
     promptPer1K: 0.003,
     completionPer1K: 0.015,
-    lastUpdated: '2024-03',
+    lastUpdated: '2026-01',
   },
-  'claude-3-haiku-20240307': {
-    promptPer1K: 0.00025,
-    completionPer1K: 0.00125,
-    lastUpdated: '2024-03',
+
+  // ============================================
+  // Anthropic Claude 3.7 family
+  // ============================================
+  'claude-sonnet-3.7': {
+    promptPer1K: 0.003,
+    completionPer1K: 0.015,
+    lastUpdated: '2026-01',
   },
-  'claude-3-5-sonnet-20240620': {
+  'claude-3-7-sonnet': {
     promptPer1K: 0.003,
     completionPer1K: 0.015,
-    lastUpdated: '2024-06',
+    lastUpdated: '2026-01',
   },
+
+  // ============================================
+  // Anthropic Claude 3.5 family (Legacy)
+  // ============================================
   'claude-3-5-sonnet-20241022': {
     promptPer1K: 0.003,
     completionPer1K: 0.015,
-    lastUpdated: '2024-10',
+    lastUpdated: '2026-01',
   },
   'claude-3-5-haiku-20241022': {
     promptPer1K: 0.0008,
     completionPer1K: 0.004,
-    lastUpdated: '2024-10',
+    lastUpdated: '2026-01',
   },
-  // Aliases
+  'claude-haiku-3.5': {
+    promptPer1K: 0.0008,
+    completionPer1K: 0.004,
+    lastUpdated: '2026-01',
+  },
+
+  // ============================================
+  // Anthropic Claude 3 family (Legacy)
+  // ============================================
   'claude-3-opus': {
     promptPer1K: 0.015,
     completionPer1K: 0.075,
-    lastUpdated: '2024-03',
+    lastUpdated: '2026-01',
   },
   'claude-3-sonnet': {
     promptPer1K: 0.003,
     completionPer1K: 0.015,
-    lastUpdated: '2024-03',
+    lastUpdated: '2026-01',
   },
   'claude-3-haiku': {
     promptPer1K: 0.00025,
     completionPer1K: 0.00125,
-    lastUpdated: '2024-03',
+    lastUpdated: '2026-01',
   },
+
+  // Aliases for common naming patterns
   'claude-3.5-sonnet': {
     promptPer1K: 0.003,
     completionPer1K: 0.015,
-    lastUpdated: '2024-10',
+    lastUpdated: '2026-01',
   },
   'claude-3.5-haiku': {
     promptPer1K: 0.0008,
     completionPer1K: 0.004,
-    lastUpdated: '2024-10',
-  },
-
-  // Legacy Claude
-  'claude-2': {
-    promptPer1K: 0.008,
-    completionPer1K: 0.024,
-    lastUpdated: '2024-01',
+    lastUpdated: '2026-01',
   },
-  'claude-instant-1': {
-    promptPer1K: 0.0008,
-    completionPer1K: 0.0024,
-    lastUpdated: '2024-01',
-  },
-
-  // Azure OpenAI (same pricing as OpenAI typically)
-  // Add 'azure-' prefix versions if needed
 };
 
 /**
  * Default pricing for unknown models
- * Uses conservative estimates
+ * Uses conservative estimates based on mid-tier model pricing
  */
 export const DEFAULT_PRICING: ModelPricing = {
-  promptPer1K: 0.01,
-  completionPer1K: 0.03,
-  lastUpdated: '2024-01',
+  promptPer1K: 0.003,
+  completionPer1K: 0.015,
+  lastUpdated: '2026-01',
   notes: 'Default pricing - verify with provider',
 };
 
@@ -183,12 +282,57 @@ export function getModelPricing(model: string): ModelPricing {
   }
 
   // Try partial match for common patterns
+  // GPT-5 family
+  if (lowerModel.includes('gpt-5.2')) {
+    return MODEL_PRICING['gpt-5.2'];
+  }
+  if (lowerModel.includes('gpt-5.1')) {
+    return MODEL_PRICING['gpt-5.1'];
+  }
+  if (lowerModel.includes('gpt-5-mini')) {
+    return MODEL_PRICING['gpt-5-mini'];
+  }
+  if (lowerModel.includes('gpt-5-nano')) {
+    return MODEL_PRICING['gpt-5-nano'];
+  }
+  if (lowerModel.includes('gpt-5')) {
+    return MODEL_PRICING['gpt-5'];
+  }
+
+  // GPT-4.1 family
+  if (lowerModel.includes('gpt-4.1-mini')) {
+    return MODEL_PRICING['gpt-4.1-mini'];
+  }
+  if (lowerModel.includes('gpt-4.1-nano')) {
+    return MODEL_PRICING['gpt-4.1-nano'];
+  }
+  if (lowerModel.includes('gpt-4.1')) {
+    return MODEL_PRICING['gpt-4.1'];
+  }
+
+  // GPT-4o family
   if (lowerModel.includes('gpt-4o-mini')) {
     return MODEL_PRICING['gpt-4o-mini'];
   }
   if (lowerModel.includes('gpt-4o')) {
     return MODEL_PRICING['gpt-4o'];
   }
+
+  // O-series
+  if (lowerModel.includes('o4-mini')) {
+    return MODEL_PRICING['o4-mini'];
+  }
+  if (lowerModel.includes('o3-mini')) {
+    return MODEL_PRICING['o3-mini'];
+  }
+  if (lowerModel.includes('o3')) {
+    return MODEL_PRICING.o3;
+  }
+  if (lowerModel.includes('o1')) {
+    return MODEL_PRICING.o1;
+  }
+
+  // Legacy GPT
   if (lowerModel.includes('gpt-4-turbo')) {
     return MODEL_PRICING['gpt-4-turbo'];
   }
@@ -198,12 +342,43 @@ export function getModelPricing(model: string): ModelPricing {
   if (lowerModel.includes('gpt-3.5')) {
     return MODEL_PRICING['gpt-3.5-turbo'];
   }
+
+  // Claude 4.5 family
+  if (lowerModel.includes('opus-4.5') || lowerModel.includes('opus-4-5')) {
+    return MODEL_PRICING['claude-opus-4.5'];
+  }
+  if (lowerModel.includes('sonnet-4.5') || lowerModel.includes('sonnet-4-5')) {
+    return MODEL_PRICING['claude-sonnet-4.5'];
+  }
+  if (lowerModel.includes('haiku-4.5') || lowerModel.includes('haiku-4-5')) {
+    return MODEL_PRICING['claude-haiku-4.5'];
+  }
+
+  // Claude 4 family
+  if (lowerModel.includes('opus-4.1') || lowerModel.includes('opus-4-1')) {
+    return MODEL_PRICING['claude-opus-4.1'];
+  }
+  if (lowerModel.includes('opus-4')) {
+    return MODEL_PRICING['claude-opus-4'];
+  }
+  if (lowerModel.includes('sonnet-4')) {
+    return MODEL_PRICING['claude-sonnet-4'];
+  }
+
+  // Claude 3.7 family
+  if (lowerModel.includes('sonnet-3.7') || lowerModel.includes('sonnet-3-7')) {
+    return MODEL_PRICING['claude-sonnet-3.7'];
+  }
+
+  // Claude 3.5 family
   if (lowerModel.includes('claude-3-5-sonnet') || lowerModel.includes('claude-3.5-sonnet')) {
     return MODEL_PRICING['claude-3.5-sonnet'];
   }
   if (lowerModel.includes('claude-3-5-haiku') || lowerModel.includes('claude-3.5-haiku')) {
     return MODEL_PRICING['claude-3.5-haiku'];
   }
+
+  // Claude 3 family
   if (lowerModel.includes('claude-3-opus')) {
     return MODEL_PRICING['claude-3-opus'];
   }
@@ -213,8 +388,10 @@ export function getModelPricing(model: string): ModelPricing {
   if (lowerModel.includes('claude-3-haiku')) {
     return MODEL_PRICING['claude-3-haiku'];
   }
+
+  // Generic Claude fallback
   if (lowerModel.includes('claude')) {
-    return MODEL_PRICING['claude-2'];
+    return MODEL_PRICING['claude-sonnet-4.5'];
   }
 
   return DEFAULT_PRICING;