promptfoo 0.96.1 → 0.97.0

package/dist/src/validators/providers.d.ts

@@ -576,16 +576,19 @@ export declare const ProviderResponseSchema: z.ZodObject<{
         completion: z.ZodOptional<z.ZodNumber>;
         prompt: z.ZodOptional<z.ZodNumber>;
         total: z.ZodOptional<z.ZodNumber>;
+        numRequests: z.ZodOptional<z.ZodNumber>;
     }, "strip", z.ZodTypeAny, {
         cached?: number | undefined;
         completion?: number | undefined;
         prompt?: number | undefined;
         total?: number | undefined;
+        numRequests?: number | undefined;
     }, {
         cached?: number | undefined;
         completion?: number | undefined;
         prompt?: number | undefined;
         total?: number | undefined;
+        numRequests?: number | undefined;
     }>>;
 }, "strip", z.ZodTypeAny, {
     output?: any;
@@ -601,6 +604,7 @@ export declare const ProviderResponseSchema: z.ZodObject<{
         completion?: number | undefined;
         prompt?: number | undefined;
         total?: number | undefined;
+        numRequests?: number | undefined;
     } | undefined;
 }, {
     output?: any;
@@ -616,6 +620,7 @@ export declare const ProviderResponseSchema: z.ZodObject<{
         completion?: number | undefined;
         prompt?: number | undefined;
         total?: number | undefined;
+        numRequests?: number | undefined;
     } | undefined;
 }>;
 export declare const ProviderEmbeddingResponseSchema: z.ZodObject<{
@@ -626,16 +631,19 @@ export declare const ProviderEmbeddingResponseSchema: z.ZodObject<{
         completion: z.ZodOptional<z.ZodOptional<z.ZodNumber>>;
         prompt: z.ZodOptional<z.ZodOptional<z.ZodNumber>>;
         total: z.ZodOptional<z.ZodOptional<z.ZodNumber>>;
+        numRequests: z.ZodOptional<z.ZodOptional<z.ZodNumber>>;
     }, "strip", z.ZodTypeAny, {
         cached?: number | undefined;
         completion?: number | undefined;
         prompt?: number | undefined;
         total?: number | undefined;
+        numRequests?: number | undefined;
     }, {
         cached?: number | undefined;
         completion?: number | undefined;
         prompt?: number | undefined;
         total?: number | undefined;
+        numRequests?: number | undefined;
     }>>;
 }, "strip", z.ZodTypeAny, {
     embedding?: number[] | undefined;
@@ -645,6 +653,7 @@ export declare const ProviderEmbeddingResponseSchema: z.ZodObject<{
         completion?: number | undefined;
         prompt?: number | undefined;
         total?: number | undefined;
+        numRequests?: number | undefined;
     } | undefined;
 }, {
     embedding?: number[] | undefined;
@@ -654,6 +663,7 @@ export declare const ProviderEmbeddingResponseSchema: z.ZodObject<{
         completion?: number | undefined;
         prompt?: number | undefined;
         total?: number | undefined;
+        numRequests?: number | undefined;
     } | undefined;
 }>;
 export declare const ProviderSimilarityResponseSchema: z.ZodObject<{
@@ -664,16 +674,19 @@ export declare const ProviderSimilarityResponseSchema: z.ZodObject<{
         completion: z.ZodOptional<z.ZodOptional<z.ZodNumber>>;
         prompt: z.ZodOptional<z.ZodOptional<z.ZodNumber>>;
         total: z.ZodOptional<z.ZodOptional<z.ZodNumber>>;
+        numRequests: z.ZodOptional<z.ZodOptional<z.ZodNumber>>;
     }, "strip", z.ZodTypeAny, {
         cached?: number | undefined;
         completion?: number | undefined;
         prompt?: number | undefined;
         total?: number | undefined;
+        numRequests?: number | undefined;
     }, {
         cached?: number | undefined;
         completion?: number | undefined;
         prompt?: number | undefined;
         total?: number | undefined;
+        numRequests?: number | undefined;
     }>>;
 }, "strip", z.ZodTypeAny, {
     error?: string | undefined;
@@ -682,6 +695,7 @@ export declare const ProviderSimilarityResponseSchema: z.ZodObject<{
         completion?: number | undefined;
         prompt?: number | undefined;
         total?: number | undefined;
+        numRequests?: number | undefined;
     } | undefined;
     similarity?: number | undefined;
 }, {
@@ -691,6 +705,7 @@ export declare const ProviderSimilarityResponseSchema: z.ZodObject<{
         completion?: number | undefined;
         prompt?: number | undefined;
         total?: number | undefined;
+        numRequests?: number | undefined;
     } | undefined;
     similarity?: number | undefined;
 }>;

package/dist/src/validators/providers.d.ts.map

@@ -1 +1 @@
-{"version":3,"file":"providers.d.ts","sourceRoot":"","sources":["../../../src/validators/providers.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AACxB,OAAO,KAAK,EACV,WAAW,EACX,eAAe,EACf,8BAA8B,EAC9B,yBAAyB,EAIzB,gBAAgB,EAEjB,MAAM,oBAAoB,CAAC;AAK5B,eAAO,MAAM,0BAA0B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;EAoDrC,CAAC;AAEH,eAAO,MAAM,qBAAqB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;EAUvB,CAAC;AAEZ,eAAO,MAAM,0BAA0B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;EAQrC,CAAC;AAEH,eAAO,MAAM,0BAA0B;;;;;;EAErC,CAAC;AAYH,eAAO,MAAM,iBAAiB;;;;;;;;;;;;;;;;;;;;;;;;;;;EAiB5B,CAAC;AAEH,eAAO,MAAM,sBAAsB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;EAajC,CAAC;AAEH,eAAO,MAAM,+BAA+B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;EAI1C,CAAC;AAEH,eAAO,MAAM,gCAAgC;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;EAI3C,CAAC;AAEH,eAAO,MAAM,oCAAoC;;;;;;;;;EAG/C,CAAC;AAEH,eAAO,MAAM,eAAe;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;gBAW1B,CAAC;AAEH,eAAO,MAAM,cAAc;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;IAAkE,CAAC"}
+{"version":3,"file":"providers.d.ts","sourceRoot":"","sources":["../../../src/validators/providers.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AACxB,OAAO,KAAK,EACV,WAAW,EACX,eAAe,EACf,8BAA8B,EAC9B,yBAAyB,EAIzB,gBAAgB,EAEjB,MAAM,oBAAoB,CAAC;AAK5B,eAAO,MAAM,0BAA0B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;EAoDrC,CAAC;AAEH,eAAO,MAAM,qBAAqB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;EAUvB,CAAC;AAEZ,eAAO,MAAM,0BAA0B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;EAQrC,CAAC;AAEH,eAAO,MAAM,0BAA0B;;;;;;EAErC,CAAC;AAYH,eAAO,MAAM,iBAAiB;;;;;;;;;;;;;;;;;;;;;;;;;;;EAiB5B,CAAC;AAEH,eAAO,MAAM,sBAAsB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;EAajC,CAAC;AAEH,eAAO,MAAM,+BAA+B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;EAI1C,CAAC;AAEH,eAAO,MAAM,gCAAgC;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;EAI3C,CAAC;AAEH,eAAO,MAAM,oCAAoC;;;;;;;;;EAG/C,CAAC;AAEH,eAAO,MAAM,eAAe;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;gBAW1B,CAAC;AAEH,eAAO,MAAM,cAAc;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;IAAkE,CAAC"}

package/dist/src/validators/redteam.d.ts.map

@@ -1 +1 @@
-{"version":3,"file":"redteam.d.ts","sourceRoot":"","sources":["../../../src/validators/redteam.ts"],"names":[],"mappings":"AACA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAiBxB,OAAO,KAAK,EAAE,iBAAiB,EAAuB,MAAM,kBAAkB,CAAC;AAmB/E;;GAEG;AACH,eAAO,MAAM,mBAAmB;;;;;;;;;;;;IAU9B,CAAC;AAEH;;GAEG;AACH,eAAO,MAAM,qBAAqB;;;;;;;;;IAMhC,CAAC;AAEH;;GAEG;AACH,eAAO,MAAM,4BAA4B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;EAoCvC,CAAC;AAEH;;GAEG;AACH,eAAO,MAAM,mBAAmB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;EAoK5B,CAAC"}
+{"version":3,"file":"redteam.d.ts","sourceRoot":"","sources":["../../../src/validators/redteam.ts"],"names":[],"mappings":"AACA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAiBxB,OAAO,KAAK,EAAE,iBAAiB,EAAuB,MAAM,kBAAkB,CAAC;AAmB/E;;GAEG;AACH,eAAO,MAAM,mBAAmB;;;;;;;;;;;;IAU9B,CAAC;AAEH;;GAEG;AACH,eAAO,MAAM,qBAAqB;;;;;;;;;IAMhC,CAAC;AAEH;;GAEG;AACH,eAAO,MAAM,4BAA4B;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;EAoCvC,CAAC;AAEH;;GAEG;AACH,eAAO,MAAM,mBAAmB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;EAqK5B,CAAC"}

package/dist/src/validators/redteam.js

@@ -219,12 +219,13 @@ exports.RedteamConfigSchema = zod_1.z
             if (strategy === 'basic') {
                 return [];
             }
-            return strategy === 'default' ? constants_1.DEFAULT_STRATEGIES.map((id) => id) : [strategy];
+            return strategy === 'default'
+                ? constants_1.DEFAULT_STRATEGIES.map((id) => ({ id }))
+                : [{ id: strategy }];
         }
-        return [strategy.id];
-    })))
-        .map((id) => ({ id }))
-        .sort((a, b) => a.id.localeCompare(b.id));
+        // Just return the original strategy object
+        return [strategy];
+    }))).sort((a, b) => a.id.localeCompare(b.id));
     return {
         numTests: data.numTests,
         plugins: uniquePlugins,

package/dist/src/validators/redteam.js.map

@@ -1 +1 @@
-{"version":3,"file":"redteam.js","sourceRoot":"","sources":["../../../src/validators/redteam.ts"],"names":[],"mappings":";;;;;;AAAA,oDAA4B;AAC5B,6BAAwB;AACxB,oDAe8B;AAE9B,uDAAyD;AAEzD;;GAEG;AACH,MAAM,yBAAyB,GAAG,OAAC,CAAC,MAAM,CAAC;IACzC,EAAE,EAAE,OAAC;SACF,IAAI,CAAC,CAAC,GAAG,uBAAmB,EAAE,GAAG,2BAAe,CAA0B,CAAC;SAC3E,QAAQ,CAAC,oBAAoB,CAAC;IACjC,QAAQ,EAAE,OAAC;SACR,MAAM,EAAE;SACR,GAAG,EAAE;SACL,QAAQ,EAAE;SACV,OAAO,CAAC,wCAA4B,CAAC;SACrC,QAAQ,CAAC,6CAA6C,CAAC;IAC1D,MAAM,EAAE,OAAC,CAAC,MAAM,CAAC,OAAC,CAAC,OAAO,EAAE,CAAC,CAAC,QAAQ,EAAE,CAAC,QAAQ,CAAC,+BAA+B,CAAC;CACnF,CAAC,CAAC;AAEH;;GAEG;AACU,QAAA,mBAAmB,GAAG,OAAC,CAAC,KAAK,CAAC;IACzC,OAAC;SACE,KAAK,CAAC;QACL,OAAC,CAAC,IAAI,CAAC,CAAC,GAAG,uBAAmB,EAAE,GAAG,2BAAe,CAA0B,CAAC;QAC7E,OAAC,CAAC,MAAM,EAAE,CAAC,MAAM,CAAC,CAAC,KAAK,EAAE,EAAE,CAAC,KAAK,CAAC,UAAU,CAAC,SAAS,CAAC,EAAE;YACxD,OAAO,EAAE,2EAA2E;SACrF,CAAC;KACH,CAAC;SACD,QAAQ,CAAC,6CAA6C,CAAC;IAC1D,yBAAyB;CAC1B,CAAC,CAAC;AAEH;;GAEG;AACU,QAAA,qBAAqB,GAAG,OAAC,CAAC,KAAK,CAAC;IAC3C,OAAC,CAAC,IAAI,CAAC,0BAAkD,CAAC,CAAC,QAAQ,CAAC,sBAAsB,CAAC;IAC3F,OAAC,CAAC,MAAM,CAAC;QACP,EAAE,EAAE,OAAC,CAAC,IAAI,CAAC,0BAAkD,CAAC,CAAC,QAAQ,CAAC,sBAAsB,CAAC;QAC/F,MAAM,EAAE,OAAC,CAAC,MAAM,CAAC,OAAC,CAAC,OAAO,EAAE,CAAC,CAAC,QAAQ,EAAE,CAAC,QAAQ,CAAC,iCAAiC,CAAC;KACrF,CAAC;CACH,CAAC,CAAC;AAEH;;GAEG;AACU,QAAA,4BAA4B,GAAG,OAAC,CAAC,MAAM,CAAC;IACnD,UAAU,EAAE,OAAC;SACV,KAAK,CAAC,OAAC,CAAC,IAAI,CAAC,8BAAwE,CAAC,CAAC;SACvF,QAAQ,EAAE;SACV,QAAQ,CAAC,+BAA+B,CAAC;IAC5C,aAAa,EAAE,OAAC;SACb,KAAK,CAAC,OAAC,CAAC,IAAI,CAAC,iCAA2E,CAAC,CAAC;SAC1F,QAAQ,EAAE;SACV,QAAQ,CAAC,kCAAkC,CAAC;IAC/C,KAAK,EAAE,OAAC,CAAC,OAAO,EAAE,CAAC,QAAQ,CAAC,wBAAwB,CAAC;IACrD,MAAM,EAAE,OAAC,CAAC,MAAM,EAAE,CAAC,QAAQ,EAAE,CAAC,QAAQ,CAAC,gCAAgC,CAAC;IACxE,aAAa,EAAE,OAAC,CAAC,MAAM,CAAC,OAAC,CAAC,OAAO,EAAE,CAAC,CAAC,QAAQ,CAAC,8BAA8B,CAAC;IAC7E,iBAAiB,EAAE,OAAC,CAAC,MAAM,EAAE,CAAC,QAAQ,EAAE,CAAC,QAAQ,CAAC,wCAAwC,CAAC;IAC3F,KAAK,EAAE,OAAC;SACL,MAAM,EAAE;SACR,GAAG,EAAE;SACL,QAAQ,EAAE;SACV,QAAQ,EAAE;SACV,QAAQ,CAAC,gDAAgD,CAAC;IAC7D,OAAO,EAAE,OAAC,CAAC,MAAM,EAAE,CAAC,QAAQ,EAAE,CAAC,QAAQ,CAAC,8BAA8B,CAAC;IACvE,KAAK,EAAE,OAAC,CAAC,OAAO,EAAE,CAAC,QAAQ,CAAC,6BAA6B,CAAC,CAAC,OAAO,CAAC,KAAK,CAAC;IACzE,SAAS,EAAE,OAAC,CAAC,MAAM,EAAE,CAAC,QAAQ,EAAE,CAAC,QAAQ,CAAC,oBAAoB,CAAC;IAC/D,QAAQ,EAAE,OAAC,CAAC,MAAM,EAAE,CAAC,QAAQ,EAAE,CAAC,QAAQ,CAAC,+BAA+B,CAAC;IACzE,cAAc,EAAE,OAAC;SACd,MAAM,EAAE;SACR,GAAG,EAAE;SACL,QAAQ,EAAE;SACV,QAAQ,EAAE;SACV,QAAQ,CAAC,wCAAwC,CAAC;IACrD,QAAQ,EAAE,OAAC,CAAC,MAAM,EAAE,CAAC,GAAG,EAAE,CAAC,QAAQ,EAAE,CAAC,QAAQ,EAAE,CAAC,QAAQ,CAAC,6BAA6B,CAAC;IACxF,MAAM,EAAE,OAAC,CAAC,MAAM,EAAE,CAAC,QAAQ,EAAE,CAAC,QAAQ,CAAC,kBAAkB,CAAC;IAC1D,OAAO,EAAE,OAAC,CAAC,KAAK,CAAC,yBAAyB,CAAC,CAAC,QAAQ,EAAE,CAAC,QAAQ,CAAC,gBAAgB,CAAC;IACjF,QAAQ,EAAE,OAAC,CAAC,MAAM,EAAE,CAAC,QAAQ,EAAE,CAAC,QAAQ,CAAC,iBAAiB,CAAC;IAC3D,OAAO,EAAE,OAAC,CAAC,MAAM,EAAE,CAAC,QAAQ,EAAE,CAAC,QAAQ,CAAC,mCAAmC,CAAC;IAC5E,UAAU,EAAE,OAAC,CAAC,KAAK,CAAC,6BAAqB,CAAC,CAAC,QAAQ,EAAE,CAAC,QAAQ,CAAC,mBAAmB,CAAC;IACnF,KAAK,EAAE,OAAC,CAAC,OAAO,EAAE,CAAC,QAAQ,CAAC,6BAA6B,CAAC;CAC3D,CAAC,CAAC;AAEH;;GAEG;AACU,QAAA,mBAAmB,GAAG,OAAC;KACjC,MAAM,CAAC;IACN,SAAS,EAAE,OAAC;SACT,MAAM,EAAE;SACR,QAAQ,EAAE;SACV,QAAQ,CACP,yIAAyI,CAC1I;IACH,OAAO,EAAE,OAAC;SACP,MAAM,EAAE;SACR,QAAQ,EAAE;SACV,QAAQ,CAAC,0DAA0D,CAAC;IACvE,QAAQ,EAAE,OAAC;SACR,IAAI,CAAC,GAAG,EAAE,CAAC,0BAAc,CAAC;SAC1B,QAAQ,EAAE;SACV,QAAQ,CAAC,iDAAiD,CAAC;IAC9D,QAAQ,EAAE,OAAC,CAAC,MAAM,EAAE,CAAC,GAAG,EAAE,CAAC,QAAQ,EAAE,CAAC,QAAQ,EAAE,CAAC,QAAQ,CAAC,6BAA6B,CAAC;IACxF,QAAQ,EAAE,OAAC,CAAC,MAAM,EAAE,CAAC,QAAQ,EAAE,CAAC,QAAQ,CAAC,+CAA+C,CAAC;IACzF,OAAO,EAAE,OAAC;SACP,KAAK,CAAC,2BAAmB,CAAC;SAC1B,QAAQ,CAAC,uCAAuC,CAAC;SACjD,OAAO,CAAC,CAAC,SAAS,CAAC,CAAC;IACvB,UAAU,EAAE,OAAC;SACV,KAAK,CAAC,6BAAqB,CAAC;SAC5B,QAAQ,CACP,IAAA,gBAAM,EAAA;;sBAEQ,8BAAkB,CAAC,IAAI,CAAC,IAAI,CAAC;mBAChC,0BAAc,CAAC,IAAI,CAAC,IAAI,CAAC;SACnC,CACF;SACA,QAAQ,EAAE;SACV,OAAO,CAAC,CAAC,SAAS,CAAC,CAAC;IACvB,cAAc,EAAE,OAAC;SACd,MAAM,EAAE;SACR,GAAG,EAAE;SACL,QAAQ,EAAE;SACV,QAAQ,EAAE;SACV,QAAQ,CAAC,wCAAwC,CAAC;IACrD,KAAK,EAAE,OAAC;SACL,MAAM,EAAE;SACR,GAAG,EAAE;SACL,QAAQ,EAAE;SACV,QAAQ,EAAE;SACV,QAAQ,CAAC,gDAAgD,CAAC;CAC9D,CAAC;KACD,SAAS,CAAC,CAAC,IAAI,EAAqB,EAAE;IACrC,MAAM,SAAS,GAAG,IAAI,GAAG,EAA+B,CAAC;IACzD,MAAM,WAAW,GAAG,IAAI,GAAG,EAAY,CAAC;IAExC,MAAM,SAAS,GAAG,CAAC,EAAU,EAAE,MAAW,EAAE,QAA4B,EAAE,EAAE;QAC1E,MAAM,GAAG,GAAG,GAAG,EAAE,IAAI,IAAI,CAAC,SAAS,CAAC,MAAM,CAAC,EAAE,CAAC;QAC9C,MAAM,YAAY,GAAwB,EAAE,EAAE,EAAE,CAAC;QACjD,IAAI,QAAQ,KAAK,SAAS,IAAI,IAAI,CAAC,QAAQ,KAAK,SAAS,EAAE,CAAC;YAC1D,YAAY,CAAC,QAAQ,GAAG,QAAQ,IAAI,IAAI,CAAC,QAAQ,CAAC;QACpD,CAAC;QACD,IAAI,MAAM,KAAK,SAAS,EAAE,CAAC;YACzB,YAAY,CAAC,MAAM,GAAG,MAAM,CAAC;QAC/B,CAAC;QACD,SAAS,CAAC,GAAG,CAAC,GAAG,EAAE,YAAY,CAAC,CAAC;IACnC,CAAC,CAAC;IAEF,MAAM,gBAAgB,GAAG,CACvB,UAA0C,EAC1C,MAAW,EACX,QAA4B,EAC5B,EAAE;QACF,CAAC,KAAK,CAAC,OAAO,CAAC,UAAU,CAAC,CAAC,CAAC,CAAC,UAAU,CAAC,CAAC,CAAC,KAAK,CAAC,IAAI,CAAC,UAAU,CAAC,CAAC,CAAC,OAAO,CAAC,CAAC,IAAI,EAAE,EAAE;YACjF,gGAAgG;YAChG,MAAM,cAAc,GAAG,SAAS,CAAC,GAAG,CAAC,GAAG,IAAI,IAAI,IAAI,CAAC,SAAS,CAAC,MAAM,CAAC,EAAE,CAAC,CAAC;YAC1E,IAAI,CAAC,cAAc,IAAI,cAAc,CAAC,QAAQ,KAAK,SAAS,EAAE,CAAC;gBAC7D,SAAS,CAAC,IAAI,EAAE,MAAM,EAAE,QAAQ,CAAC,CAAC;YACpC,CAAC;QACH,CAAC,CAAC,CAAC;IACL,CAAC,CAAC;IAEF,MAAM,yBAAyB,GAAG,CAAC,EAAU,EAAE,MAAW,EAAE,QAA4B,EAAE,EAAE;QAC1F,IAAI,EAAE,KAAK,SAAS,EAAE,CAAC;YACrB,gBAAgB,CAAC,MAAM,CAAC,IAAI,CAAC,wBAAY,CAAC,EAAE,MAAM,EAAE,QAAQ,CAAC,CAAC;QAChE,CAAC;aAAM,IAAI,EAAE,KAAK,KAAK,EAAE,CAAC;YACxB,gBAAgB,CAAC,CAAC,GAAG,uBAAW,CAAC,EAAE,MAAM,EAAE,QAAQ,CAAC,CAAC;QACvD,CAAC;aAAM,IAAI,EAAE,KAAK,SAAS,EAAE,CAAC;YAC5B,gBAAgB,CAAC,CAAC,GAAG,2BAAuB,CAAC,EAAE,MAAM,EAAE,QAAQ,CAAC,CAAC;QACnE,CAAC;IACH,CAAC,CAAC;IAEF,MAAM,YAAY,GAAG,CAAC,MAAoC,EAAE,EAAE;QAC5D,MAAM,SAAS,GACb,OAAO,MAAM,KAAK,QAAQ;YACxB,CAAC,CAAC,EAAE,EAAE,EAAE,MAAM,EAAE,QAAQ,EAAE,IAAI,CAAC,QAAQ,EAAE,MAAM,EAAE,SAAS,EAAE;YAC5D,CAAC,CAAC,EAAE,GAAG,MAAM,EAAE,QAAQ,EAAE,MAAM,CAAC,QAAQ,IAAI,IAAI,CAAC,QAAQ,EAAE,CAAC;QAEhE,IAAI,mCAAuB,CAAC,SAAS,CAAC,EAAE,CAAC,EAAE,CAAC;YAC1C,MAAM,CAAC,MAAM,CAAC,mCAAuB,CAAC,SAAS,CAAC,EAAE,CAAC,CAAC,CAAC,OAAO,CAAC,CAAC,EAAE,OAAO,EAAE,UAAU,EAAE,EAAE,EAAE;gBACvF,OAAO,CAAC,OAAO,CAAC,CAAC,EAAE,EAAE,EAAE;oBACrB,IAAI,uBAAW,CAAC,QAAQ,CAAC,EAAS,CAAC,EAAE,CAAC;wBACpC,yBAAyB,CAAC,EAAE,EAAE,SAAS,CAAC,MAAM,EAAE,SAAS,CAAC,QAAQ,CAAC,CAAC;oBACtE,CAAC;yBAAM,CAAC;wBACN,SAAS,CAAC,EAAE,EAAE,SAAS,CAAC,MAAM,EAAE,SAAS,CAAC,QAAQ,CAAC,CAAC;oBACtD,CAAC;gBACH,CAAC,CAAC,CAAC;gBACH,UAAU,CAAC,OAAO,CAAC,CAAC,QAAQ,EAAE,EAAE,CAAC,WAAW,CAAC,GAAG,CAAC,QAAoB,CAAC,CAAC,CAAC;YAC1E,CAAC,CAAC,CAAC;QACL,CAAC;aAAM,IAAI,uBAAW,CAAC,QAAQ,CAAC,SAAS,CAAC,EAAS,CAAC,EAAE,CAAC;YACrD,yBAAyB,CAAC,SAAS,CAAC,EAAE,EAAE,SAAS,CAAC,MAAM,EAAE,SAAS,CAAC,QAAQ,CAAC,CAAC;QAChF,CAAC;aAAM,CAAC;YACN,MAAM,OAAO,GAAG,MAAM,CAAC,OAAO,CAAC,mCAAuB,CAAC,CAAC,IAAI,CAAC,CAAC,CAAC,EAAE,KAAK,CAAC,EAAE,EAAE,CACzE,MAAM,CAAC,IAAI,CAAC,KAAK,CAAC,CAAC,QAAQ,CAAC,SAAS,CAAC,EAAE,CAAC,CAC1C,CAAC;YACF,IAAI,OAAO,EAAE,CAAC;gBACZ,MAAM,CAAC,EAAE,cAAc,CAAC,GAAG,OAAO,CAAC;gBACnC,cAAc,CAAC,SAAS,CAAC,EAAE,CAAC,CAAC,OAAO,CAAC,OAAO,CAAC,CAAC,EAAE,EAAE,EAAE;oBAClD,IAAI,uBAAW,CAAC,QAAQ,CAAC,EAAS,CAAC,EAAE,CAAC;wBACpC,yBAAyB,CAAC,EAAE,EAAE,SAAS,CAAC,MAAM,EAAE,SAAS,CAAC,QAAQ,CAAC,CAAC;oBACtE,CAAC;yBAAM,CAAC;wBACN,SAAS,CAAC,EAAE,EAAE,SAAS,CAAC,MAAM,EAAE,SAAS,CAAC,QAAQ,CAAC,CAAC;oBACtD,CAAC;gBACH,CAAC,CAAC,CAAC;gBACH,cAAc,CAAC,SAAS,CAAC,EAAE,CAAC,CAAC,UAAU,CAAC,OAAO,CAAC,CAAC,QAAQ,EAAE,EAAE,CAC3D,WAAW,CAAC,GAAG,CAAC,QAAoB,CAAC,CACtC,CAAC;YACJ,CAAC;iBAAM,CAAC;gBACN,SAAS,CAAC,SAAS,CAAC,EAAE,EAAE,SAAS,CAAC,MAAM,EAAE,SAAS,CAAC,QAAQ,CAAC,CAAC;YAChE,CAAC;QACH,CAAC;IACH,CAAC,CAAC;IAEF,IAAI,CAAC,OAAO,CAAC,OAAO,CAAC,YAAY,CAAC,CAAC;IAEnC,MAAM,aAAa,GAAG,KAAK,CAAC,IAAI,CAAC,SAAS,CAAC,MAAM,EAAE,CAAC;SACjD,MAAM,CAAC,CAAC,MAAM,EAAE,EAAE,CAAC,CAAC,uBAAW,CAAC,QAAQ,CAAC,MAAM,CAAC,EAAkC,CAAC,CAAC;SACpF,IAAI,CAAC,CAAC,CAAC,EAAE,CAAC,EAAE,EAAE;QACb,IAAI,CAAC,CAAC,EAAE,KAAK,CAAC,CAAC,EAAE,EAAE,CAAC;YAClB,OAAO,CAAC,CAAC,EAAE,CAAC,aAAa,CAAC,CAAC,CAAC,EAAE,CAAC,CAAC;QAClC,CAAC;QACD,OAAO,IAAI,CAAC,SAAS,CAAC,CAAC,CAAC,MAAM,IAAI,EAAE,CAAC,CAAC,aAAa,CAAC,IAAI,CAAC,SAAS,CAAC,CAAC,CAAC,MAAM,IAAI,EAAE,CAAC,CAAC,CAAC;IACtF,CAAC,CAAC,CAAC;IAEL,MAAM,UAAU,GAAG,KAAK,CAAC,IAAI,CAC3B,IAAI,GAAG,CACL,CAAC,GAAG,CAAC,IAAI,CAAC,UAAU,IAAI,EAAE,CAAC,EAAE,GAAG,KAAK,CAAC,IAAI,CAAC,WAAW,CAAC,CAAC,CAAC,OAAO,CAAC,CAAC,QAAQ,EAAE,EAAE;QAC5E,IAAI,OAAO,QAAQ,KAAK,QAAQ,EAAE,CAAC;YACjC,IAAI,QAAQ,KAAK,OAAO,EAAE,CAAC;gBACzB,OAAO,EAAE,CAAC;YACZ,CAAC;YACD,OAAO,QAAQ,KAAK,SAAS,CAAC,CAAC,CAAC,8BAAkB,CAAC,GAAG,CAAC,CAAC,EAAE,EAAE,EAAE,CAAC,EAAE,CAAC,CAAC,CAAC,CAAC,CAAC,QAAQ,CAAC,CAAC;QAClF,CAAC;QACD,OAAO,CAAC,QAAQ,CAAC,EAAE,CAAC,CAAC;IACvB,CAAC,CAAC,CACH,CACF;SACE,GAAG,CAAC,CAAC,EAAE,EAAE,EAAE,CAAC,CAAC,EAAE,EAAE,EAAE,CAAC,CAAC;SACrB,IAAI,CAAC,CAAC,CAAC,EAAE,CAAC,EAAE,EAAE,CAAC,CAAC,CAAC,EAAE,CAAC,aAAa,CAAC,CAAC,CAAC,EAAE,CAAC,CAAC,CAAC;IAE5C,OAAO;QACL,QAAQ,EAAE,IAAI,CAAC,QAAQ;QACvB,OAAO,EAAE,aAAa;QACtB,UAAU;QACV,GAAG,CAAC,IAAI,CAAC,SAAS,CAAC,CAAC,CAAC,EAAE,SAAS,EAAE,IAAI,CAAC,SAAS,EAAE,CAAC,CAAC,CAAC,EAAE,CAAC;QACxD,GAAG,CAAC,IAAI,CAAC,QAAQ,CAAC,CAAC,CAAC,EAAE,QAAQ,EAAE,IAAI,CAAC,QAAQ,EAAE,CAAC,CAAC,CAAC,EAAE,CAAC;QACrD,GAAG,CAAC,IAAI,CAAC,QAAQ,CAAC,CAAC,CAAC,EAAE,QAAQ,EAAE,IAAI,CAAC,QAAQ,EAAE,CAAC,CAAC,CAAC,EAAE,CAAC;QACrD,GAAG,CAAC,IAAI,CAAC,OAAO,CAAC,CAAC,CAAC,EAAE,OAAO,EAAE,IAAI,CAAC,OAAO,EAAE,CAAC,CAAC,CAAC,EAAE,CAAC;QAClD,GAAG,CAAC,IAAI,CAAC,KAAK,CAAC,CAAC,CAAC,EAAE,KAAK,EAAE,IAAI,CAAC,KAAK,EAAE,CAAC,CAAC,CAAC,EAAE,CAAC;KAC7C,CAAC;AACJ,CAAC,CAAC,CAAC;AAEL,sDAAsD;AACtD,6DAA6D;AAC7D,SAAS,MAAM,KAAqB,CAAC;AAGrC,MAAM,EAA6E,CAAC;AACpF,2BAA2B;AAC3B,+FAA+F"}
+{"version":3,"file":"redteam.js","sourceRoot":"","sources":["../../../src/validators/redteam.ts"],"names":[],"mappings":";;;;;;AAAA,oDAA4B;AAC5B,6BAAwB;AACxB,oDAe8B;AAE9B,uDAAyD;AAEzD;;GAEG;AACH,MAAM,yBAAyB,GAAG,OAAC,CAAC,MAAM,CAAC;IACzC,EAAE,EAAE,OAAC;SACF,IAAI,CAAC,CAAC,GAAG,uBAAmB,EAAE,GAAG,2BAAe,CAA0B,CAAC;SAC3E,QAAQ,CAAC,oBAAoB,CAAC;IACjC,QAAQ,EAAE,OAAC;SACR,MAAM,EAAE;SACR,GAAG,EAAE;SACL,QAAQ,EAAE;SACV,OAAO,CAAC,wCAA4B,CAAC;SACrC,QAAQ,CAAC,6CAA6C,CAAC;IAC1D,MAAM,EAAE,OAAC,CAAC,MAAM,CAAC,OAAC,CAAC,OAAO,EAAE,CAAC,CAAC,QAAQ,EAAE,CAAC,QAAQ,CAAC,+BAA+B,CAAC;CACnF,CAAC,CAAC;AAEH;;GAEG;AACU,QAAA,mBAAmB,GAAG,OAAC,CAAC,KAAK,CAAC;IACzC,OAAC;SACE,KAAK,CAAC;QACL,OAAC,CAAC,IAAI,CAAC,CAAC,GAAG,uBAAmB,EAAE,GAAG,2BAAe,CAA0B,CAAC;QAC7E,OAAC,CAAC,MAAM,EAAE,CAAC,MAAM,CAAC,CAAC,KAAK,EAAE,EAAE,CAAC,KAAK,CAAC,UAAU,CAAC,SAAS,CAAC,EAAE;YACxD,OAAO,EAAE,2EAA2E;SACrF,CAAC;KACH,CAAC;SACD,QAAQ,CAAC,6CAA6C,CAAC;IAC1D,yBAAyB;CAC1B,CAAC,CAAC;AAEH;;GAEG;AACU,QAAA,qBAAqB,GAAG,OAAC,CAAC,KAAK,CAAC;IAC3C,OAAC,CAAC,IAAI,CAAC,0BAAkD,CAAC,CAAC,QAAQ,CAAC,sBAAsB,CAAC;IAC3F,OAAC,CAAC,MAAM,CAAC;QACP,EAAE,EAAE,OAAC,CAAC,IAAI,CAAC,0BAAkD,CAAC,CAAC,QAAQ,CAAC,sBAAsB,CAAC;QAC/F,MAAM,EAAE,OAAC,CAAC,MAAM,CAAC,OAAC,CAAC,OAAO,EAAE,CAAC,CAAC,QAAQ,EAAE,CAAC,QAAQ,CAAC,iCAAiC,CAAC;KACrF,CAAC;CACH,CAAC,CAAC;AAEH;;GAEG;AACU,QAAA,4BAA4B,GAAG,OAAC,CAAC,MAAM,CAAC;IACnD,UAAU,EAAE,OAAC;SACV,KAAK,CAAC,OAAC,CAAC,IAAI,CAAC,8BAAwE,CAAC,CAAC;SACvF,QAAQ,EAAE;SACV,QAAQ,CAAC,+BAA+B,CAAC;IAC5C,aAAa,EAAE,OAAC;SACb,KAAK,CAAC,OAAC,CAAC,IAAI,CAAC,iCAA2E,CAAC,CAAC;SAC1F,QAAQ,EAAE;SACV,QAAQ,CAAC,kCAAkC,CAAC;IAC/C,KAAK,EAAE,OAAC,CAAC,OAAO,EAAE,CAAC,QAAQ,CAAC,wBAAwB,CAAC;IACrD,MAAM,EAAE,OAAC,CAAC,MAAM,EAAE,CAAC,QAAQ,EAAE,CAAC,QAAQ,CAAC,gCAAgC,CAAC;IACxE,aAAa,EAAE,OAAC,CAAC,MAAM,CAAC,OAAC,CAAC,OAAO,EAAE,CAAC,CAAC,QAAQ,CAAC,8BAA8B,CAAC;IAC7E,iBAAiB,EAAE,OAAC,CAAC,MAAM,EAAE,CAAC,QAAQ,EAAE,CAAC,QAAQ,CAAC,wCAAwC,CAAC;IAC3F,KAAK,EAAE,OAAC;SACL,MAAM,EAAE;SACR,GAAG,EAAE;SACL,QAAQ,EAAE;SACV,QAAQ,EAAE;SACV,QAAQ,CAAC,gDAAgD,CAAC;IAC7D,OAAO,EAAE,OAAC,CAAC,MAAM,EAAE,CAAC,QAAQ,EAAE,CAAC,QAAQ,CAAC,8BAA8B,CAAC;IACvE,KAAK,EAAE,OAAC,CAAC,OAAO,EAAE,CAAC,QAAQ,CAAC,6BAA6B,CAAC,CAAC,OAAO,CAAC,KAAK,CAAC;IACzE,SAAS,EAAE,OAAC,CAAC,MAAM,EAAE,CAAC,QAAQ,EAAE,CAAC,QAAQ,CAAC,oBAAoB,CAAC;IAC/D,QAAQ,EAAE,OAAC,CAAC,MAAM,EAAE,CAAC,QAAQ,EAAE,CAAC,QAAQ,CAAC,+BAA+B,CAAC;IACzE,cAAc,EAAE,OAAC;SACd,MAAM,EAAE;SACR,GAAG,EAAE;SACL,QAAQ,EAAE;SACV,QAAQ,EAAE;SACV,QAAQ,CAAC,wCAAwC,CAAC;IACrD,QAAQ,EAAE,OAAC,CAAC,MAAM,EAAE,CAAC,GAAG,EAAE,CAAC,QAAQ,EAAE,CAAC,QAAQ,EAAE,CAAC,QAAQ,CAAC,6BAA6B,CAAC;IACxF,MAAM,EAAE,OAAC,CAAC,MAAM,EAAE,CAAC,QAAQ,EAAE,CAAC,QAAQ,CAAC,kBAAkB,CAAC;IAC1D,OAAO,EAAE,OAAC,CAAC,KAAK,CAAC,yBAAyB,CAAC,CAAC,QAAQ,EAAE,CAAC,QAAQ,CAAC,gBAAgB,CAAC;IACjF,QAAQ,EAAE,OAAC,CAAC,MAAM,EAAE,CAAC,QAAQ,EAAE,CAAC,QAAQ,CAAC,iBAAiB,CAAC;IAC3D,OAAO,EAAE,OAAC,CAAC,MAAM,EAAE,CAAC,QAAQ,EAAE,CAAC,QAAQ,CAAC,mCAAmC,CAAC;IAC5E,UAAU,EAAE,OAAC,CAAC,KAAK,CAAC,6BAAqB,CAAC,CAAC,QAAQ,EAAE,CAAC,QAAQ,CAAC,mBAAmB,CAAC;IACnF,KAAK,EAAE,OAAC,CAAC,OAAO,EAAE,CAAC,QAAQ,CAAC,6BAA6B,CAAC;CAC3D,CAAC,CAAC;AAEH;;GAEG;AACU,QAAA,mBAAmB,GAAG,OAAC;KACjC,MAAM,CAAC;IACN,SAAS,EAAE,OAAC;SACT,MAAM,EAAE;SACR,QAAQ,EAAE;SACV,QAAQ,CACP,yIAAyI,CAC1I;IACH,OAAO,EAAE,OAAC;SACP,MAAM,EAAE;SACR,QAAQ,EAAE;SACV,QAAQ,CAAC,0DAA0D,CAAC;IACvE,QAAQ,EAAE,OAAC;SACR,IAAI,CAAC,GAAG,EAAE,CAAC,0BAAc,CAAC;SAC1B,QAAQ,EAAE;SACV,QAAQ,CAAC,iDAAiD,CAAC;IAC9D,QAAQ,EAAE,OAAC,CAAC,MAAM,EAAE,CAAC,GAAG,EAAE,CAAC,QAAQ,EAAE,CAAC,QAAQ,EAAE,CAAC,QAAQ,CAAC,6BAA6B,CAAC;IACxF,QAAQ,EAAE,OAAC,CAAC,MAAM,EAAE,CAAC,QAAQ,EAAE,CAAC,QAAQ,CAAC,+CAA+C,CAAC;IACzF,OAAO,EAAE,OAAC;SACP,KAAK,CAAC,2BAAmB,CAAC;SAC1B,QAAQ,CAAC,uCAAuC,CAAC;SACjD,OAAO,CAAC,CAAC,SAAS,CAAC,CAAC;IACvB,UAAU,EAAE,OAAC;SACV,KAAK,CAAC,6BAAqB,CAAC;SAC5B,QAAQ,CACP,IAAA,gBAAM,EAAA;;sBAEQ,8BAAkB,CAAC,IAAI,CAAC,IAAI,CAAC;mBAChC,0BAAc,CAAC,IAAI,CAAC,IAAI,CAAC;SACnC,CACF;SACA,QAAQ,EAAE;SACV,OAAO,CAAC,CAAC,SAAS,CAAC,CAAC;IACvB,cAAc,EAAE,OAAC;SACd,MAAM,EAAE;SACR,GAAG,EAAE;SACL,QAAQ,EAAE;SACV,QAAQ,EAAE;SACV,QAAQ,CAAC,wCAAwC,CAAC;IACrD,KAAK,EAAE,OAAC;SACL,MAAM,EAAE;SACR,GAAG,EAAE;SACL,QAAQ,EAAE;SACV,QAAQ,EAAE;SACV,QAAQ,CAAC,gDAAgD,CAAC;CAC9D,CAAC;KACD,SAAS,CAAC,CAAC,IAAI,EAAqB,EAAE;IACrC,MAAM,SAAS,GAAG,IAAI,GAAG,EAA+B,CAAC;IACzD,MAAM,WAAW,GAAG,IAAI,GAAG,EAAY,CAAC;IAExC,MAAM,SAAS,GAAG,CAAC,EAAU,EAAE,MAAW,EAAE,QAA4B,EAAE,EAAE;QAC1E,MAAM,GAAG,GAAG,GAAG,EAAE,IAAI,IAAI,CAAC,SAAS,CAAC,MAAM,CAAC,EAAE,CAAC;QAC9C,MAAM,YAAY,GAAwB,EAAE,EAAE,EAAE,CAAC;QACjD,IAAI,QAAQ,KAAK,SAAS,IAAI,IAAI,CAAC,QAAQ,KAAK,SAAS,EAAE,CAAC;YAC1D,YAAY,CAAC,QAAQ,GAAG,QAAQ,IAAI,IAAI,CAAC,QAAQ,CAAC;QACpD,CAAC;QACD,IAAI,MAAM,KAAK,SAAS,EAAE,CAAC;YACzB,YAAY,CAAC,MAAM,GAAG,MAAM,CAAC;QAC/B,CAAC;QACD,SAAS,CAAC,GAAG,CAAC,GAAG,EAAE,YAAY,CAAC,CAAC;IACnC,CAAC,CAAC;IAEF,MAAM,gBAAgB,GAAG,CACvB,UAA0C,EAC1C,MAAW,EACX,QAA4B,EAC5B,EAAE;QACF,CAAC,KAAK,CAAC,OAAO,CAAC,UAAU,CAAC,CAAC,CAAC,CAAC,UAAU,CAAC,CAAC,CAAC,KAAK,CAAC,IAAI,CAAC,UAAU,CAAC,CAAC,CAAC,OAAO,CAAC,CAAC,IAAI,EAAE,EAAE;YACjF,gGAAgG;YAChG,MAAM,cAAc,GAAG,SAAS,CAAC,GAAG,CAAC,GAAG,IAAI,IAAI,IAAI,CAAC,SAAS,CAAC,MAAM,CAAC,EAAE,CAAC,CAAC;YAC1E,IAAI,CAAC,cAAc,IAAI,cAAc,CAAC,QAAQ,KAAK,SAAS,EAAE,CAAC;gBAC7D,SAAS,CAAC,IAAI,EAAE,MAAM,EAAE,QAAQ,CAAC,CAAC;YACpC,CAAC;QACH,CAAC,CAAC,CAAC;IACL,CAAC,CAAC;IAEF,MAAM,yBAAyB,GAAG,CAAC,EAAU,EAAE,MAAW,EAAE,QAA4B,EAAE,EAAE;QAC1F,IAAI,EAAE,KAAK,SAAS,EAAE,CAAC;YACrB,gBAAgB,CAAC,MAAM,CAAC,IAAI,CAAC,wBAAY,CAAC,EAAE,MAAM,EAAE,QAAQ,CAAC,CAAC;QAChE,CAAC;aAAM,IAAI,EAAE,KAAK,KAAK,EAAE,CAAC;YACxB,gBAAgB,CAAC,CAAC,GAAG,uBAAW,CAAC,EAAE,MAAM,EAAE,QAAQ,CAAC,CAAC;QACvD,CAAC;aAAM,IAAI,EAAE,KAAK,SAAS,EAAE,CAAC;YAC5B,gBAAgB,CAAC,CAAC,GAAG,2BAAuB,CAAC,EAAE,MAAM,EAAE,QAAQ,CAAC,CAAC;QACnE,CAAC;IACH,CAAC,CAAC;IAEF,MAAM,YAAY,GAAG,CAAC,MAAoC,EAAE,EAAE;QAC5D,MAAM,SAAS,GACb,OAAO,MAAM,KAAK,QAAQ;YACxB,CAAC,CAAC,EAAE,EAAE,EAAE,MAAM,EAAE,QAAQ,EAAE,IAAI,CAAC,QAAQ,EAAE,MAAM,EAAE,SAAS,EAAE;YAC5D,CAAC,CAAC,EAAE,GAAG,MAAM,EAAE,QAAQ,EAAE,MAAM,CAAC,QAAQ,IAAI,IAAI,CAAC,QAAQ,EAAE,CAAC;QAEhE,IAAI,mCAAuB,CAAC,SAAS,CAAC,EAAE,CAAC,EAAE,CAAC;YAC1C,MAAM,CAAC,MAAM,CAAC,mCAAuB,CAAC,SAAS,CAAC,EAAE,CAAC,CAAC,CAAC,OAAO,CAAC,CAAC,EAAE,OAAO,EAAE,UAAU,EAAE,EAAE,EAAE;gBACvF,OAAO,CAAC,OAAO,CAAC,CAAC,EAAE,EAAE,EAAE;oBACrB,IAAI,uBAAW,CAAC,QAAQ,CAAC,EAAS,CAAC,EAAE,CAAC;wBACpC,yBAAyB,CAAC,EAAE,EAAE,SAAS,CAAC,MAAM,EAAE,SAAS,CAAC,QAAQ,CAAC,CAAC;oBACtE,CAAC;yBAAM,CAAC;wBACN,SAAS,CAAC,EAAE,EAAE,SAAS,CAAC,MAAM,EAAE,SAAS,CAAC,QAAQ,CAAC,CAAC;oBACtD,CAAC;gBACH,CAAC,CAAC,CAAC;gBACH,UAAU,CAAC,OAAO,CAAC,CAAC,QAAQ,EAAE,EAAE,CAAC,WAAW,CAAC,GAAG,CAAC,QAAoB,CAAC,CAAC,CAAC;YAC1E,CAAC,CAAC,CAAC;QACL,CAAC;aAAM,IAAI,uBAAW,CAAC,QAAQ,CAAC,SAAS,CAAC,EAAS,CAAC,EAAE,CAAC;YACrD,yBAAyB,CAAC,SAAS,CAAC,EAAE,EAAE,SAAS,CAAC,MAAM,EAAE,SAAS,CAAC,QAAQ,CAAC,CAAC;QAChF,CAAC;aAAM,CAAC;YACN,MAAM,OAAO,GAAG,MAAM,CAAC,OAAO,CAAC,mCAAuB,CAAC,CAAC,IAAI,CAAC,CAAC,CAAC,EAAE,KAAK,CAAC,EAAE,EAAE,CACzE,MAAM,CAAC,IAAI,CAAC,KAAK,CAAC,CAAC,QAAQ,CAAC,SAAS,CAAC,EAAE,CAAC,CAC1C,CAAC;YACF,IAAI,OAAO,EAAE,CAAC;gBACZ,MAAM,CAAC,EAAE,cAAc,CAAC,GAAG,OAAO,CAAC;gBACnC,cAAc,CAAC,SAAS,CAAC,EAAE,CAAC,CAAC,OAAO,CAAC,OAAO,CAAC,CAAC,EAAE,EAAE,EAAE;oBAClD,IAAI,uBAAW,CAAC,QAAQ,CAAC,EAAS,CAAC,EAAE,CAAC;wBACpC,yBAAyB,CAAC,EAAE,EAAE,SAAS,CAAC,MAAM,EAAE,SAAS,CAAC,QAAQ,CAAC,CAAC;oBACtE,CAAC;yBAAM,CAAC;wBACN,SAAS,CAAC,EAAE,EAAE,SAAS,CAAC,MAAM,EAAE,SAAS,CAAC,QAAQ,CAAC,CAAC;oBACtD,CAAC;gBACH,CAAC,CAAC,CAAC;gBACH,cAAc,CAAC,SAAS,CAAC,EAAE,CAAC,CAAC,UAAU,CAAC,OAAO,CAAC,CAAC,QAAQ,EAAE,EAAE,CAC3D,WAAW,CAAC,GAAG,CAAC,QAAoB,CAAC,CACtC,CAAC;YACJ,CAAC;iBAAM,CAAC;gBACN,SAAS,CAAC,SAAS,CAAC,EAAE,EAAE,SAAS,CAAC,MAAM,EAAE,SAAS,CAAC,QAAQ,CAAC,CAAC;YAChE,CAAC;QACH,CAAC;IACH,CAAC,CAAC;IAEF,IAAI,CAAC,OAAO,CAAC,OAAO,CAAC,YAAY,CAAC,CAAC;IAEnC,MAAM,aAAa,GAAG,KAAK,CAAC,IAAI,CAAC,SAAS,CAAC,MAAM,EAAE,CAAC;SACjD,MAAM,CAAC,CAAC,MAAM,EAAE,EAAE,CAAC,CAAC,uBAAW,CAAC,QAAQ,CAAC,MAAM,CAAC,EAAkC,CAAC,CAAC;SACpF,IAAI,CAAC,CAAC,CAAC,EAAE,CAAC,EAAE,EAAE;QACb,IAAI,CAAC,CAAC,EAAE,KAAK,CAAC,CAAC,EAAE,EAAE,CAAC;YAClB,OAAO,CAAC,CAAC,EAAE,CAAC,aAAa,CAAC,CAAC,CAAC,EAAE,CAAC,CAAC;QAClC,CAAC;QACD,OAAO,IAAI,CAAC,SAAS,CAAC,CAAC,CAAC,MAAM,IAAI,EAAE,CAAC,CAAC,aAAa,CAAC,IAAI,CAAC,SAAS,CAAC,CAAC,CAAC,MAAM,IAAI,EAAE,CAAC,CAAC,CAAC;IACtF,CAAC,CAAC,CAAC;IAEL,MAAM,UAAU,GAAG,KAAK,CAAC,IAAI,CAC3B,IAAI,GAAG,CACL,CAAC,GAAG,CAAC,IAAI,CAAC,UAAU,IAAI,EAAE,CAAC,EAAE,GAAG,KAAK,CAAC,IAAI,CAAC,WAAW,CAAC,CAAC,CAAC,OAAO,CAAC,CAAC,QAAQ,EAAE,EAAE;QAC5E,IAAI,OAAO,QAAQ,KAAK,QAAQ,EAAE,CAAC;YACjC,IAAI,QAAQ,KAAK,OAAO,EAAE,CAAC;gBACzB,OAAO,EAAE,CAAC;YACZ,CAAC;YACD,OAAO,QAAQ,KAAK,SAAS;gBAC3B,CAAC,CAAC,8BAAkB,CAAC,GAAG,CAAC,CAAC,EAAE,EAAE,EAAE,CAAC,CAAC,EAAE,EAAE,EAAE,CAAC,CAAC;gBAC1C,CAAC,CAAC,CAAC,EAAE,EAAE,EAAE,QAAQ,EAAE,CAAC,CAAC;QACzB,CAAC;QACD,2CAA2C;QAC3C,OAAO,CAAC,QAAQ,CAAC,CAAC;IACpB,CAAC,CAAC,CACH,CACF,CAAC,IAAI,CAAC,CAAC,CAAC,EAAE,CAAC,EAAE,EAAE,CAAC,CAAC,CAAC,EAAE,CAAC,aAAa,CAAC,CAAC,CAAC,EAAE,CAAC,CAAC,CAAC;IAE3C,OAAO;QACL,QAAQ,EAAE,IAAI,CAAC,QAAQ;QACvB,OAAO,EAAE,aAAa;QACtB,UAAU;QACV,GAAG,CAAC,IAAI,CAAC,SAAS,CAAC,CAAC,CAAC,EAAE,SAAS,EAAE,IAAI,CAAC,SAAS,EAAE,CAAC,CAAC,CAAC,EAAE,CAAC;QACxD,GAAG,CAAC,IAAI,CAAC,QAAQ,CAAC,CAAC,CAAC,EAAE,QAAQ,EAAE,IAAI,CAAC,QAAQ,EAAE,CAAC,CAAC,CAAC,EAAE,CAAC;QACrD,GAAG,CAAC,IAAI,CAAC,QAAQ,CAAC,CAAC,CAAC,EAAE,QAAQ,EAAE,IAAI,CAAC,QAAQ,EAAE,CAAC,CAAC,CAAC,EAAE,CAAC;QACrD,GAAG,CAAC,IAAI,CAAC,OAAO,CAAC,CAAC,CAAC,EAAE,OAAO,EAAE,IAAI,CAAC,OAAO,EAAE,CAAC,CAAC,CAAC,EAAE,CAAC;QAClD,GAAG,CAAC,IAAI,CAAC,KAAK,CAAC,CAAC,CAAC,EAAE,KAAK,EAAE,IAAI,CAAC,KAAK,EAAE,CAAC,CAAC,CAAC,EAAE,CAAC;KAC7C,CAAC;AACJ,CAAC,CAAC,CAAC;AAEL,sDAAsD;AACtD,6DAA6D;AAC7D,SAAS,MAAM,KAAqB,CAAC;AAGrC,MAAM,EAA6E,CAAC;AACpF,2BAA2B;AAC3B,+FAA+F"}

package/dist/src/validators/shared.d.ts

@@ -4,16 +4,19 @@ export declare const TokenUsageSchema: z.ZodObject<{
     completion: z.ZodOptional<z.ZodNumber>;
     prompt: z.ZodOptional<z.ZodNumber>;
     total: z.ZodOptional<z.ZodNumber>;
+    numRequests: z.ZodOptional<z.ZodNumber>;
 }, "strip", z.ZodTypeAny, {
     cached?: number | undefined;
     completion?: number | undefined;
     prompt?: number | undefined;
     total?: number | undefined;
+    numRequests?: number | undefined;
 }, {
     cached?: number | undefined;
     completion?: number | undefined;
     prompt?: number | undefined;
     total?: number | undefined;
+    numRequests?: number | undefined;
 }>;
 export declare const NunjucksFilterMapSchema: z.ZodRecord<z.ZodString, z.ZodFunction<z.ZodTuple<[z.ZodAny], z.ZodAny>, z.ZodString>>;
 //# sourceMappingURL=shared.d.ts.map

package/dist/src/validators/shared.d.ts.map

@@ -1 +1 @@
-{"version":3,"file":"shared.d.ts","sourceRoot":"","sources":["../../../src/validators/shared.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAExB,eAAO,MAAM,gBAAgB;;;;;;;;;;;;;;;EAK3B,CAAC;AAEH,eAAO,MAAM,uBAAuB,wFAGnC,CAAC"}
+{"version":3,"file":"shared.d.ts","sourceRoot":"","sources":["../../../src/validators/shared.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,CAAC,EAAE,MAAM,KAAK,CAAC;AAExB,eAAO,MAAM,gBAAgB;;;;;;;;;;;;;;;;;;EAM3B,CAAC;AAEH,eAAO,MAAM,uBAAuB,wFAGnC,CAAC"}

package/dist/src/validators/shared.js

@@ -7,6 +7,7 @@ exports.TokenUsageSchema = zod_1.z.object({
     completion: zod_1.z.number().optional(),
     prompt: zod_1.z.number().optional(),
     total: zod_1.z.number().optional(),
+    numRequests: zod_1.z.number().optional(),
 });
 exports.NunjucksFilterMapSchema = zod_1.z.record(zod_1.z.string(), zod_1.z.function(zod_1.z.tuple([zod_1.z.any()]).rest(zod_1.z.any()), zod_1.z.string()));
 //# sourceMappingURL=shared.js.map

package/dist/src/validators/shared.js.map

@@ -1 +1 @@
-{"version":3,"file":"shared.js","sourceRoot":"","sources":["../../../src/validators/shared.ts"],"names":[],"mappings":";;;AAAA,6BAAwB;AAEX,QAAA,gBAAgB,GAAG,OAAC,CAAC,MAAM,CAAC;IACvC,MAAM,EAAE,OAAC,CAAC,MAAM,EAAE,CAAC,QAAQ,EAAE;IAC7B,UAAU,EAAE,OAAC,CAAC,MAAM,EAAE,CAAC,QAAQ,EAAE;IACjC,MAAM,EAAE,OAAC,CAAC,MAAM,EAAE,CAAC,QAAQ,EAAE;IAC7B,KAAK,EAAE,OAAC,CAAC,MAAM,EAAE,CAAC,QAAQ,EAAE;CAC7B,CAAC,CAAC;AAEU,QAAA,uBAAuB,GAAG,OAAC,CAAC,MAAM,CAC7C,OAAC,CAAC,MAAM,EAAE,EACV,OAAC,CAAC,QAAQ,CAAC,OAAC,CAAC,KAAK,CAAC,CAAC,OAAC,CAAC,GAAG,EAAE,CAAC,CAAC,CAAC,IAAI,CAAC,OAAC,CAAC,GAAG,EAAE,CAAC,EAAE,OAAC,CAAC,MAAM,EAAE,CAAC,CACzD,CAAC"}
+{"version":3,"file":"shared.js","sourceRoot":"","sources":["../../../src/validators/shared.ts"],"names":[],"mappings":";;;AAAA,6BAAwB;AAEX,QAAA,gBAAgB,GAAG,OAAC,CAAC,MAAM,CAAC;IACvC,MAAM,EAAE,OAAC,CAAC,MAAM,EAAE,CAAC,QAAQ,EAAE;IAC7B,UAAU,EAAE,OAAC,CAAC,MAAM,EAAE,CAAC,QAAQ,EAAE;IACjC,MAAM,EAAE,OAAC,CAAC,MAAM,EAAE,CAAC,QAAQ,EAAE;IAC7B,KAAK,EAAE,OAAC,CAAC,MAAM,EAAE,CAAC,QAAQ,EAAE;IAC5B,WAAW,EAAE,OAAC,CAAC,MAAM,EAAE,CAAC,QAAQ,EAAE;CACnC,CAAC,CAAC;AAEU,QAAA,uBAAuB,GAAG,OAAC,CAAC,MAAM,CAC7C,OAAC,CAAC,MAAM,EAAE,EACV,OAAC,CAAC,QAAQ,CAAC,OAAC,CAAC,KAAK,CAAC,CAAC,OAAC,CAAC,GAAG,EAAE,CAAC,CAAC,CAAC,IAAI,CAAC,OAAC,CAAC,GAAG,EAAE,CAAC,EAAE,OAAC,CAAC,MAAM,EAAE,CAAC,CACzD,CAAC"}

package/dist/test/commands/init.test.js

@@ -155,7 +155,7 @@ describe('init command', () => {
             const initCmd = program.commands.find((cmd) => cmd.name() === 'init');
             expect(initCmd).toBeDefined();
             expect(initCmd?.description()).toBe('Initialize project with dummy files or download an example');
-            expect(initCmd?.options).toHaveLength(2);
+            expect(initCmd?.options).toHaveLength(3);
         });
     });
 });

package/dist/test/evaluator.test.js

@@ -25,28 +25,28 @@ const mockApiProvider = {
     id: jest.fn().mockReturnValue('test-provider'),
     callApi: jest.fn().mockResolvedValue({
         output: 'Test output',
-        tokenUsage: { total: 10, prompt: 5, completion: 5, cached: 0 },
+        tokenUsage: { total: 10, prompt: 5, completion: 5, cached: 0, numRequests: 1 },
     }),
 };
 const mockApiProvider2 = {
     id: jest.fn().mockReturnValue('test-provider-2'),
     callApi: jest.fn().mockResolvedValue({
         output: 'Test output',
-        tokenUsage: { total: 10, prompt: 5, completion: 5, cached: 0 },
+        tokenUsage: { total: 10, prompt: 5, completion: 5, cached: 0, numRequests: 1 },
     }),
 };
 const mockGradingApiProviderPasses = {
     id: jest.fn().mockReturnValue('test-grading-provider'),
     callApi: jest.fn().mockResolvedValue({
         output: JSON.stringify({ pass: true, reason: 'Test grading output' }),
-        tokenUsage: { total: 10, prompt: 5, completion: 5, cached: 0 },
+        tokenUsage: { total: 10, prompt: 5, completion: 5, cached: 0, numRequests: 1 },
     }),
 };
 const mockGradingApiProviderFails = {
     id: jest.fn().mockReturnValue('test-grading-provider'),
     callApi: jest.fn().mockResolvedValue({
         output: JSON.stringify({ pass: false, reason: 'Grading failed reason' }),
-        tokenUsage: { total: 10, prompt: 5, completion: 5, cached: 0 },
+        tokenUsage: { total: 10, prompt: 5, completion: 5, cached: 0, numRequests: 1 },
     }),
 };
 function toPrompt(text) {
@@ -78,7 +78,13 @@ describe('evaluator', () => {
         expect(mockApiProvider.callApi).toHaveBeenCalledTimes(1);
         expect(summary.stats.successes).toBe(1);
         expect(summary.stats.failures).toBe(0);
-        expect(summary.stats.tokenUsage).toEqual({ total: 10, prompt: 5, completion: 5, cached: 0 });
+        expect(summary.stats.tokenUsage).toEqual({
+            total: 10,
+            prompt: 5,
+            completion: 5,
+            cached: 0,
+            numRequests: 1,
+        });
         expect(summary.results[0].prompt.raw).toBe('Test prompt value1 value2');
         expect(summary.results[0].prompt.label).toBe('Test prompt {{ var1 }} {{ var2 }}');
         expect(summary.results[0].response?.output).toBe('Test output');
@@ -99,7 +105,13 @@ describe('evaluator', () => {
         expect(mockApiProvider.callApi).toHaveBeenCalledTimes(1);
         expect(summary.stats.successes).toBe(1);
         expect(summary.stats.failures).toBe(0);
-        expect(summary.stats.tokenUsage).toEqual({ total: 10, prompt: 5, completion: 5, cached: 0 });
+        expect(summary.stats.tokenUsage).toEqual({
+            total: 10,
+            prompt: 5,
+            completion: 5,
+            cached: 0,
+            numRequests: 1,
+        });
         expect(summary.results[0].prompt.raw).toBe('Test prompt 1 < 2 he said "hello world"...');
         expect(summary.results[0].prompt.label).toBe('Test prompt {{ var1 }} {{ var2 }}');
         expect(summary.results[0].response?.output).toBe('Test output');
@@ -120,7 +132,13 @@ describe('evaluator', () => {
         expect(mockApiProvider.callApi).toHaveBeenCalledTimes(1);
         expect(summary.stats.successes).toBe(1);
         expect(summary.stats.failures).toBe(0);
-        expect(summary.stats.tokenUsage).toEqual({ total: 10, prompt: 5, completion: 5, cached: 0 });
+        expect(summary.stats.tokenUsage).toEqual({
+            total: 10,
+            prompt: 5,
+            completion: 5,
+            cached: 0,
+            numRequests: 1,
+        });
         expect(summary.results[0].prompt.raw).toBe('Test prompt value1 value2');
         expect(summary.results[0].prompt.label).toBe('Test prompt {{ var1.prop1 }} {{ var2 }}');
         expect(summary.results[0].response?.output).toBe('Test output');
@@ -141,7 +159,13 @@ describe('evaluator', () => {
         expect(mockApiProvider.callApi).toHaveBeenCalledTimes(1);
         expect(summary.stats.successes).toBe(1);
         expect(summary.stats.failures).toBe(0);
-        expect(summary.stats.tokenUsage).toEqual({ total: 10, prompt: 5, completion: 5, cached: 0 });
+        expect(summary.stats.tokenUsage).toEqual({
+            total: 10,
+            prompt: 5,
+            completion: 5,
+            cached: 0,
+            numRequests: 1,
+        });
         expect(summary.results[0].prompt.raw).toBe('Test prompt value1 value2');
         expect(summary.results[0].prompt.label).toBe('test display name');
         expect(summary.results[0].response?.output).toBe('Test output');
@@ -162,7 +186,13 @@ describe('evaluator', () => {
         expect(mockApiProvider.callApi).toHaveBeenCalledTimes(4);
         expect(summary.stats.successes).toBe(4);
         expect(summary.stats.failures).toBe(0);
-        expect(summary.stats.tokenUsage).toEqual({ total: 40, prompt: 20, completion: 20, cached: 0 });
+        expect(summary.stats.tokenUsage).toEqual({
+            total: 40,
+            prompt: 20,
+            completion: 20,
+            cached: 0,
+            numRequests: 4,
+        });
         expect(summary.results[0].prompt.raw).toBe('Test prompt value1 value2');
         expect(summary.results[0].prompt.label).toBe('Test prompt {{ var1 }} {{ var2 }}');
         expect(summary.results[0].response?.output).toBe('Test output');
@@ -183,7 +213,13 @@ describe('evaluator', () => {
         expect(mockApiProvider.callApi).toHaveBeenCalledTimes(2);
         expect(summary.stats.successes).toBe(2);
         expect(summary.stats.failures).toBe(0);
-        expect(summary.stats.tokenUsage).toEqual({ total: 20, prompt: 10, completion: 10, cached: 0 });
+        expect(summary.stats.tokenUsage).toEqual({
+            total: 20,
+            prompt: 10,
+            completion: 10,
+            cached: 0,
+            numRequests: 2,
+        });
         expect(summary.results[0].prompt.raw).toBe('Test prompt value1 value2');
         expect(summary.results[0].prompt.label).toBe('Test prompt {{ var1 }} {{ var2 }}');
         expect(summary.results[0].response?.output).toBe('Test output');
@@ -199,7 +235,13 @@ describe('evaluator', () => {
         expect(mockApiProvider.callApi).toHaveBeenCalledTimes(1);
         expect(summary.stats.successes).toBe(1);
         expect(summary.stats.failures).toBe(0);
-        expect(summary.stats.tokenUsage).toEqual({ total: 10, prompt: 5, completion: 5, cached: 0 });
+        expect(summary.stats.tokenUsage).toEqual({
+            total: 10,
+            prompt: 5,
+            completion: 5,
+            cached: 0,
+            numRequests: 1,
+        });
         expect(summary.results[0].prompt.raw).toBe('Test prompt');
         expect(summary.results[0].prompt.label).toBe('Test prompt');
         expect(summary.results[0].response?.output).toBe('Test output');
@@ -215,7 +257,13 @@ describe('evaluator', () => {
         expect(mockApiProvider.callApi).toHaveBeenCalledTimes(3);
         expect(summary.stats.successes).toBe(3);
         expect(summary.stats.failures).toBe(0);
-        expect(summary.stats.tokenUsage).toEqual({ total: 30, prompt: 15, completion: 15, cached: 0 });
+        expect(summary.stats.tokenUsage).toEqual({
+            total: 30,
+            prompt: 15,
+            completion: 15,
+            cached: 0,
+            numRequests: 3,
+        });
         expect(summary.results[0].prompt.raw).toBe('Test prompt');
         expect(summary.results[0].prompt.label).toBe('Test prompt');
         expect(summary.results[0].response?.output).toBe('Test output');
@@ -423,7 +471,7 @@ describe('evaluator', () => {
             id: jest.fn().mockReturnValue('test-provider-json'),
             callApi: jest.fn().mockResolvedValue({
                 output: '{"output": "testing", "value": 123}',
-                tokenUsage: { total: 10, prompt: 5, completion: 5, cached: 0 },
+                tokenUsage: { total: 10, prompt: 5, completion: 5, cached: 0, numRequests: 1 },
             }),
         };
         const testSuite = {
@@ -456,7 +504,7 @@ describe('evaluator', () => {
             id: jest.fn().mockReturnValue('test-provider-transform'),
             callApi: jest.fn().mockResolvedValue({
                 output: 'Original output',
-                tokenUsage: { total: 10, prompt: 5, completion: 5, cached: 0 },
+                tokenUsage: { total: 10, prompt: 5, completion: 5, cached: 0, numRequests: 1 },
             }),
             transform: '`Transformed: ${output}`',
         };
@@ -544,7 +592,7 @@ describe('evaluator', () => {
             id: jest.fn().mockReturnValue('test-provider-transform'),
             callApi: jest.fn().mockResolvedValue({
                 output: 'Original output',
-                tokenUsage: { total: 10, prompt: 5, completion: 5, cached: 0 },
+                tokenUsage: { total: 10, prompt: 5, completion: 5, cached: 0, numRequests: 1 },
             }),
             transform: '`ProviderTransformed: ${output}`',
         };
@@ -608,7 +656,13 @@ describe('evaluator', () => {
         expect(mockApiProvider.callApi).toHaveBeenCalledTimes(1);
         expect(summary.stats.successes).toBe(1);
         expect(summary.stats.failures).toBe(0);
-        expect(summary.stats.tokenUsage).toEqual({ total: 10, prompt: 5, completion: 5, cached: 0 });
+        expect(summary.stats.tokenUsage).toEqual({
+            total: 10,
+            prompt: 5,
+            completion: 5,
+            cached: 0,
+            numRequests: 1,
+        });
         expect(summary.results[0].prompt.raw).toBe('Test prompt 1');
         expect(summary.results[0].prompt.label).toBe('Test prompt 1');
         expect(summary.results[0].response?.output).toBe('Test output');
@@ -618,7 +672,7 @@ describe('evaluator', () => {
             id: jest.fn().mockReturnValue('test-provider'),
             callApi: jest.fn().mockResolvedValue({
                 output: 'Test output',
-                tokenUsage: { total: 10, prompt: 5, completion: 5, cached: 0 },
+                tokenUsage: { total: 10, prompt: 5, completion: 5, cached: 0, numRequests: 1 },
             }),
         };
         const testSuite = {
@@ -656,11 +710,11 @@ describe('evaluator', () => {
                 .fn()
                 .mockResolvedValueOnce({
                 output: 'Hola mundo',
-                tokenUsage: { total: 10, prompt: 5, completion: 5, cached: 0 },
+                tokenUsage: { total: 10, prompt: 5, completion: 5, cached: 0, numRequests: 1 },
             })
                 .mockResolvedValueOnce({
                 output: 'Bonjour le monde',
-                tokenUsage: { total: 10, prompt: 5, completion: 5, cached: 0 },
+                tokenUsage: { total: 10, prompt: 5, completion: 5, cached: 0, numRequests: 1 },
             }),
         };
         const testSuite = {
@@ -711,19 +765,19 @@ describe('evaluator', () => {
                 .fn()
                 .mockResolvedValueOnce({
                 output: 'Spanish Hola',
-                tokenUsage: { total: 10, prompt: 5, completion: 5, cached: 0 },
+                tokenUsage: { total: 10, prompt: 5, completion: 5, cached: 0, numRequests: 1 },
             })
                 .mockResolvedValueOnce({
                 output: 'Spanish Bonjour',
-                tokenUsage: { total: 10, prompt: 5, completion: 5, cached: 0 },
+                tokenUsage: { total: 10, prompt: 5, completion: 5, cached: 0, numRequests: 1 },
             })
                 .mockResolvedValueOnce({
                 output: 'French Hola',
-                tokenUsage: { total: 10, prompt: 5, completion: 5, cached: 0 },
+                tokenUsage: { total: 10, prompt: 5, completion: 5, cached: 0, numRequests: 1 },
             })
                 .mockResolvedValueOnce({
                 output: 'French Bonjour',
-                tokenUsage: { total: 10, prompt: 5, completion: 5, cached: 0 },
+                tokenUsage: { total: 10, prompt: 5, completion: 5, cached: 0, numRequests: 1 },
             }),
         };
         const testSuite = {
@@ -768,7 +822,7 @@ describe('evaluator', () => {
             id: jest.fn().mockReturnValue('test-provider'),
             callApi: jest.fn().mockResolvedValue({
                 output: 'Hello, World',
-                tokenUsage: { total: 10, prompt: 5, completion: 5, cached: 0 },
+                tokenUsage: { total: 10, prompt: 5, completion: 5, cached: 0, numRequests: 1 },
             }),
         };
         const testSuite = {
@@ -871,7 +925,7 @@ describe('evaluator', () => {
             callApi: jest.fn().mockImplementation((prompt) => {
                 return Promise.resolve({
                     output: prompt,
-                    tokenUsage: { total: 10, prompt: 5, completion: 5, cached: 0 },
+                    tokenUsage: { total: 10, prompt: 5, completion: 5, cached: 0, numRequests: 1 },
                 });
             }),
         };
@@ -902,14 +956,14 @@ describe('evaluator', () => {
             label: 'Labeled Provider',
             callApi: jest.fn().mockResolvedValue({
                 output: 'Labeled Provider Output',
-                tokenUsage: { total: 10, prompt: 5, completion: 5, cached: 0 },
+                tokenUsage: { total: 10, prompt: 5, completion: 5, cached: 0, numRequests: 1 },
             }),
         };
         const mockUnlabeledProvider = {
             id: () => 'unlabeled-provider-id',
             callApi: jest.fn().mockResolvedValue({
                 output: 'Unlabeled Provider Output',
-                tokenUsage: { total: 10, prompt: 5, completion: 5, cached: 0 },
+                tokenUsage: { total: 10, prompt: 5, completion: 5, cached: 0, numRequests: 1 },
             }),
         };
         const testSuite = {
@@ -1029,7 +1083,7 @@ describe('evaluator', () => {
             id: jest.fn().mockReturnValue('test-provider-transform'),
             callApi: jest.fn().mockResolvedValue({
                 output: 'Original output',
-                tokenUsage: { total: 10, prompt: 5, completion: 5, cached: 0 },
+                tokenUsage: { total: 10, prompt: 5, completion: 5, cached: 0, numRequests: 1 },
             }),
             transform: '`Provider: ${output}`',
         };
@@ -1067,7 +1121,7 @@ describe('evaluator', () => {
             id: jest.fn().mockReturnValue('test-provider-transform'),
             callApi: jest.fn().mockResolvedValue({
                 output: 'Original output',
-                tokenUsage: { total: 10, prompt: 5, completion: 5, cached: 0 },
+                tokenUsage: { total: 10, prompt: 5, completion: 5, cached: 0, numRequests: 1 },
             }),
             transform: '`Provider: ${output}`',
         };
@@ -1112,7 +1166,7 @@ describe('evaluator', () => {
             id: jest.fn().mockReturnValue('test-provider-no-output'),
             callApi: jest.fn().mockResolvedValue({
                 output: null,
-                tokenUsage: { total: 5, prompt: 5, completion: 0, cached: 0 },
+                tokenUsage: { total: 5, prompt: 5, completion: 0, cached: 0, numRequests: 1 },
             }),
         };
         const testSuite = {
@@ -1135,7 +1189,7 @@ describe('evaluator', () => {
             id: jest.fn().mockReturnValue('test-provider-no-output'),
             callApi: jest.fn().mockResolvedValue({
                 output: false,
-                tokenUsage: { total: 5, prompt: 5, completion: 0, cached: 0 },
+                tokenUsage: { total: 5, prompt: 5, completion: 0, cached: 0, numRequests: 1 },
             }),
         };
         const testSuite = {
@@ -1157,7 +1211,7 @@ describe('evaluator', () => {
             id: jest.fn().mockReturnValue('test-provider'),
             callApi: jest.fn().mockResolvedValue({
                 output: 'Test response',
-                tokenUsage: { total: 10, prompt: 5, completion: 5, cached: 0 },
+                tokenUsage: { total: 10, prompt: 5, completion: 5, cached: 0, numRequests: 1 },
             }),
         };
         const testSuite = {