@dexto/server 1.10.2 → 1.10.4

package/dist/events/usage-event-subscriber.cjs

@@ -49,6 +49,7 @@ class UsageEventSubscriber {
   database;
   targetUrl;
   authToken;
+  llmRegistry;
   runtimeId;
   runId;
   deliveryOptions;
@@ -62,6 +63,7 @@ class UsageEventSubscriber {
     this.database = config.database;
     this.targetUrl = config.targetUrl;
     this.authToken = config.authToken;
+    this.llmRegistry = config.llmRegistry ?? import_llm.DEFAULT_MODEL_REGISTRY;
     this.runtimeId = config.runtimeId;
     this.runId = config.runId;
     const flushIntervalMs = requirePositiveIntegerOption(
@@ -130,7 +132,10 @@ class UsageEventSubscriber {
       return null;
     }
     const resolvedCostBreakdown = payload.costBreakdown ?? (payload.provider && payload.model ? (() => {
-      const pricing = (0, import_llm.getModelPricing)(payload.provider, payload.model);
+      const pricing = this.llmRegistry.getModelPricing(
+        payload.provider,
+        payload.model
+      );
       if (!pricing) {
         return void 0;
       }

package/dist/events/usage-event-subscriber.d.ts

@@ -1,10 +1,12 @@
 import { AgentEventBus, type Database } from '@dexto/core';
+import { type ModelRegistry } from '@dexto/llm';
 import type { EventSubscriber } from './types.js';
 import type { UsageEventDeliveryOptions } from './usage-event-types.js';
 interface UsageEventSubscriberConfig extends UsageEventDeliveryOptions {
     database: Database;
     targetUrl: string;
     authToken: string;
+    llmRegistry?: ModelRegistry;
     runtimeId?: string;
     runId?: string;
 }
@@ -12,6 +14,7 @@ export declare class UsageEventSubscriber implements EventSubscriber {
     private readonly database;
     private readonly targetUrl;
     private readonly authToken;
+    private readonly llmRegistry;
     private readonly runtimeId;
     private readonly runId;
     private readonly deliveryOptions;

package/dist/events/usage-event-subscriber.d.ts.map

@@ -1 +1 @@
-{"version":3,"file":"usage-event-subscriber.d.ts","sourceRoot":"","sources":["../../src/events/usage-event-subscriber.ts"],"names":[],"mappings":"AACA,OAAO,EACH,aAAa,EAIb,KAAK,QAAQ,EAChB,MAAM,aAAa,CAAC;AAErB,OAAO,KAAK,EAAE,eAAe,EAAE,MAAM,YAAY,CAAC;AAClD,OAAO,KAAK,EAGR,yBAAyB,EAC5B,MAAM,wBAAwB,CAAC;AAqBhC,UAAU,0BAA2B,SAAQ,yBAAyB;IAClE,QAAQ,EAAE,QAAQ,CAAC;IACnB,SAAS,EAAE,MAAM,CAAC;IAClB,SAAS,EAAE,MAAM,CAAC;IAClB,SAAS,CAAC,EAAE,MAAM,CAAC;IACnB,KAAK,CAAC,EAAE,MAAM,CAAC;CAClB;AAcD,qBAAa,oBAAqB,YAAW,eAAe;IACxD,OAAO,CAAC,QAAQ,CAAC,QAAQ,CAAW;IACpC,OAAO,CAAC,QAAQ,CAAC,SAAS,CAAS;IACnC,OAAO,CAAC,QAAQ,CAAC,SAAS,CAAS;IACnC,OAAO,CAAC,QAAQ,CAAC,SAAS,CAAqB;IAC/C,OAAO,CAAC,QAAQ,CAAC,KAAK,CAAqB;IAC3C,OAAO,CAAC,QAAQ,CAAC,eAAe,CAAsC;IACtE,OAAO,CAAC,eAAe,CAAC,CAAkB;IAC1C,OAAO,CAAC,+BAA+B,CAAC,CAAkB;IAC1D,OAAO,CAAC,aAAa,CAAC,CAAiC;IACvD,OAAO,CAAC,YAAY,CAA8B;IAClD,OAAO,CAAC,0BAA0B,CAAS;IAC3C,OAAO,CAAC,YAAY,CAAS;gBAEjB,MAAM,EAAE,0BAA0B;IA0B9C,SAAS,CAAC,QAAQ,EAAE,aAAa,GAAG,IAAI;IA2BxC,OAAO,IAAI,IAAI;IAmBF,KAAK,IAAI,OAAO,CAAC,IAAI,CAAC;IAInC,OAAO,CAAC,eAAe;YAuCT,iBAAiB;YAajB,kBAAkB;YA2BlB,YAAY;YAsBZ,cAAc;CA2E/B"}
+{"version":3,"file":"usage-event-subscriber.d.ts","sourceRoot":"","sources":["../../src/events/usage-event-subscriber.ts"],"names":[],"mappings":"AACA,OAAO,EACH,aAAa,EAIb,KAAK,QAAQ,EAChB,MAAM,aAAa,CAAC;AACrB,OAAO,EAAkD,KAAK,aAAa,EAAE,MAAM,YAAY,CAAC;AAChG,OAAO,KAAK,EAAE,eAAe,EAAE,MAAM,YAAY,CAAC;AAClD,OAAO,KAAK,EAGR,yBAAyB,EAC5B,MAAM,wBAAwB,CAAC;AAqBhC,UAAU,0BAA2B,SAAQ,yBAAyB;IAClE,QAAQ,EAAE,QAAQ,CAAC;IACnB,SAAS,EAAE,MAAM,CAAC;IAClB,SAAS,EAAE,MAAM,CAAC;IAClB,WAAW,CAAC,EAAE,aAAa,CAAC;IAC5B,SAAS,CAAC,EAAE,MAAM,CAAC;IACnB,KAAK,CAAC,EAAE,MAAM,CAAC;CAClB;AAcD,qBAAa,oBAAqB,YAAW,eAAe;IACxD,OAAO,CAAC,QAAQ,CAAC,QAAQ,CAAW;IACpC,OAAO,CAAC,QAAQ,CAAC,SAAS,CAAS;IACnC,OAAO,CAAC,QAAQ,CAAC,SAAS,CAAS;IACnC,OAAO,CAAC,QAAQ,CAAC,WAAW,CAAgB;IAC5C,OAAO,CAAC,QAAQ,CAAC,SAAS,CAAqB;IAC/C,OAAO,CAAC,QAAQ,CAAC,KAAK,CAAqB;IAC3C,OAAO,CAAC,QAAQ,CAAC,eAAe,CAAsC;IACtE,OAAO,CAAC,eAAe,CAAC,CAAkB;IAC1C,OAAO,CAAC,+BAA+B,CAAC,CAAkB;IAC1D,OAAO,CAAC,aAAa,CAAC,CAAiC;IACvD,OAAO,CAAC,YAAY,CAA8B;IAClD,OAAO,CAAC,0BAA0B,CAAS;IAC3C,OAAO,CAAC,YAAY,CAAS;gBAEjB,MAAM,EAAE,0BAA0B;IA2B9C,SAAS,CAAC,QAAQ,EAAE,aAAa,GAAG,IAAI;IA2BxC,OAAO,IAAI,IAAI;IAmBF,KAAK,IAAI,OAAO,CAAC,IAAI,CAAC;IAInC,OAAO,CAAC,eAAe;YA0CT,iBAAiB;YAajB,kBAAkB;YA2BlB,YAAY;YAsBZ,cAAc;CA2E/B"}

package/dist/events/usage-event-subscriber.js

@@ -3,7 +3,7 @@ import {
   hasMeaningfulTokenUsage,
   logger
 } from "@dexto/core";
-import { calculateCostBreakdown, getModelPricing } from "@dexto/llm";
+import { calculateCostBreakdown, DEFAULT_MODEL_REGISTRY } from "@dexto/llm";
 const OUTBOX_KEY_PREFIX = "usage-outbox:";
 const DEFAULT_DELIVERY_OPTIONS = {
   fetchFn: fetch,
@@ -29,6 +29,7 @@ class UsageEventSubscriber {
   database;
   targetUrl;
   authToken;
+  llmRegistry;
   runtimeId;
   runId;
   deliveryOptions;
@@ -42,6 +43,7 @@ class UsageEventSubscriber {
     this.database = config.database;
     this.targetUrl = config.targetUrl;
     this.authToken = config.authToken;
+    this.llmRegistry = config.llmRegistry ?? DEFAULT_MODEL_REGISTRY;
     this.runtimeId = config.runtimeId;
     this.runId = config.runId;
     const flushIntervalMs = requirePositiveIntegerOption(
@@ -110,7 +112,10 @@ class UsageEventSubscriber {
       return null;
     }
     const resolvedCostBreakdown = payload.costBreakdown ?? (payload.provider && payload.model ? (() => {
-      const pricing = getModelPricing(payload.provider, payload.model);
+      const pricing = this.llmRegistry.getModelPricing(
+        payload.provider,
+        payload.model
+      );
       if (!pricing) {
         return void 0;
       }

package/dist/hono/routes/llm.cjs

@@ -49,7 +49,7 @@ const CatalogQuerySchema = import_zod_openapi.z.object({
   ).describe("Include only default models (true or false)"),
   mode: import_zod_openapi.z.enum(["grouped", "flat"]).default("grouped").describe("Response format mode (grouped by provider or flat list)")
 }).strict().describe("Query parameters for filtering and formatting the LLM catalog");
-const SwitchLLMBodySchema = import_core.LLMUpdatesSchema.and(
+const SwitchLLMBodySchema = import_core.LLMUpdatesShapeSchema.and(
   import_zod_openapi.z.object({
     sessionId: import_zod_openapi.z.string().optional().describe("Session identifier for session-specific LLM configuration")
   })
@@ -478,12 +478,12 @@ function createLlmRouter(getAgent) {
     }
     return deduped;
   };
-  const buildModelPickerSections = async () => {
+  const buildModelPickerSections = async (registry) => {
     const byKey = /* @__PURE__ */ new Map();
     const customSection = [];
     const hydrateStateEntry = (entry) => {
-      const providerInfo = import_llm.LLM_REGISTRY[entry.provider];
-      const modelInfo = providerInfo.models.find((model) => model.name === entry.model);
+      const providerInfo = registry.getProvider(entry.provider);
+      const modelInfo = registry.getModel(entry.provider, entry.model);
       const supportedFileTypes = Array.isArray(modelInfo?.supportedFileTypes) && modelInfo.supportedFileTypes.length > 0 ? modelInfo.supportedFileTypes : providerInfo.supportedFileTypes;
       const source = entry.provider === "local" ? "local-installed" : entry.baseURL ? "custom" : "catalog";
       return {
@@ -499,8 +499,8 @@ function createLlmRouter(getAgent) {
       if (!isProviderEnabled(provider)) {
         continue;
       }
-      const providerInfo = import_llm.LLM_REGISTRY[provider];
-      for (const model of (0, import_core.getAllModelsForProvider)(provider)) {
+      const providerInfo = registry.getProvider(provider);
+      for (const model of (0, import_core.getAllModelsForProvider)(provider, registry)) {
         const supportedFileTypes = Array.isArray(model.supportedFileTypes) && model.supportedFileTypes.length > 0 ? model.supportedFileTypes : providerInfo.supportedFileTypes;
         const entry = {
           provider,
@@ -521,7 +521,7 @@ function createLlmRouter(getAgent) {
       if (!isProviderEnabled(provider)) {
         continue;
       }
-      const providerInfo = import_llm.LLM_REGISTRY[provider];
+      const providerInfo = registry.getProvider(provider);
       const entry = {
         provider,
         model: customModel.name,
@@ -533,7 +533,7 @@ function createLlmRouter(getAgent) {
       byKey.set((0, import_agent_management.toModelPickerKey)(entry), entry);
       customSection.push(entry);
     }
-    const localProviderSupportedFileTypes = import_llm.LLM_REGISTRY.local.supportedFileTypes;
+    const localProviderSupportedFileTypes = registry.getProvider("local").supportedFileTypes;
     const installedLocalModels = await (0, import_agent_management.getAllInstalledModels)();
     for (const installedModel of installedLocalModels) {
       const modelInfo = (0, import_core.getLocalModelById)(installedModel.id);
@@ -547,10 +547,13 @@ function createLlmRouter(getAgent) {
       byKey.set((0, import_agent_management.toModelPickerKey)(entry), entry);
     }
     const featuredProviders = import_llm.LLM_PROVIDERS.filter((provider) => isProviderEnabled(provider));
-    const featured = (0, import_core.getCuratedModelRefsForProviders)({
-      providers: featuredProviders,
-      max: MODEL_PICKER_FEATURED_LIMIT
-    }).map((ref) => byKey.get((0, import_agent_management.toModelPickerKey)(ref))).filter((entry) => Boolean(entry));
+    const featured = (0, import_core.getCuratedModelRefsForProviders)(
+      {
+        providers: featuredProviders,
+        max: MODEL_PICKER_FEATURED_LIMIT
+      },
+      registry
+    ).map((ref) => byKey.get((0, import_agent_management.toModelPickerKey)(ref))).filter((entry) => Boolean(entry));
     const state = await (0, import_agent_management.loadModelPickerState)();
     for (const entry of [...state.recents, ...state.favorites]) {
       if (!isProviderEnabled(entry.provider)) {
@@ -584,13 +587,12 @@ function createLlmRouter(getAgent) {
   };
   return app.openapi(currentRoute, async (ctx) => {
     const agent = await getAgent(ctx);
+    const registry = agent.llmRegistry;
     const { sessionId } = ctx.req.valid("query");
     const currentConfig = sessionId ? agent.getEffectiveConfig(sessionId).llm : agent.getCurrentLLMConfig();
     let displayName;
     try {
-      const model = import_llm.LLM_REGISTRY[currentConfig.provider]?.models.find(
-        (m) => m.name.toLowerCase() === String(currentConfig.model).toLowerCase()
-      );
+      const model = registry.getModel(currentConfig.provider, currentConfig.model);
       displayName = model?.displayName || void 0;
       if (!displayName) {
         const customModels = await (0, import_agent_management.loadCustomModels)();
@@ -616,7 +618,9 @@ function createLlmRouter(getAgent) {
       },
       200
     );
-  }).openapi(catalogRoute, (ctx) => {
+  }).openapi(catalogRoute, async (ctx) => {
+    const agent = await getAgent(ctx);
+    const registry = agent.llmRegistry;
     const queryParams = ctx.req.valid("query");
     const includeModels = queryParams.includeModels ?? true;
     const scope = queryParams.scope ?? "all";
@@ -625,21 +629,21 @@ function createLlmRouter(getAgent) {
       if (provider === "dexto-nova" && !(0, import_agent_management.isDextoAuthEnabled)()) {
         continue;
       }
-      const info = import_llm.LLM_REGISTRY[provider];
+      const info = registry.getProvider(provider);
       const displayName = provider === "dexto-nova" ? "Dexto Nova" : provider.charAt(0).toUpperCase() + provider.slice(1);
       const keyStatus = (0, import_agent_management.getProviderKeyStatus)(provider);
       const models = (() => {
         if (!includeModels) return [];
         if (scope === "all") {
-          return (0, import_core.getAllModelsForProvider)(provider);
+          return (0, import_core.getAllModelsForProvider)(provider, registry);
         }
-        return (0, import_core.getCuratedModelsForProvider)(provider);
+        return (0, import_core.getCuratedModelsForProvider)(provider, void 0, registry);
       })();
       providers[provider] = {
         name: displayName,
         hasApiKey: keyStatus.hasApiKey,
         primaryEnvVar: keyStatus.envVar,
-        supportsBaseURL: (0, import_llm.supportsBaseURL)(provider),
+        supportsBaseURL: registry.supportsBaseURL(provider),
         models,
         supportedFileTypes: info.supportedFileTypes
       };
@@ -747,7 +751,8 @@ function createLlmRouter(getAgent) {
     }
     return ctx.json({ ok: true, deleted: name }, 200);
   }).openapi(modelPickerStateRoute, async (ctx) => {
-    const sections = await buildModelPickerSections();
+    const agent = await getAgent(ctx);
+    const sections = await buildModelPickerSections(agent.llmRegistry);
     return ctx.json(sections, 200);
   }).openapi(recordRecentModelRoute, async (ctx) => {
     const modelRef = ctx.req.valid("json");
@@ -775,16 +780,23 @@ function createLlmRouter(getAgent) {
       },
       200
     );
-  }).openapi(capabilitiesRoute, (ctx) => {
+  }).openapi(capabilitiesRoute, async (ctx) => {
+    const agent = await getAgent(ctx);
+    const registry = agent.llmRegistry;
     const { provider, model } = ctx.req.valid("query");
     let supportedFileTypes;
     try {
-      supportedFileTypes = (0, import_core.getSupportedFileTypesForModel)(provider, model);
+      supportedFileTypes = (0, import_core.getSupportedFileTypesForModel)(
+        provider,
+        model,
+        void 0,
+        registry
+      );
     } catch {
-      const providerInfo = import_llm.LLM_REGISTRY[provider];
+      const providerInfo = registry.getProvider(provider);
       supportedFileTypes = providerInfo?.supportedFileTypes ?? [];
     }
-    const reasoning = (0, import_llm.getReasoningProfile)(provider, model);
+    const reasoning = (0, import_llm.getReasoningProfile)(provider, model, registry);
     return ctx.json(
       {
         provider,

package/dist/hono/routes/llm.d.ts

@@ -57,7 +57,7 @@ declare const SwitchLLMBodySchema: z.ZodIntersection<z.ZodObject<{
     maxOutputTokens: z.ZodOptional<z.ZodOptional<z.ZodCoercedNumber<unknown>>>;
     temperature: z.ZodOptional<z.ZodOptional<z.ZodCoercedNumber<unknown>>>;
     allowedMediaTypes: z.ZodOptional<z.ZodOptional<z.ZodArray<z.ZodString>>>;
-}, z.core.$strip>, z.ZodObject<{
+}, z.core.$strict>, z.ZodObject<{
     sessionId: z.ZodOptional<z.ZodString>;
 }, z.core.$strip>>;
 declare const ModelPickerModelRefSchema: z.ZodObject<{
@@ -1156,7 +1156,7 @@ declare const switchRoute: {
                         maxOutputTokens: z.ZodOptional<z.ZodOptional<z.ZodCoercedNumber<unknown>>>;
                         temperature: z.ZodOptional<z.ZodOptional<z.ZodCoercedNumber<unknown>>>;
                         allowedMediaTypes: z.ZodOptional<z.ZodOptional<z.ZodArray<z.ZodString>>>;
-                    }, z.core.$strip>, z.ZodObject<{
+                    }, z.core.$strict>, z.ZodObject<{
                         sessionId: z.ZodOptional<z.ZodString>;
                     }, z.core.$strip>>;
                 };

package/dist/hono/routes/llm.d.ts.map

@@ -1 +1 @@
-{"version":3,"file":"llm.d.ts","sourceRoot":"","sources":["../../../src/hono/routes/llm.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,WAAW,EAAe,CAAC,EAAE,MAAM,mBAAmB,CAAC;AAuBhE,OAAO,EAaH,iBAAiB,EAEpB,MAAM,yBAAyB,CAAC;AAWjC,OAAO,KAAK,EAAE,UAAU,EAAE,kBAAkB,EAAE,MAAM,aAAa,CAAC;AAGlE,QAAA,MAAM,kBAAkB;;kBAQ+C,CAAC;AAExE,QAAA,MAAM,kBAAkB;;;;;;;;;;;;;;;;;;;;kBA0DsD,CAAC;AAI/E,QAAA,MAAM,mBAAmB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAOoD,CAAC;AAE9E,QAAA,MAAM,yBAAyB;;;;;;;;;;;;;;;;;;;;;;kBAOuC,CAAC;AAiDvE,QAAA,MAAM,uBAAuB;;;;;;;;;;;;;;;;;;;;;kBASgC,CAAC;AAE9D,QAAA,MAAM,sBAAsB;;;;;;;;;;;;;;;;;;;;;;;;kBAO6B,CAAC;AAE1D,QAAA,MAAM,YAAY;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;CAsChB,CAAC;AAEH,QAAA,MAAM,YAAY;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;CA6ChB,CAAC;AAEH,QAAA,MAAM,WAAW;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;CAuCf,CAAC;AAEH,QAAA,MAAM,qBAAqB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;CAqBzB,CAAC;AAEH,QAAA,MAAM,sBAAsB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;CA0B1B,CAAC;AAEH,QAAA,MAAM,sBAAsB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;CA2B1B,CAAC;AAEH,QAAA,MAAM,iBAAiB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;CAqFrB,CAAC;AAEH,QAAA,MAAM,qBAAqB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;CAmCzB,CAAC;AAEH,QAAA,MAAM,sBAAsB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;CAiC1B,CAAC;AAEH,QAAA,MAAM,wBAAwB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;CAkC5B,CAAC;AAEH,QAAA,MAAM,iBAAiB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;CAsCrB,CAAC;AAEH,wBAAgB,eAAe,CAAC,QAAQ,EAAE,UAAU;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;QAocnD;AAED,KAAK,kBAAkB,GAAG,kBAAkB,CACxC,OAAO,YAAY,EACnB;IAAE,KAAK,EAAE,CAAC,CAAC,KAAK,CAAC,OAAO,kBAAkB,CAAC,CAAA;CAAE,CAChD,CAAC;AACF,KAAK,kBAAkB,GAAG,kBAAkB,CACxC,OAAO,YAAY,EACnB;IAAE,KAAK,EAAE,CAAC,CAAC,KAAK,CAAC,OAAO,kBAAkB,CAAC,CAAA;CAAE,CAChD,CAAC;AACF,KAAK,iBAAiB,GAAG,kBAAkB,CACvC,OAAO,WAAW,EAClB;IAAE,IAAI,EAAE,CAAC,CAAC,KAAK,CAAC,OAAO,mBAAmB,CAAC,CAAA;CAAE,CAChD,CAAC;AACF,KAAK,2BAA2B,GAAG,kBAAkB,CAAC,OAAO,qBAAqB,EAAE,EAAE,CAAC,CAAC;AACxF,KAAK,4BAA4B,GAAG,kBAAkB,CAClD,OAAO,sBAAsB,EAC7B;IAAE,IAAI,EAAE,CAAC,CAAC,KAAK,CAAC,OAAO,iBAAiB,CAAC,CAAA;CAAE,CAC9C,CAAC;AACF,KAAK,4BAA4B,GAAG,kBAAkB,CAClD,OAAO,sBAAsB,EAC7B;IAAE,KAAK,EAAE;QAAE,IAAI,EAAE,MAAM,CAAA;KAAE,CAAA;CAAE,CAC9B,CAAC;AACF,KAAK,uBAAuB,GAAG,kBAAkB,CAC7C,OAAO,iBAAiB,EACxB;IAAE,KAAK,EAAE,CAAC,CAAC,KAAK,CAAC,OAAO,uBAAuB,CAAC,CAAA;CAAE,CACrD,CAAC;AACF,KAAK,2BAA2B,GAAG,kBAAkB,CAAC,OAAO,qBAAqB,EAAE,EAAE,CAAC,CAAC;AACxF,KAAK,4BAA4B,GAAG,kBAAkB,CAClD,OAAO,sBAAsB,EAC7B;IAAE,IAAI,EAAE,CAAC,CAAC,KAAK,CAAC,OAAO,yBAAyB,CAAC,CAAA;CAAE,CACtD,CAAC;AACF,KAAK,8BAA8B,GAAG,kBAAkB,CACpD,OAAO,wBAAwB,EAC/B;IAAE,IAAI,EAAE,CAAC,CAAC,KAAK,CAAC,OAAO,yBAAyB,CAAC,CAAA;CAAE,CACtD,CAAC;AACF,KAAK,uBAAuB,GAAG,kBAAkB,CAC7C,OAAO,iBAAiB,EACxB;IAAE,IAAI,EAAE,CAAC,CAAC,KAAK,CAAC,OAAO,sBAAsB,CAAC,CAAA;CAAE,CACnD,CAAC;AAEF,MAAM,MAAM,eAAe,GACrB,kBAAkB,GAClB,kBAAkB,GAClB,iBAAiB,GACjB,2BAA2B,GAC3B,4BAA4B,GAC5B,4BAA4B,GAC5B,uBAAuB,GACvB,2BAA2B,GAC3B,4BAA4B,GAC5B,8BAA8B,GAC9B,uBAAuB,CAAC"}
+{"version":3,"file":"llm.d.ts","sourceRoot":"","sources":["../../../src/hono/routes/llm.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,WAAW,EAAe,CAAC,EAAE,MAAM,mBAAmB,CAAC;AAsBhE,OAAO,EAaH,iBAAiB,EAEpB,MAAM,yBAAyB,CAAC;AAWjC,OAAO,KAAK,EAAE,UAAU,EAAE,kBAAkB,EAAE,MAAM,aAAa,CAAC;AAGlE,QAAA,MAAM,kBAAkB;;kBAQ+C,CAAC;AAExE,QAAA,MAAM,kBAAkB;;;;;;;;;;;;;;;;;;;;kBA0DsD,CAAC;AAI/E,QAAA,MAAM,mBAAmB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;kBAOoD,CAAC;AAE9E,QAAA,MAAM,yBAAyB;;;;;;;;;;;;;;;;;;;;;;kBAOuC,CAAC;AAiDvE,QAAA,MAAM,uBAAuB;;;;;;;;;;;;;;;;;;;;;kBASgC,CAAC;AAE9D,QAAA,MAAM,sBAAsB;;;;;;;;;;;;;;;;;;;;;;;;kBAO6B,CAAC;AAE1D,QAAA,MAAM,YAAY;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;CAsChB,CAAC;AAEH,QAAA,MAAM,YAAY;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;CA6ChB,CAAC;AAEH,QAAA,MAAM,WAAW;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;CAuCf,CAAC;AAEH,QAAA,MAAM,qBAAqB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;CAqBzB,CAAC;AAEH,QAAA,MAAM,sBAAsB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;CA0B1B,CAAC;AAEH,QAAA,MAAM,sBAAsB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;CA2B1B,CAAC;AAEH,QAAA,MAAM,iBAAiB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;CAqFrB,CAAC;AAEH,QAAA,MAAM,qBAAqB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;CAmCzB,CAAC;AAEH,QAAA,MAAM,sBAAsB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;CAiC1B,CAAC;AAEH,QAAA,MAAM,wBAAwB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;CAkC5B,CAAC;AAEH,QAAA,MAAM,iBAAiB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;CAsCrB,CAAC;AAEH,wBAAgB,eAAe,CAAC,QAAQ,EAAE,UAAU;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;QAgdnD;AAED,KAAK,kBAAkB,GAAG,kBAAkB,CACxC,OAAO,YAAY,EACnB;IAAE,KAAK,EAAE,CAAC,CAAC,KAAK,CAAC,OAAO,kBAAkB,CAAC,CAAA;CAAE,CAChD,CAAC;AACF,KAAK,kBAAkB,GAAG,kBAAkB,CACxC,OAAO,YAAY,EACnB;IAAE,KAAK,EAAE,CAAC,CAAC,KAAK,CAAC,OAAO,kBAAkB,CAAC,CAAA;CAAE,CAChD,CAAC;AACF,KAAK,iBAAiB,GAAG,kBAAkB,CACvC,OAAO,WAAW,EAClB;IAAE,IAAI,EAAE,CAAC,CAAC,KAAK,CAAC,OAAO,mBAAmB,CAAC,CAAA;CAAE,CAChD,CAAC;AACF,KAAK,2BAA2B,GAAG,kBAAkB,CAAC,OAAO,qBAAqB,EAAE,EAAE,CAAC,CAAC;AACxF,KAAK,4BAA4B,GAAG,kBAAkB,CAClD,OAAO,sBAAsB,EAC7B;IAAE,IAAI,EAAE,CAAC,CAAC,KAAK,CAAC,OAAO,iBAAiB,CAAC,CAAA;CAAE,CAC9C,CAAC;AACF,KAAK,4BAA4B,GAAG,kBAAkB,CAClD,OAAO,sBAAsB,EAC7B;IAAE,KAAK,EAAE;QAAE,IAAI,EAAE,MAAM,CAAA;KAAE,CAAA;CAAE,CAC9B,CAAC;AACF,KAAK,uBAAuB,GAAG,kBAAkB,CAC7C,OAAO,iBAAiB,EACxB;IAAE,KAAK,EAAE,CAAC,CAAC,KAAK,CAAC,OAAO,uBAAuB,CAAC,CAAA;CAAE,CACrD,CAAC;AACF,KAAK,2BAA2B,GAAG,kBAAkB,CAAC,OAAO,qBAAqB,EAAE,EAAE,CAAC,CAAC;AACxF,KAAK,4BAA4B,GAAG,kBAAkB,CAClD,OAAO,sBAAsB,EAC7B;IAAE,IAAI,EAAE,CAAC,CAAC,KAAK,CAAC,OAAO,yBAAyB,CAAC,CAAA;CAAE,CACtD,CAAC;AACF,KAAK,8BAA8B,GAAG,kBAAkB,CACpD,OAAO,wBAAwB,EAC/B;IAAE,IAAI,EAAE,CAAC,CAAC,KAAK,CAAC,OAAO,yBAAyB,CAAC,CAAA;CAAE,CACtD,CAAC;AACF,KAAK,uBAAuB,GAAG,kBAAkB,CAC7C,OAAO,iBAAiB,EACxB;IAAE,IAAI,EAAE,CAAC,CAAC,KAAK,CAAC,OAAO,sBAAsB,CAAC,CAAA;CAAE,CACnD,CAAC;AAEF,MAAM,MAAM,eAAe,GACrB,kBAAkB,GAClB,kBAAkB,GAClB,iBAAiB,GACjB,2BAA2B,GAC3B,4BAA4B,GAC5B,4BAA4B,GAC5B,uBAAuB,GACvB,2BAA2B,GAC3B,4BAA4B,GAC5B,8BAA8B,GAC9B,uBAAuB,CAAC"}

package/dist/hono/routes/llm.js

@@ -9,14 +9,12 @@ import {
   getCuratedModelRefsForProviders,
   getSupportedFileTypesForModel,
   getLocalModelById,
-  LLMUpdatesSchema
+  LLMUpdatesShapeSchema
 } from "@dexto/core";
 import {
-  LLM_REGISTRY,
   LLM_PROVIDERS,
   SUPPORTED_FILE_TYPES,
-  getReasoningProfile,
-  supportsBaseURL
+  getReasoningProfile
 } from "@dexto/llm";
 import {
   getProviderKeyStatus,
@@ -67,7 +65,7 @@ const CatalogQuerySchema = z.object({
   ).describe("Include only default models (true or false)"),
   mode: z.enum(["grouped", "flat"]).default("grouped").describe("Response format mode (grouped by provider or flat list)")
 }).strict().describe("Query parameters for filtering and formatting the LLM catalog");
-const SwitchLLMBodySchema = LLMUpdatesSchema.and(
+const SwitchLLMBodySchema = LLMUpdatesShapeSchema.and(
   z.object({
     sessionId: z.string().optional().describe("Session identifier for session-specific LLM configuration")
   })
@@ -496,12 +494,12 @@ function createLlmRouter(getAgent) {
     }
     return deduped;
   };
-  const buildModelPickerSections = async () => {
+  const buildModelPickerSections = async (registry) => {
     const byKey = /* @__PURE__ */ new Map();
     const customSection = [];
     const hydrateStateEntry = (entry) => {
-      const providerInfo = LLM_REGISTRY[entry.provider];
-      const modelInfo = providerInfo.models.find((model) => model.name === entry.model);
+      const providerInfo = registry.getProvider(entry.provider);
+      const modelInfo = registry.getModel(entry.provider, entry.model);
       const supportedFileTypes = Array.isArray(modelInfo?.supportedFileTypes) && modelInfo.supportedFileTypes.length > 0 ? modelInfo.supportedFileTypes : providerInfo.supportedFileTypes;
       const source = entry.provider === "local" ? "local-installed" : entry.baseURL ? "custom" : "catalog";
       return {
@@ -517,8 +515,8 @@ function createLlmRouter(getAgent) {
       if (!isProviderEnabled(provider)) {
         continue;
       }
-      const providerInfo = LLM_REGISTRY[provider];
-      for (const model of getAllModelsForProvider(provider)) {
+      const providerInfo = registry.getProvider(provider);
+      for (const model of getAllModelsForProvider(provider, registry)) {
         const supportedFileTypes = Array.isArray(model.supportedFileTypes) && model.supportedFileTypes.length > 0 ? model.supportedFileTypes : providerInfo.supportedFileTypes;
         const entry = {
           provider,
@@ -539,7 +537,7 @@ function createLlmRouter(getAgent) {
       if (!isProviderEnabled(provider)) {
         continue;
       }
-      const providerInfo = LLM_REGISTRY[provider];
+      const providerInfo = registry.getProvider(provider);
       const entry = {
         provider,
         model: customModel.name,
@@ -551,7 +549,7 @@ function createLlmRouter(getAgent) {
       byKey.set(toModelPickerKey(entry), entry);
       customSection.push(entry);
     }
-    const localProviderSupportedFileTypes = LLM_REGISTRY.local.supportedFileTypes;
+    const localProviderSupportedFileTypes = registry.getProvider("local").supportedFileTypes;
     const installedLocalModels = await getAllInstalledModels();
     for (const installedModel of installedLocalModels) {
       const modelInfo = getLocalModelById(installedModel.id);
@@ -565,10 +563,13 @@ function createLlmRouter(getAgent) {
       byKey.set(toModelPickerKey(entry), entry);
     }
     const featuredProviders = LLM_PROVIDERS.filter((provider) => isProviderEnabled(provider));
-    const featured = getCuratedModelRefsForProviders({
-      providers: featuredProviders,
-      max: MODEL_PICKER_FEATURED_LIMIT
-    }).map((ref) => byKey.get(toModelPickerKey(ref))).filter((entry) => Boolean(entry));
+    const featured = getCuratedModelRefsForProviders(
+      {
+        providers: featuredProviders,
+        max: MODEL_PICKER_FEATURED_LIMIT
+      },
+      registry
+    ).map((ref) => byKey.get(toModelPickerKey(ref))).filter((entry) => Boolean(entry));
     const state = await loadModelPickerState();
     for (const entry of [...state.recents, ...state.favorites]) {
       if (!isProviderEnabled(entry.provider)) {
@@ -602,13 +603,12 @@ function createLlmRouter(getAgent) {
   };
   return app.openapi(currentRoute, async (ctx) => {
     const agent = await getAgent(ctx);
+    const registry = agent.llmRegistry;
     const { sessionId } = ctx.req.valid("query");
     const currentConfig = sessionId ? agent.getEffectiveConfig(sessionId).llm : agent.getCurrentLLMConfig();
     let displayName;
     try {
-      const model = LLM_REGISTRY[currentConfig.provider]?.models.find(
-        (m) => m.name.toLowerCase() === String(currentConfig.model).toLowerCase()
-      );
+      const model = registry.getModel(currentConfig.provider, currentConfig.model);
       displayName = model?.displayName || void 0;
       if (!displayName) {
         const customModels = await loadCustomModels();
@@ -634,7 +634,9 @@ function createLlmRouter(getAgent) {
       },
       200
     );
-  }).openapi(catalogRoute, (ctx) => {
+  }).openapi(catalogRoute, async (ctx) => {
+    const agent = await getAgent(ctx);
+    const registry = agent.llmRegistry;
     const queryParams = ctx.req.valid("query");
     const includeModels = queryParams.includeModels ?? true;
     const scope = queryParams.scope ?? "all";
@@ -643,21 +645,21 @@ function createLlmRouter(getAgent) {
       if (provider === "dexto-nova" && !isDextoAuthEnabled()) {
         continue;
       }
-      const info = LLM_REGISTRY[provider];
+      const info = registry.getProvider(provider);
       const displayName = provider === "dexto-nova" ? "Dexto Nova" : provider.charAt(0).toUpperCase() + provider.slice(1);
       const keyStatus = getProviderKeyStatus(provider);
       const models = (() => {
         if (!includeModels) return [];
         if (scope === "all") {
-          return getAllModelsForProvider(provider);
+          return getAllModelsForProvider(provider, registry);
         }
-        return getCuratedModelsForProvider(provider);
+        return getCuratedModelsForProvider(provider, void 0, registry);
       })();
       providers[provider] = {
         name: displayName,
         hasApiKey: keyStatus.hasApiKey,
         primaryEnvVar: keyStatus.envVar,
-        supportsBaseURL: supportsBaseURL(provider),
+        supportsBaseURL: registry.supportsBaseURL(provider),
         models,
         supportedFileTypes: info.supportedFileTypes
       };
@@ -765,7 +767,8 @@ function createLlmRouter(getAgent) {
     }
     return ctx.json({ ok: true, deleted: name }, 200);
   }).openapi(modelPickerStateRoute, async (ctx) => {
-    const sections = await buildModelPickerSections();
+    const agent = await getAgent(ctx);
+    const sections = await buildModelPickerSections(agent.llmRegistry);
     return ctx.json(sections, 200);
   }).openapi(recordRecentModelRoute, async (ctx) => {
     const modelRef = ctx.req.valid("json");
@@ -793,16 +796,23 @@ function createLlmRouter(getAgent) {
       },
       200
     );
-  }).openapi(capabilitiesRoute, (ctx) => {
+  }).openapi(capabilitiesRoute, async (ctx) => {
+    const agent = await getAgent(ctx);
+    const registry = agent.llmRegistry;
     const { provider, model } = ctx.req.valid("query");
     let supportedFileTypes;
     try {
-      supportedFileTypes = getSupportedFileTypesForModel(provider, model);
+      supportedFileTypes = getSupportedFileTypesForModel(
+        provider,
+        model,
+        void 0,
+        registry
+      );
     } catch {
-      const providerInfo = LLM_REGISTRY[provider];
+      const providerInfo = registry.getProvider(provider);
       supportedFileTypes = providerInfo?.supportedFileTypes ?? [];
     }
-    const reasoning = getReasoningProfile(provider, model);
+    const reasoning = getReasoningProfile(provider, model, registry);
     return ctx.json(
       {
         provider,

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@dexto/server",
-  "version": "1.10.2",
+  "version": "1.10.4",
   "private": false,
   "type": "module",
   "main": "./dist/index.cjs",
@@ -31,13 +31,13 @@
     "ws": "^8.18.1",
     "yaml": "^2.8.3",
     "@modelcontextprotocol/sdk": "^1.28.0",
-    "@dexto/agent-config": "1.10.2",
-    "@dexto/agent-management": "1.10.2",
-    "@dexto/core": "1.10.2",
-    "@dexto/image-local": "1.10.2",
-    "@dexto/llm": "1.10.2",
-    "@dexto/storage": "1.10.2",
-    "@dexto/tools-scheduler": "1.10.2"
+    "@dexto/agent-config": "1.10.4",
+    "@dexto/agent-management": "1.10.4",
+    "@dexto/core": "1.10.4",
+    "@dexto/image-local": "1.10.4",
+    "@dexto/llm": "1.10.4",
+    "@dexto/storage": "1.10.4",
+    "@dexto/tools-scheduler": "1.10.4"
   },
   "files": [
     "dist",