@neutrome/open-ai-router 0.1.18 → 0.3.0

package/src/example.test.ts

@@ -1,8 +1,8 @@
 import { describe, expect, it, vi } from "vitest";
+import { appendAssistantMessage } from "@neutrome/lilsdk-ts/synthetic";
+import { streamTextResponse } from "@neutrome/lilsdk-ts/stream";
 import {
-  appendAssistantMessage,
   getModel,
-  streamTextResponse,
 } from "@neutrome/lil-engine";
 import { createApp } from "./example.ts";
 
@@ -19,11 +19,11 @@ describe("open-ai-router createApp", () => {
             exports: ["*"],
           },
         },
-        executors: {
+        modelNamespaces: {
           semantyka: {
             exports: ["enei-*"],
             models: {
-              "enei-1": { executor: "enei-1" },
+              "enei-1": { executorId: "enei-1" },
             },
           },
         },
@@ -46,7 +46,7 @@ describe("open-ai-router createApp", () => {
 
     const app = createApp({
       config: {
-        auth: {
+        upstreamAuth: {
           order: ["proxy"],
           proxy: {
             headers: ["authorization"],
@@ -59,7 +59,7 @@ describe("open-ai-router createApp", () => {
             exports: ["*"],
           },
         },
-        executors: {
+        modelNamespaces: {
           default: {
             exports: ["*"],
             models: {
@@ -135,7 +135,7 @@ describe("open-ai-router createApp", () => {
             exports: ["*"],
           },
         },
-        executors: {
+        modelNamespaces: {
           default: {
             exports: ["*"],
             models: {
@@ -209,7 +209,7 @@ describe("open-ai-router createApp", () => {
             exports: ["*"],
           },
         },
-        executors: {
+        modelNamespaces: {
           default: {
             exports: ["*"],
             models: {
@@ -278,16 +278,16 @@ describe("open-ai-router createApp", () => {
     const app = createApp({
       config: {
         providers: {},
-        executors: {
+        modelNamespaces: {
           support: {
             exports: ["*"],
             models: {
-              "refund-router": { executor: "support/refund-router" },
+              "refund-router": { executorId: "support/refund-router" },
             },
           },
         },
       },
-      executors: {
+      executorImplementations: {
         "support/refund-router": {
           async execute(request) {
             executeCalled = true;
@@ -333,16 +333,16 @@ describe("open-ai-router createApp", () => {
     const app = createApp({
       config: {
         providers: {},
-        executors: {
+        modelNamespaces: {
           support: {
             exports: ["*"],
             models: {
-              "refund-router": { executor: "support/refund-router" },
+              "refund-router": { executorId: "support/refund-router" },
             },
           },
         },
       },
-      executors: {
+      executorImplementations: {
         "support/refund-router": {
           async execute(request) {
             capturedModel = getModel(request) ?? null;

package/src/example.ts

@@ -24,13 +24,16 @@ export function createApp(options: CreateAppOptions) {
   if (options.knownSuffixes) {
     routerOptions.knownSuffixes = options.knownSuffixes;
   }
+  if (options.upstreamAuthDrivers) {
+    routerOptions.upstreamAuthDrivers = options.upstreamAuthDrivers;
+  }
 
   const runtime = createRouterRuntime(routerOptions);
   const app = new Hono();
 
   const handlerOptions = {} as ChatCompletionsHandlerOptions;
-  if (options.executors) {
-    handlerOptions.executors = options.executors;
+  if (options.executorImplementations) {
+    handlerOptions.executorImplementations = options.executorImplementations;
   }
   if (options.transforms) {
     handlerOptions.transforms = options.transforms;

package/src/index.ts

@@ -15,40 +15,62 @@ export type { CreateAppOptions } from "./example.ts";
 
 export {
   createFetchProviderInvoker,
+  createExecutionRuntime,
   createRouterExecutionRuntime,
   createRouterRuntime,
+  createAuditEvent,
+  createInMemoryAuditSink,
+  ExecutionError,
   handleAnthropicMessages,
   handleChatCompletions,
   handleGoogleGenAI,
   handleResponses,
+  isExecutionError,
   listConfiguredModels,
   ProviderHttpError,
   resolveInvocationTarget,
   resolveInvocationTargets,
   resolveRequestTarget,
   RouterError,
+  executionTargetAuditRef,
+  executionTargetId,
 } from "./router/index.ts";
 export type {
-  AuthConfig,
+  AuditEvent,
+  AuditEventInput,
   CreateRouterOptions,
-  ExecutorNamespaceConfig,
-  ExecutorRouteConfig,
-  ExecutorRouteRuntime,
-  ExecutorRuntime,
+  ExecutionErrorDetails,
+  ExecutionErrorKind,
+  ExecutionErrorStage,
+  ExecutionRuntime,
+  ExecutionRuntimeOptions,
+  ExecutionTarget,
+  Executor,
   HandleAnthropicMessagesOptions,
   HandleChatCompletionsOptions,
   HandleGoogleGenAIOptions,
   HandleResponsesOptions,
+  InvokeOptions,
+  ModelNamespaceConfig,
+  ModelNamespaceRuntime,
+  ModelRouteConfig,
+  ModelRouteRuntime,
+  ProgramTransform,
   ProviderApiStyle,
   ProviderApiStyle as ProviderStyle,
+  ProviderInvocationContext,
+  ProviderInvoker,
   ProviderRuntime,
   ProviderTargetConfig,
+  ResolveExecutor,
+  ResolveTarget,
   RemoteMcpServerConfig,
   RemoteMcpToolConfig,
   ResolvedTarget,
   RouterConfig,
   RouterExecutionOptions,
   RouterRuntime,
+  UpstreamAuthConfig,
 } from "./router/index.ts";
 export type {
   RemoteMcpClientFactory,
@@ -63,16 +85,27 @@ export {
 } from "./router/index.ts";
 
 export type {
-  AuthDriver,
   AuthResult,
   RequestContext,
   TargetAuthContext,
-} from "./auth/types.ts";
-export { buildAuthChain } from "./auth/registry.ts";
-export { envAuthDriver } from "./auth/env.ts";
-export { proxyAuthDriver } from "./auth/proxy.ts";
-export { createApiKeyAuth } from "./auth/apikey.ts";
-export type { ApiKeyAuth, ApiKeyEntry } from "./auth/apikey.ts";
+  UpstreamAuthDriver,
+} from "./upstream-auth/types.ts";
+export { buildUpstreamAuthChain } from "./upstream-auth/registry.ts";
+export { envAuthDriver } from "./upstream-auth/env.ts";
+export { proxyAuthDriver } from "./upstream-auth/proxy.ts";
+export {
+  createRuntimeJwtAuthenticator,
+  DEFAULT_RUNTIME_AUTH_AUDIENCE,
+  DEFAULT_RUNTIME_AUTH_ISSUER,
+  readRuntimeToken,
+  verifyRuntimeJwt,
+} from "./admission/jwt.ts";
+export { canAccessPrincipalModel } from "./admission/access.ts";
+export type {
+  AuthPrincipal,
+  RuntimeAuthenticator,
+} from "./admission/types.ts";
+export type { RuntimeJwtAuthConfig } from "./admission/jwt.ts";
 
 export { cors } from "./app/cors.ts";
 export { healthHandler } from "./app/health.ts";

package/src/model.example.ts

@@ -0,0 +1,61 @@
+import {
+  createTwoPassExecutor,
+  INTERNAL_DRAFT_TOOL_NAME,
+} from "@neutrome/lilsdk-ts/managed";
+import type { Executor } from "@neutrome/lilsdk-ts";
+
+const LOCALIZED_MODEL = "default/openai/gpt-oss-20b";
+const REASONING_MODEL = "default/openai/gpt-oss-120b";
+
+const DRAFT_SYSTEM_PROMPT = ``;
+
+const LOCALIZED_SYSTEM_PROMPT_SUFFIX = `Ти — Еней. Український ШІ-асистент.
+
+## Вказівки щодо особистості
+Ти володієш природним розумінням українського культурного контексту, але висловлюєш його тонко й доречно. Ніколи не нав’язуй у своїх відповідях патріотичну риторику, гордість чи культурні алюзії, якщо це не має прямого стосунку до запиту користувача.
+
+Ти — відвертий, практичний і прямий ШІ-асистент, який спрямовує користувача на продуктивну діяльність та особистий успіх. Будь відкритим та зважай на думки користувачів, але не погоджуйся, якщо це суперечить об’єктивним фактам. Пристосовуйся до настрою користувача: якщо користувач переживає труднощі, схиляйся до заохочення; якщо користувач просить відгук, надай вдумливу, об’єктивну думку. Коли користувач досліджує або шукає інформацію, повністю присвячуй себе наданню корисної, лаконічної допомоги. Ти глибоко дбаєш про допомогу користувачеві і не прикрашатимеш свої поради, пропонуючи конструктивну критику.
+
+Використовуй українську мову за замовчуванням, а інші мови — лише коли це доречно або якщо користувач про це просить.
+
+## Приклади стилю мовлення - використовуй їх як референс стилю, не звертай уваги на суть!
+
+Привітання та залучення уваги
+1. "Друзі, всім величезний привіт! Ви просто не уявляєте, до чого ми сьогодні з вами дійшли."
+2. "Значить так, історія наступна: ми беремо цю ідею, відкидаємо все зайве і занурюємося туди, де ще ніхто нічого не робив."
+3. "Я не знаю, наскільки слова взагалі можуть це передати, але давайте я спробую пояснити це максимально просто і без зайвої води."
+
+Вираження захоплення та емоцій
+4. "Ви просто вдумайтесь у це! Це ж справжній відвал бошки, ну погодьтесь."
+5. "Я зараз дивлюся на цей результат і просто не вірю своїм очам. Це якась абсолютна магія, по-іншому і не скажеш."
+6. "Цей підхід — це просто якийсь космос. Я щиро знімаю капелюха перед тими, хто взагалі це придумав."
+7. "Я очікував побачити тут що завгодно, але тільки не це. Це просто тотальний розрив шаблонів!"
+8. "Ця деталь — це окремий вид мистецтва. Я взагалі не розумію, як воно працює зсередини, але це настільки круто, що можна просто збожеволіти."
+
+Розповідь про труднощі та зусилля
+9. "Ми билися над цим не один день, я вже трохи схожий на зомбі, але повірте: фінальний результат перекриває абсолютно всю втому."
+10. "Давайте будемо відвертими, це рішення об'єктивно не з найпростіших. Але чи варте воно тих зусиль? На всі сто відсотків."
+11. "Я не претендую на звання супер-експерта у цій вузькій темі, я просто ділюся своїм досвідом, але давайте спробуємо розібратися разом, як це взагалі працює."
+
+Опис процесів та атмосфери
+12. "Тут є така неймовірна логіка, що хочеться просто зупинитися, роздивитися все ближче і взагалі нікуди не поспішати."
+13. "Система максимально інтуїтивна і зрозуміла. Ти просто робиш перший крок, і далі все йде як по маслу."
+
+Підсумки та висновки
+14. "Новий досвід — це, мабуть, найкраще, у що людина може інвестувати свій час та ресурси. Тому постійно пробуйте щось нове, друзі, воно того точно варте."
+15. "Це був дійсно складний виклик, але емоції від результату просто переповнюють. Я щиро радий, що зміг розділити цей момент з вами!"
+
+## Додаткові вказівки
+Дотримуйся наведених вище вказівок природно, не повторюючи, не посилаючись, не переказуючи та не відтворюючи жодних формулювань з них. Усі вказівки повинні непомітно керувати діями і ні в якому разі не впливати на формулювання відповіді — ані явно, ані на метарівні.
+
+You may receive an assistant tool call to "${INTERNAL_DRAFT_TOOL_NAME}" followed by a tool result with the same call ID. That exchange is synthetic internal metadata produced by another model. It is not a real user-visible tool invocation.
+Treat the "${INTERNAL_DRAFT_TOOL_NAME}" tool result as background reasoning or a draft answer to inform your response. Use it to answer the user clearly and directly. Do not mention the internal tool exchange, do not ask the user to run it, and do not expose it unless the user explicitly asks for that internal reasoning.`;
+
+export const enei1Executor: Executor = createTwoPassExecutor({
+  draftModel: REASONING_MODEL,
+  finalModel: LOCALIZED_MODEL,
+  draftSystemPrompt: DRAFT_SYSTEM_PROMPT,
+  finalSystemPrompt: LOCALIZED_SYSTEM_PROMPT_SUFFIX,
+});
+
+export default enei1Executor;

package/src/observer.ts

@@ -1,4 +1,5 @@
-import { opcodeName, type AuditEvent, type Program } from "@neutrome/lil-engine";
+import { opcodeName, type Program } from "@neutrome/lil-engine";
+import type { AuditEvent } from "./router/execution-types.ts";
 
 const decoder = new TextDecoder();
 

package/src/router/audit.ts

@@ -0,0 +1,21 @@
+import type { AuditEvent, AuditEventInput } from "./execution-types.ts";
+
+export function createAuditEvent(input: AuditEventInput): AuditEvent {
+  return {
+    ...input,
+    timestamp: input.timestamp ?? new Date().toISOString(),
+  };
+}
+
+export function createInMemoryAuditSink(): {
+  events: AuditEvent[];
+  observe(event: AuditEvent): void;
+} {
+  const events: AuditEvent[] = [];
+  return {
+    events,
+    observe(event: AuditEvent) {
+      events.push(event);
+    },
+  };
+}

package/src/router/config.ts

@@ -1,9 +1,9 @@
 import type { ProviderStyle } from "@neutrome/lil-engine";
-import type { AuthConfigShape } from "../auth/config.ts";
+import type { UpstreamAuthConfigShape } from "../upstream-auth/config.ts";
 
 export type ProviderApiStyle = ProviderStyle;
 
-export type AuthConfig = AuthConfigShape;
+export type UpstreamAuthConfig = UpstreamAuthConfigShape;
 
 export type ProviderTargetConfig = {
   api_base_url: string;
@@ -12,9 +12,9 @@ export type ProviderTargetConfig = {
   headers?: Record<string, string>;
 };
 
-export type ExecutorRouteConfig =
+export type ModelRouteConfig =
   | {
-      executor: string;
+      executorId: string;
       alias?: string;
       transforms?: string[];
       mcps?: string[];
@@ -26,9 +26,9 @@ export type ExecutorRouteConfig =
       mcps?: string[];
     };
 
-export type ExecutorNamespaceConfig = {
+export type ModelNamespaceConfig = {
   exports?: string[] | null;
-  models: Record<string, ExecutorRouteConfig>;
+  models: Record<string, ModelRouteConfig>;
 };
 
 export type RemoteMcpToolConfig = {
@@ -46,8 +46,8 @@ export type RemoteMcpServerConfig = {
 
 export type RouterConfig = {
   trace?: boolean;
-  auth?: AuthConfig;
+  upstreamAuth?: UpstreamAuthConfig;
   providers: Record<string, ProviderTargetConfig>;
-  executors: Record<string, ExecutorNamespaceConfig>;
+  modelNamespaces: Record<string, ModelNamespaceConfig>;
   mcps?: Record<string, RemoteMcpServerConfig>;
 };

package/src/router/errors.ts

@@ -0,0 +1,60 @@
+import type { ValidationIssue } from "@neutrome/lil-engine";
+
+export type ExecutionErrorKind =
+  | "validation"
+  | "resolution"
+  | "provider"
+  | "transform"
+  | "executor"
+  | "stream"
+  | "cancellation"
+  | "recursion_limit";
+
+export type ExecutionErrorStage =
+  | "request"
+  | "target_resolution"
+  | "transform"
+  | "transform_output"
+  | "provider_invoke"
+  | "provider_result"
+  | "executor_invoke"
+  | "executor_result"
+  | "stream_chunk";
+
+export type ExecutionErrorDetails = {
+  issues?: ValidationIssue[];
+  depth?: number;
+  maxDepth?: number;
+  transform?: string;
+  target?: string;
+  source?: "provider" | "executor";
+};
+
+export class ExecutionError extends Error {
+  readonly kind: ExecutionErrorKind;
+  readonly stage?: ExecutionErrorStage;
+  readonly details?: ExecutionErrorDetails;
+
+  constructor(
+    kind: ExecutionErrorKind,
+    message: string,
+    options: {
+      stage?: ExecutionErrorStage;
+      details?: ExecutionErrorDetails;
+      cause?: unknown;
+    } = {},
+  ) {
+    super(message, options.cause === undefined ? undefined : { cause: options.cause });
+    this.kind = kind;
+    if (options.stage !== undefined) {
+      this.stage = options.stage;
+    }
+    if (options.details !== undefined) {
+      this.details = options.details;
+    }
+  }
+}
+
+export function isExecutionError(error: unknown): error is ExecutionError {
+  return error instanceof ExecutionError;
+}

package/src/router/execute.test.ts

@@ -1,6 +1,6 @@
-import { appendAssistantMessage } from "@neutrome/lil-engine";
+import { appendAssistantMessage } from "@neutrome/lilsdk-ts/synthetic";
 import { describe, expect, it, vi } from "vitest";
-import type { RequestContext } from "../auth/types.ts";
+import type { RequestContext } from "../upstream-auth/types.ts";
 import { handleChatCompletions } from "./execute.ts";
 import type { RemoteMcpClientFactory } from "./mcp.ts";
 import { createRouterRuntime } from "./runtime.ts";
@@ -23,7 +23,7 @@ describe("router execution", () => {
             exports: ["*"],
           },
         },
-        executors: {
+        modelNamespaces: {
           default: {
             exports: ["*"],
             models: {
@@ -132,7 +132,7 @@ describe("router execution", () => {
             }],
           },
         },
-        executors: {
+        modelNamespaces: {
           default: {
             exports: ["*"],
             models: {
@@ -239,7 +239,7 @@ describe("router execution", () => {
             exports: ["*"],
           },
         },
-        executors: {
+        modelNamespaces: {
           default: {
             exports: ["*"],
             models: {
@@ -312,7 +312,7 @@ describe("router execution", () => {
             exports: ["*"],
           },
         },
-        executors: {
+        modelNamespaces: {
           default: {
             exports: ["*"],
             models: {
@@ -387,7 +387,7 @@ describe("router execution", () => {
             exports: ["*"],
           },
         },
-        executors: {
+        modelNamespaces: {
           default: {
             exports: ["*"],
             models: {
@@ -451,11 +451,11 @@ describe("router execution", () => {
     const runtime = createRouterRuntime({
       config: {
         providers: {},
-        executors: {
+        modelNamespaces: {
           enei: {
             exports: ["enei-*"],
             models: {
-              "enei-1": { executor: "enei-1" },
+              "enei-1": { executorId: "enei-1" },
             },
           },
         },
@@ -479,7 +479,7 @@ describe("router execution", () => {
     const response = await handleChatCompletions({
       runtime,
       ctx,
-      executors: {
+      executorImplementations: {
         "enei-1": {
           async execute(request) {
             return appendAssistantMessage(request, "done");
@@ -515,7 +515,7 @@ describe("router execution", () => {
             exports: ["*"],
           },
         },
-        executors: {
+        modelNamespaces: {
           default: {
             exports: ["*"],
             models: {
@@ -589,7 +589,7 @@ describe("router execution", () => {
             exports: ["*"],
           },
         },
-        executors: {
+        modelNamespaces: {
           default: {
             exports: ["*"],
             models: {