micro-models-agent 0.63.3 → 1.1.0

package/dist/llm/llm-errors.js

@@ -0,0 +1,41 @@
+/**
+ * Типизированные ошибки LLM-транспорта.
+ *
+ * Раньше свойства `recoverableLlm` / `llmTerminal` / `llmStatus` навешивались
+ * на обычные Error через `(err as any).xxx = ...` в 8 местах openai-compat.ts
+ * и читались структурно в agent.ts и providers/fallback.ts — утка вместо
+ * типа. Здесь — единый класс с явными флагами.
+ *
+ * Семантика флагов:
+ * - `terminal`: поток уже не может продолжать (ответ доставлен, соединение
+ *   сломано, запрос доретриен) — на уровне стрима ретраить НЕЛЬЗЯ;
+ * - `recoverable`: причину стоит вернуть модели через агентный цикл
+ *   (например, токен-лимит на середине tool_call) вместо смерти сессии;
+ * - `llmStatus`: HTTP-статус для решения о failover между провайдерами.
+ *
+ * Ошибка может нести одновременно terminal + recoverable (обрезанный
+ * tool_call: стрим не ретраим, но модель просим адаптироваться).
+ */
+export class LlmError extends Error {
+    /** Поток не может продолжать — на уровне стрима не ретраить. */
+    terminal;
+    /** Причину вернуть модели через агентный цикл. */
+    recoverable;
+    /** HTTP-статус (для failover), если известен. */
+    llmStatus;
+    constructor(message, options = {}) {
+        super(message);
+        this.name = "LlmError";
+        this.terminal = options.terminal ?? false;
+        this.recoverable = options.recoverable ?? false;
+        this.llmStatus = options.llmStatus;
+    }
+    markTerminal() {
+        this.terminal = true;
+        return this;
+    }
+    markRecoverable() {
+        this.recoverable = true;
+        return this;
+    }
+}

package/dist/llm/model-loader.js

@@ -1,3 +1,33 @@
+/**
+ * Ask LM Studio's native API which context length the model is currently
+ * loaded with. Prefers the running instance (`loaded_instances[].config.
+ * context_length`), falls back to the model's `max_context_length`. Returns
+ * null when the endpoint is unavailable (not LM Studio), the model is not
+ * found/loaded, or the request fails — the caller must degrade silently.
+ */
+export async function getLoadedContextLength(baseUrl, model, timeoutMs = 3000) {
+    const base = baseUrl.replace(/\/$/, "").replace(/\/v1\/?$/, "");
+    try {
+        const response = await fetch(`${base}/api/v1/models`, {
+            signal: AbortSignal.timeout(timeoutMs),
+        });
+        if (!response.ok)
+            return null;
+        const data = (await response.json());
+        const models = data.models || [];
+        const found = models.find((m) => m.key === model || m.name === model || model.includes(m.key));
+        if (!found)
+            return null;
+        const loadedInstance = (found.loaded_instances ?? [])[0];
+        const actual = loadedInstance?.config?.context_length ?? found.max_context_length;
+        if (typeof actual !== "number" || actual <= 0)
+            return null;
+        return { model: found.key ?? found.name ?? model, actual };
+    }
+    catch {
+        return null;
+    }
+}
 export class ModelLoader {
     baseUrl;
     logger;