@ykurilov/agent-chat-core 0.59.0 → 0.60.0

package/CHANGELOG.md

@@ -1,5 +1,11 @@
 # @ykurilov/agent-chat-core
 
+## 0.60.0
+
+### Minor Changes
+
+- 6e8723c: Снимок страницы в ответе инструмента уходит картинкой к Together и Fireworks (раньше — строкой текста, ход зависал); профиль DeepSeek 4.1 Flash видит снимки через DeepSeek, Together, Fireworks и OpenRouter. Сценарии не называют инструменты, которых нет у модели этого хода; правила просмотра ссылок — в описании инструмента.
+
 ## 0.59.0
 
 ### Minor Changes

package/dist/{chunk-QA5DVEXF.js → chunk-WQZQZCAB.js}

@@ -8242,6 +8242,59 @@ function sdkReasoningRequest(level) {
   }
 }
 
+// src/models/providers/tool-result-images.ts
+function withToolResultImages(given) {
+  return (async (input, init) => {
+    const fetchImplementation = given ?? globalThis.fetch;
+    if (typeof init?.body !== "string" || !init.body.includes('"role":"tool"')) return fetchImplementation(input, init);
+    let body;
+    try {
+      body = JSON.parse(init.body);
+    } catch {
+      return fetchImplementation(input, init);
+    }
+    let changed = false;
+    for (const message of body.messages ?? []) {
+      if (message.role !== "tool" || typeof message.content !== "string") continue;
+      const parts = imageContent(message.content);
+      if (!parts) continue;
+      message.content = parts;
+      changed = true;
+    }
+    return fetchImplementation(input, changed ? { ...init, body: JSON.stringify(body) } : init);
+  });
+}
+function imageContent(text) {
+  if (!text.startsWith("[")) return void 0;
+  let value;
+  try {
+    value = JSON.parse(text);
+  } catch {
+    return void 0;
+  }
+  if (!Array.isArray(value)) return void 0;
+  const parts = [];
+  let images = 0;
+  for (const part of value) {
+    if (part?.type === "text" && typeof part.text === "string") {
+      parts.push({ type: "text", text: part.text });
+      continue;
+    }
+    const url = part?.type === "file" && typeof part.mediaType === "string" && part.mediaType.startsWith("image/") ? imageUrl(part.mediaType, part.data) : void 0;
+    if (!url) return void 0;
+    parts.push({ type: "image_url", image_url: { url } });
+    images += 1;
+  }
+  return images > 0 ? parts : void 0;
+}
+function imageUrl(mediaType, data) {
+  if (data?.type === "url" && typeof data.url === "string") return data.url;
+  if (data?.type !== "data") return void 0;
+  const raw = data.data;
+  const base64 = typeof raw === "string" ? raw : raw && typeof raw === "object" ? Buffer.from(Object.keys(raw).sort((a, b) => Number(a) - Number(b)).map((key) => raw[key])).toString("base64") : void 0;
+  return base64 === void 0 ? void 0 : `data:${mediaType === "image/jpg" ? "image/jpeg" : mediaType};base64,${base64}`;
+}
+
 // src/models/providers/session-header.ts
 var SAFE_SESSION_ID = /^[A-Za-z0-9._:~-]{1,128}$/;
 function sessionHeaderValue(chatId) {
@@ -8267,7 +8320,7 @@ function createFireworksProvider(connectionOptions = {}) {
     id: "fireworks",
     displayName: "Fireworks",
     apiKeyEnv: "FIREWORKS_API_KEY",
-    createLanguageModel: (providerModelId, apiKey, options2) => createFireworks({ apiKey, fetch: options2?.fetch, ...connection })(providerModelId),
+    createLanguageModel: (providerModelId, apiKey, options2) => createFireworks({ apiKey, fetch: withToolResultImages(options2?.fetch), ...connection })(providerModelId),
     reasoningRequest: (level) => sdkReasoningRequest(level),
     requestOptions: ({ chatId }) => ({
       providerOptions: {
@@ -8639,7 +8692,7 @@ function createTogetherProvider(connectionOptions = {}) {
     id: "together",
     displayName: "Together AI",
     apiKeyEnv: "TOGETHER_API_KEY",
-    createLanguageModel: (providerModelId, apiKey, options2) => createTogetherAI({ apiKey, fetch: options2?.fetch, ...connection })(providerModelId),
+    createLanguageModel: (providerModelId, apiKey, options2) => createTogetherAI({ apiKey, fetch: withToolResultImages(options2?.fetch), ...connection })(providerModelId),
     reasoningRequest: (level) => sdkReasoningRequest(level),
     samplingRequest: ({ minP }) => minP === void 0 ? {} : { togetherai: { min_p: minP } },
     requestOptions: () => ({}),
@@ -8699,11 +8752,11 @@ var deepseek41FlashProfile = {
   displayName: "DeepSeek 4.1 Flash",
   contextWindowTokens: 1e6,
   acceptsImages: true,
-  // Together даёт модель только с текстом (каталог Together, 2026-10-11): картинка туда не уходит.
-  acceptsImagesByProvider: { together: false },
-  // Картинку в результате инструмента видит у самого DeepSeek (проверено вживую 2026-10-05) и через OpenRouter у всех
-  // хозяев, кроме запрещённых ниже: одни её не видят, другие отвергают запрос (замер всех хозяев модели в OpenRouter 2026-10-06, specs/research-openrouter-tool-images.md).
-  toolResultImageProviders: ["deepseek", "openrouter"],
+  // Картинку в результате инструмента видит у самого DeepSeek (проверено вживую 2026-10-05), у Together и Fireworks
+  // (вживую 2026-10-15: картинка в ответе инструмента и в сообщении человека — цвет назван верно; запись каталога
+  // Together «только текст» устарела) и через OpenRouter у всех хозяев, кроме запрещённых ниже: одни её не видят,
+  // другие отвергают запрос (замер всех хозяев модели в OpenRouter 2026-10-06, specs/research-openrouter-tool-images.md).
+  toolResultImageProviders: ["deepseek", "together", "fireworks", "openrouter"],
   reasoning: { replayPastTurns: true, levels: ["off", "on"], defaultLevel: "on" },
   // Запрет стоит всегда, а не только при картинке: запрос одинаков в каждом ходе, кэш и выбранный хозяин не теряются.
   providerOptions: { openrouter: { provider: { ignore: ["deepinfra", "open-inference", "phala", "sail-research", "venice"] } } },
@@ -14116,4 +14169,4 @@ export {
   InvalidWidgetAnswerError,
   createChatService
 };
-//# sourceMappingURL=chunk-QA5DVEXF.js.map
+//# sourceMappingURL=chunk-WQZQZCAB.js.map