mslxdff 0.1.143 → 0.1.144

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "mslxdff",
-  "version": "0.1.143",
+  "version": "0.1.144",
   "description": "测试项目，请勿使用。",
   "type": "module",
   "bin": {

package/src/responses/translate.js

@@ -17,6 +17,7 @@ export function chunkToString(c) {
   return String(c);
 }
 
+// content 数组 → 文本（tool_calls 摘要之外的纯文本部分，历史行为）
 function inputTextOf(content) {
   if (typeof content === "string") return content;
   if (Array.isArray(content)) {
@@ -25,6 +26,21 @@ function inputTextOf(content) {
   return String(content ?? "");
 }
 
+// content 数组里的图片（responses 规范 input_image part）→ chat 规范 image_url part。
+// 此前被 inputTextOf 静默丢掉 → 下游根本拿不到图，模型"看不到"（2026-09-22 实测）。
+function inputImagesOf(content) {
+  if (!Array.isArray(content)) return [];
+  const out = [];
+  for (const p of content) {
+    if (!p || typeof p !== "object") continue;
+    if (p.type === "input_image" || p.type === "image_url") {
+      const url = typeof p.image_url === "string" ? p.image_url : p.image_url?.url;
+      if (url) out.push({ type: "image_url", image_url: { url } });
+    }
+  }
+  return out;
+}
+
 // POST /v1/responses body → chat completions body（直接喂现有 pipeline）
 export function responsesToChatBody(req = {}) {
   const model = String(req.model || "").trim();
@@ -51,7 +67,10 @@ export function responsesToChatBody(req = {}) {
     }
     // responses 规范：message item 的 type 可省（AI SDK/opencode 就不发）→ 有 role 即按 message 处理
     if (it.type === "message" || (!it.type && it.role)) {
+      const imgs = inputImagesOf(it.content);
       const msg = { role: it.role || "user", content: inputTextOf(it.content) };
+      // 有图时 content 用 chat 多模态数组形状（text + image_url），下游 responses 通道才能带图上游
+      if (imgs.length) msg.content = [...(msg.content ? [{ type: "text", text: msg.content }] : []), ...imgs];
       if (pendingReasoning.length && msg.role === "assistant") { msg.reasoning_items = pendingReasoning; pendingReasoning = []; }
       messages.push(msg);
     } else if (it.type === "function_call") {

package/src/upstream-engine/sdk/convert.js

@@ -16,6 +16,22 @@ function textOf(content) {
   return "";
 }
 
+// 图片 → AI SDK 的 file part（mediaType 为 image/*）。
+// 为什么不是 {type:"image"}：AI SDK v3 的 prompt 校验没有 image part 类型，会被序列化成
+// null 发给上游 → 400 "input[N].content did not match any supported type"（2026-09-22 实测）。
+// file part + image/* 才是 @ai-sdk/openai responses 适配器产出 input_image 的正道
+// （dist/index.mjs：mediaType.startsWith("image/") → {type:"input_image", image_url}）。
+// mediaType 从 data URL 提取真实类型：通配 "image/*" 会被 SDK 强转成 "image/jpeg"。
+function filePartFromImageUrl(url) {
+  const m = /^data:([^;,]*)[^,]*,/.exec(url);
+  const mediaType = m && m[1] ? m[1] : "image/*";
+  try {
+    return { type: "file", mediaType, data: new URL(url) };
+  } catch {
+    return null;
+  }
+}
+
 function userContentParts(content) {
   if (typeof content === "string") return [{ type: "text", text: content }];
   if (!Array.isArray(content)) return [{ type: "text", text: String(content ?? "") }];
@@ -24,10 +40,11 @@ function userContentParts(content) {
     if (!p || typeof p !== "object") continue;
     if (p.type === "text" || p.type === "input_text") {
       parts.push({ type: "text", text: String(p.text ?? "") });
-    } else if (p.type === "image_url") {
+    } else if (p.type === "image_url" || p.type === "input_image" || p.image_url != null) {
       const url = typeof p.image_url === "string" ? p.image_url : p.image_url?.url;
       if (!url) continue;
-      try { parts.push({ type: "file", mediaType: "image/*", data: new URL(url) }); } catch {}
+      const fp = filePartFromImageUrl(url);
+      if (fp) parts.push(fp);
     }
   }
   if (!parts.length) parts.push({ type: "text", text: "" });

package/src/upstream-responses.js

@@ -28,21 +28,46 @@ export function chatToResponsesBody(chatBody) {
   const msgs = Array.isArray(chatBody?.messages) ? chatBody.messages : [];
   const system = msgs.filter((m) => m.role === "system").map((m) => String(m.content || "")).join("\n");
   const nonSystem = msgs.filter((m) => m.role !== "system");
-  const inputParts = nonSystem.map((m) => {
+  // 图片保留：content 数组里的 image_url / input_image 转 responses 规范的 input_image item
+  // （data: base64 原样透传；此前整段拍平成纯文本 → 模型"看不到图"，2026-09-22 实测）。
+  const imagesOf = (m) => Array.isArray(m.content)
+    ? m.content.flatMap((x) => {
+        if (!x || typeof x !== "object") return [];
+        const url = x.type === "image_url" || x.type === "input_image" || x.image_url != null
+          ? (typeof x.image_url === "string" ? x.image_url : x.image_url?.url)
+          : null;
+        return url ? [{ type: "input_image", image_url: url }] : [];
+      })
+    : [];
+  const inputItems = nonSystem.map((m) => {
     const c = m.content;
-    let base;
-    if (typeof c === "string") base = `${m.role}: ${c}`;
-    else if (Array.isArray(c)) base = `${m.role}: ${c.map((x) => x.text || x.content || "").join("")}`;
-    else base = `${m.role}: ${String(c || "")}`;
+    let text;
+    if (typeof c === "string") text = c;
+    else if (Array.isArray(c)) text = c.filter((x) => x && (x.type === "text" || x.type === "input_text")).map((x) => x.text || "").join("");
+    else text = String(c ?? "");
+    let base = `${m.role}: ${text}`;
     // 保留 tool_calls / tool 结果，避免多轮丢失
     if (Array.isArray(m.tool_calls) && m.tool_calls.length) {
       const tcStr = m.tool_calls.map((tc) => `${tc.function?.name || "tool"}(${tc.function?.arguments || ""})`).join("; ");
       base += ` [tool_calls: ${tcStr}]`;
     }
     if (m.role === "tool" && m.tool_call_id) base += ` (call_id=${m.tool_call_id})`;
-    return base;
+    const imgs = imagesOf(m);
+    return { text: base, images: imgs };
   });
-  const input = inputParts.join("\n\n") || "hi";
+  const inputParts = inputItems.map((x) => x.text);
+  const hasText = inputParts.some((t) => t.trim());
+  const allImages = inputItems.flatMap((x) => x.images);
+  // 有图时 input 必须用 item 数组（text + input_image 混排）；纯文本保持串形状（既有行为不变）
+  const input = allImages.length
+    ? inputItems.flatMap((x) => {
+        const items = [];
+        if (x.text.trim()) items.push({ type: "input_text", text: x.text });
+        items.push(...x.images);
+        return items;
+      })
+    : (inputParts.join("\n\n") || "hi");
+  void hasText;
   // 流式意图透传：客户端要 SSE 就向上游要 SSE（reshapeResponsesSse 负责转回 chat SSE）。
   // 写死 stream:false 是历史折衷（当时聚合 JSON 直回），已由完整 SSE 转换取代。
   const out = { model: chatBody.model, input, stream: chatBody?.stream === true };