@henjicc/ai-sdk 0.9.0 → 0.10.0

package/CHANGELOG.md

@@ -1,5 +1,55 @@
 # Changelog
 
+## 0.10.0 - 2026-11-08
+
+- 百炼新增 MiniMax H3（`bailian-minimax-h3`，平台模型 `MiniMax/MiniMax-H3`）：文生视频、首帧 / 首尾帧、参考生视频（≤ 9 图、3 段视频、3 段音频），768P ¥0.5/秒、2K ¥0.8/秒，参考视频按同价计入，参考图超过 5 张每张 ¥0.2。
+- 魔搭账号未完成邮箱验证时的 403 识别为 `provider_product_not_activated`（`scope: account`），提示到账号设置完成验证，不再抛英文原文。
+- 素材约束新增画面尺寸：`RuntimeMediaDimensionConstraints`（`minShortSidePx` / `maxLongSidePx` / `minPixels` / `maxPixels` / `minAspectRatio` / `maxAspectRatio`，宽高比 = 宽 / 高），`RuntimeVideoConstraints` 继承它，`RuntimeInputLimitRule` 新增 `imageConstraints`（`RuntimeImageConstraints`），`resolveRuntimeInputLimits` 一并解析；新增 `findMediaDimensionViolation` 供宿主提交前检查素材宽高。按官方文档补上尺寸要求：APIMart Kling 3.0 Omni 参考视频 720–2160 px（真实请求验收发现 640×360 视频付费请求失败）、KIE Kling 3.0 Omni、KIE / APIMart MiniMax H3、APIMart MiniMax H3 Max、派欧云 Kling 3.0、APIMart / Fal Kling 3.0 Turbo、Fal / KIE Kling 4.0、APIMart / KIE HappyHorse 1.1、KIE / 火山方舟 Seedance 2.0 系列与 2.5、APIMart Seedance 2.5、APIMart / 百炼万相 3.0、Fal Qwen Image 3.0、APIMart Seedream 5.0 Lite。
+- KIE 按官方 OpenAPI 修正：MiniMax H3 图生视频字段改为 first_frame_url / last_frame_url（此前图生视频不可用）；Qwen Image 3.0 Pro 文生图 model 改为 qwen3/pro-text-to-image；Kling 3.0 Omni 风格转换与参考生视频按官方分支构建；Seedance 2.5 web_search 改发布尔值；Nano Banana 2 参考图上限 10；Gemini 3.1 TTS 说话人带 accent；Gemini Omni Video 始终发 duration；Grok Imagine 图生图不发比例、Grok Imagine Video 图生视频时长为字符串。
+- APIMart Kling 3.0 Omni 编辑视频时不发时长；APIMart Seedance 2.5 任务类型只在参考模式下生效；Fal Veo 3.1 参考生视频按标准价计价；Fal Z-Image Turbo 强度下限 0.05、1MP 计价。
+- 一批视频与图片模型在“当前分支不发送”的情况下隐藏对应参数（带图时的比例、带视频时的模式与音频、编辑任务的时长等），界面与实际请求一致；Qwen3 TTS 温度改为官方的 0.1–1；KIE Seedance V1 选到该版本没有的比例时贴近所选比例；魔搭基准尺寸步长改为 16（离线“所选即所发”检查发现）。
+- Grsai GPT Image 2 标准渠道选 1:3 / 3:1 时改为贴近所选比例（9:21 / 21:9），不再退回 1:1（真实请求验收发现）。
+- 海螺 02（KIE、Fal）首尾帧改为按 768P 请求和计价：MiniMax 首尾帧不支持 512P，KIE 带尾帧的 512P 请求会在平台内部失败（真实请求验收发现）。
+- Grsai 万相 3.0 时长改为 3–30 秒：官方文档写 2–30，接口实际拒绝 2 秒（真实请求验收发现）。
+- APIMart 本地视频、音频素材改经通用文件上传服务（KIE / Fal，按宿主设置首选与换用）托管成公网地址，不再直接报 `public_media_url_required`；图片仍走 APIMart 自己的上传端点。
+- 按 Fal 官方 OpenAPI 与参数组合检查修正请求：Kling 2.6 Pro 图生视频首帧改发 `start_image_url`；Kling O1 图生视频图片下限 1 张（没图自动切到参考生视频）、视频编辑不发时长并按输入视频时长计价；Vidu Q2 运动幅度在请求里换成官方 `small` / `medium` / `large`、续写不发 `bgm` 且时长夹到 7 秒、图生视频与参考生视频图片下限 1 张；Seedance 2.5 图生视频比例固定 `auto`；Seedance V1 文生视频不发 `auto` 比例；Qwen3 TTS 温度、Z-Image Turbo 图生图强度按官方范围夹紧（参数静态范围不变，兼容旧值）；PixVerse v5.5 单图生视频不发比例、首尾帧转场不发多镜头开关。KIE Kling 4.0 关键帧上传上限随时长变化（声明式规则，能力发现仍能看到参考模式收视频）；KIE GPT Image 2 智能比例只在当前分辨率支持的比例里挑；APIMart Seedance 2.5 视频编辑与延长要求 1 段视频、Gemini Omni 1.2 多图参考要求 1 张图。
+- `SpeechRecognitionOutput` 新增可选 `usage`（`inputTokens` / `outputTokens`）；百炼短音频协议从 `usage.input_tokens` / `output_tokens` 读出，目前只有按 token 计费的 `qwen-audio-3.1-asr-flash` 返回。
+- **破坏性**：删除已下架的硅基流动 `TeleAI/TeleSpeechASR` 语音识别预设（`siliconFlowTeleSpeechAsr` 导出移除，`siliconFlowAsrPresets` 只剩 SenseVoiceSmall）；控制台与价格页都已不再列出该模型。
+- 新增 token 计价类型 `TokenListPricing`（输入 / 输出 / 缓存命中，可带按输入长度分档 `tiers` 与分时 `offPeak`）与 `tokenListPrice`、`tokenPrice`；`LlmProviderPreset` 新增 `modelPricing`，内置预设的 57 个推荐模型全部登记官方按量标准价；百炼 Qwen-MT 预设新增 `pricing`。新增 `textTokenRatioFor` 与 `estimateChineseTextCost`，按各家公布的汉字折 token 比例（DeepSeek 0.6、Kimi 1/1.5、GLM 与 MiniMax 1/1.6，未公布的按 1）把 token 单价换成每万字参考价。
+- 新增续接生成契约：`ModelRuntimeDefinition.continuations`（`RuntimeContinuation`：动作标识、目标模型、`available`、`capture` 从完成结果取平台引用、`params` 调整续接参数、`submit` 直接提交或带进输入区），续接请求在参数里带 `__continuation`（`CONTINUATION_PARAM` / `RuntimeContinuationParam`）；工具函数 `captureContinuations`、`findContinuation`、`buildContinuationParams`、`readContinuation`。宿主随结果保存引用，用户与助手不接触平台任务 ID。
+- FLUX 3 Video 接入草稿与草稿转正片：APIMart 新增“草稿”开关（`draft: true`，固定 hd，每秒 $0.048、续写 $0.096），续接 `finalize-draft` 用 `draft_from_task_id` 转正片，只发可改的 `resolution`，按正片全价计费；Fal 标准版文/图生视频与续写新增“草稿”开关（路由 `…/draft`，每秒 $0.06、续写 $0.12），续接 `finalize-draft` 从结果 `draft_cache` 取缓存，走 `draft-enhance` 出 1080p（每秒 $0.29）。转正片不收素材。Fal provider 收集结果地址时跳过 `draft_cache`，不再把缓存包当成第二段视频。
+- Midjourney 图转视频改用续接：图片模型（Imagine）声明 `animate` 续接到 `apimart-midjourney-video`，视频模型从续接引用读 `task_id`；删除手填“来源任务 ID”参数（旧工程残留值仍兼容读取），`alternativeInputParamIds` 改为 `__continuation`；“首帧”与“动画模式”只在续接时显示。
+- Gemini Omni 1.2 Flash（APIMart）支持续写自己的结果：续接 `extend` 发 `extend_from_task_id` + `omni_reference_task_type: "extend"`，不需要输入视频，渠道与模式沿用源任务。
+- 本地媒体托管：新增 `upload/public-host-upload.ts`，按宿主“通用文件上传服务”设置（`__upload_provider` 首选、`__upload_fallback` 换用）用 KIE 或 Fal 把本地文件托管成公网地址；派欧云、魔搭改用它（此前忽略 Fal 设置、只走 KIE），火山方舟的参考视频也走它，一家都没配置时提交前报 `public_media_url_required` 并提示去设置。新增 `upload/bailian-oss-upload.ts`（百炼临时存储，语音识别与生成共用），百炼生成链路的视频、音频按请求 model 上传成 `oss://`，请求体含 `oss://` 时提交带 `X-DashScope-OssResourceResolve`。`ProviderMediaRewriteInput` 新增 `requestBody`。
+- 火山方舟 Seedance 开放参考视频（2.0 系列 ≤ 3 段、2.5 ≤ 10 段），按“输入含视频”单价并计入输入视频时长；Seedance 2.5 新增任务类型（自动 / 参考 / 视频编辑 / 视频延长）。百炼万相 3.0 开放参考视频与参考音频（各 ≤ 5），输入视频时长同价计费，读得到时长时输出时长收进“输入 + 输出 ≤ 30 秒”。
+- 新增生成模型：Wan 2.7 Image（APIMart，标准版与 Pro 为版本选项，含组图）、FLUX 3 Video（APIMart；Fal 标准版文生/图生/续写/编辑与 FLUX 3 Max 文生/图生）。草稿与草稿转正片两段式暂不接入。
+- OpenAI 兼容 `/audio/speech` 执行抽成 `providers/openai-speech.ts`，硅基流动改用它（行为不变）。
+- Fal LTX-2.3 新增「音频生视频」模式（`fal-ai/ltx-2.3/audio-to-video`，$0.10/秒按音频时长估价，可选首帧图）；`pricing.mediaContext` 支持 `mediaType: 'audio'`（`durationSeconds`）与按模式生效的 `when`，`PricingMediaMetadataReaders` 新增可选 `audio`；mediaPresence 新增 `resolveUploadedAudioSources`、`resolveUploadedAudioDurationSeconds`；能力标签新增 `audio-to-video`。
+- Kling 4.0（Fal）接入分镜 `multi_prompt`：按镜头写提示词与秒数，成片时长为各镜之和，使用分镜时不发送时长，主提示词作为整体描述拼到每一镜提示词前（`alternativeInputParamIds` 声明分镜可单独构成输入）。Kling 4.0 / 4.0 Flash 接入元素 `elements`：Fal 参考生视频与视频编辑（`@Element1` 引用，正面图 + 1–3 张其他角度，或一段 3–8 秒视频），KIE 参考生视频（`@名称` 引用，2–4 张图或一段视频，Flash 视频元素带 `type`）；视频元素按视频输入计费。KIE Kling 4.0 / Flash 带参考视频的估价改按官方 `max(2 × 输出, 输入 + 输出)` 秒，原先只按输出时长。
+- KIE Gemini 3.8 Flash / Flash-Lite TTS 改按原价估（Google 2027 年起价格的七折：输入 $0.70，输出 $12.60 / $8.40 每百万 Token），促销期内实际扣费更低。
+- 火山方舟 Seedance 含参考视频时按官方最低 token 用量估价：输入视频不足 4 秒按 4 秒计（与官方价格示例一致）。KIE Kling 4.0 / 4.0 Flash 关键帧模式有图时隐藏比例（本就不发送）；APIMart Gemini Omni 1.2 Flash Ext 带首帧或参考图时不再发送比例，改为跟随素材。MiniMax H3 / H3 Max 的 `seriesId` 统一为 `hailuo`，与海螺 02 / 2.3 同系列排序。
+- Kimi 原厂预设新增 `kimi-k3.1-pro` 与 `kimi-k3.1-pro-highspeed`（新增目录条目），与 K3 同为思考无法关闭、采样参数省略、`json_schema` 结构化输出；原厂视频需 Files API 上传，预设不声明视频。MiniMax 原厂预设新增 `MiniMax-M3.1-Flash`（图片、视频输入，`reasoning_effort` 五档、关闭时退到 low），接口地址改为官方新域名 `api.minimax.cn`。
+- 魔搭 Qwen 两个图片模型升级到后继版本：`Qwen/Qwen-Image` → `Qwen/Qwen-Image-2512`、`Qwen/Qwen-Image-Edit-2509` → `Qwen/Qwen-Image-Edit-2511`（官方调用示例的端点与字段相同，2026-11-07 经 `list_model_providers` 确认可调用），旧 ID 保留为别名；通用标识随之改为 `qwen-image-2512` / `qwen-image-edit-2511`。
+- `ModelRuntimeMeta` 与 `LlmModelCatalogEntry` 新增可选 `deprecated`（过时原因）：能力发现跳过这类模型，`createModelsFromPreset` 与 `createBigmodelModels` 不再为它们建模型，仍可按 ID 解析。首批标记 Fal LTX-2 / Veo 3.1、火山 Seedream 5.0 Lite、KIE Seedance 1.5 Pro、派欧云 Kling 3.0 与 MiniMax Speech、Kimi K2.6 / K2.7 Code；已下线的 MiMo 2.5 / 2.5 Pro 与 DeepSeek V4 Flash Vision（实验）目录条目直接删除（官方 DeepSeek 旧名仍按别名指向 V4.1 Flash）。
+- 新增生成模型（全部只做离线请求构建与官方价格核对）：GPT Image 2.6（Fal、KIE、APIMart、Grsai）、FLUX 3（Fal、APIMart）与 FLUX 3 Klein（KIE）、Seedream 5.0 Flash（APIMart）、Kling 4.0 与 4.0 Flash（Fal、KIE；APIMart 4.0）、Wan 3.0（Fal、APIMart、KIE、Grsai）与 Wan 3.0 Prime（KIE）、Gemini Omni 1.2 Flash（Fal、APIMart）、Grok Imagine Video 1.5（Fal、KIE、APIMart）、MiniMax H3 Max（Fal、APIMart）、LTX-2.3（Fal）、Veo 3.1 与 HappyHorse 1.1（APIMart）、Eleven v4 / v4 Turbo（Fal）、Gemini 3.8 Flash / Flash-Lite TTS（KIE）、Qwen Audio 3.1 TTS Plus（百炼）。
+- 火山方舟与百炼官方供应商新增异步视频任务（提交 + 按任务 ID 轮询，可在宿主重启后续查）：火山方舟 Seedance 2.5 / 2.0 / 2.0 Fast / 2.0 Mini，百炼万相 3.0（Prime 为版本选项）；同步图片与语音路径不变。方舟参考音频只收 MP3 / WAV，其他格式提交前报 `invalid_media`。
+- 大语言模型预设按 2026-11-07 的平台清单补充：派欧云 Kimi K3.1 Pro / K3、GLM-5.3、MiMo-V2.6-Pro、MiniMax-M3.1-Flash（按平台模型列表核对），DeepSeek V4 Pro，Groq GPT-OSS 120B（新增目录条目）与 Qwen3.8-27B 预览版（关闭思考时发 `reasoning_effort: none`）；硅基流动按账号模型列表补 DeepSeek V4.1 Flash、DeepSeek V4 Pro、GLM-5.3-Flash、GLM-5.2（能力按控制台模型广场的结构化数据登记）。
+- 包入口新增导出翻译能力（`createQwenMt*TranslationModule` 等），与语音识别一致，不再必须走 `capabilities/translation` 子路径。
+- 流式聊天的结果与完成回调新增 `firstTokenMs`（发出请求到第一个字，含思考内容）和 `outputTokensPerSecond`（首字之后的输出 token 速度，供应商没给用量时为 null）；`LlmTrace` 增加对应可选字段与输入/输出 token 数。
+- **破坏性**：模型标签收成一份封闭词表 `MODEL_TAG_DEFINITIONS`（形态 11 个、专项 13 个，各带判断标准），`ModelTag` 不再接受任意字符串，`validateRuntimeModel`（`defineModel` 也走它）拒绝词表外的标签；`catalog` 全部模型按新词表重打。新增公开导出 `MODEL_TAGS`、`isModelTag`、`getModelTagDefinition` 与类型 `ModelTagDefinition`、`ModelTagLayer`；`ModelRuntimeMeta` 新增 `promptLanguage`。
+  - 迁移：`supports-image-editing` → `image-to-image`，`supports-video-editing` → `video-to-video`，`multi-image-reference` / `video-reference` → `reference-mode`，`text-to-speech` / `voice-synthesis` → `text-to-audio`，`voice-cloning` → `voice-clone`，`supports-layer-decomposition` → `layer-decomposition`，`alpha-preserving` / `alpha-output` / `background-removal` → `transparent-background`，`camera-control` / `perspective-preset` → `multi-angle`，`background-generation` → `product-photography`；受控工具的 `image-edit` 改为各自专项，`mask-input` 由 `erase` 表达，`style-presets` 删除（读参数）。按这些旧值查询 discovery `features` 会得到空结果。
+  - 删除的标签改读模型配置：`provider-*` 读 `meta.provider`，`image` / `video` / `audio` 读 `meta.type`，`max-images-*`、`supports-multi-image`、`mixed-upload-mode` 读 `inputLimits`，`supports-4k` / `supports-2k`、`multi-output`、`fast-mode` / `turbo-mode`、`multi-mode-switch`、`supports-prompt-expansion`、`supports-audio-generation` 读参数；`english-prompt-only` 改为 `meta.promptLanguage: 'en'`。
+  - 放大模型和 Fal 受控工具不再标 `image-to-image`；补上漏标的能力：LTX-2 视频编辑、Vidu Q2 参考生视频与视频延长、Veo 3.1（Fal）首尾帧与参考生视频、Seedance 2.5（APIMart）视频编辑与延长、Gemini Omni Flash（APIMart）参考生视频、Gemini Omni（KIE）视频编辑、Kling 3.0 Omni（APIMart）与 Seedance V1（Fal）首尾帧、Seedream 5.0 Pro/Flash（火山）透明背景、Grok Imagine 图片（KIE）图片编辑；新增局部重绘、透明背景、多人对话标注。
+  - 能力发现的 `operations` 名称不变，改为由新标签直接得出。
+- 新增 Nano Banana 2.1：APIMart 官方/Ext、KIE、Fal 生成/编辑和 Grsai；分渠道数量限制、Token/单张计费与上传参数。
+- 移除 PPIO 已停服的 Wan 2.5 Preview、Wan 2.6、Hailuo 2.3、Wan 2.7；Grsai GPT Image 2.5 暂停 Flare/Sunburst 变体。开发期不迁移旧配置。
+- PPIO 默认助手改为 V4.1 Flash；DeepSeek 原厂旧别名按新 Flash 能力匹配，网关保留独立契约；Kimi 思考字段按模型区分。
+- 更新 APIMart/KIE 指定价格、Omni Ext ID/360p/参考图限制与 Fal H3 扩写字段；清理无有效期证据的智谱中国区优惠，MiniMax 元信息改为官方新域名。
+- Qwen Audio 3.1 TTS 提供注明工程假设的估算上限；无真实付费验证，不承诺绝对账单上限。
+- 火山引擎与百炼大语言模型预设补全：方舟新增 Seed 2.1 Pro/Lite 260915、Seed 2.0 Lite/Mini LTS、Character，以及方舟托管的 DeepSeek V4.1 Flash（含经济版）、V4 Pro/Flash 正式版、Kimi K3.1 Pro、GLM-5.3 Flash、GLM-5.2；百炼新增 Qwen3.8-Flash、Qwen3.7-Plus 与托管的 DeepSeek、Kimi、GLM、MiniMax-M3.1-Flash、MiMo、Step-5-Preview。
+- 百炼新增 Qwen-Audio 3.0 语音识别三种预设（短音频、文件、实时），按音频秒数计费，不发送 3.1 专属参数。
+- 能力目录支持按完整快照 ID 覆盖字段（如 Seed 2.1 Pro 260628 仍为 256K 上下文），并用别名收拢方舟、百炼的平台写法；Qwen3.8-Max 补登上下文 1M、最大输出 128K。
+
 ## 0.9.0 - 2026-10-06
 
 - 生成结果新增 `urls: string[]`：按输出顺序列出全部结果地址，多结果模型不再需要拆分 `url` 中的 `|||` 拼接串。`url` 保留为兼容字段，内容不变。