@spacex110/core 0.1.15 → 0.1.17

package/src/types.ts

@@ -78,6 +78,13 @@ export interface Model {
     name: string;
     /** 模型能力列表（如 text, vision, audio） */
     capabilities?: ModelCapability[];
+    /**
+     * 模型输出能力（如 image, audio）。
+     * 与 capabilities 区分：capabilities 指模型能理解/处理哪些输入；
+     * outputCapabilities 指模型能生成哪些类型的输出。
+     * 当前仅在多模态输出场景（如 OpenRouter 文生图、Gemini 生图）使用。
+     */
+    outputCapabilities?: Array<'image' | 'audio'>;
     /** 上下文窗口大小 */
     contextLength?: number;
 }
@@ -161,3 +168,173 @@ export interface AIConfigFormProps {
     /** 是否禁用整个表单 */
     disabled?: boolean;
 }
+
+// ============ Multimodal Chat Types ============
+
+/**
+ * 多模态内容块（输入侧调用方传入格式）。
+ * 不同协议的 ContentPart 形态不同，这里提供统一的 OpenAI 风格接口作为上层标准。
+ */
+export type ContentPart =
+    | { type: 'text'; text: string }
+    | { type: 'image_url'; image_url: { url: string; detail?: 'low' | 'high' | 'auto' } }
+    // Anthropic 风格图片块
+    | {
+          type: 'image';
+          source:
+              | { type: 'base64'; media_type: string; data: string }
+              | { type: 'url'; url: string };
+      }
+    // Gemini 风格 inline 数据块（图片/音频通用）
+    | { type: 'inline_data'; inline_data: { mime_type: string; data: string } }
+    // OpenAI 风格输入音频
+    | { type: 'audio'; input_audio: { data: string; format: 'wav' | 'mp3' } };
+
+/**
+ * 多模态聊天消息。
+ * content 可以是纯文本字符串（兼容 sendDirectChat）或多模态内容块数组。
+ */
+export interface ChatMessage {
+    role: 'system' | 'user' | 'assistant' | 'tool';
+    /**
+     * 消息内容：字符串走纯文本路径，多模态块数组走多模态路径。
+     */
+    content: string | ContentPart[];
+    /** 可选的消息名（部分协议支持） */
+    name?: string;
+}
+
+/**
+ * 内部统一的多模态内容块。
+ * 各协议策略都接收 NormalizedMessage[] 作为输入，避免重复处理不同协议字段差异。
+ */
+export type NormalizedPart =
+    | { type: 'text'; data: string; meta?: Record<string, unknown> }
+    | { type: 'image'; data: string; mimeType?: string; meta?: Record<string, unknown> }
+    | { type: 'audio'; data: string; mimeType?: string; meta?: Record<string, unknown> };
+
+/** 内部统一的消息结构 */
+export interface NormalizedMessage {
+    role: 'system' | 'user' | 'assistant' | 'tool';
+    parts: NormalizedPart[];
+}
+
+/**
+ * 响应侧的内容块。
+ * 文本部分用 string；多模态用数组，每个元素描述一种产出（文本/图片/音频）。
+ */
+export type ContentResponsePart =
+    | { type: 'text'; text: string }
+    | { type: 'image'; url?: string; b64_json?: string; mimeType?: string }
+    | { type: 'audio'; url?: string; b64_json?: string; mimeType?: string };
+
+/** 各协议策略解析后的统一响应结构 */
+export interface ResponseMessage {
+    role: 'assistant';
+    /**
+     * 响应内容：纯文本时用 string，包含图片/音频时用 ContentResponsePart 数组。
+     */
+    content: string | ContentResponsePart[];
+    /** token 用量（如协议提供） */
+    usage?: {
+        inputTokens?: number;
+        outputTokens?: number;
+        totalTokens?: number;
+    };
+    /** 原始协议响应（调试/透传用） */
+    raw?: unknown;
+    /** 结束原因（如 'stop'、'length'、'tool_calls'） */
+    finishReason?: string;
+}
+
+/**
+ * 调用 sendMultimodalChat / sendMultimodalChatStream 的输入参数。
+ * 与 sendDirectChat 不同：messages 字段是 ChatMessage[]（支持 content: string | ContentPart[]）。
+ */
+export interface MultimodalChatOptions {
+    /** 协议类型 */
+    apiFormat: ApiFormat;
+    /** API Key */
+    apiKey: string;
+    /** 模型 ID */
+    model: string;
+    /** 厂商 Base URL */
+    baseUrl: string;
+    /** 聊天消息列表（支持多模态） */
+    messages: ChatMessage[];
+    /** 最大输出 token */
+    maxTokens?: number;
+    /** 温度 */
+    temperature?: number;
+    /** 请求超时（毫秒） */
+    timeoutMs?: number;
+    /**
+     * 期望的输出模态。
+     * - 仅在 OpenRouter（OpenAI 协议）或 Gemini 协议下生效；其他协议传入 image 会直接报错
+     * - 示例：['text']、['text', 'image']
+     */
+    outputModalities?: Array<'text' | 'image'>;
+    /** 透传给 fetch 的额外 headers（用于透传 Authorization 代理等） */
+    extraHeaders?: Record<string, string>;
+}
+
+/** 非流式多模态聊天结果 */
+export interface MultimodalChatResult {
+    success: boolean;
+    /** 纯文本内容（仅当响应只有文本时填充） */
+    text?: string;
+    /** 多模态产出（文本/图片/音频混排；与 text 二选一） */
+    images?: Array<{
+        type: 'image';
+        url?: string;
+        b64_json?: string;
+        mimeType?: string;
+    }>;
+    /** token 用量 */
+    usage?: {
+        inputTokens?: number;
+        outputTokens?: number;
+        totalTokens?: number;
+    };
+    /** 耗时（毫秒） */
+    latencyMs?: number;
+    /** 错误信息（success=false 时填充） */
+    message?: string;
+    /** 结束原因 */
+    finishReason?: string;
+    /** 协议原始响应 */
+    raw?: unknown;
+}
+
+/** 流式多模态聊天的增量回调状态 */
+export interface MultimodalStreamDelta {
+    /** 累计的完整文本 */
+    text?: string;
+    /** 累计的图片数组（每次浅拷贝替换，不要 append） */
+    images?: Array<{
+        type: 'image';
+        url?: string;
+        b64_json?: string;
+        mimeType?: string;
+    }>;
+    /** 结束原因（最后一片 chunk 时填充） */
+    finishReason?: string;
+    /** token 用量（最后一片 chunk 时填充） */
+    usage?: {
+        inputTokens?: number;
+        outputTokens?: number;
+        totalTokens?: number;
+    };
+}
+
+/** 流式多模态聊天入参 */
+export interface MultimodalChatStreamOptions extends Omit<MultimodalChatOptions, 'timeoutMs'> {
+    /**
+     * 增量回调，每次收到协议 chunk 时触发。
+     * state.text 是累计完整文本（同 sendDirectChatStream 约定）；
+     * state.images 是累计完整图片数组（图片一般整块出现，浅拷贝给上层）。
+     */
+    onDelta: (state: MultimodalStreamDelta) => void;
+    /** 可选超时（毫秒） */
+    timeoutMs?: number;
+}

package/dist/channel-manager.d.ts

@@ -1,276 +0,0 @@
-import { AIConfig, Provider, Model, ModelCapability, StorageAdapter, ApiFormat } from './types';
-
-/** 通道配置（扩展 AIConfig，包含更多元数据） */
-export interface ChannelConfig extends AIConfig {
-    /** 通道唯一标识 */
-    id: string;
-    /** 通道名称（用户自定义） */
-    name?: string;
-    /** Provider 名称 */
-    providerName: string;
-    /** 模型显示名称 */
-    modelName: string;
-    /** API 格式 */
-    apiFormat: ApiFormat;
-    /** 模型能力列表 */
-    capabilities?: ModelCapability[];
-    /** 上下文窗口大小 */
-    contextLength?: number;
-    /** 创建时间 */
-    createdAt: number;
-    /** 最后使用时间 */
-    lastUsedAt?: number;
-    /** 连接状态 */
-    status?: 'untested' | 'connected' | 'error';
-    /** 最后错误信息 */
-    lastError?: string;
-}
-/** 通道管理器配置选项 */
-export interface ChannelManagerOptions {
-    /** 存储适配器（默认使用加密存储） */
-    storageAdapter?: StorageAdapter;
-    /** 存储键名前缀 */
-    storagePrefix?: string;
-    /** 当前激活通道的存储键 */
-    activeChannelKey?: string;
-    /** 能力默认通道的存储键 */
-    capabilityDefaultsKey?: string;
-    /** 后端代理地址（可选，用于解决 CORS 问题） */
-    proxyUrl?: string;
-}
-/** 通道查询过滤条件 */
-export interface ChannelFilter {
-    /** 按 Provider ID 过滤 */
-    providerId?: string;
-    /** 按 API 格式过滤 */
-    apiFormat?: ApiFormat;
-    /** 按模型能力过滤 */
-    capability?: ModelCapability;
-    /** 按连接状态过滤 */
-    status?: ChannelConfig['status'];
-    /** 关键字搜索（匹配名称、模型名、Provider 名） */
-    keyword?: string;
-}
-/** 聊天结果 */
-export interface ChatResult {
-    success: boolean;
-    content?: string;
-    message?: string;
-    latencyMs?: number;
-    channelId?: string;
-    model?: string;
-}
-/** 事件类型 */
-export type ChannelEventType = 'add' | 'update' | 'delete' | 'activate' | 'chat' | 'test' | 'clear';
-type ChannelEventListener = (data: any) => void;
-export declare class AIChannelManager {
-    private storageAdapter;
-    private channels;
-    private activeChannelId;
-    private storagePrefix;
-    private activeChannelKey;
-    private capabilityDefaultsKey;
-    private capabilityDefaults;
-    private proxyUrl?;
-    private listeners;
-    constructor(options?: ChannelManagerOptions);
-    /** 监听事件 */
-    on(event: ChannelEventType, listener: ChannelEventListener): () => void;
-    /** 取消监听 */
-    off(event: ChannelEventType, listener: ChannelEventListener): void;
-    private emit;
-    private getStorageKey;
-    private loadChannels;
-    private loadActiveChannel;
-    private saveChannel;
-    private deleteChannelFromStorage;
-    private saveActiveChannel;
-    private loadCapabilityDefaults;
-    private saveCapabilityDefaults;
-    /** 添加通道 */
-    addChannel(config: AIConfig, name?: string): Promise<ChannelConfig>;
-    /** 删除通道 */
-    deleteChannel(id: string): void;
-    /** 更新通道 */
-    updateChannel(id: string, config: Partial<AIConfig>, name?: string): Promise<ChannelConfig>;
-    /** 获取所有通道 */
-    getChannels(): ChannelConfig[];
-    /** 根据 ID 获取通道 */
-    getChannel(id: string): ChannelConfig | undefined;
-    /** 按 Provider ID 过滤通道 */
-    getChannelsByProvider(providerId: string): ChannelConfig[];
-    /** 按模型能力过滤通道（如 vision, reasoning, audio） */
-    getChannelsByCapability(capability: ModelCapability): ChannelConfig[];
-    /** 按 API 格式过滤通道（如 openai, anthropic, gemini） */
-    getChannelsByFormat(format: ApiFormat): ChannelConfig[];
-    /** 按连接状态过滤通道 */
-    getChannelsByStatus(status: ChannelConfig['status']): ChannelConfig[];
-    /** 综合条件查询通道 */
-    queryChannels(filter: ChannelFilter): ChannelConfig[];
-    /** 获取通道数量 */
-    getChannelCount(): number;
-    /** 获取当前激活的通道 */
-    getActiveChannel(): ChannelConfig | undefined;
-    /** 设置当前激活的通道 */
-    setActiveChannel(id: string): void;
-    /** 清除当前激活的通道 */
-    clearActiveChannel(): void;
-    /**
-     * 为指定能力类型设置默认通道
-     * 当调用 getChannelForCapability 时，优先返回此通道
-     */
-    setDefaultForCapability(capability: ModelCapability, channelId: string): void;
-    /**
-     * 获取指定能力类型的默认通道 ID
-     * 返回 undefined 表示未设置
-     */
-    getDefaultForCapability(capability: ModelCapability): string | undefined;
-    /**
-     * 清除指定能力类型的默认通道
-     */
-    clearDefaultForCapability(capability: ModelCapability): void;
-    /**
-     * 获取所有能力类型的默认通道映射
-     * 返回 { capability: channelId } 的对象
-     */
-    getAllCapabilityDefaults(): Record<string, string>;
-    /**
-     * 根据能力类型获取最适合的通道（带降级链）
-     *
-     * 降级链：
-     *   1. 该能力类型的显式默认通道
-     *   2. 具有该能力且最后使用时间最新的通道
-     *   3. 全局激活通道
-     *   4. 第一个可用通道
-     */
-    getChannelForCapability(capability: ModelCapability): ChannelConfig | undefined;
-    /**
-     * 使用指定能力类型的默认通道发送聊天请求
-     * 自动选择合适的通道，无需手动指定 channelId
-     */
-    chatForCapability(capability: ModelCapability, message: string, options?: {
-        messages?: Array<{
-            role: string;
-            content: string;
-        }>;
-        maxTokens?: number;
-    }): Promise<ChatResult>;
-    /**
-     * 使用指定能力类型的默认通道发送流式聊天请求
-     */
-    chatStreamForCapability(capability: ModelCapability, message: string, options?: {
-        messages?: Array<{
-            role: string;
-            content: string;
-        }>;
-        maxTokens?: number;
-        signal?: AbortSignal;
-        onDelta?: (full: string) => void;
-    }): Promise<ChatResult>;
-    /** 获取 Provider 的可用模型列表（动态获取 + 静态兜底） */
-    getProviderModels(providerId: string, apiKey?: string, baseUrl?: string): Promise<Model[]>;
-    /** 获取通道对应的 Provider 的模型列表 */
-    getChannelModels(id: string): Promise<Model[]>;
-    /** 获取 Provider 的静态模型列表（不发起网络请求） */
-    getStaticModelList(providerId: string): Model[];
-    /** 按能力过滤模型列表 */
-    getModelsByCapability(models: Model[], capability: ModelCapability): Model[];
-    /** 获取所有已配置的模型摘要列表 */
-    getConfiguredModels(): Array<{
-        channelId: string;
-        providerId: string;
-        providerName: string;
-        model: string;
-        modelName: string;
-        apiFormat: ApiFormat;
-        capabilities: ModelCapability[];
-        status: ChannelConfig['status'];
-    }>;
-    /** 更新通道的 API Key */
-    updateApiKey(id: string, apiKey: string): Promise<ChannelConfig>;
-    /** 验证 API Key 格式（简单校验，非空且长度合理） */
-    validateApiKey(providerId: string, apiKey: string): {
-        valid: boolean;
-        message?: string;
-    };
-    /** 脱敏显示 API Key（如 sk-••••••••J4xK） */
-    maskApiKey(apiKey: string): string;
-    /** 获取通道的脱敏 API Key */
-    getMaskedApiKey(id: string): string;
-    /** 使用当前激活的通道发送聊天请求 */
-    chat(message: string, options?: {
-        messages?: Array<{
-            role: string;
-            content: string;
-        }>;
-        maxTokens?: number;
-    }): Promise<ChatResult>;
-    /** 使用指定通道发送聊天请求 */
-    chatWith(channelId: string, message: string, options?: {
-        messages?: Array<{
-            role: string;
-            content: string;
-        }>;
-        maxTokens?: number;
-    }): Promise<ChatResult>;
-    /** 使用当前激活通道发送流式聊天。onDelta 每次收到「累计完整文本」。 */
-    chatStream(message: string, options: {
-        messages?: Array<{
-            role: string;
-            content: string;
-        }>;
-        maxTokens?: number;
-        onDelta: (full: string) => void;
-        signal?: AbortSignal;
-    }): Promise<ChatResult>;
-    /** 使用指定通道发送流式聊天。onDelta 每次收到「累计完整文本」。 */
-    chatWithStream(channelId: string, message: string, options: {
-        messages?: Array<{
-            role: string;
-            content: string;
-        }>;
-        maxTokens?: number;
-        onDelta: (full: string) => void;
-        signal?: AbortSignal;
-    }): Promise<ChatResult>;
-    /** 测试指定通道的连接 */
-    testChannel(id: string): Promise<{
-        success: boolean;
-        latencyMs?: number;
-        message?: string;
-    }>;
-    /** 测试所有通道连接 */
-    testAllChannels(): Promise<Array<{
-        id: string;
-        channel: ChannelConfig;
-        result: {
-            success: boolean;
-            latencyMs?: number;
-            message?: string;
-        };
-    }>>;
-    /** 获取所有可用的 Provider */
-    getAvailableProviders(): Provider[];
-    /** 获取单个 Provider 信息 */
-    getProvider(providerId: string): Provider | undefined;
-    /** 按 API 格式获取 Provider 列表 */
-    getProvidersByFormat(format: ApiFormat): Provider[];
-    /** 导出所有通道配置（不包含 API Key 明文） */
-    exportChannels(includeApiKeys?: boolean): string;
-    /** 导入通道配置 */
-    importChannels(json: string, merge?: boolean): Promise<ChannelConfig[]>;
-    /** 清空所有通道 */
-    clearAllChannels(): void;
-    /** 批量删除通道 */
-    deleteChannels(ids: string[]): void;
-    /** 获取统计信息 */
-    getStats(): {
-        total: number;
-        byStatus: Record<string, number>;
-        byFormat: Record<string, number>;
-        byProvider: Record<string, number>;
-        byCapability: Record<string, number>;
-    };
-}
-export {};
-//# sourceMappingURL=channel-manager.d.ts.map