@turingflow/agent-kit 0.0.0-stage → 0.1.1

package/dist/transcription/xiaomi-mimo.d.ts

@@ -0,0 +1,8 @@
+export declare function transcribeWithXiaomiMimo({ bytes, mimeType, fileName }: {
+    bytes: Buffer;
+    mimeType: string;
+    fileName: string;
+}): Promise<{
+    text: string;
+    provider: string;
+}>;

package/dist/transcription/xiaomi-mimo.js

@@ -0,0 +1,86 @@
+/**
+ * agent-kit · 小米 MiMo 语音识别 —— 复用 @summersmile/voice-dictation SDK 通道。
+ * 真正的识别与留痕/运营都在 BrandAgent 平台侧完成。
+ *
+ * 链路：本 provider 仅作为 SDK 的 VoiceTranscriber 通道，把音频经
+ *   POST <AGENT_KIT_ASR_HOST>/api/external/asr/transcribe（multipart file）
+ * 递交到平台；平台负责 ffmpeg 归一化 + mimo 主源 + 兜底链 + 留痕。
+ * 令牌由 <AGENT_KIT_ASR_HOST>/api/external/asr/token 用长期 ASR_API_KEY 换取，
+ * 短时有效（默认 600s），401 时 SDK 会自动强刷重试。
+ *
+ * 环境变量（兼容旧名 BRANDAGENT_*）：
+ *   AGENT_KIT_ASR_HOST       平台地址，如 https://agent.aotsea.com
+ *   AGENT_KIT_ASR_API_KEY    长期密钥
+ */
+import { createDictationTranscriber } from "@summersmile/voice-dictation";
+const REQUEST_TIMEOUT_MS = 120_000;
+const ASR_SOURCE = "asr_xiaomi_mimo";
+function brandAgentHost() {
+    const v = process.env.AGENT_KIT_ASR_HOST?.trim() || process.env.BRANDAGENT_ASR_HOST?.trim();
+    const clean = v?.replace(/\/$/, "");
+    if (!clean)
+        throw new Error("未配置 AGENT_KIT_ASR_HOST / BRANDAGENT_ASR_HOST（ASR 平台地址）");
+    return clean;
+}
+function brandAgentApiKey() {
+    const v = process.env.AGENT_KIT_ASR_API_KEY?.trim() || process.env.BRANDAGENT_ASR_API_KEY?.trim();
+    if (!v)
+        throw new Error("未配置 AGENT_KIT_ASR_API_KEY / BRANDAGENT_ASR_API_KEY（ASR 长期密钥）");
+    return v;
+}
+// 短时令牌缓存：平台令牌默认 600s，留 30s 余量再刷新
+let tokenCache = { token: null, expiresAt: 0 };
+async function getPlatformToken({ forceRefresh } = {}) {
+    if (!forceRefresh && tokenCache.token && tokenCache.expiresAt > Date.now() + 30_000) {
+        return tokenCache.token;
+    }
+    const host = brandAgentHost();
+    const apiKey = brandAgentApiKey();
+    const res = await fetch(`${host}/api/external/asr/token`, {
+        method: "POST",
+        headers: {
+            Authorization: `Bearer ${apiKey}`,
+            "Content-Type": "application/json",
+        },
+        body: JSON.stringify({ ttlSeconds: 600 }),
+        signal: AbortSignal.timeout(REQUEST_TIMEOUT_MS),
+    });
+    if (!res.ok) {
+        throw new Error(`BrandAgent 转写令牌获取失败 (${res.status})`);
+    }
+    const j = (await res.json().catch(() => ({})));
+    if (!j?.token)
+        throw new Error("BrandAgent 转写令牌响应异常");
+    tokenCache = { token: j.token, expiresAt: j.expiresAt || Date.now() + 600_000 };
+    return j.token;
+}
+let _transcriber = null;
+function getTranscriber() {
+    if (!_transcriber) {
+        _transcriber = createDictationTranscriber({
+            endpoint: `${brandAgentHost()}/api/external/asr/transcribe`,
+            getToken: getPlatformToken,
+        });
+    }
+    return _transcriber;
+}
+export async function transcribeWithXiaomiMimo({ bytes, mimeType, fileName }) {
+    try {
+        const blob = new Blob([Uint8Array.from(bytes)], { type: mimeType || "audio/wav" });
+        const ext = (fileName || "").split(".").pop()?.toLowerCase() || "wav";
+        const text = await getTranscriber()(blob, {
+            filename: fileName || "audio.wav",
+            extension: ext,
+            mime: mimeType || "audio/wav",
+        });
+        const clean = typeof text === "string" ? text.trim() : "";
+        if (!clean) {
+            throw new Error("未检测到说话内容");
+        }
+        return { text: clean, provider: "xiaomi-mimo" };
+    }
+    catch (e) {
+        console.error(`[${ASR_SOURCE}] 转写异常:`, e instanceof Error ? e.message : e);
+        throw e;
+    }
+}

package/dist/ui/index.d.ts

@@ -0,0 +1,358 @@
+import * as react from 'react';
+import react__default, { ReactNode } from 'react';
+
+/** 模型详情（来自 models.json 的条目，已剔除 apiKey）。键为 models.json 原始字段名。 */
+interface ModelMeta {
+    vendor?: string;
+    url?: string;
+    maxInputTokens?: number;
+    maxOutputTokens?: number;
+    temperature?: number;
+    supportsToolCall?: boolean;
+    supportsImages?: boolean;
+    [key: string]: unknown;
+}
+/** 模型选项：兼容「纯 id 字符串」与「{id, name, meta} 对象」两种来源。 */
+type ModelOption = string | {
+    id: string;
+    name?: string;
+    meta?: ModelMeta;
+};
+declare function ModelSelect({ options, value, onChange, }: {
+    options: ModelOption[];
+    /** 选中项的身份 key（`vendor::id`，见 modelOptionKey）；无 vendor 时即纯 id。 */
+    value: string;
+    /** 回传被点选条目的身份 key（`vendor::id`）；调用方发送给引擎前再取纯 id。 */
+    onChange: (key: string) => void;
+}): react.JSX.Element;
+
+/** Pure file-change aggregation and text comparison shared by the UI and regression checks. */
+type ArtifactType$1 = "html" | "markdown" | "image" | "pdf" | "text" | "word" | "other" | "browser";
+interface ArtifactChange {
+    id: string;
+    name: string;
+    type: ArtifactType$1;
+    size?: number;
+    change?: "added" | "modified" | "deleted";
+    oldContent?: string | null;
+    newContent?: string | null;
+}
+
+/** 产物类型（与服务端 artifacts.ts 的 ArtifactType 保持一致；browser 为右栏浏览器实时预览的虚拟类型） */
+type ArtifactType = "html" | "markdown" | "image" | "pdf" | "text" | "word" | "other" | "browser";
+/** 产物元信息（服务端 /api/artifact 列表返回） */
+interface ArtifactMeta {
+    id: string;
+    name: string;
+    type: ArtifactType;
+    /** 文件字节数（前端展示大小） */
+    size?: number;
+    /** 文件所在真实目录（「打开文件夹」跟随文件用）：服务端 list 返回；桌面壳据此 openPath */
+    dir?: string;
+}
+/** 场景（顶部场景栏的每一项） */
+interface Scene {
+    key: string;
+    label: string;
+    suggestions: string[];
+}
+/** 登录用户信息（unionId 存在视为已登录） */
+interface ChatUser {
+    unionId?: string;
+    name?: string;
+    avatar?: string;
+    /** 登录方式：dingtalk | feishu（分享到 OA 时决定走哪家 JSAPI） */
+    provider?: string;
+}
+interface ChatWindowProps {
+    /** 登录用户信息 */
+    initialUser?: ChatUser;
+    /** API 根路径，如 /agent；产物预览/上传/会话等端点都基于它 */
+    basePath?: string;
+    /** 场景列表；不传用 DEFAULT_SCENES，传 null 隐藏场景 tab（含空态建议） */
+    scenes?: Scene[] | null;
+    /** 退出登录回调（宿主接管时不再调 /api/logout 跳转） */
+    onLogout?: () => void | Promise<void>;
+    /** 聊天 SSE 端点覆盖（默认 basePath/api/chat） */
+    chatEndpoint?: string;
+    /** 上传端点覆盖（默认 basePath/api/upload） */
+    uploadEndpoint?: string;
+    /** 是否启用语音输入 */
+    voiceEnabled?: boolean;
+    /** 是否启用附件上传 */
+    uploadEnabled?: boolean;
+    /** 顶栏标题 */
+    title?: string;
+    /** 顶栏 Logo */
+    logoSrc?: string | null;
+    /** 左栏顶部 Logo（宿主传入；不传时显示「会话」标题） */
+    sidebarLogo?: string | null;
+    /** 可选模型列表（非空时输入区语音按钮左侧显示模型下拉；空=不显示）。
+     *  宿主可显式传入以覆盖默认来源；不传时由 agent-kit 前端自动从后端
+     *  GET /api/models/list 拉取（models.json 自定义模型优先，否则 env AGENT_MODEL_LIST 兜底）。
+     *  每项可为纯 id 字符串（env 兜底）或 { id, name, meta }（models.json 自定义模型，
+     *  下拉显示 name、悬停展示 meta 详情；meta 已剔除 apiKey）。
+     *  用户选择后每轮发送 body 携带 model（始终为 id），服务端 session 流 setModel 运行中切换。 */
+    models?: ModelOption[];
+    /** 在当前会话的消息列表末尾渲染一次宿主内容（如人工联系人卡片）。
+     *  有助手消息且历史加载完成后调用；切换会话时传入对应会话 ID 与消息。 */
+    renderSessionFooter?: (context: {
+        sessionId: string;
+        messages: readonly UiMessage[];
+    }) => ReactNode;
+}
+/** 附件（输入框挂载态 / 消息附带） */
+interface UiAttachment {
+    url: string;
+    name: string;
+    size?: number;
+    /** 本地文件对象（发送时转 base64 供多模态识别） */
+    file?: File;
+    /** 本地预览用 object URL（仅上传后、发送前有效） */
+    previewUrl?: string;
+}
+interface UiImage {
+    base64: string;
+    media_type: string;
+}
+interface UiQuestionOption {
+    label: string;
+    description?: string;
+}
+/** AskUserQuestion 卡片的问题 */
+interface UiQuestion {
+    header?: string;
+    question: string;
+    multiSelect?: boolean;
+    options: UiQuestionOption[];
+}
+interface UiTool {
+    name: string;
+    input?: string;
+    /** 从 SDK 完整工具入参提取的运行内容；独立于截断的 JSON 入参。 */
+    activity?: string;
+    /** 文件编辑工具（Edit/Write/MultiEdit）的增删行统计：步骤卡片显示「已编辑文件 <path> +N -M」 */
+    edit?: {
+        file: string;
+        addedLines: number;
+        removedLines: number;
+    };
+    /** 工具执行状态（豆包 Work 式就地更新）：running=执行中 / completed=成功 / failed=失败 */
+    status?: "running" | "completed" | "failed";
+    /** 关联 tool_use_id（SSE tool 事件与 tool_result 事件配对用） */
+    toolUseId?: string;
+    /** 工具结果极简摘要（超长内容不展示原文，仅失败时展示错误信息） */
+    result?: string;
+    /** 结果是否因超长被截断（仅作提示，不展示全文） */
+    resultTruncated?: boolean;
+}
+/** 一条思考步骤（thinking/text/tool/ask 与用时） */
+interface UiStep {
+    thinking?: string;
+    text?: string;
+    tool?: UiTool | null;
+    ask?: UiQuestion[] | null;
+    answered?: string | null;
+    secs?: number | null;
+    /** control_browser 过程展示（headless 无头浏览器，截图/动作实时进 thinking） */
+    browser?: BrowserStepData | null;
+}
+/** control_browser 过程数据：浏览器会话 id + 截图（base64）+ 动作日志 + 状态。
+ *  ask 人工接管时前端凭 id POST /api/chat/browser-answer 回传答案。 */
+interface BrowserStepData {
+    id: string;
+    /** base64 截图仅用于右侧边栏实时预览（不再渲染进消息列表） */
+    screenshots: string[];
+    actions: Array<{
+        step: number;
+        action: string;
+        params?: Record<string, unknown>;
+    }>;
+    thinking?: string;
+    ask?: {
+        step: number;
+        question: string;
+    } | null;
+    status?: string;
+    finalSummary?: string;
+}
+/** 本轮模型信息（是否走了 fallback 积分模型） */
+interface ModelInfo {
+    usedFallback?: boolean;
+    fallbackModel?: string;
+    models?: string[];
+}
+/** 对话消息（流式内存态 / 历史恢复态共用） */
+interface UiMessage {
+    /** 数据库消息 id（历史恢复的消息有，流式新建无） */
+    id?: number;
+    role: "user" | "assistant";
+    content: string;
+    /** 遗留字段（消息级思考文本已拆到 steps），保留以兼容初始化对象 */
+    thinking?: string;
+    createdAt?: string | null;
+    attachment?: UiAttachment;
+    images?: UiImage[];
+    steps?: UiStep[];
+    thinkingSecs?: number | null;
+    /** 共用时：用户发送该消息开始计时，到全部答复完成 / 用户点击停止为止（秒） */
+    elapsedSecs?: number | null;
+    modelInfo?: ModelInfo | null;
+    /** 本轮消耗信息（result 消息：token usage 与美元成本；积分字段 SDK 未返回） */
+    costInfo?: {
+        costUsd?: number | null;
+        usage?: Record<string, number> | null;
+    } | null;
+    /** 本轮产物变更（服务端 artifact 事件：added/modified/deleted + 新旧内容） */
+    artifacts?: ArtifactChange[];
+}
+/** 待发消息队列项 */
+interface QueueItem {
+    id: string;
+    text: string;
+    attachment: {
+        url: string;
+        name: string;
+        size?: number;
+    } | null;
+    createdAt: string;
+}
+/** 每个会话独立的运行时状态（切走不杀旧流，旧会话在后台继续 SSE） */
+interface RtState {
+    messages: UiMessage[];
+    busy: boolean;
+    queue: QueueItem[];
+    abort: AbortController | null;
+    stuckTimer: ReturnType<typeof setInterval> | null;
+    thinkingTimer: ReturnType<typeof setInterval> | null;
+    thinkingStart: number | null;
+    stepStarts: Map<number, number>;
+    pendingAnswer: QueueItem | null;
+    stuckHint: boolean;
+    errorMsg: string | null;
+    openThinking: Set<string>;
+    lastDataTs: number;
+    sessionStarted: boolean;
+    sessionRegistered: boolean;
+    /** SDK transcript 用的 sessionId：正常 = sid；编辑重发时换新 UUID */
+    sdkSid: string;
+    /** 共用时计时起点：本条用户消息发送时刻（毫秒时间戳）；流结束/停止时算出 elapsedSecs */
+    elapsedStart?: number | null;
+}
+/** 侧边栏会话项 */
+interface SessionItem {
+    id: string;
+    title: string;
+    updatedAt?: string | null;
+    createdAt?: string | null;
+    /** 本会话工作目录（沙箱范围，本地 app 选择后由服务端返回） */
+    workspaceDir?: string | null;
+}
+declare const DEFAULT_SCENES: {
+    key: string;
+    label: string;
+    suggestions: string[];
+}[];
+declare function ChatWindow({ initialUser, basePath: basePathProp, scenes, onLogout, chatEndpoint, uploadEndpoint, voiceEnabled, uploadEnabled, title, logoSrc, sidebarLogo, models: modelsProp, renderSessionFooter, }: ChatWindowProps): react.JSX.Element;
+
+interface MarkdownProps {
+    content?: string | null;
+    className?: string;
+    /** 对话内搜索：非空时把正文文本节点中匹配该词（大小写不敏感）的片段包成 <mark> 高亮（代码块/行内代码不处理） */
+    highlight?: string;
+    /** 流式输出中：开启「正在输出」视觉（块级渐入淡入 + 末尾闪烁光标）；流结束自动移除 */
+    streaming?: boolean;
+}
+declare const Markdown: react__default.NamedExoticComponent<MarkdownProps>;
+
+/** Answer actions. Feedback remains local until an upstream reporting API is available. */
+declare function FeedbackButtons({ sessionId, answer, branchAction, onRegenerate, canRegenerate }: {
+    sessionId?: string;
+    answer?: string;
+    branchAction?: ReactNode;
+    onRegenerate?: () => void;
+    canRegenerate?: boolean;
+}): react.JSX.Element;
+
+type SliderMsgLike = {
+    role: string;
+    content: string;
+};
+declare function MessageSlider({ bodyRef, messages, loading, onJump, }: {
+    /** 挂在 .chat-body 滚动容器上的 ref（与 useChatScroll 共享同一个） */
+    bodyRef: React.RefObject<HTMLDivElement | null>;
+    messages: readonly SliderMsgLike[];
+    loading: boolean;
+    /** 点击横线后的跳转回调（宿主传 scrollToMsg 即可） */
+    onJump: (msgIndex: number) => void;
+}): react.JSX.Element;
+
+interface AuthState {
+    loading: boolean;
+    user: {
+        name: string;
+        avatar?: string;
+        unionId?: string;
+        provider?: string;
+        sub?: string;
+    } | null;
+}
+declare function useAgentAuth(basePath: string): AuthState;
+
+interface LoginProviderOption {
+    /** 登录方式标识：dingtalk | feishu | builtin（builtin 自建登录待实现，类型先留口子） */
+    id: "dingtalk" | "feishu" | "builtin";
+    /** 按钮文案，如"飞书登录" */
+    name: string;
+}
+interface LoginPageProps {
+    /** API 根路径（= cookiePath，如 /agent；登录端点都基于它） */
+    basePath: string;
+    /** 页面标题（默认 "AI 助手"） */
+    title?: string;
+    /** 副标题（默认 "选择登录方式"） */
+    tagline?: string;
+    /** 登录页 Logo URL（可选） */
+    logoUrl?: string;
+    /** 登录失败错误码：config/state/network/organization（内置文案映射）或任意文案 */
+    error?: string;
+    /** 登录成功后的回跳路径（仅接受以 basePath 开头的路径，防开放重定向） */
+    next?: string;
+    /** 可用的真实登录方式列表（getLoginOptions().providers） */
+    providers?: LoginProviderOption[];
+    /**
+     * 宿主服务端检测的客户端环境（adaptive 场景）：
+     *   - "dingtalk"：已在钉钉 App 内 → 不渲染选择器，只显示免登状态与钉钉回退按钮（先检测后登录）
+     *   - "none" / 缺省：普通浏览器（既不在飞书也不在钉钉）→ 渲染登录方式选择器
+     *   - "feishu"：飞书 App 内由宿主直接 302 OAuth，不会走到本组件渲染
+     */
+    detected?: "dingtalk" | "feishu" | "none";
+    /** 额外内容（如钉钉免登组件），插在登录按钮列表下方 */
+    children?: ReactNode;
+}
+declare function LoginPage({ basePath, title, tagline, logoUrl, error, next, providers, detected, children, }: LoginPageProps): react.JSX.Element;
+
+interface DingTalkAutoLoginProps {
+    /** API 根路径（决定 sso 端点与回跳路径） */
+    basePath: string;
+    /** 钉钉微应用 ClientId（AppKey） */
+    clientId: string;
+    /** 钉钉企业 CorpId */
+    corpId: string;
+}
+declare function DingTalkAutoLogin({ basePath, clientId, corpId }: DingTalkAutoLoginProps): react.JSX.Element | null;
+
+interface AgentAppProps extends ChatWindowProps {
+    /** 加载占位的自定义内容 */
+    loadingFallback?: React.ReactNode;
+}
+declare function AgentApp({ loadingFallback, ...chat }: AgentAppProps): string | number | bigint | boolean | Iterable<react.ReactNode> | Promise<string | number | bigint | boolean | react.ReactPortal | react.ReactElement<unknown, string | react.JSXElementConstructor<any>> | Iterable<react.ReactNode> | null | undefined> | react.JSX.Element | null;
+
+interface AdminUsageProps {
+    basePath?: string;
+    /** 返回回调（默认 location.href 回 basePath） */
+    onBack?: () => void;
+}
+declare function AdminUsage({ basePath, onBack }: AdminUsageProps): react.JSX.Element;
+
+export { AdminUsage, type AdminUsageProps, AgentApp, type AgentAppProps, ChatWindow as AgentChat, type ArtifactMeta, type ArtifactType, type AuthState, type ChatUser, ChatWindow, type ChatWindowProps, DEFAULT_SCENES, DingTalkAutoLogin, FeedbackButtons, LoginPage, type LoginPageProps, type LoginProviderOption, Markdown, type MarkdownProps, MessageSlider, type ModelInfo, ModelSelect, type QueueItem, type RtState, type Scene, type SessionItem, type UiAttachment, type UiImage, type UiMessage, type UiQuestion, type UiQuestionOption, type UiStep, type UiTool, useAgentAuth };