@opentiny/next-sdk 0.2.2 → 0.2.4

package/agent/AgentModelProvider.ts

@@ -1,8 +1,5 @@
 import { streamText, stepCountIs, generateText, StreamTextResult } from 'ai'
-import {
-  experimental_MCPClientConfig as MCPClientConfig,
-  experimental_createMCPClient as createMCPClient
-} from '@ai-sdk/mcp'
+import { MCPClientConfig, createMCPClient } from '@ai-sdk/mcp'
 import type { ToolSet } from 'ai'
 import { StreamableHTTPClientTransport } from '@modelcontextprotocol/sdk/client/streamableHttp.js'
 import { InMemoryTransport } from '@modelcontextprotocol/sdk/inMemory.js'
@@ -10,7 +7,7 @@ import type { IAgentModelProviderOption, McpServerConfig } from './type'
 import { ProviderV2 } from '@ai-sdk/provider'
 import { OpenAIProvider } from '@ai-sdk/openai'
 import { createOpenAI } from '@ai-sdk/openai'
-import { createDeepSeek } from '@ai-sdk/deepseek'
+import { createDeepSeek, DeepSeekProvider } from '@ai-sdk/deepseek'
 import { ExtensionClientTransport } from '../transport/ExtensionClientTransport'
 import { MessageChannelTransport } from '@opentiny/next'
 import { WebMcpClient } from '../WebMcpClient'
@@ -30,7 +27,7 @@ type ChatMethodFn = typeof streamText | typeof generateText
  * @returns 暴露了 chat, chatStream方法
  */
 export class AgentModelProvider {
-  llm: ProviderV2 | OpenAIProvider
+  llm: ProviderV2 | OpenAIProvider | DeepSeekProvider
   /**  当前mcpServers对象集合。键为服务器名称，值为 McpServerConfig 或任意的 MCPTransport
    * 参考: https://ai-sdk.dev/docs/ai-sdk-core/tools-and-tool-calling#initializing-an-mcp-client */
   mcpServers: Record<string, McpServerConfig> = {}
@@ -45,7 +42,7 @@ export class AgentModelProvider {
   /** Agent 内部报错时，抛出的错误事件 */
   onError: ((msg: string, err?: any) => void) | undefined
   /** 缓存 ai-sdk response 中的 多轮会话的上下文 */
-  messages: any[] = []
+  responseMessages: any[] = []
   /** 是否使用 ReAct 模式（通过提示词而非 function calling 进行工具调用） */
   useReActMode: boolean = false
 
@@ -61,7 +58,7 @@ export class AgentModelProvider {
       this.llm = llmConfig.llm
     } else if (llmConfig.providerType) {
       const providerType = llmConfig.providerType
-      let providerFn: (options: any) => ProviderV2 | OpenAIProvider
+      let providerFn: (options: any) => ProviderV2 | OpenAIProvider | DeepSeekProvider
 
       if (typeof providerType === 'string') {
         providerFn = AIProviderFactories[providerType]
@@ -360,7 +357,7 @@ export class AgentModelProvider {
     } else if (options.messages) {
       currentMessages = [...options.messages]
     } else {
-      currentMessages = [...this.messages]
+      currentMessages = [...this.responseMessages]
     }
 
     // 确保 model 是字符串类型（ReAct 模式下 model 应该是模型名称字符串）
@@ -434,7 +431,7 @@ export class AgentModelProvider {
   }
 
   /**
-   * 构建用于模型调用的消息列表（magentic-ui 风格）
+   * 构建用于模型调用的消息列表
    * 策略：保留所有文本消息，仅限制图片数量（类似 magentic-ui 的 maybe_remove_old_screenshots）
    *
    * @param systemMessage 系统提示词
@@ -500,17 +497,16 @@ export class AgentModelProvider {
     const allUserMessages = systemMessage ? messages.slice(1) : messages
 
     let stepCount = 0
-    // 配置：最多保留的图片数量（默认3张，类似 magentic-ui）
+    // 配置：最多保留的图片数量
     const maxImages = (options as any).maxImages ?? 3
 
     while (stepCount < maxSteps) {
       stepCount++
 
-      // 构建用于模型调用的消息列表（magentic-ui 风格：保留所有文本，限制图片）
+      // 构建用于模型调用的消息列表
       const messagesForModel = this._buildMessagesForModel(systemMessage, allUserMessages, maxImages)
 
       // 调用 LLM（ReAct 模式下不传递 tools，因为工具调用通过提示词实现）
-      // 参考 magentic-ui：保留所有文本历史（上下文完整），仅限制图片数量（优化 token）
       const { tools: _, ...restOptions } = options
       const result = await generateText({
         // @ts-ignore ProviderV2 是所有llm的父类，在每一个具体的llm类都有一个选择model的函数用法
@@ -530,7 +526,7 @@ export class AgentModelProvider {
 
       if (!action) {
         // 没有工具调用，返回最终结果
-        this.messages = fullMessageHistory
+        this.responseMessages = fullMessageHistory
         return {
           text: assistantMessage,
           response: { messages: fullMessageHistory }
@@ -554,7 +550,7 @@ export class AgentModelProvider {
     }
 
     // 达到最大步数，返回最后一条消息
-    this.messages = fullMessageHistory
+    this.responseMessages = fullMessageHistory
     const lastMessage = fullMessageHistory[fullMessageHistory.length - 2]?.content || ''
     return {
       text: lastMessage,
@@ -589,14 +585,18 @@ export class AgentModelProvider {
 
         let stepCount = 0
         let accumulatedText = ''
-        // 配置：最多保留的图片数量（默认3张，类似 magentic-ui）
+        // 配置：最多保留的图片数量
         const maxImages = (options as any).maxImages ?? 3
 
+        // 模拟开启流
+        controller.enqueue({ type: 'start' })
+        controller.enqueue({ type: 'start-step' })
+
         try {
           while (stepCount < maxSteps) {
             stepCount++
 
-            // 构建用于模型调用的消息列表（magentic-ui 风格：保留所有文本，限制图片）
+            // 构建用于模型调用的消息列表
             const messagesForModel = self._buildMessagesForModel(systemMessage, allUserMessages, maxImages)
 
             // 移除 tools 选项，ReAct 模式下不传递 tools
@@ -611,7 +611,7 @@ export class AgentModelProvider {
               messages: messagesForModel
             })
 
-            // 收集流式输出
+            // 1、直接问，收集流式输出
             let assistantText = ''
             for await (const part of result.fullStream) {
               if (part.type === 'text-delta') {
@@ -623,8 +623,10 @@ export class AgentModelProvider {
                 })
               } else if (part.type === 'text-start') {
                 controller.enqueue({ type: 'text-start' })
-              } else if (part.type === 'text-end') {
+              } else if (part.type === 'text-end' || part.type === 'finish-step' || part.type === 'finish') {
                 // 暂时不关闭，等待检查是否有工具调用
+              } else if (part.type === 'start' || part.type === 'start-step') {
+                // 后面每一轮的start 也要忽略
               } else {
                 // 转发其他类型的事件
                 controller.enqueue(part)
@@ -637,14 +639,16 @@ export class AgentModelProvider {
             allUserMessages.push(assistantMsg)
             fullMessageHistory.push(assistantMsg)
 
-            // 解析工具调用
+            // 2、解析工具调用
             const action = parseReActAction(accumulatedText, tools)
 
             if (!action) {
               // 没有工具调用，结束流
               controller.enqueue({ type: 'text-end' })
+              controller.enqueue({ type: 'finish-step' })
+              controller.enqueue({ type: 'finish' })
               controller.close()
-              self.messages = fullMessageHistory
+              self.responseMessages = fullMessageHistory
               // 触发 onFinish 回调
               streamCompleteResolver({ messages: fullMessageHistory })
               return
@@ -654,13 +658,15 @@ export class AgentModelProvider {
             if (action.toolName === 'computer' && action.arguments?.action === 'terminate') {
               // 视为对话结束
               controller.enqueue({ type: 'text-end' })
+              controller.enqueue({ type: 'finish-step' })
+              controller.enqueue({ type: 'finish' })
               controller.close()
-              self.messages = fullMessageHistory
+              self.responseMessages = fullMessageHistory
               streamCompleteResolver({ messages: fullMessageHistory })
               return
             }
 
-            // 发送工具调用开始事件（符合 tiny-robot 格式）
+            // 3、是工具调用，发送工具调用开始事件（符合 tiny-robot 格式）
             const toolCallId = `react-${Date.now()}`
             controller.enqueue({
               type: 'tool-input-start',
@@ -675,8 +681,19 @@ export class AgentModelProvider {
               id: toolCallId,
               delta: argsString
             })
+            controller.enqueue({
+              type: 'tool-input-end',
+              id: toolCallId
+            })
+
+            // 4、执行工具调用
+            controller.enqueue({
+              type: 'tool-call',
+              toolCallId: toolCallId,
+              toolName: action.toolName,
+              input: action.arguments
+            })
 
-            // 执行工具调用
             const toolResult = await self._executeReActToolCall(action.toolName, action.arguments, tools)
 
             // 如果结果包含 screenshot，先提取出来，避免 JSON stringify 导致过大
@@ -708,50 +725,58 @@ export class AgentModelProvider {
               } else {
                 observationText = JSON.stringify(resultData)
               }
-            } else {
-              observationText = `工具执行失败 - ${toolResult.error}`
-            }
 
-            // 统一使用 XML 格式的 Observation，如果有截图，添加验证提示
-            let finalObservation = `<tool_response>\n${observationText}\n</tool_response>`
+              // 统一使用 XML 格式的 Observation，如果有截图，添加验证提示
+              let finalObservation = `<tool_response>\n${observationText}\n</tool_response>`
 
-            if (screenshot) {
-              finalObservation += `\n请检查截图以确认操作是否成功。如果成功，请继续下一步；如果失败，请重试。`
-            }
-
-            // 发送工具结果（符合 tiny-robot 格式，给 UI 展示用的，不包含 base64 防止卡顿）
-            controller.enqueue({
-              type: 'tool-result',
-              toolCallId: toolCallId,
-              result: finalObservation
-            })
-
-            // 添加工具结果到消息历史（ReAct 模式下，工具结果作为 user 消息添加）
-            const observationMessage = screenshot
-              ? {
-                  role: 'user',
-                  content: [
-                    { type: 'text', text: finalObservation },
-                    { type: 'image', image: screenshot }
-                  ]
-                }
-              : {
-                  role: 'user',
-                  content: finalObservation
-                }
-
-            // 添加到所有消息和完整历史
-            allUserMessages.push(observationMessage)
-            fullMessageHistory.push(observationMessage)
+              if (screenshot) {
+                finalObservation += `\n请检查截图以确认操作是否成功。如果成功，请继续下一步；如果失败，请重试。`
+              }
 
-            // 重置累积文本，准备下一轮
-            accumulatedText = ''
+              // 发送工具结果（符合 tiny-robot 格式，给 UI 展示用的，不包含 base64 防止卡顿）
+              controller.enqueue({
+                type: 'tool-result',
+                toolCallId: toolCallId,
+                result: finalObservation
+              })
+
+              // 添加工具结果到消息历史（ReAct 模式下，工具结果作为 user 消息添加）
+              const observationMessage = screenshot
+                ? {
+                    role: 'user',
+                    content: [
+                      { type: 'text', text: finalObservation },
+                      { type: 'image', image: screenshot }
+                    ]
+                  }
+                : {
+                    role: 'user',
+                    content: finalObservation
+                  }
+
+              // 添加到所有消息和完整历史
+              allUserMessages.push(observationMessage)
+              fullMessageHistory.push(observationMessage)
+
+              // 重置累积文本，准备下一轮
+              accumulatedText = ''
+            } else {
+              observationText = `工具执行失败 - ${toolResult.error}`
+              controller.enqueue({
+                type: 'tool-error',
+                toolCallId: toolCallId,
+                input: action.arguments,
+                error: { message: observationText }
+              })
+            }
           }
 
           // 达到最大步数
           controller.enqueue({ type: 'text-end' })
+          controller.enqueue({ type: 'finish-step' })
+          controller.enqueue({ type: 'finish' })
           controller.close()
-          self.messages = fullMessageHistory
+          self.responseMessages = fullMessageHistory
           // 触发 onFinish 回调
           streamCompleteResolver({ messages: fullMessageHistory })
         } catch (error: any) {
@@ -793,16 +818,34 @@ export class AgentModelProvider {
       tools: this._tempMergeTools(options.tools) as ToolSet
     }
 
+    // 保存最后一条 user 消息，用于后续缓存
+    let lastUserMessage: any = null
+
     if (options.message && !options.messages) {
-      this.messages.push({ role: 'user', content: options.message })
-      chatOptions.messages = [...this.messages]
+      // 使用 options.message 创建 user 消息
+      lastUserMessage = { role: 'user', content: options.message }
+      this.responseMessages.push(lastUserMessage)
+      chatOptions.messages = [...this.responseMessages]
+    } else if (options.messages && options.messages.length > 0) {
+      // 从 options.messages 中获取最后一条 user 消息
+      const lastMessage = options.messages[options.messages.length - 1]
+      if (lastMessage.role === 'user') {
+        lastUserMessage = lastMessage
+      }
     }
 
     const result = chatMethod(chatOptions)
 
-    // 缓存 ai-sdk的多轮对话的消息
-    ;(result as StreamTextResult<ToolSet, unknown>)?.response?.then((res: any) => {
-      this.messages.push(...res.messages)
+    // 缓存 ai-sdk 的多轮对话的消息
+    ;(result as any)?.response?.then((res: any) => {
+      // 检查 res.messages 的第一条消息是否是 user 消息
+      // 如果不是，且有 lastUserMessage，则先添加 lastUserMessage
+      const firstMessage = res.messages?.[0]
+      if (lastUserMessage && firstMessage?.role !== 'user') {
+        this.responseMessages.push(lastUserMessage)
+      }
+      // 然后添加 AI 返回的消息
+      this.responseMessages.push(...res.messages)
     })
 
     return result

package/agent/type.ts

@@ -1,5 +1,5 @@
 import type { ProviderV2 } from '@ai-sdk/provider'
-import type { experimental_MCPClientConfig as MCPClientConfig } from '@ai-sdk/mcp'
+import type { MCPClientConfig } from '@ai-sdk/mcp'
 
 // 从 MCPClientConfig 中提取 transport 类型
 export type MCPTransport = MCPClientConfig['transport']

package/agent/utils/getAISDKTools.ts

@@ -1,4 +1,4 @@
-import { dynamicTool, jsonSchema, Tool, ToolCallOptions, ToolSet } from 'ai'
+import { dynamicTool, jsonSchema, Tool, ToolExecutionOptions, ToolSet } from 'ai'
 import { WebMcpClient } from '../../WebMcpClient'
 
 /**
@@ -13,7 +13,7 @@ export const getAISDKTools = async (client: WebMcpClient): Promise<ToolSet> => {
     const listToolsResult = await client.listTools()
 
     for (const { name, description, inputSchema } of listToolsResult.tools) {
-      const execute = async (args: any, options: ToolCallOptions): Promise<any> => {
+      const execute = async (args: any, options: ToolExecutionOptions): Promise<any> => {
         return client.callTool({ name, arguments: args }, { signal: options?.abortSignal })
       }
 

package/dist/agent/AgentModelProvider.d.ts

@@ -2,7 +2,7 @@ import { streamText, generateText } from 'ai';
 import { IAgentModelProviderOption, McpServerConfig } from './type';
 import { ProviderV2 } from '@ai-sdk/provider';
 import { OpenAIProvider, createOpenAI } from '@ai-sdk/openai';
-import { createDeepSeek } from '@ai-sdk/deepseek';
+import { createDeepSeek, DeepSeekProvider } from '@ai-sdk/deepseek';
 import { WebMcpClient } from '../WebMcpClient';
 
 export declare const AIProviderFactories: {
@@ -14,7 +14,7 @@ export declare const AIProviderFactories: {
  * @returns 暴露了 chat, chatStream方法
  */
 export declare class AgentModelProvider {
-    llm: ProviderV2 | OpenAIProvider;
+    llm: ProviderV2 | OpenAIProvider | DeepSeekProvider;
     /**  当前mcpServers对象集合。键为服务器名称，值为 McpServerConfig 或任意的 MCPTransport
      * 参考: https://ai-sdk.dev/docs/ai-sdk-core/tools-and-tool-calling#initializing-an-mcp-client */
     mcpServers: Record<string, McpServerConfig>;
@@ -29,7 +29,7 @@ export declare class AgentModelProvider {
     /** Agent 内部报错时，抛出的错误事件 */
     onError: ((msg: string, err?: any) => void) | undefined;
     /** 缓存 ai-sdk response 中的 多轮会话的上下文 */
-    messages: any[];
+    responseMessages: any[];
     /** 是否使用 ReAct 模式（通过提示词而非 function calling 进行工具调用） */
     useReActMode: boolean;
     constructor({ llmConfig, mcpServers }: IAgentModelProviderOption);
@@ -50,7 +50,7 @@ export declare class AgentModelProvider {
     /** 全量更新所有的 mcpServers */
     updateMcpServers(mcpServers?: Record<string, McpServerConfig>): Promise<void>;
     /** 插入一个新的mcpServer，如果已经存在则返回false */
-    insertMcpServer(serverName: string, mcpServer: McpServerConfig): Promise<false | WebMcpClient | import('@ai-sdk/mcp').experimental_MCPClient | null>;
+    insertMcpServer(serverName: string, mcpServer: McpServerConfig): Promise<false | WebMcpClient | import('@ai-sdk/mcp').MCPClient | null>;
     /** 通过服务器名称删除mcpServer： mcpServers mcpClients  mcpTools ignoreToolnames  */
     removeMcpServer(serverName: string): Promise<void>;
     /** 创建临时允许调用的tools集合 */
@@ -74,7 +74,7 @@ export declare class AgentModelProvider {
      */
     private _removeImageFromMessage;
     /**
-     * 构建用于模型调用的消息列表（magentic-ui 风格）
+     * 构建用于模型调用的消息列表
      * 策略：保留所有文本消息，仅限制图片数量（类似 magentic-ui 的 maybe_remove_old_screenshots）
      *
      * @param systemMessage 系统提示词

package/dist/agent/type.d.ts

@@ -1,5 +1,5 @@
 import { ProviderV2 } from '@ai-sdk/provider';
-import { experimental_MCPClientConfig as MCPClientConfig } from '@ai-sdk/mcp';
+import { MCPClientConfig } from '@ai-sdk/mcp';
 
 export type MCPTransport = MCPClientConfig['transport'];
 type ProviderFactory = 'openai' | 'deepseek' | ((options: any) => ProviderV2);

package/dist/index.d.ts

@@ -26,3 +26,4 @@ export { AgentModelProvider } from './agent/AgentModelProvider';
 export { getAISDKTools } from './agent/utils/getAISDKTools';
 export { QrCode, type QrCodeOption } from './remoter/QrCode';
 export type * from './agent/type';
+export { getSkillOverviews, formatSkillsForSystemPrompt, getSkillMdPaths, getSkillMdContent, getMainSkillPaths, getMainSkillPathByName, parseSkillFrontMatter, createSkillTools, type SkillMeta, type SkillToolsSet } from './skills/index';