@our-llm/shared 2.0.2 → 3.0.0

package/package.json

@@ -1,17 +1,8 @@
 {
   "name": "@our-llm/shared",
-  "version": "2.0.2",
+  "version": "3.0.0",
   "type": "module",
   "exports": {
-    "./workflow-events": {
-      "types": "./workflow-events.ts",
-      "import": "./workflow-events.ts",
-      "default": "./workflow-events.ts"
-    },
-    "./workflow.types": {
-      "types": "./workflow.types.ts",
-      "import": "./workflow.types.ts",
-      "default": "./workflow.types.ts"
-    }
+    "./types": "./types.ts"
   }
 }

package/{workflow.types.ts → types.ts}

@@ -1,15 +1,89 @@
-// 数据类型定义
-export interface TextData {
-  type: 'text'
-  value: string
+/**
+ * 工作流 SSE 事件协议
+ * 字段名采用缩写形式以减少流量消耗
+ *
+ * SSE event 字段用于类型判断，data 中不再重复 e 字段
+ *
+ * 字段映射：
+ * - t: threadId (线程ID)
+ * - ti: title (会话标题)
+ * - n: nodeId (节点ID)
+ * - c: content (内容)
+ * - r: reasoning (思维过程标记，1=true)
+ * - v: variables (业务变量)
+ * - m: message (错误消息)
+ */
+
+// 工作流开始事件的 data
+export interface WorkflowStartData {
+  t: string // threadId
+  ti?: string // title (会话标题，默认为工作流名称，新对话会有，追问会话就不会再有了)
+}
+
+// 节点开始事件的 data
+export interface NodeStartData {
+  n: string // nodeId
 }
 
-export interface ImageData {
-  type: 'image'
-  value: { url: string }
+// 节点结束事件的 data
+export interface NodeEndData {
+  n: string // nodeId
+  v?: Record<string, unknown> // variables (业务输出变量)
+  m?: SimpleMessage[] // messages (AI 返回的消息，包含图片/视频)
 }
 
-export type InputData = TextData | ImageData
+export interface LoadingData {
+  n: string // nodeId
+  m: string // loading message
+}
+
+// Token 流式事件的 data
+export interface TokenData {
+  n: string // nodeId
+  c: string // content
+  r?: 1 // isReasoning (只在 true 时存在，值为 1)
+}
+
+// 完成事件的 data（空对象）
+// eslint-disable-next-line @typescript-eslint/no-empty-object-type
+export interface CompleteData {}
+
+// 错误事件的 data
+export interface ErrorData {
+  m: string // message
+}
+
+// 标题更新事件的 data
+export interface TitleData {
+  ti: string // title (LLM 生成的会话标题)
+}
+
+// SSE 事件类型
+export type SSEEventType = 'ws' | 'ns' | 'ne' | 'tk' | 'ok' | 'err' | 'l' | 'tt'
+
+// 事件类型映射（后端使用）
+export const EventTypeMap = {
+  workflow_start: 'ws',
+  node_start: 'ns',
+  node_end: 'ne',
+  token: 'tk',
+  complete: 'ok',
+  error: 'err',
+  loading: 'l',
+  title: 'tt',
+} as const
+
+// 反向映射（前端使用）
+export const EventTypeReverse = {
+  ws: 'workflow_start',
+  ns: 'node_start',
+  ne: 'node_end',
+  tk: 'token',
+  ok: 'complete',
+  err: 'error',
+  l: 'loading',
+  tt: 'title',
+} as const
 
 // 节点类型常量
 export const NodeType = {
@@ -25,6 +99,7 @@ export const NodeType = {
   MESSAGE: 'message',
   BILLING: 'billing',
   LOADING: 'loading',
+  VIDEO_UNDERSTANDING: 'video_understanding',
 } as const
 
 export type NodeType = (typeof NodeType)[keyof typeof NodeType]
@@ -75,6 +150,8 @@ export interface BrainNodeConfig extends NodeConfig {
   humanMessageScript?: string // 可选的用户消息脚本，接收 context 参数（包含 variables 和 messages），返回 string[] 用于构造 HumanMessage[]
   /** 联网搜索配置 */
   webSearch?: WebSearchConfig
+  /** 静默模式：为 true 时不产生 UI 消息，仅将结果存储在 variables 中 */
+  silent?: boolean
 }
 
 // 条件判断节点配置
@@ -130,6 +207,13 @@ export interface LoadingNodeConfig extends NodeConfig {
   message: string // loading 提示语
 }
 
+// 视频理解节点配置
+export interface VideoUnderstandingNodeConfig extends NodeConfig {
+  type: typeof NodeType.VIDEO_UNDERSTANDING
+  systemMessage: string // 系统提示词
+  script: string // JS 脚本，从 context 中获取视频 URL，返回 { videoUrl: string }
+}
+
 // 联合类型：所有节点配置
 export type AnyNodeConfig =
   | StartNodeConfig
@@ -144,6 +228,7 @@ export type AnyNodeConfig =
   | MessageNodeConfig
   | BillingNodeConfig
   | LoadingNodeConfig
+  | VideoUnderstandingNodeConfig
 
 // 工作流边配置
 export interface WorkflowEdge {
@@ -184,12 +269,22 @@ export interface Workflow extends WorkflowConfig {
   updatedAt: string
 }
 
+export interface SimpleMessage {
+  type: 'human' | 'ai' | 'system' | 'tool'
+  parts: WorkflowMessagePart[]
+  id?: string
+}
+
 // 工作流执行输入的消息内容部件类型
 export type WorkflowMessagePart =
-  | { type: 'text'; text: string }
-  | { type: 'image'; url?: string; base64?: string }
-  | { type: 'file' | 'audio' | 'video'; url?: string }
-  | { type: 'document'; base64?: string; url?: string; filename: string; mimeType: string }
+  | {
+      type: 'text'
+      text: string
+    }
+  | { type: 'image'; url: string }
+  | { type: 'video'; url: string }
+  | { type: 'audio'; url: string }
+  | { type: 'document'; url: string; filename: string; mimeType: string }
 
 // 工作流执行输入的消息类型（content 为数组，支持多模态内容）
 export interface WorkflowMessage {

package/workflow-events.ts

@@ -1,101 +0,0 @@
-/**
- * 工作流 SSE 事件协议
- * 字段名采用缩写形式以减少流量消耗
- *
- * SSE event 字段用于类型判断，data 中不再重复 e 字段
- *
- * 字段映射：
- * - t: threadId (线程ID)
- * - ti: title (会话标题)
- * - n: nodeId (节点ID)
- * - c: content (内容)
- * - r: reasoning (思维过程标记，1=true)
- * - v: variables (业务变量)
- * - m: message (错误消息)
- */
-
-// 工作流开始事件的 data
-export interface WorkflowStartData {
-  t: string // threadId
-  ti?: string // title (会话标题，默认为工作流名称，新对话会有，追问会话就不会再有了)
-}
-
-// 节点开始事件的 data
-export interface NodeStartData {
-  n: string // nodeId
-}
-
-// 节点结束事件的 data
-export interface NodeEndData {
-  n: string // nodeId
-  v?: Record<string, unknown> // variables (业务输出变量)
-  m?: SimpleMessage[] // messages (AI 返回的消息，包含图片/视频)
-}
-
-// 简化后的消息格式（与后端 SimpleMessage 保持一致）
-export interface SimpleMessage {
-  type: 'human' | 'ai' | 'system'
-  content:
-    | string
-    | Array<
-        | { type: 'text'; text: string }
-        | { type: 'image_url'; image_url: { url: string } }
-      >
-  id?: string
-  images?: string[]
-  videos?: string[]
-  documents?: Array<{ filename: string; url: string }>
-}
-
-export interface LoadingData {
-  n: string // nodeId
-  m: string // loading message
-}
-
-// Token 流式事件的 data
-export interface TokenData {
-  n: string // nodeId
-  c: string // content
-  r?: 1 // isReasoning (只在 true 时存在，值为 1)
-}
-
-// 完成事件的 data（空对象）
-// eslint-disable-next-line @typescript-eslint/no-empty-object-type
-export interface CompleteData {}
-
-// 错误事件的 data
-export interface ErrorData {
-  m: string // message
-}
-
-// 标题更新事件的 data
-export interface TitleData {
-  ti: string // title (LLM 生成的会话标题)
-}
-
-// SSE 事件类型
-export type SSEEventType = 'ws' | 'ns' | 'ne' | 'tk' | 'ok' | 'err' | 'l' | 'tt'
-
-// 事件类型映射（后端使用）
-export const EventTypeMap = {
-  workflow_start: 'ws',
-  node_start: 'ns',
-  node_end: 'ne',
-  token: 'tk',
-  complete: 'ok',
-  error: 'err',
-  loading: 'l',
-  title: 'tt',
-} as const
-
-// 反向映射（前端使用）
-export const EventTypeReverse = {
-  ws: 'workflow_start',
-  ns: 'node_start',
-  ne: 'node_end',
-  tk: 'token',
-  ok: 'complete',
-  err: 'error',
-  l: 'loading',
-  tt: 'title',
-} as const