@our-llm/shared 2.1.0 → 3.0.1

package/package.json

@@ -1,17 +1,8 @@
 {
   "name": "@our-llm/shared",
-  "version": "2.1.0",
+  "version": "3.0.1",
   "type": "module",
   "exports": {
-    "./workflow-events": {
-      "types": "./workflow-events.ts",
-      "import": "./workflow-events.ts",
-      "default": "./workflow-events.ts"
-    },
-    "./workflow.types": {
-      "types": "./workflow.types.ts",
-      "import": "./workflow.types.ts",
-      "default": "./workflow.types.ts"
-    }
+    "./types": "./types.ts"
   }
 }

package/{workflow.types.ts → types.ts}

@@ -1,15 +1,89 @@
-// 数据类型定义
-export interface TextData {
-  type: 'text'
-  value: string
+/**
+ * 工作流 SSE 事件协议
+ * 字段名采用缩写形式以减少流量消耗
+ *
+ * SSE event 字段用于类型判断，data 中不再重复 e 字段
+ *
+ * 字段映射：
+ * - t: threadId (线程ID)
+ * - ti: title (会话标题)
+ * - n: nodeId (节点ID)
+ * - c: content (内容)
+ * - r: reasoning (思维过程标记，1=true)
+ * - v: variables (业务变量)
+ * - m: message (错误消息)
+ */
+
+// 工作流开始事件的 data
+export interface WorkflowStartData {
+  t: string // threadId
+  ti?: string // title (会话标题，默认为工作流名称，新对话会有，追问会话就不会再有了)
+}
+
+// 节点开始事件的 data
+export interface NodeStartData {
+  n: string // nodeId
+}
+
+// 节点结束事件的 data
+export interface NodeEndData {
+  n: string // nodeId
+  v?: Record<string, unknown> // variables (业务输出变量)
+  m?: SimpleMessage[] // messages (AI 返回的消息，包含图片/视频)
+}
+
+export interface LoadingData {
+  n: string // nodeId
+  m: string // loading message
+}
+
+// Token 流式事件的 data
+export interface TokenData {
+  n: string // nodeId
+  c: string // content
+  r?: 1 // isReasoning (只在 true 时存在，值为 1)
+}
+
+// 完成事件的 data（空对象）
+// eslint-disable-next-line @typescript-eslint/no-empty-object-type
+export interface CompleteData {}
+
+// 错误事件的 data
+export interface ErrorData {
+  m: string // message
 }
 
-export interface ImageData {
-  type: 'image'
-  value: { url: string }
+// 标题更新事件的 data
+export interface TitleData {
+  ti: string // title (LLM 生成的会话标题)
 }
 
-export type InputData = TextData | ImageData
+// SSE 事件类型
+export type SSEEventType = 'ws' | 'ns' | 'ne' | 'tk' | 'ok' | 'err' | 'l' | 'tt'
+
+// 事件类型映射（后端使用）
+export const EventTypeMap = {
+  workflow_start: 'ws',
+  node_start: 'ns',
+  node_end: 'ne',
+  token: 'tk',
+  complete: 'ok',
+  error: 'err',
+  loading: 'l',
+  title: 'tt',
+} as const
+
+// 反向映射（前端使用）
+export const EventTypeReverse = {
+  ws: 'workflow_start',
+  ns: 'node_start',
+  ne: 'node_end',
+  tk: 'token',
+  ok: 'complete',
+  err: 'error',
+  l: 'loading',
+  tt: 'title',
+} as const
 
 // 节点类型常量
 export const NodeType = {
@@ -25,6 +99,8 @@ export const NodeType = {
   MESSAGE: 'message',
   BILLING: 'billing',
   LOADING: 'loading',
+  VIDEO_UNDERSTANDING: 'video_understanding',
+  AUDIO_TRANSCRIPTION: 'audio_transcription',
 } as const
 
 export type NodeType = (typeof NodeType)[keyof typeof NodeType]
@@ -132,6 +208,19 @@ export interface LoadingNodeConfig extends NodeConfig {
   message: string // loading 提示语
 }
 
+// 视频理解节点配置
+export interface VideoUnderstandingNodeConfig extends NodeConfig {
+  type: typeof NodeType.VIDEO_UNDERSTANDING
+  systemMessage: string // 系统提示词
+  script: string // JS 脚本，从 context 中获取视频 URL，返回 { videoUrl: string }
+}
+
+// 音频转文字节点配置
+export interface AudioTranscriptionNodeConfig extends NodeConfig {
+  type: typeof NodeType.AUDIO_TRANSCRIPTION
+  script: string // JS代码片段，接收 context 参数（包含 variables、messages 和 audioTranscription 方法），返回对象用于更新 variables
+}
+
 // 联合类型：所有节点配置
 export type AnyNodeConfig =
   | StartNodeConfig
@@ -146,6 +235,8 @@ export type AnyNodeConfig =
   | MessageNodeConfig
   | BillingNodeConfig
   | LoadingNodeConfig
+  | VideoUnderstandingNodeConfig
+  | AudioTranscriptionNodeConfig
 
 // 工作流边配置
 export interface WorkflowEdge {
@@ -186,15 +277,21 @@ export interface Workflow extends WorkflowConfig {
   updatedAt: string
 }
 
+export interface SimpleMessage {
+  type: 'human' | 'ai' | 'system' | 'tool'
+  parts: WorkflowMessagePart[]
+  id?: string
+}
+
 // 工作流执行输入的消息内容部件类型
 export type WorkflowMessagePart =
   | {
       type: 'text'
       text: string
-      document?: { filename: string; url: string } // 表示这条消息是文档解析消息
     }
   | { type: 'image'; url: string }
-  | { type: 'file' | 'audio' | 'video'; url: string }
+  | { type: 'video'; url: string }
+  | { type: 'audio'; url: string }
   | { type: 'document'; url: string; filename: string; mimeType: string }
 
 // 工作流执行输入的消息类型（content 为数组，支持多模态内容）

package/workflow-events.ts

@@ -1,100 +0,0 @@
-/**
- * 工作流 SSE 事件协议
- * 字段名采用缩写形式以减少流量消耗
- *
- * SSE event 字段用于类型判断，data 中不再重复 e 字段
- *
- * 字段映射：
- * - t: threadId (线程ID)
- * - ti: title (会话标题)
- * - n: nodeId (节点ID)
- * - c: content (内容)
- * - r: reasoning (思维过程标记，1=true)
- * - v: variables (业务变量)
- * - m: message (错误消息)
- */
-
-// 工作流开始事件的 data
-export interface WorkflowStartData {
-  t: string // threadId
-  ti?: string // title (会话标题，默认为工作流名称，新对话会有，追问会话就不会再有了)
-}
-
-// 节点开始事件的 data
-export interface NodeStartData {
-  n: string // nodeId
-}
-
-// 节点结束事件的 data
-export interface NodeEndData {
-  n: string // nodeId
-  v?: Record<string, unknown> // variables (业务输出变量)
-  m?: SimpleMessage[] // messages (AI 返回的消息，包含图片/视频)
-}
-
-// 简化后的消息格式（与后端 SimpleMessage 保持一致）
-// 支持有序的内容部件
-export type SimpleMessagePart =
-  | { type: 'text'; text: string }
-  | { type: 'image'; url: string }
-  | { type: 'video'; url: string }
-  | { type: 'document'; filename: string; url: string }
-
-export interface SimpleMessage {
-  type: 'human' | 'ai' | 'system'
-  parts: SimpleMessagePart[]
-  id?: string
-}
-
-export interface LoadingData {
-  n: string // nodeId
-  m: string // loading message
-}
-
-// Token 流式事件的 data
-export interface TokenData {
-  n: string // nodeId
-  c: string // content
-  r?: 1 // isReasoning (只在 true 时存在，值为 1)
-}
-
-// 完成事件的 data（空对象）
-// eslint-disable-next-line @typescript-eslint/no-empty-object-type
-export interface CompleteData {}
-
-// 错误事件的 data
-export interface ErrorData {
-  m: string // message
-}
-
-// 标题更新事件的 data
-export interface TitleData {
-  ti: string // title (LLM 生成的会话标题)
-}
-
-// SSE 事件类型
-export type SSEEventType = 'ws' | 'ns' | 'ne' | 'tk' | 'ok' | 'err' | 'l' | 'tt'
-
-// 事件类型映射（后端使用）
-export const EventTypeMap = {
-  workflow_start: 'ws',
-  node_start: 'ns',
-  node_end: 'ne',
-  token: 'tk',
-  complete: 'ok',
-  error: 'err',
-  loading: 'l',
-  title: 'tt',
-} as const
-
-// 反向映射（前端使用）
-export const EventTypeReverse = {
-  ws: 'workflow_start',
-  ns: 'node_start',
-  ne: 'node_end',
-  tk: 'token',
-  ok: 'complete',
-  err: 'error',
-  l: 'loading',
-  tt: 'title',
-} as const