smart_prompt 0.4.4 → 0.5.1

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: a1b5288acfef3c366b16a0e08dc0b4f43a7f8613f73879f92420a3cf60ce9332
-  data.tar.gz: c2fd82bf35e96c6784492dfe2dd9ee30dbf02e56b5cce41ee8d9895f4b050b13
+  metadata.gz: 73eed476ea088ca5d249ae100e774c4bbe4235242773c49b478ac60304f2250e
+  data.tar.gz: 7e28652297f66ab0829ea9f24927bfa0d8f8618915dc4e2d969f7733c29ca8bc
 SHA512:
-  metadata.gz: ccd75b4af683bb4585ca46a24d60833fac4344e214f5fef6730e9b55e86e80a35951d39e6cbff8ad1f364623e62aade8bce065ade1cd8c6ddea7e1b1faea2126
-  data.tar.gz: 68cba98948160fc872d2b5661661fe16ae76f5b43025fa96ea0c546563e01be5a0930d76fd13ec327017e07b23c7b739953794a3b385185c448888862374190c
+  metadata.gz: cfed4b173e3382fd59c8be7dd7712dd3e2da56948cf605e1e402e0c998bd20e6f0867915c9d8f749e6f794a63d796a013ea4c5aabad0177df17b2649e931c181
+  data.tar.gz: 21a684256011301008700ce3b66bf2220778ced62d1ecb4195fc610d492123a14717420f671af3499662f4df4fb9004948a7aeb5b9788756e715be2fdc9c344a

data/CHANGELOG.md

@@ -5,6 +5,22 @@ All notable changes to this project will be documented in this file.
 The format is based on [Keep a Changelog](https://keepachangelog.com/en/1.0.0/),
 and this project adheres to [Semantic Versioning](https://semver.org/spec/v2.0.0.html).
 
+## [0.5.1] - 2026-06-21
+### Added
+- **SenseNova (商汤日日新) support** — unified `SenseNovaAdapter` covering chat (商量), multimodal vision, Cupido embeddings, and 秒画 text-to-image, with SSE streaming and reasoning-field handling
+- **智谱 AI (BigModel / GLM) support** — unified `ZhipuAIAdapter` covering all REST categories: chat (GLM-4), vision (GLM-4V), embeddings (embedding-3), text-to-image (CogView), text-to-video (CogVideoX async), TTS (GLM-TTS), ASR (GLM-ASR), and rerank
+- Media adapters: multimodal, image generation, video generation, TTS, STT
+- Intelligent conversation history management (sliding-window, relevance-based, summary-based, hybrid strategies) with session isolation, compression, persistence, and LRU caching
+- Token counter, message/session models, and persistence layer
+- Example configs, workers, and self-contained examples for every provider
+- Integrated upstream gemma4 multimodal support (`use_model`, `thinking`, `image`/`audio`/`video`, `multimodal_prompt`) and `request_options` plumbing
+
+### Fixed
+- Expose `engine` on `WorkerContext` so workers can reach a configured adapter directly (fixes the `engine.llms[...]` pattern used by media workers)
+- `Worker#execute` default session_id was hard-coded to `"default"`, leaving the per-worker session branch as dead code and collapsing all history-using workers onto one shared session; now generates `worker_<name>_<ts>`
+- `AnthropicAdapter`: add `extract_content_from_response` and stop double-wrapping multimodal (array) content
+- file_upload multimodal fix: base64-encode local image/audio/video files instead of passing raw paths
+
 ## [0.4.1] - 2026-04-22
 ### Fixed
 - Re-release package with `lib/smart_prompt/anthropic_adapter.rb`, which is required by the gem entrypoint.

data/README.cn.md

@@ -11,13 +11,24 @@ SmartPrompt 是一个强大的 Ruby gem，提供了优雅的领域特定语言
 
 ### 多 LLM 支持
 - **OpenAI API 兼容**: 完全支持 OpenAI GPT 模型和兼容的 API
-- **Llama.cpp 集成**: 直接集成本地 Llama.cpp 服务器  
+- **Anthropic Claude**: 原生支持 Claude 模型及多模态能力
+- **商汤 SenseNova（日日新）**: 单一适配器覆盖商量文本对话、图文多模态、Cupido 向量、秒画文生图四类 API，详见 `examples/sensenova_example.rb`
+- **智谱 AI（BigModel / GLM）**: 单一适配器覆盖全部模型类别——文本对话（GLM-4）、图文多模态（GLM-4V）、向量（embedding-3）、文生图（CogView）、文生视频（CogVideoX）、语音合成（GLM-TTS）、语音识别（GLM-ASR），详见 `examples/zhipu_example.rb`
+- **Llama.cpp 集成**: 直接集成本地 Llama.cpp 服务器
 - **可扩展适配器**: 易于扩展的适配器系统，支持新的 LLM 提供商
 - **统一接口**: 无论底层 LLM 提供商如何，都使用相同的 API
 
+### 多模态 AI 能力
+- **视觉模型**: 支持图像理解和分析
+- **图像生成**: 使用扩散模型从文本提示生成图像
+- **视频生成**: 从文本或图像提示生成视频
+- **文本转语音**: 将文本转换为自然语音
+- **语音转文本**: 支持多语言的音频转文本转录
+
 ### 灵活架构
 - **基于 Worker 的任务**: 为特定 AI 任务定义可重用的 Worker
 - **模板系统**: 基于 ERB 的提示词模板，支持参数注入
+- **智能历史管理**: 会话隔离、自动压缩和多种上下文策略
 - **对话管理**: 内置对话历史和上下文管理
 - **流式支持**: 实时响应流，提供更好的用户体验
 
@@ -26,6 +37,8 @@ SmartPrompt 是一个强大的 Ruby gem，提供了优雅的领域特定语言
 - **重试逻辑**: 强大的错误处理机制，支持可配置的重试
 - **嵌入向量**: 文本嵌入生成，用于语义搜索和 RAG 应用
 - **配置驱动**: 基于 YAML 的配置，便于部署管理
+- **批量处理**: 高效处理多个文件和任务
+- **语言检测**: 从文本和音频自动识别语言
 
 ### 生产就绪
 - **全面日志记录**: 详细的日志记录，用于调试和监控
@@ -61,6 +74,7 @@ $ gem install smart_prompt
 # 适配器定义
 adapters:
   openai: OpenAIAdapter
+  anthropic: AnthropicAdapter
 # LLM 配置
 llms:
   SiliconFlow:
@@ -68,7 +82,13 @@ llms:
     url: https://api.siliconflow.cn/v1/
     api_key: ENV["APIKey"]
     default_model: Qwen/Qwen2.5-7B-Instruct
-  local:
+  claude:
+    adapter: anthropic
+    api_key: ENV["ANTHROPIC_API_KEY"]
+    model: claude-3-5-sonnet-20241022
+    temperature: 0.7
+    max_tokens: 4096
+  llamacpp:
     adapter: openai
     url: http://localhost:8080/    
   ollama:
@@ -238,7 +258,10 @@ end
 
 ### 对话历史
 
+SmartPrompt 提供智能对话历史管理，支持会话隔离、自动压缩和多种上下文策略。
+
 ```ruby
+# 基本用法，自动管理历史
 SmartPrompt.define_worker :conversational_chat do
   use "deepseek"
   model "deepseek-chat"
@@ -246,8 +269,38 @@ SmartPrompt.define_worker :conversational_chat do
   prompt(params[:message], with_history: true)
   send_msg
 end
+
+# 高级用法，显式会话管理
+SmartPrompt.define_worker :session_chat do
+  use "deepseek"
+  model "deepseek-chat"
+
+  # 使用 session_id 进行隔离的对话
+  session_id = params[:session_id] || "default"
+
+  # 配置会话行为
+  session_config = {
+    max_messages: 100,
+    max_tokens: 4000,
+    context_strategy: :sliding_window  # 或 :relevance_based, :summary_based, :hybrid
+  }
+
+  sys_msg("你是一个有用的助手。", params)
+  prompt(params[:message], with_history: true)
+  params.merge(session_id: session_id, session_config: session_config)
+  send_msg
+end
 ```
 
+**历史管理功能：**
+- **会话隔离**: 每个对话都有独立的历史记录
+- **上下文策略**: 可选择滑动窗口、基于相关性、基于摘要或混合策略
+- **自动压缩**: 在保留上下文的同时减少 token 使用量
+- **持久化**: 跨重启保存和恢复对话
+- **性能优化**: LRU 缓存和异步 I/O 以获得最佳性能
+
+详见 [历史管理指南](HISTORY_MANAGEMENT_GUIDE.md)。
+
 ### 嵌入向量生成
 
 ```ruby
@@ -263,6 +316,75 @@ embeddings = engine.call_worker(:text_embedder, {
   text: "将此文本转换为嵌入向量",
   dimensions: 1024
 })
+
+### 多模态 AI 示例
+
+#### 图像生成
+```ruby
+# 从文本提示生成图像
+result = engine.call_worker(:image_generator, {
+  prompt: "山间美丽的日落",
+  size: "1024x1024",
+  quality: "standard",
+  save_to_file: true,
+  output_dir: "./generated_images"
+})
+
+puts "图像已生成: #{result[:image_file][:file_path]}"
+```
+
+#### 视频生成
+```ruby
+# 从文本提示生成视频
+result = engine.call_worker(:video_generator, {
+  prompt: "一只猫在玩毛线球",
+  duration: 5,
+  resolution: "720p",
+  save_to_file: true,
+  output_dir: "./generated_videos"
+})
+
+puts "视频生成已开始: #{result[:video_id]}"
+puts "检查状态: engine.call_worker(:video_status, {video_id: '#{result[:video_id]}'})"
+```
+
+#### 文本转语音
+```ruby
+# 将文本转换为语音
+result = engine.call_worker(:tts_synthesizer, {
+  text: "欢迎使用 SmartPrompt，您的 AI 助手",
+  voice: "alloy",
+  speed: 1.0,
+  save_to_file: true,
+  output_dir: "./generated_audio"
+})
+
+puts "音频文件已创建: #{result[:audio_file][:file_path]}"
+```
+
+#### 语音转文本
+```ruby
+# 将音频转录为文本
+result = engine.call_worker(:stt_transcriber, {
+  audio_file: "./audio.wav",
+  language: "zh",
+  response_format: "json"
+})
+
+puts "转录文本: #{result[:transcription][:text]}"
+puts "语言: #{result[:transcription][:language]}"
+```
+
+#### 视觉分析
+```ruby
+# 使用视觉模型分析图像
+result = engine.call_worker(:vision_analyzer, {
+  image_file: "./image.jpg",
+  prompt: "描述你在这张图片中看到了什么"
+})
+
+puts "分析结果: #{result[:response]}"
+```
 ```
 
 ## 🏗️ 架构概述
@@ -282,6 +404,13 @@ SmartPrompt 采用模块化架构：
                    │Worker │ │对话 │ │ 模板   │
                    │       │ │管理 │ │ 系统   │
                    └───────┘ └─────┘ └────────┘
+                                │
+                       ┌────────┴────────┐
+                       │                 │
+                   ┌───▼────────┐  ┌─────▼──────┐
+                   │  历史管理  │  │  持久化层  │
+                   │    器      │  │            │
+                   └────────────┘  └────────────┘
 ```
 
 ### 核心组件
@@ -289,8 +418,10 @@ SmartPrompt 采用模块化架构：
 - **引擎（Engine）**: 中央编排器，管理配置、适配器和 Worker
 - **Worker**: 包含嵌入业务逻辑的可重用任务定义
 - **对话（Conversation）**: 上下文和消息历史管理
-- **适配器（Adapters）**: LLM 提供商集成（OpenAI、Llama.cpp 等）
+- **历史管理器**: 智能对话历史，支持会话隔离和上下文策略
+- **适配器（Adapters）**: LLM 提供商集成（OpenAI、Anthropic、Llama.cpp 等）
 - **模板（Templates）**: 基于 ERB 的提示词模板系统
+- **持久化层（Persistence Layer）**: 跨重启保存和恢复对话历史
 
 ## 🔧 配置参考
 
@@ -298,20 +429,176 @@ SmartPrompt 采用模块化架构：
 
 ```yaml
 adapters:
-  openai: "OpenAIAdapter"      # 用于 OpenAI API
+  openai: "OpenAIAdapter"              # 用于 OpenAI API
+  anthropic: "AnthropicAdapter"        # 用于 Anthropic Claude API
+  sensenova: "SenseNovaAdapter"        # 用于商汤 SenseNova（对话/视觉/向量/文生图）
+  zhipu: "ZhipuAIAdapter"              # 用于智谱 BigModel/GLM（对话/视觉/向量/图/视频/语音）
+  multimodal: "MultimodalAdapter"      # 用于视觉模型
+  image_generation: "ImageGenerationAdapter"    # 用于图像生成
+  video_generation: "VideoGenerationAdapter"    # 用于视频生成
+  tts: "TTSAdapter"                    # 用于文本转语音
+  stt: "STTAdapter"                    # 用于语音转文本
 ```
 
 ### LLM 配置
 
 ```yaml
 llms:
-  model_name:
-    adapter: "adapter_name"
-    api_key: "your_api_key"     # 可以使用 ENV['KEY_NAME']
-    url: "https://api.url"
-    model: "model_identifier"
+  # 文本模型
+  gpt:
+    adapter: "openai"
+    api_key: ENV["OPENAI_API_KEY"]
+    model: "gpt-4"
+    temperature: 0.7
+
+  # Anthropic Claude 模型
+  claude:
+    adapter: "anthropic"
+    api_key: ENV["ANTHROPIC_API_KEY"]
+    model: "claude-3-5-sonnet-20241022"
+    temperature: 0.7
+    max_tokens: 4096
+
+  claude_opus:
+    adapter: "anthropic"
+    api_key: ENV["ANTHROPIC_API_KEY"]
+    model: "claude-3-opus-20240229"
+    temperature: 0.7
+    max_tokens: 4096
+
+  claude_haiku:
+    adapter: "anthropic"
+    api_key: ENV["ANTHROPIC_API_KEY"]
+    model: "claude-3-5-haiku-20241022"
+    temperature: 0.7
+    max_tokens: 4096
+
+  # 自定义 Anthropic 端点（用于代理或自定义部署）
+  claude_custom:
+    adapter: "anthropic"
+    api_key: ENV["ANTHROPIC_API_KEY"]
+    url: "https://your-custom-endpoint.com"
+    model: "claude-3-5-sonnet-20241022"
+    temperature: 0.7
+    max_tokens: 4096
+
+  # 商汤 SenseNova —— 单一适配器覆盖四类模型，只需切换 model。
+  # 免费模型走 token.sensenova.cn/v1；付费模型（SenseChat-5、SenseNova-V6-*、Cupido）
+  # 走 api.sensenova.cn/compatible-mode/v2（key 无权限时返回 403）。
+  sensechat:                          # 商量 文本对话（免费档）
+    adapter: "sensenova"
+    url: "https://token.sensenova.cn/v1"
+    api_key: ENV["SENSENOVA_API_KEY"]
+    model: "sensenova-6.7-flash-lite"
+    temperature: 0.7
+    # 可选 SenseNova 采样参数（会透传到 /chat/completions）：
+    # reasoning_effort: "medium"
+    # max_completion_tokens: 4096
+    # 付费：url https://api.sensenova.cn/compatible-mode/v2，model SenseChat-5
+
+  sensevision:                        # 商量 图文多模态（flash-lite 原生多模态）
+    adapter: "sensenova"
+    url: "https://token.sensenova.cn/v1"
+    api_key: ENV["SENSENOVA_API_KEY"]
+    model: "sensenova-6.7-flash-lite"
+    # 付费：url https://api.sensenova.cn/compatible-mode/v2，model SenseNova-V6-Pro
+
+  senseembedding:                     # Cupido 向量模型（付费；原生端点）
+    adapter: "sensenova"
+    url: "https://api.sensenova.cn/compatible-mode/v2"
+    embeddings_url: "https://api.sensenova.cn/v1/llm/embeddings"
+    api_key: ENV["SENSENOVA_API_KEY"]
+    model: "Cupido"
+
+  senseimage:                         # 秒画 文生图（sensenova-u1-fast，token.sensenova.cn base）
+    adapter: "sensenova"
+    url: "https://token.sensenova.cn/v1"
+    image_url: "https://token.sensenova.cn/v1/images/generations"
+    api_key: ENV["SENSENOVA_API_KEY"]
+    model: "sensenova-u1-fast"
+    # sensenova-u1-fast 只接受特定尺寸（默认 2048x2048），见 sensenova_adapter.rb 的 VALID_IMAGE_SIZES
+
+  # 智谱 AI（BigModel/GLM）—— 单一适配器覆盖全部类别，只需切换 model。
+  # base https://open.bigmodel.cn/api/paas/v4 ，Bearer 鉴权。默认用免费模型。
+  glm:                                # 文本对话（免费 glm-4-flash；付费 glm-4-plus/glm-5.2）
+    adapter: "zhipu"
+    url: "https://open.bigmodel.cn/api/paas/v4"
+    api_key: ENV["ZHIPUAI_API_KEY"]
+    model: "glm-4-flash"
     temperature: 0.7
-    # 其他提供商特定选项
+    # CodeGeeX-4：设 `coding: true` 并 model: codegeex-4（走 coding base）
+
+  glm_vision:                         # 图文多模态（免费 glm-4v-flash；付费 glm-4v-plus）
+    adapter: "zhipu"
+    url: "https://open.bigmodel.cn/api/paas/v4"
+    api_key: ENV["ZHIPUAI_API_KEY"]
+    model: "glm-4v-flash"
+
+  embedding:                          # 向量模型（embedding-3；可自定义维度 256/512/1024/2048）
+    adapter: "zhipu"
+    url: "https://open.bigmodel.cn/api/paas/v4"
+    api_key: ENV["ZHIPUAI_API_KEY"]
+    model: "embedding-3"
+    dimensions: 1024
+
+  cogview:                            # 文生图（免费 cogview-3-flash；付费 cogview-4/glm-image）
+    adapter: "zhipu"
+    url: "https://open.bigmodel.cn/api/paas/v4"
+    api_key: ENV["ZHIPUAI_API_KEY"]
+    model: "cogview-3-flash"
+
+  cogvideo:                           # 文生视频（异步 提交->轮询->下载；免费 cogvideox-flash）
+    adapter: "zhipu"
+    url: "https://open.bigmodel.cn/api/paas/v4"
+    api_key: ENV["ZHIPUAI_API_KEY"]
+    model: "cogvideox-flash"
+
+  glm_tts:                            # 语音合成（GLM-TTS）
+    adapter: "zhipu"
+    url: "https://open.bigmodel.cn/api/paas/v4"
+    api_key: ENV["ZHIPUAI_API_KEY"]
+    model: "glm-tts"
+
+  glm_asr:                            # 语音识别（GLM-ASR-2512）
+    adapter: "zhipu"
+    url: "https://open.bigmodel.cn/api/paas/v4"
+    api_key: ENV["ZHIPUAI_API_KEY"]
+    model: "glm-asr-2512"
+
+  # 视觉模型
+  vision:
+    adapter: "multimodal"
+    url: "https://api.siliconflow.cn/v1/"
+    api_key: ENV["SILICONFLOW_API_KEY"]
+    model: "Qwen/Qwen2.5-VL-7B-Instruct"
+
+  # 图像生成
+  image_gen:
+    adapter: "image_generation"
+    url: "https://api.siliconflow.cn/v1/"
+    api_key: ENV["SILICONFLOW_API_KEY"]
+    model: "stabilityai/stable-diffusion-xl-base-1.0"
+
+  # 视频生成
+  video_gen:
+    adapter: "video_generation"
+    url: "https://api.siliconflow.cn/v1/"
+    api_key: ENV["SILICONFLOW_API_KEY"]
+    model: "Wan-AI/Wan2.2-T2V-A14B"
+
+  # 文本转语音
+  tts_service:
+    adapter: "tts"
+    url: "https://api.siliconflow.cn/v1/"
+    api_key: ENV["SILICONFLOW_API_KEY"]
+    model: "FunAudioLLM/CosyVoice2-0.5B"
+
+  # 语音转文本
+  stt_service:
+    adapter: "stt"
+    url: "https://api.siliconflow.cn/v1/"
+    api_key: ENV["SILICONFLOW_API_KEY"]
+    model: "FunAudioLLM/CosyVoice2-0.5B"
 ```
 
 ### 模型别名配置
@@ -398,20 +685,27 @@ end
 ## 🚀 实际应用场景
 
 - **聊天机器人和对话式 AI**: 构建具有上下文感知能力的复杂聊天机器人
-- **内容生成**: 基于模板驱动的提示词进行自动化内容创建  
+- **内容生成**: 基于模板驱动的提示词进行自动化内容创建
 - **代码分析**: AI 驱动的代码审查和文档生成
 - **客户支持**: 智能工单路由和响应建议
 - **数据处理**: LLM 驱动的数据提取和转换
 - **教育工具**: AI 导师和学习辅助系统
+- **多媒体内容创作**: 生成图像、视频和音频内容
+- **语音界面**: 使用 TTS 和 STT 构建语音应用
+- **视觉分析**: 图像理解和目标检测应用
+- **无障碍工具**: 为视障人士提供音频描述、文本转语音
 
 ## 🛣️ 发展路线图
 
+- [x] **多模态 AI 支持** - 视觉、图像生成、视频生成、TTS、STT
 - [ ] 新增 LLM 提供商适配器（Anthropic Claude、Google PaLM）
 - [ ] 可视化提示词构建器和管理界面
 - [ ] 增强缓存和性能优化
 - [ ] 与向量数据库集成，支持 RAG 应用
 - [ ] 内置提示词评估和测试框架
 - [ ] 分布式 worker 执行支持
+- [ ] 实时音视频流支持
+- [ ] 高级多模态提示链
 
 ## 🤝 贡献