@shun-js/aibaiban-server 1.2.7 → 1.2.8

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@shun-js/aibaiban-server",
-  "version": "1.2.7",
+  "version": "1.2.8",
   "description": "aibaiban.com server",
   "keywords": [
     "ai aibaiban"
@@ -45,5 +45,5 @@
     "access": "public",
     "registry": "https://registry.npmjs.org/"
   },
-  "gitHead": "7f2b401901bcf0070e9349fab5e18b8a7c8484ee"
+  "gitHead": "4bd41bcab8c62c0bd062f03b8c8a63dfb9a48e06"
 }

package/server/service/LLMService.js

@@ -12,6 +12,9 @@ const llm = OpenAIAPI(finalLLMConfig);
 const modelName = finalLLMConfig.modelName;
 const thinking = finalLLMConfig.thinking;
 
+// 图片生成配置
+const imageGenConfig = global.QZ_CONFIG.imageGen;
+
 /**
  * convertToolCallToSkeleton - 将单个 tool call 转为 ExcalidrawElementSkeleton
  */
@@ -41,12 +44,14 @@ function convertToolCallToSkeleton(name, args) {
 
   if (name === 'draw_arrow') {
     const skeleton = { type: 'arrow' };
-    // 坐标：优先用起点坐标，否则默认 0
-    skeleton.x = args.startX || 0;
-    skeleton.y = args.startY || 0;
     // 绑定
     if (args.startId) skeleton.start = { id: args.startId };
     if (args.endId) skeleton.end = { id: args.endId };
+    // 坐标：有绑定时不设默认 (0,0)，让前端根据绑定目标计算位置
+    if (args.startX !== undefined) skeleton.x = args.startX;
+    else if (!args.startId) skeleton.x = 0;
+    if (args.startY !== undefined) skeleton.y = args.startY;
+    else if (!args.startId) skeleton.y = 0;
     // 标签
     if (args.label) skeleton.label = { text: args.label };
     // 箭头样式
@@ -329,6 +334,39 @@ exports.drawAgent = async (req, res) => {
         // LLM 选择文字回复而非调用函数
         res.streaming(`data: ${JSON.stringify({ type: 'message', content: canvasResponse.content })}\n\n`);
       }
+    } else if (decision.action === 'image') {
+      // 4. Image - 调用图片生成 API
+      res.streaming(`data: ${JSON.stringify({ type: 'status', step: 'image' })}\n\n`);
+      req.logger.info(methodName, 'step: image generation', decision.prompt);
+      chatFeishuMsg(req, `image-${decision.prompt}`);
+
+      const imageResponse = await fetch(`${imageGenConfig.baseURL}/images/generations`, {
+        method: 'POST',
+        headers: {
+          Authorization: `Bearer ${imageGenConfig.apiKey}`,
+          'Content-Type': 'application/json',
+        },
+        body: JSON.stringify({
+          model: imageGenConfig.modelName,
+          prompt: decision.prompt,
+          size: '1024x1024',
+          n: 1,
+        }),
+      });
+
+      const imageResult = await imageResponse.json();
+      const imageUrl = imageResult.data?.[0]?.url;
+
+      if (imageUrl) {
+        const duration = Date.now() - startTime;
+        req.logger.info(methodName, 'image generated', `${duration}ms`);
+        res.streaming(
+          `data: ${JSON.stringify({ type: 'image', url: imageUrl, prompt: decision.prompt, duration })}\n\n`,
+        );
+      } else {
+        req.logger.error(methodName, 'image generation failed', JSON.stringify(imageResult));
+        res.streaming(`data: ${JSON.stringify({ type: 'message', content: '图片生成失败，请稍后重试。' })}\n\n`);
+      }
     } else {
       // 未知 action fallback
       res.streaming(

package/server/util/prompt-agent.js

@@ -12,6 +12,7 @@ module.exports = {
 ## 能力
 1. 支持 4 种图表：flowchart（流程图）、sequence（时序图）、classDiagram（类图）、erDiagram（ER图）。
 2. 支持直接在白板上绘制形状、文字、箭头等基础图形。
+3. 支持生成图片（人物、动物、风景、物品等具象内容）。
 
 ## 决策规则
 收到用户消息后判断，只回复 JSON：
@@ -25,7 +26,10 @@ module.exports = {
 3. 直接画图（用户要求画简单形状、文字、箭头等，不属于四种图表）：
    {"action":"canvas","description":"用户想画什么的完整描述"}
 
-4. 与画图完全无关：
+4. 生成图片（用户要画人物、动物、风景、物品、logo、海报等具象内容）：
+   {"action":"image","prompt":"English prompt for image generation, describe the content, style, composition in detail"}
+
+5. 与画图完全无关：
    {"action":"irrelevant"}
 
 ## 判断标准
@@ -36,6 +40,8 @@ module.exports = {
 - 用户要修改已有图表 → 根据对话历史理解上下文，generate 完整新图表
 - 用户要画简单形状（圆、矩形、箭头、文字等）→ canvas
 - 用户说"清空白板" → canvas
+- 用户要画人物/动物/风景/物品/头像等具象内容 → image
+- "画一个鸣人"、"画一只猫"、"画日落"、"设计一个logo" → image
 - 用户闲聊但话题相关 → reply 自然回应并引导回画图
 - 用户闲聊话题无关 → irrelevant
 
@@ -44,6 +50,7 @@ module.exports = {
 - 可以给建议和示例帮助用户想清楚需求
 - generate 时 description 要尽可能详细完整
 - canvas 时 description 要包含形状、颜色、位置等用户提到的所有细节
+- image 时 prompt 必须是英文，详细描述画面内容、风格、构图，将用户的中文需求翻译为高质量的英文绘图提示词
 
 严格要求：
 1. 你的回复必须是且仅是一个合法的 JSON 对象，不要包含任何其他文字、解释或 markdown 标记。

package/views/index.html

@@ -105,7 +105,7 @@
     <script
       type="module"
       crossorigin
-      src="https://static-small.vincentqiao.com/aibaiban/static/index-BKiaaj_x.js"
+      src="https://static-small.vincentqiao.com/aibaiban/static/index-CVW8Igbb.js"
     ></script>
     <link
       rel="modulepreload"