@shun-js/aibaiban-server 0.4.7 → 0.4.9

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@shun-js/aibaiban-server",
-  "version": "0.4.7",
+  "version": "0.4.9",
   "description": "aibaiban.com server",
   "keywords": [
     "ai aibaiban"
@@ -44,5 +44,5 @@
     "access": "public",
     "registry": "https://registry.npmjs.org/"
   },
-  "gitHead": "4b455ac2ab45a13b9d523539f47e0d7727c6b8ac"
+  "gitHead": "822aa69649e8feaff1bed2c0e02c2b527d432568"
 }

package/server/controller/IndexController.js

@@ -14,4 +14,7 @@ module.exports = (app) => {
   app.post('/chat', (req, res) => {
     service.chat(req, res);
   });
+  app.post('/chat-streaming', (req, res) => {
+    service.chatWithStreaming(req, res);
+  });
 };

package/server/service/IndexService.js

@@ -1,8 +1,8 @@
 // llm
-const { chatWithStreaming } = require('../util/llm.js');
+const { llmParseIntent } = require('../util/llm');
 
 // util
-const { chatFeishuMsg, errorFeishuMsg } = require('../util/feishu.js');
+const { chatFeishuMsg, chatResFeishuMsg, errorFeishuMsg } = require('../util/feishu.js');
 
 /**
  * index
@@ -44,28 +44,63 @@ exports.chat = async (req, res) => {
   chatFeishuMsg(req);
 
   // go
-  const userPrompts = [{ text: userPrompt }];
-  chatWithStreaming(userPrompts, {
-    beginCallback: () => {
-      req.logger.info(methodName, 'beginCallback');
-      res.streamingStart();
-    },
-    firstContentCallback: () => {
-      req.logger.info(methodName, 'firstContentCallback');
-      // res.streaming('First chunk received!');
-    },
-    contentCallback: (content) => {
-      req.logger.info(methodName, 'contentCallback', content);
-      res.streaming(content);
-    },
-    endCallback: () => {
-      req.logger.info(methodName, 'endCallback');
-      res.streamingEnd();
-    },
-    errorCallback: (error) => {
-      errorFeishuMsg(req, 'errorCallback');
-      req.logger.info(methodName, 'errorCallback', error);
-      res.streamingEnd();
-    },
-  });
+  try {
+    const llmParseIntentRes = await llmParseIntent(userPrompt);
+    req.logger.info(methodName, 'llmParseIntentRes', llmParseIntentRes);
+
+    // r
+    chatResFeishuMsg(req, JSON.stringify(llmParseIntentRes));
+    res.jsonSuccess('success', llmParseIntentRes);
+  } catch (error) {
+    const msg = 'chat error';
+    errorFeishuMsg(req, msg);
+    req.logger.error(methodName, msg, error);
+    res.jsonFail(msg);
+  }
+};
+
+/**
+ * chatWithStreaming
+ * @param {*} req
+ * @param {*} res
+ * @returns
+ */
+exports.chatWithStreaming = async () => {
+  // const methodName = 'chatWithStreaming';
+  // // check
+  // if (!req.body.userPrompt) {
+  //   const msg = 'need userPrompt';
+  //   req.logger.error(methodName, msg);
+  //   res.jsonFail(msg);
+  //   return;
+  // }
+  // // const
+  // const userPrompt = decodeURIComponent(req.body.userPrompt);
+  // req.logger.info(methodName, 'userPrompt', userPrompt);
+  // chatFeishuMsg(req);
+  // // go
+  // const userPrompts = [{ text: userPrompt }];
+  // chatWithStreaming(userPrompts, {
+  //   beginCallback: () => {
+  //     req.logger.info(methodName, 'beginCallback');
+  //     res.streamingStart();
+  //   },
+  //   firstContentCallback: () => {
+  //     req.logger.info(methodName, 'firstContentCallback');
+  //     // res.streaming('First chunk received!');
+  //   },
+  //   contentCallback: (content) => {
+  //     req.logger.info(methodName, 'contentCallback', content);
+  //     res.streaming(content);
+  //   },
+  //   endCallback: () => {
+  //     req.logger.info(methodName, 'endCallback');
+  //     res.streamingEnd();
+  //   },
+  //   errorCallback: (error) => {
+  //     errorFeishuMsg(req, 'errorCallback');
+  //     req.logger.info(methodName, 'errorCallback', error);
+  //     res.streamingEnd();
+  //   },
+  // });
 };

package/server/util/llm.js

@@ -8,154 +8,38 @@ const { zodToJsonSchema } = require('zod-to-json-schema');
 
 // llm
 const { GeminiVertex } = require('viho-llm');
-
-// gemini
 const gemini = GeminiVertex({
   projectId: global.QZ_CONFIG.gemini.projectId,
   location: global.QZ_CONFIG.gemini.location,
   modelName: global.QZ_CONFIG.gemini.modelName,
 });
 
-// ==================== 缓存（懒加载） ====================
-
+// const
 let cachedSystemPrompt = null;
-let cachedCompiledSchema = null;
-
-// ==================== JSON Schema 定义（只构建一次）====================
-
 const jsonSchema = (() => {
-  const DiagramNodeSchema = z.object({
-    id: z.string().describe('节点唯一标识符，使用驼峰命名法，如 userService, mysqlDB'),
-    label: z.string().describe('节点显示文本，支持 \\n 换行'),
-    type: z
-      .enum(['rectangle', 'ellipse', 'diamond', 'hexagon', 'cylinder', 'cloud'])
-      .optional()
-      .describe('形状类型，默认 rectangle'),
-    color: z
-      .enum(['blue', 'green', 'purple', 'orange', 'red', 'gray', 'yellow', 'pink', 'black'])
-      .optional()
-      .describe('节点颜色，默认 blue'),
-    x: z.number().optional().describe('X 坐标，不指定则自动布局'),
-    y: z.number().optional().describe('Y 坐标，不指定则自动布局'),
-    width: z.number().optional().describe('宽度，不指定则使用默认值'),
-    height: z.number().optional().describe('高度，不指定则使用默认值'),
-  });
-
-  const DiagramConnectionSchema = z.object({
-    from: z.string().describe('起始节点 id'),
-    to: z.string().describe('目标节点 id'),
-    label: z.string().optional().describe('连接线上的文字标签'),
-    type: z.enum(['arrow', 'line']).optional().describe('连接类型：arrow=箭头线，line=直线，默认 arrow'),
-    style: z
-      .enum(['solid', 'dashed', 'dotted'])
-      .optional()
-      .describe('线条样式：solid=实线，dashed=虚线，dotted=点线，默认 solid'),
-  });
-
-  const TextAnnotationSchema = z.object({
-    id: z.string().describe('标注唯一标识符'),
-    text: z.string().describe('标注文本内容'),
-    x: z.number().optional().describe('X 坐标'),
-    y: z.number().optional().describe('Y 坐标'),
-    fontSize: z.number().optional().describe('字体大小'),
-    color: z.string().optional().describe('文字颜色'),
-  });
-
-  const FrameSchema = z.object({
-    id: z.string().describe('框架唯一标识符'),
-    label: z.string().optional().describe('框架标题'),
-    children: z.array(z.string()).describe('包含的节点 id 列表'),
-    color: z.string().optional().describe('框架颜色'),
-    x: z.number().optional().describe('X 坐标'),
-    y: z.number().optional().describe('Y 坐标'),
-    width: z.number().optional().describe('宽度'),
-    height: z.number().optional().describe('高度'),
-  });
-
-  const ImageElementSchema = z.object({
-    id: z.string().describe('图片唯一标识符'),
-    imageUrl: z.string().url().describe('图片 URL'),
-    alt: z.string().optional().describe('图片描述'),
-    x: z.number().optional().describe('X 坐标'),
-    y: z.number().optional().describe('Y 坐标'),
-    width: z.number().optional().describe('宽度'),
-    height: z.number().optional().describe('高度'),
-  });
-
-  const FreedrawElementSchema = z.object({
-    id: z.string().describe('手绘元素唯一标识符'),
-    points: z.array(z.tuple([z.number(), z.number()])).describe('路径点坐标数组'),
-    color: z.string().optional().describe('线条颜色'),
-    strokeWidth: z.number().optional().describe('线条宽度'),
-  });
-
-  const SimplifiedDiagramSchema = z.object({
-    type: z
-      .enum(['architecture', 'flowchart', 'sequence', 'custom'])
-      .describe('图表类型：architecture=架构图，flowchart=流程图，sequence=时序图，custom=自定义'),
-    title: z.string().optional().describe('图表标题'),
-    nodes: z.array(DiagramNodeSchema).describe('节点列表，至少包含一个节点'),
-    connections: z.array(DiagramConnectionSchema).describe('连接关系列表'),
-    annotations: z.array(TextAnnotationSchema).optional().describe('独立文本标注列表（可选）'),
-    frames: z.array(FrameSchema).optional().describe('分组框架列表（可选）'),
-    images: z.array(ImageElementSchema).optional().describe('图片元素列表（可选）'),
-    freedraws: z.array(FreedrawElementSchema).optional().describe('手绘元素列表（可选）'),
-  });
-
-  const DiagramErrorSchema = z.object({
-    type: z.literal('error').describe('固定值：error'),
-    error: z.enum(['NON_DRAWING_REQUEST', 'INVALID_REQUEST', 'UNKNOWN_ERROR']).describe('错误类型'),
-    message: z.string().describe('错误提示消息，必须使用固定的友好提示文本'),
-  });
-
-  return z.discriminatedUnion('type', [SimplifiedDiagramSchema, DiagramErrorSchema]);
+  return zodToJsonSchema(
+    z.object({
+      intent: z.enum(['DRAW', 'REJECT']).describe('用户意图：DRAW（绘图）或 REJECT（非绘图）'),
+      reason: z.string().describe('判断理由（一句话说明）'),
+    }),
+  );
 })();
 
-// ==================== 懒加载函数 ====================
-
-/**
- * 获取系统提示词（懒加载+缓存）
- */
-async function getSystemPrompt() {
-  if (!cachedSystemPrompt) {
-    const promptPath = path.resolve(__dirname, './prompt.md');
-    cachedSystemPrompt = await readFile(promptPath);
-  }
-  return cachedSystemPrompt;
-}
-
-/**
- * 获取编译后的 JSON Schema（懒加载+缓存）
- */
-function getCompiledSchema() {
-  if (!cachedCompiledSchema) {
-    cachedCompiledSchema = zodToJsonSchema(jsonSchema, {
-      name: 'AIResponse',
-      $refStrategy: 'none',
-    });
-  }
-  return cachedCompiledSchema;
-}
-
-// ==================== 主要功能 ====================
-
 /**
- * chatWithStreaming
+ * llmParseIntent
  * @param {*} userPrompts
- * @param {*} callbackOptions
  */
-exports.chatWithStreaming = async (userPrompts, callbackOptions) => {
-  // 懒加载：第一次使用时加载并缓存
-  const systemPrompt = await getSystemPrompt();
-  const compiledSchema = getCompiledSchema();
+exports.llmParseIntent = async (userPrompts) => {
+  // cache
+  if (!cachedSystemPrompt) cachedSystemPrompt = await readFile(path.resolve(__dirname, './prompt-intent.md'));
 
   // chat options
   const chatOptions = {
     contents: userPrompts,
-    systemInstruction: systemPrompt,
+    systemInstruction: cachedSystemPrompt,
     config: {
       responseMimeType: 'application/json',
-      responseJsonSchema: compiledSchema,
+      responseJsonSchema: jsonSchema,
       temperature: 0.2,
       topP: 0.9,
       topK: 40,
@@ -185,6 +69,6 @@ exports.chatWithStreaming = async (userPrompts, callbackOptions) => {
     },
   };
 
-  // Send a chat message with streaming
-  await gemini.chatWithStreaming(chatOptions, callbackOptions);
+  // go
+  return await gemini.chat(chatOptions);
 };

package/server/util/llm1.js

@@ -0,0 +1,208 @@
+// path
+const path = require('path');
+const { readFile } = require('qiao-file');
+
+// z
+const { z } = require('zod');
+const { zodToJsonSchema } = require('zod-to-json-schema');
+
+// llm
+const { GeminiVertex } = require('viho-llm');
+
+// gemini
+const gemini = GeminiVertex({
+  projectId: global.QZ_CONFIG.gemini.projectId,
+  location: global.QZ_CONFIG.gemini.location,
+  modelName: global.QZ_CONFIG.gemini.modelName,
+});
+
+// ==================== 缓存（懒加载） ====================
+
+let cachedSystemPrompt = null;
+let cachedCompiledSchema = null;
+
+// ==================== JSON Schema 定义（避免联合类型）====================
+
+const jsonSchema = (() => {
+  const DiagramNodeSchema = z.object({
+    id: z.string().describe('节点唯一标识符，使用驼峰命名法，如 userService, mysqlDB'),
+    label: z.string().describe('节点显示文本，支持 \\n 换行'),
+    type: z
+      .enum(['rectangle', 'ellipse', 'diamond', 'hexagon', 'cylinder', 'cloud'])
+      .optional()
+      .describe('形状类型，默认 rectangle'),
+    color: z
+      .enum(['blue', 'green', 'purple', 'orange', 'red', 'gray', 'yellow', 'pink', 'black'])
+      .optional()
+      .describe('节点颜色，默认 blue'),
+    x: z.number().optional().describe('X 坐标，不指定则自动布局'),
+    y: z.number().optional().describe('Y 坐标，不指定则自动布局'),
+    width: z.number().optional().describe('宽度，不指定则使用默认值'),
+    height: z.number().optional().describe('高度，不指定则使用默认值'),
+  });
+
+  const DiagramConnectionSchema = z.object({
+    from: z.string().describe('起始节点 id'),
+    to: z.string().describe('目标节点 id'),
+    label: z.string().optional().describe('连接线上的文字标签'),
+    type: z.enum(['arrow', 'line']).optional().describe('连接类型：arrow=箭头线，line=直线，默认 arrow'),
+    style: z
+      .enum(['solid', 'dashed', 'dotted'])
+      .optional()
+      .describe('线条样式：solid=实线，dashed=虚线，dotted=点线，默认 solid'),
+  });
+
+  const TextAnnotationSchema = z.object({
+    id: z.string().describe('标注唯一标识符'),
+    text: z.string().describe('标注文本内容'),
+    x: z.number().optional().describe('X 坐标'),
+    y: z.number().optional().describe('Y 坐标'),
+    fontSize: z.number().optional().describe('字体大小'),
+    color: z.string().optional().describe('文字颜色'),
+  });
+
+  const FrameSchema = z.object({
+    id: z.string().describe('框架唯一标识符'),
+    label: z.string().optional().describe('框架标题'),
+    children: z.array(z.string()).describe('包含的节点 id 列表'),
+    color: z.string().optional().describe('框架颜色'),
+    x: z.number().optional().describe('X 坐标'),
+    y: z.number().optional().describe('Y 坐标'),
+    width: z.number().optional().describe('宽度'),
+    height: z.number().optional().describe('高度'),
+  });
+
+  const ImageElementSchema = z.object({
+    id: z.string().describe('图片唯一标识符'),
+    imageUrl: z.string().url().describe('图片 URL'),
+    alt: z.string().optional().describe('图片描述'),
+    x: z.number().optional().describe('X 坐标'),
+    y: z.number().optional().describe('Y 坐标'),
+    width: z.number().optional().describe('宽度'),
+    height: z.number().optional().describe('高度'),
+  });
+
+  // 注意：freedraws 使用简化格式，避免 tuple 导致的兼容性问题
+  const FreedrawElementSchema = z.object({
+    id: z.string().describe('手绘元素唯一标识符'),
+    points: z.array(z.number()).describe('路径点坐标数组，格式：[x1,y1,x2,y2,...]'),
+    color: z.string().optional().describe('线条颜色'),
+    strokeWidth: z.number().optional().describe('线条宽度'),
+  });
+
+  // 统一的响应 Schema（包含图表和错误两种情况）
+  // 通过 type 字段区分：'architecture'|'flowchart'|'sequence'|'custom' = 图表，'error' = 错误
+  return z.object({
+    // 通用字段：type 用于区分响应类型
+    type: z
+      .enum(['architecture', 'flowchart', 'sequence', 'custom', 'error'])
+      .describe('响应类型：architecture/flowchart/sequence/custom=图表类型，error=错误响应'),
+
+    // ========== 图表相关字段（当 type != error 时使用）==========
+    title: z.string().optional().describe('图表标题'),
+    nodes: z.array(DiagramNodeSchema).optional().describe('节点列表'),
+    connections: z.array(DiagramConnectionSchema).optional().describe('连接关系列表'),
+    annotations: z.array(TextAnnotationSchema).optional().describe('独立文本标注列表（可选）'),
+    frames: z.array(FrameSchema).optional().describe('分组框架列表（可选）'),
+    images: z.array(ImageElementSchema).optional().describe('图片元素列表（可选）'),
+    freedraws: z.array(FreedrawElementSchema).optional().describe('手绘元素列表（可选）'),
+
+    // ========== 错误相关字段（当 type = error 时使用）==========
+    error: z
+      .enum(['NON_DRAWING_REQUEST', 'INVALID_REQUEST', 'UNKNOWN_ERROR'])
+      .optional()
+      .describe('错误类型（仅当 type=error 时需要）'),
+    message: z.string().optional().describe('错误提示消息（仅当 type=error 时需要）'),
+  });
+})();
+
+// ==================== 懒加载函数 ====================
+
+/**
+ * 获取系统提示词（懒加载+缓存）
+ */
+async function getSystemPrompt() {
+  if (!cachedSystemPrompt) {
+    const promptPath = path.resolve(__dirname, './prompt.md');
+    cachedSystemPrompt = await readFile(promptPath);
+  }
+  return cachedSystemPrompt;
+}
+
+/**
+ * 获取编译后的 JSON Schema（懒加载+缓存）
+ */
+function getCompiledSchema() {
+  if (!cachedCompiledSchema) {
+    const fullSchema = zodToJsonSchema(jsonSchema, {
+      name: 'AIResponse',
+      $refStrategy: 'none',
+    });
+
+    // 关键修复：Gemini 不支持顶层 $ref，直接使用 definitions 中的定义
+    if (fullSchema.definitions && fullSchema.definitions.AIResponse) {
+      cachedCompiledSchema = fullSchema.definitions.AIResponse;
+    } else if (fullSchema.$ref) {
+      // 如果顶层是 $ref，解析它
+      const refName = fullSchema.$ref.split('/').pop();
+      cachedCompiledSchema = fullSchema.definitions[refName];
+    } else {
+      cachedCompiledSchema = fullSchema;
+    }
+  }
+  return cachedCompiledSchema;
+}
+
+// ==================== 主要功能 ====================
+
+/**
+ * chatWithStreaming
+ * @param {*} userPrompts
+ * @param {*} callbackOptions
+ */
+exports.chatWithStreaming = async (userPrompts, callbackOptions) => {
+  // 懒加载：第一次使用时加载并缓存
+  const systemPrompt = await getSystemPrompt();
+  const compiledSchema = getCompiledSchema();
+  console.log('compiledSchema');
+  console.log(JSON.stringify(compiledSchema));
+
+  // chat options
+  const chatOptions = {
+    contents: userPrompts,
+    systemInstruction: systemPrompt,
+    config: {
+      responseMimeType: 'application/json',
+      responseJsonSchema: compiledSchema,
+      temperature: 0.2,
+      topP: 0.9,
+      topK: 40,
+      maxOutputTokens: 8192,
+      thinkingConfig: {
+        thinkingBudget: 0,
+        includeThoughts: false,
+      },
+      safetySettings: [
+        {
+          category: 'HARM_CATEGORY_HATE_SPEECH',
+          threshold: 'BLOCK_ONLY_HIGH',
+        },
+        {
+          category: 'HARM_CATEGORY_DANGEROUS_CONTENT',
+          threshold: 'BLOCK_ONLY_HIGH',
+        },
+        {
+          category: 'HARM_CATEGORY_SEXUALLY_EXPLICIT',
+          threshold: 'BLOCK_ONLY_HIGH',
+        },
+        {
+          category: 'HARM_CATEGORY_HARASSMENT',
+          threshold: 'BLOCK_ONLY_HIGH',
+        },
+      ],
+    },
+  };
+
+  // Send a chat message with streaming
+  await gemini.chatWithStreaming(chatOptions, callbackOptions);
+};

package/server/util/prompt-intent.md

@@ -0,0 +1,107 @@
+# 意图识别：判断用户是否要绘制图表
+
+分析用户输入，判断是否为绘图请求。
+
+## 输出要求
+
+以 JSON 格式输出：
+
+```json
+{
+  "intent": "DRAW" 或 "REJECT",
+  "reason": "判断理由（一句话说明）"
+}
+```
+
+## 判断标准
+
+### DRAW（绘图请求）
+
+- 包含动作词：画、绘制、设计、生成、创建、制作
+- 包含图表词：图、流程图、架构图、思维导图、关系图、结构图、示意图
+- 描述可视化需求：「用户登录流程」「微服务架构」「数据库关系」
+- 描述图形元素：「三个矩形」「圆形连接」
+
+### REJECT（非绘图请求）
+
+- 问候寒暄：你好、早上好、谢谢
+- 知识问答：什么是、如何、为什么、介绍、解释
+- 代码任务：写代码、debug、实现功能
+- 文字任务：翻译、写文章、总结
+- 其他任务：计算、推荐、建议
+
+## 示例
+
+输入：画一个用户登录流程图
+输出：
+
+```json
+{
+  "intent": "DRAW",
+  "reason": "包含动作词'画'和图表词'流程图'"
+}
+```
+
+输入：设计微服务架构
+输出：
+
+```json
+{
+  "intent": "DRAW",
+  "reason": "包含动作词'设计'和可视化需求'架构'"
+}
+```
+
+输入：三个矩形连接起来
+输出：
+
+```json
+{
+  "intent": "DRAW",
+  "reason": "描述了具体的图形元素和连接关系"
+}
+```
+
+输入：简单介绍一下上海市
+输出：
+
+```json
+{
+  "intent": "REJECT",
+  "reason": "这是知识问答请求，不是绘图需求"
+}
+```
+
+输入：什么是微服务架构？
+输出：
+
+```json
+{
+  "intent": "REJECT",
+  "reason": "这是知识问答，用户在询问概念而非要求绘图"
+}
+```
+
+输入：你好，今天天气怎么样
+输出：
+
+```json
+{
+  "intent": "REJECT",
+  "reason": "这是闲聊问候，与绘图无关"
+}
+```
+
+输入：帮我写一段 Python 代码
+输出：
+
+```json
+{
+  "intent": "REJECT",
+  "reason": "这是代码编写任务，不是绘图请求"
+}
+```
+
+## 用户输入
+
+{USER_INPUT}