@ynhcj/xiaoyi-channel 0.0.4-next → 0.0.5-next

package/dist/src/bot.js

@@ -1,7 +1,6 @@
 import { getXYRuntime } from "./runtime.js";
 import { createXYReplyDispatcher } from "./reply-dispatcher.js";
 import { parseA2AMessage, extractTextFromParts, extractFileParts, extractPushId } from "./parser.js";
-import { downloadFilesFromParts } from "./file-download.js";
 import { resolveXYConfig } from "./config.js";
 import { sendStatusUpdate, sendClearContextResponse, sendTasksCancelResponse } from "./formatter.js";
 import { registerSession, unregisterSession, runWithSessionContext } from "./tools/session-manager.js";
@@ -129,10 +128,9 @@ export async function handleXYMessage(params) {
         // Extract text and files from parts
         const text = extractTextFromParts(parsed.parts);
         const fileParts = extractFileParts(parsed.parts);
-        // Download files if present (using core's media download)
-        const mediaList = await downloadFilesFromParts(fileParts);
-        // Build media payload for inbound context (following feishu pattern)
-        const mediaPayload = buildXYMediaPayload(mediaList);
+        // Build media payload directly from file URIs (openclaw can download them)
+        // No need to download files locally - pass URIs directly to openclaw
+        const mediaPayload = buildXYMediaPayload(fileParts);
         // Resolve envelope format options (following feishu pattern)
         const envelopeOptions = core.channel.reply.resolveEnvelopeFormatOptions(cfg);
         // Build message body with speaker prefix (following feishu pattern)
@@ -276,17 +274,18 @@ export async function handleXYMessage(params) {
 /**
  * Build media payload for inbound context.
  * Following feishu pattern: buildFeishuMediaPayload().
+ * Uses remote URIs directly - openclaw will download them.
  */
-function buildXYMediaPayload(mediaList) {
-    const first = mediaList[0];
-    const mediaPaths = mediaList.map((media) => media.path);
-    const mediaTypes = mediaList.map((media) => media.mimeType).filter(Boolean);
+function buildXYMediaPayload(fileParts) {
+    const first = fileParts[0];
+    const uris = fileParts.map((file) => file.uri);
+    const mediaTypes = fileParts.map((file) => file.mimeType).filter(Boolean);
     return {
-        MediaPath: first?.path,
+        MediaPath: first?.uri,
         MediaType: first?.mimeType,
-        MediaUrl: first?.path,
-        MediaPaths: mediaPaths.length > 0 ? mediaPaths : undefined,
-        MediaUrls: mediaPaths.length > 0 ? mediaPaths : undefined,
+        MediaUrl: first?.uri,
+        MediaPaths: uris.length > 0 ? uris : undefined,
+        MediaUrls: uris.length > 0 ? uris : undefined,
         MediaTypes: mediaTypes.length > 0 ? mediaTypes : undefined,
     };
 }

package/dist/src/channel.js

@@ -8,7 +8,7 @@ import { searchNoteTool } from "./tools/search-note-tool.js";
 import { modifyNoteTool } from "./tools/modify-note-tool.js";
 import { calendarTool } from "./tools/calendar-tool.js";
 import { searchCalendarTool } from "./tools/search-calendar-tool.js";
-// import { searchContactTool } from "./tools/search-contact-tool.js"; // 暂时禁用
+import { searchContactTool } from "./tools/search-contact-tool.js";
 import { searchPhotoGalleryTool } from "./tools/search-photo-gallery-tool.js";
 import { uploadPhotoTool } from "./tools/upload-photo-tool.js";
 import { xiaoyiGuiTool } from "./tools/xiaoyi-gui-tool.js";
@@ -20,7 +20,6 @@ import { createAlarmTool } from "./tools/create-alarm-tool.js";
 import { searchAlarmTool } from "./tools/search-alarm-tool.js";
 import { modifyAlarmTool } from "./tools/modify-alarm-tool.js";
 import { deleteAlarmTool } from "./tools/delete-alarm-tool.js";
-import { sendMessageTool } from "./tools/send-message-tool.js";
 import { sendFileToUserTool } from "./tools/send-file-to-user-tool.js";
 /**
  * Xiaoyi Channel Plugin for OpenClaw.
@@ -61,7 +60,7 @@ export const xyPlugin = {
     },
     outbound: xyOutbound,
     onboarding: xyOnboardingAdapter,
-    agentTools: [locationTool, noteTool, searchNoteTool, modifyNoteTool, calendarTool, searchCalendarTool, searchPhotoGalleryTool, uploadPhotoTool, xiaoyiGuiTool, callPhoneTool, searchMessageTool, searchFileTool, uploadFileTool, createAlarmTool, searchAlarmTool, modifyAlarmTool, deleteAlarmTool, sendMessageTool, sendFileToUserTool], // searchContactTool 已暂时禁用
+    agentTools: [locationTool, noteTool, searchNoteTool, modifyNoteTool, calendarTool, searchCalendarTool, searchContactTool, searchPhotoGalleryTool, uploadPhotoTool, xiaoyiGuiTool, callPhoneTool, searchMessageTool, searchFileTool, uploadFileTool, createAlarmTool, searchAlarmTool, modifyAlarmTool, deleteAlarmTool, sendFileToUserTool],
     messaging: {
         normalizeTarget: (raw) => {
             const trimmed = raw.trim();

package/dist/src/outbound.js

@@ -1,4 +1,5 @@
 import { resolveXYConfig } from "./config.js";
+import { XYFileUploadService } from "./file-upload.js";
 import { XYPushService } from "./push.js";
 import { getCurrentSessionContext } from "./tools/session-manager.js";
 // Special marker for default push delivery when no target is specified
@@ -129,94 +130,81 @@ export const xyOutbound = {
             mediaUrl,
             mediaLocalRoots,
         });
-        // All sendMedia processing logic has been disabled
-        // Use send_file_to_user tool instead for file transfers to user device
-        console.log(`[xyOutbound.sendMedia] Processing disabled, use send_file_to_user tool`);
-        // Return empty message info
+        // Parse to: "sessionId::taskId"
+        const parts = to.split("::");
+        if (parts.length !== 2) {
+            throw new Error(`Invalid to format: "${to}". Expected "sessionId::taskId"`);
+        }
+        const [sessionId, taskId] = parts;
+        // Resolve configuration
+        const config = resolveXYConfig(cfg);
+        // Create upload service
+        const uploadService = new XYFileUploadService(config.fileUploadUrl, config.apiKey, config.uid);
+        // Validate mediaUrl
+        if (!mediaUrl) {
+            throw new Error("mediaUrl is required for sendMedia");
+        }
+        // Upload file
+        const fileId = await uploadService.uploadFile(mediaUrl);
+        // Check if fileId is empty
+        if (!fileId) {
+            console.log(`[xyOutbound.sendMedia] ⚠️ File upload failed: fileId is empty, aborting sendMedia`);
+            return {
+                channel: "xiaoyi-channel",
+                messageId: "",
+                chatId: to,
+            };
+        }
+        console.log(`[xyOutbound.sendMedia] File uploaded:`, {
+            fileId,
+            sessionId,
+            taskId,
+        });
+        // Get filename and mime type from mediaUrl
+        // mediaUrl may be a local file path or URL
+        const fileName = mediaUrl.split("/").pop() || "unknown";
+        const mimeType = getMimeTypeFromFilename(fileName);
+        // Build agent_response message
+        const agentResponse = {
+            msgType: "agent_response",
+            agentId: config.agentId,
+            sessionId: sessionId,
+            taskId: taskId,
+            msgDetail: JSON.stringify({
+                jsonrpc: "2.0",
+                id: taskId,
+                result: {
+                    kind: "artifact-update",
+                    append: true,
+                    lastChunk: false,
+                    final: false,
+                    artifact: {
+                        artifactId: taskId,
+                        parts: [
+                            {
+                                kind: "file",
+                                file: {
+                                    name: fileName,
+                                    mimeType: mimeType,
+                                    fileId: fileId,
+                                },
+                            },
+                        ],
+                    },
+                },
+                error: { code: 0 },
+            }),
+        };
+        // Get WebSocket manager and send message
+        const { getXYWebSocketManager } = await import("./client.js");
+        const wsManager = getXYWebSocketManager(config);
+        await wsManager.sendMessage(sessionId, agentResponse);
+        console.log(`[xyOutbound.sendMedia] WebSocket message sent successfully`);
+        // Return message info
         return {
             channel: "xiaoyi-channel",
-            messageId: "",
+            messageId: fileId,
             chatId: to,
         };
-        // // Parse to: "sessionId::taskId"
-        // const parts = to.split("::");
-        // if (parts.length !== 2) {
-        //   throw new Error(`Invalid to format: "${to}". Expected "sessionId::taskId"`);
-        // }
-        // const [sessionId, taskId] = parts;
-        // // Resolve configuration
-        // const config = resolveXYConfig(cfg);
-        // // Create upload service
-        // const uploadService = new XYFileUploadService(
-        //   config.fileUploadUrl,
-        //   config.apiKey,
-        //   config.uid
-        // );
-        // // Validate mediaUrl
-        // if (!mediaUrl) {
-        //   throw new Error("mediaUrl is required for sendMedia");
-        // }
-        // // Upload file
-        // const fileId = await uploadService.uploadFile(mediaUrl);
-        // // Check if fileId is empty
-        // if (!fileId) {
-        //   console.log(`[xyOutbound.sendMedia] ⚠️ File upload failed: fileId is empty, aborting sendMedia`);
-        //   return {
-        //     channel: "xiaoyi-channel",
-        //     messageId: "",
-        //     chatId: to,
-        //   };
-        // }
-        // console.log(`[xyOutbound.sendMedia] File uploaded:`, {
-        //   fileId,
-        //   sessionId,
-        //   taskId,
-        // });
-        // // Get filename and mime type from mediaUrl
-        // // mediaUrl may be a local file path or URL
-        // const fileName = mediaUrl.split("/").pop() || "unknown";
-        // const mimeType = getMimeTypeFromFilename(fileName);
-        // // Build agent_response message
-        // const agentResponse: OutboundWebSocketMessage = {
-        //   msgType: "agent_response",
-        //   agentId: config.agentId,
-        //   sessionId: sessionId,
-        //   taskId: taskId,
-        //   msgDetail: JSON.stringify({
-        //     jsonrpc: "2.0",
-        //     id: taskId,
-        //     result: {
-        //       kind: "artifact-update",
-        //       append: true,
-        //       lastChunk: false,
-        //       final: false,
-        //       artifact: {
-        //         artifactId: taskId,
-        //         parts: [
-        //           {
-        //             kind: "file",
-        //             file: {
-        //               name: fileName,
-        //               mimeType: mimeType,
-        //               fileId: fileId,
-        //             },
-        //           },
-        //         ],
-        //       },
-        //     },
-        //     error: { code: 0 },
-        //   }),
-        // };
-        // // Get WebSocket manager and send message
-        // const { getXYWebSocketManager } = await import("./client.js");
-        // const wsManager = getXYWebSocketManager(config);
-        // await wsManager.sendMessage(sessionId, agentResponse);
-        // console.log(`[xyOutbound.sendMedia] WebSocket message sent successfully`);
-        // // Return message info
-        // return {
-        //   channel: "xiaoyi-channel",
-        //   messageId: fileId,
-        //   chatId: to,
-        // };
     },
 };

package/dist/src/tools/calendar-tool.js

@@ -10,7 +10,9 @@ import { logger } from "../utils/logger.js";
 export const calendarTool = {
     name: "create_calendar_event",
     label: "Create Calendar Event",
-    description: "在用户设备上创建日程。需要提供日程标题、开始时间和结束时间。时间格式必须为：yyyy-mm-dd hh:mm:ss（例如：2024-01-15 14:30:00）。注意：该工具执行时间较长（最多60秒），请勿重复调用，超时或失败时最多重试一次。",
+    description: `在用户设备上创建日程。需要提供日程标题、开始时间和结束时间。时间格式必须为：yyyy-mm-dd hh:mm:ss（例如：2024-01-15 14:30:00）。注意：该工具执行时间较长（最多60秒），请勿重复调用，超时或失败时最多重试一次。
+  注意事项：使用该工具之前需获取当前真实时间
+  `,
     parameters: {
         type: "object",
         properties: {

package/dist/src/tools/create-alarm-tool.js

@@ -22,15 +22,17 @@ export const createAlarmTool = {
 必需参数：
 - alarmTime: 闹钟时间，格式必须为：YYYYMMDD hhmmss（例如：20240315 143000，表示2024年3月15日14:30:00）
 
-可选参数：
+可选参数（针对用户没有提及的参数，如果有默认参数，则发送请求时使用默认参数）：
 - alarmTitle: 闹钟名称/标题，默认为"闹钟"
 - alarmSnoozeDuration: 小睡间隔（分钟），枚举值：5,10,15,20,25,30，默认10
 - alarmSnoozeTotal: 再响次数，枚举值：0,1,3,5,10，默认0（表示不再响）
-- alarmRingDuration: 响铃时长（分钟），枚举值：1,5,10,15,20,30，默认20
+- alarmRingDuration: 响铃时长（分钟），枚举值：1,5,10,15,20,30，默认5
 - daysOfWakeType: 闹钟响铃类型，枚举值：0=单次响铃，1=法定节假日，2=每天，3=自定义时间，4=法定工作日，默认0
 - daysOfWeek: 自定义响铃星期，仅当daysOfWakeType=3（自定义时间）时必需且有效，其他情况不要传递此参数。数组或JSON字符串，枚举值：Mon,Tue,Wed,Thu,Fri,Sat,Sun。注意：仅支持长度为1的数组，如果需要一周中不同的几天，需要多次调用此工具
 
-注意事项：操作超时时间为60秒，请勿重复调用此工具，如果超时或失败，最多重试一次。`,
+注意事项：
+a. 操作超时时间为60秒，请勿重复调用此工具，如果超时或失败，最多重试一次。
+b. 使用该工具之前需获取当前真实时间`,
     parameters: {
         type: "object",
         properties: {

package/dist/src/tools/modify-alarm-tool.js

@@ -35,8 +35,9 @@ export const modifyAlarmTool = {
 - daysOfWeek: 自定义响铃星期，仅当daysOfWakeType=3（自定义时间）时必需且有效，其他情况不要传递此参数。数组或JSON字符串，枚举值：Mon,Tue,Wed,Thu,Fri,Sat,Sun。注意：仅支持长度为1的数组，如果需要一周中不同的几天，需要多次调用此工具
 
 使用流程：
-1. 先调用 search_alarm 工具查询闹钟，获取 entityId
+1. 先调用 search_alarm 工具查询闹钟，获取 entityId，
 2. 调用此工具修改闹钟，传入 entityId 和需要修改的参数
+3. 其余不涉及需改的参数，如果search_alarm 或 create_alarm的结果中有相应的值，需要一并填上，需要与原有的保持一致，防止不填采用默认值
 
 注意事项：操作超时时间为60秒，请勿重复调用此工具，如果超时或失败，最多重试一次。`,
     parameters: {
@@ -282,15 +283,7 @@ export const modifyAlarmTool = {
                     actionResponse: true,
                     appType: "OHOS_APP",
                     timeOut: 5,
-                    intentParam: {
-                        bundleName: "com.huawei.hmos.clock",
-                        moduleName: "entry",
-                        abilityName: "com.huawei.hmos.clock.phone",
-                        intentName: "ModifyAlarm",
-                        executeMode: "background",
-                        intentRequestVersion: 100,
-                        intentParam: intentParam,
-                    },
+                    intentParam: intentParam,
                     permissionId: [],
                     achieveType: "INTENT",
                 },

package/dist/src/tools/search-alarm-tool.js

@@ -31,7 +31,9 @@ export const searchAlarmTool = {
 - 查询每天响铃的闹钟：{"daysOfWakeType": 2}
 - 查询某个时间段的闹钟：{"startTime": "20240315 000000", "endTime": "20240315 235959"}
 
-注意：操作超时时间为60秒，请勿重复调用此工具，如果超时或失败，最多重试一次。`,
+注意：
+a. 操作超时时间为60秒，请勿重复调用此工具，如果超时或失败，最多重试一次。
+b. 使用该工具之前需获取当前真实时间`,
     parameters: {
         type: "object",
         properties: {

package/dist/src/tools/search-calendar-tool.js

@@ -25,7 +25,10 @@ export const searchCalendarTool = {
 - 查询晚上的日程：使用 18:00:00 到 23:59:59
 - 查询某个时刻附近的日程：使用该时刻前后1小时的区间（例如：查询3点左右的日程，使用 14:00:00 到 16:00:00）
 
-注意：该工具执行时间较长（最多60秒），请勿重复调用，超时或失败时最多重试一次。`,
+注意：
+a. 该工具执行时间较长（最多60秒），请勿重复调用，超时或失败时最多重试一次。
+b. 使用该工具之前需获取当前真实时间
+`,
     parameters: {
         type: "object",
         properties: {

package/dist/src/tools/search-photo-gallery-tool.js

@@ -13,23 +13,51 @@ export const searchPhotoGalleryTool = {
     name: "search_photo_gallery",
     label: "Search Photo Gallery",
     description: `插件功能描述：搜索用户手机图库中的照片
+
   工具使用约束：如果用户说从手机图库中或者从相册中查询xx图片时调用此工具。
+
   工具输入输出简介：
   a. 根据图像描述语料检索匹配的照片,返回照片在手机本地的 mediaUri以及thumbnailUri。
   b. 返回的 mediaUri以及thumbnailUri 是本地路径,无法直接下载或访问。如果需要下载、查看、使用或展示照片,请使用 upload_photo 工具将 mediaUri或者thumbnailUri 转换为可访问的公网 URL。
   c. mediaUri代表手机相册中的图片原图路径，图片大小比较大，清晰度比较高
   d. thumbnailUri代表手机相册中的图片缩略图路径，图片大小比较小，清晰度适中，建议在upload_photo 工具的入参中优先使用此路径，不容易引起上传超时等问题
-  
+
+  搜索能力边界：
+  a. ✅ 支持口语化输入：改写模型会自动提取姓名、种类、地点等实体，可以使用自然语言描述（如"小狗的照片"、"南京拍的风景"）
+  b. ✅ 支持相册搜索：可以在query中包含相册名称（如"西安之行相册的照片"）
+  c. ✅ 支持人像搜索：前提是照片有人像tag，且需要口语化描述（如"张三的照片"）
+  d. ❌ 不支持时间相对词：不支持"最新"、"最旧"、"最早"等表述，需要使用具体时间（如"2024年的照片"而非"去年的照片"）
+  e. ❌ 不支持多实体查询：不支持"或"逻辑和时间范围（如"南京或上海的照片"、"近三年的照片"），需要拆分成多次独立查询
+  f. ❌ 不支持POI逆地理映射：照片的location是门牌号，用真实场地名称可能搜不到
+  g. ❌ 不支持收藏感知：无法感知照片是否被收藏
+  h. ❌ 不支持细粒度品种：对于动物、植物等的具体品种识别能力有限
+  i. ⚠️  POI提取可能不准确：地名可能作为语义搜索条件，可能导致"xx湖"搜到"yy江"或"zz湾"的照片
+
+  查询优化建议：
+  a. 时间查询：将"最新"、"去年"、"近三年"等转换为具体年份（如"2024年"、"2023年到2025年"需拆分成"2023年"、"2024年"、"2025年"三次查询）
+  b. 多条件查询：将"或"逻辑拆分成多次查询（如"南京或上海的照片"→先查"南京的照片"，再查"上海的照片"）
+  c. 实体原子化：确保每个query只包含一个原子实体（地点、人名、物品等）
+  d. 相册名称：如果知道相册名，直接在query中包含相册名可以提高准确度
+
   注意事项：
   a. 只有当用户明确表达从手机相册搜索或者从图库搜索时才执行此工具，如果用户仅表达要搜索xxx图片，并没有说明搜索数据源，则不要贸然调用此插件，可以优先尝试websearch或者询问用户是否要从手机图库中搜索。
   b. 操作超时时间为60秒,请勿重复调用此工具,如果超时或失败,最多重试一次。
+  c. 如果用户请求包含多个实体或时间范围，需要主动拆分成多次查询并告知用户。
   `,
     parameters: {
         type: "object",
         properties: {
             query: {
                 type: "string",
-                description: "图像描述语料，用于检索匹配的照片（例如：'小狗的照片'、'带有键盘的图片'等）",
+                description: `图像描述语料，用于检索匹配的照片。支持口语化输入，会自动提取姓名、种类、地点等实体。
+
+使用示例：
+- 正确："小狗的照片"、"南京拍的风景"、"张三的照片"、"西安之行相册的照片"、"2024年的照片"
+- 错误："最新的照片"（应改为具体年份如"2024年的照片"）
+- 错误："南京或上海的照片"（需拆分成两次查询："南京的照片" 和 "上海的照片"）
+- 错误："近三年的照片"（需拆分成"2023年的照片"、"2024年的照片"、"2025年的照片"）
+
+重要：每次查询只能包含一个原子实体（单个地点、单个人名、单个年份等），不支持多实体或"或"逻辑。`,
             },
         },
         required: ["query"],

package/dist/src/websocket.js

@@ -143,7 +143,7 @@ export class XYWebSocketManager extends EventEmitter {
             throw new Error(`WebSocket ${server} not ready`);
         }
         const messageStr = JSON.stringify(message);
-        console.log(`[WS-${server}-SEND] Sending message frame:`, JSON.stringify(message, null, 2));
+        // console.log(`[WS-${server}-SEND] Sending message frame:`, JSON.stringify(message, null, 2));
         ws.send(messageStr);
         console.log(`[WS-${server}-SEND] Message sent successfully, size: ${messageStr.length} bytes`);
     }

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@ynhcj/xiaoyi-channel",
-  "version": "0.0.4-next",
+  "version": "0.0.5-next",
   "description": "OpenClaw Xiaoyi Channel plugin - Xiaoyi A2A protocol integration",
   "type": "module",
   "main": "./dist/index.js",