@hzttt/multimodal-rag 0.2.7 → 0.2.9

package/README.md

@@ -11,7 +11,7 @@ OpenClaw 多模态 RAG 插件 — 使用本地 AI 模型对图像和音频进行
 - **自动监听**：实时监听文件夹变化，自动索引新增文件
 - **向量存储**：使用 LanceDB 高效存储和检索
 - **智能去重**：基于文件 SHA256 哈希去重
-- **索引通知**：批次聚合索引事件，优先通过 `openclaw message send` 直发通知
+- **索引通知**：批次聚合索引事件，默认唤醒 agent 生成并回复通知（可切换为 `message send` 直发）
 
 ## 前置条件
 
@@ -157,7 +157,7 @@ openclaw multimodal-rag setup -n \
 - 非交互式执行时，`--notify-enabled` 仅负责“显式开启”，未传不会主动关闭通知。
 - 当前没有 `--notify-disabled` 选项；要关闭通知请手动编辑 `~/.openclaw/openclaw.json`。
 - `--notify-quiet-window` 和 `--notify-batch-timeout` 未传时会优先沿用已有配置，没有已有值才回退默认值。
-- `notifications.channel` / `notifications.to` / `notifications.targets` 目前通过配置文件手动设置（setup 命令暂未提供对应参数）。
+- `notifications.mode` / `notifications.agentId` / `notifications.channel` / `notifications.to` / `notifications.targets` 目前通过配置文件手动设置（setup 命令暂未提供对应参数）。
 - 未配置 `targets` 且未配置 `channel+to` 时，插件会自动从 session store 选取“最近活跃会话”的 `lastChannel + lastTo` 作为通知目标。
 
 ### 手动配置
@@ -184,6 +184,8 @@ openclaw multimodal-rag setup -n \
           "indexExistingOnStart": true,
           "notifications": {
             "enabled": true,
+            "mode": "agent",
+            "agentId": "main",
             "quietWindowMs": 30000,
             "batchTimeoutMs": 600000,
             "channel": "last"
@@ -210,12 +212,14 @@ openclaw multimodal-rag setup -n \
 | `dbPath`                     | string   | `~/.openclaw/multimodal-rag.lance` | LanceDB 数据库路径                          |
 | `watchDebounceMs`            | number   | `1000`                             | 文件监听去抖延迟（毫秒）                           |
 | `indexExistingOnStart`       | boolean  | `true`                             | 启动时是否索引已有文件                            |
-| `notifications.enabled`      | boolean  | `false`                            | 启用索引完成通知（优先通过 `message send` 直发）         |
+| `notifications.enabled`      | boolean  | `false`                            | 启用索引完成通知（默认唤醒 agent 回复）         |
+| `notifications.mode`         | string   | `"agent"`                          | 通知模式：`agent`（默认）/`message-send`/`auto` |
+| `notifications.agentId`      | string   | `"main"`                           | 通知触发使用的 agent ID（仅 `agent/auto`，会沿用该 agent 的性格/身份设定） |
 | `notifications.quietWindowMs` | number   | `30000`                            | 静默窗口：最后一个文件处理完后等待多久再发送总结（毫秒）         |
 | `notifications.batchTimeoutMs` | number   | `600000`                           | 批次最大超时：超过此时间强制发送总结（毫秒），防止大批量索引时等太久 |
-| `notifications.channel`      | string   | `"last"`                           | 回退链路渠道（仅当未配置 `targets` 时使用）                      |
-| `notifications.to`           | string   | -                                  | 回退链路目标（仅当未配置 `targets` 时使用）                      |
-| `notifications.targets`      | object[] | `[]`                               | 直发目标列表（通过 `openclaw message send` 逐个发送）            |
+| `notifications.channel`      | string   | `"last"`                           | 回退链路渠道（未配置 `targets` 时使用）                      |
+| `notifications.to`           | string   | -                                  | 回退链路目标（未配置 `targets` 时使用）                      |
+| `notifications.targets`      | object[] | `[]`                               | 通知目标列表（agent 模式用于 reply-channel/reply-to）            |
 
 
 配置完成后，重启 OpenClaw Gateway 使配置生效。
@@ -228,9 +232,9 @@ openclaw multimodal-rag setup -n \
 
 #### 工作原理
 
-1. **开始通知**：检测到第一个新文件时，插件优先用 `openclaw message send` 直发到配置目标
+1. **开始通知**：检测到第一个新文件时，插件默认用 `openclaw agent --deliver` 唤醒 agent 生成回复并发送
 2. **批次聚合**：持续聚合多个文件的索引状态，避免频繁通知
-3. **完成通知**：所有文件处理完成后（静默窗口到期），插件再次直发总结
+3. **完成通知**：所有文件处理完成后（静默窗口到期），插件再次触发 agent 发送总结
 
 #### 通知示例
 
@@ -279,6 +283,8 @@ openclaw multimodal-rag setup -n \
         "config": {
           "notifications": {
             "enabled": true,
+            "mode": "agent",
+            "agentId": "main",
             "quietWindowMs": 30000,
             "batchTimeoutMs": 600000,
             "targets": [
@@ -298,7 +304,7 @@ openclaw multimodal-rag setup -n \
   }
 }
 ```
-如果未配置 `notifications.targets`，插件会先尝试 `channel+to`；若仍未配置，则自动使用最新活跃会话目标；都不可用时才走 hooks/system-event 兼容回退链路。
+如果未配置 `notifications.targets`，插件会先尝试 `channel+to`；若仍未配置，则自动使用最新活跃会话目标；都不可用时会回退到 hooks/system-event 兼容链路。
 
 ### Agent 工具
 

package/index.ts

@@ -51,6 +51,8 @@ const multimodalRagPlugin = {
       indexExistingOnStart: userConfig.indexExistingOnStart !== false,
       notifications: {
         enabled: userConfig.notifications?.enabled ?? false,
+        mode: userConfig.notifications?.mode || "agent",
+        agentId: userConfig.notifications?.agentId,
         quietWindowMs: userConfig.notifications?.quietWindowMs ?? 30000,
         batchTimeoutMs: userConfig.notifications?.batchTimeoutMs ?? 600000,
         channel: userConfig.notifications?.channel || "last",

package/openclaw.plugin.json

@@ -89,7 +89,17 @@
           "enabled": {
             "type": "boolean",
             "default": false,
-            "description": "启用索引完成通知（优先通过 message send 直发）"
+            "description": "启用索引通知（默认唤醒 agent 回复）"
+          },
+          "mode": {
+            "type": "string",
+            "enum": ["agent", "message-send", "auto"],
+            "default": "agent",
+            "description": "通知模式：agent(唤醒 agent 回复) / message-send(插件直发) / auto(先 agent 后直发)"
+          },
+          "agentId": {
+            "type": "string",
+            "description": "mode=agent/auto 时用于触发通知回复的 agent ID（默认 main）"
           },
           "quietWindowMs": {
             "type": "number",
@@ -112,7 +122,7 @@
           },
           "targets": {
             "type": "array",
-            "description": "直发通知目标列表（openclaw message send）",
+            "description": "通知目标列表（agent 模式用于 reply-channel/reply-to，message-send 模式用于直发）",
             "items": {
               "type": "object",
               "properties": {
@@ -163,7 +173,17 @@
     },
     "notifications.enabled": {
       "label": "启用通知",
-      "help": "索引完成后优先通过 message send 直发通知"
+      "help": "索引开始/完成时触发通知"
+    },
+    "notifications.mode": {
+      "label": "通知模式",
+      "advanced": true,
+      "help": "默认用 agent 生成并回复消息；可切到 message-send 直发"
+    },
+    "notifications.agentId": {
+      "label": "通知 Agent ID",
+      "advanced": true,
+      "help": "用于触发通知回复的 agent（默认 main）"
     },
     "notifications.quietWindowMs": {
       "label": "静默窗口（毫秒）",
@@ -188,7 +208,7 @@
     "notifications.targets": {
       "label": "直发目标列表",
       "advanced": true,
-      "help": "通过 message send 直发多个渠道/目标"
+      "help": "通知目标列表；agent 模式会作为回复投递目标使用"
     }
   }
 }

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@hzttt/multimodal-rag",
-  "version": "0.2.7",
+  "version": "0.2.9",
   "description": "OpenClaw plugin for multimodal RAG - semantic indexing and time-aware search for images and audio using local AI models",
   "type": "module",
   "repository": {

package/src/notifier.ts

@@ -19,6 +19,7 @@ type NotificationTargetResolved = {
   to: string;
   accountId?: string;
 };
+type NotificationDispatchMode = "agent" | "message-send" | "auto";
 type HookAgentPayload = {
   message: string;
   name: string;
@@ -178,7 +179,7 @@ export class IndexNotifier implements IndexEventCallbacks {
   }
 
   /**
-   * 触发通知：优先 message send，随后 hooks，再回退 system-event。
+   * 触发通知：优先级由 notifications.mode 决定，最后回退到 hooks/system-event。
    */
   private triggerAgent(text: string): void {
     void this.triggerAgentInternal(text);
@@ -188,8 +189,25 @@ export class IndexNotifier implements IndexEventCallbacks {
     const system = this.runtime.system as unknown as RuntimeSystemCompat;
 
     try {
-      if (await this.dispatchViaMessageSend(text, system)) {
-        return;
+      const mode = this.resolveDispatchMode();
+      if (mode === "agent") {
+        if (await this.dispatchViaAgentTurn(text, system)) {
+          return;
+        }
+        if (await this.dispatchViaMessageSend(text, system)) {
+          return;
+        }
+      } else if (mode === "message-send") {
+        if (await this.dispatchViaMessageSend(text, system)) {
+          return;
+        }
+      } else {
+        if (await this.dispatchViaAgentTurn(text, system)) {
+          return;
+        }
+        if (await this.dispatchViaMessageSend(text, system)) {
+          return;
+        }
       }
 
       if (await this.dispatchViaHookAgent(text)) {
@@ -228,6 +246,59 @@ export class IndexNotifier implements IndexEventCallbacks {
     }
   }
 
+  private resolveDispatchMode(): NotificationDispatchMode {
+    const rawMode = typeof this.config.mode === "string" ? this.config.mode.trim() : "";
+    if (rawMode === "agent" || rawMode === "message-send" || rawMode === "auto") {
+      return rawMode;
+    }
+    return "agent";
+  }
+
+  /**
+   * 通过 `openclaw agent --deliver` 触发 agent 主动回复用户。
+   * 这条路径会让最终消息由 agent 生成并投递，而不是插件直接发送文本。
+   */
+  private async dispatchViaAgentTurn(
+    text: string,
+    system: RuntimeSystemCompat,
+  ): Promise<boolean> {
+    if (typeof system.runCommandWithTimeout !== "function") {
+      return false;
+    }
+
+    const targets = await this.resolveNotificationTargets();
+    const deliveryTargets: Array<NotificationTargetResolved | undefined> =
+      targets.length > 0 ? targets : [undefined];
+
+    let successCount = 0;
+    for (const target of deliveryTargets) {
+      const argv = this.buildAgentNotifyCommand(text, target);
+      const targetLabel = this.formatTargetLabel(target);
+      try {
+        const result = await system.runCommandWithTimeout(argv, { timeoutMs: 180000 });
+        if (result.code === 0) {
+          successCount += 1;
+          continue;
+        }
+        const detail = (result.stderr || result.stdout || "no output").trim();
+        this.logger.warn?.(
+          `Notification agent trigger failed (${targetLabel}, code=${String(result.code)}): ${detail}`,
+        );
+      } catch (err) {
+        this.logger.warn?.(`Notification agent trigger error (${targetLabel}): ${String(err)}`);
+      }
+    }
+
+    if (successCount > 0) {
+      this.logger.info?.(
+        `Notification delivered via agent turns (${successCount}/${deliveryTargets.length}): ${text.slice(0, 80)}...`,
+      );
+      return true;
+    }
+
+    return false;
+  }
+
   /**
    * 直发路径：通过 `openclaw message send` 向显式配置的目标推送通知。
    * 不依赖 heartbeat，也不依赖 HTTP hooks。
@@ -490,6 +561,78 @@ export class IndexNotifier implements IndexEventCallbacks {
     );
   }
 
+  private resolveNotificationAgentId(): string {
+    const configuredAgentId =
+      typeof this.config.agentId === "string" ? this.config.agentId.trim() : "";
+    if (configuredAgentId) {
+      return configuredAgentId;
+    }
+
+    const agents = this.mainSessionConfig?.agents?.list ?? [];
+    return (
+      agents.find((agent) => agent.default && typeof agent.id === "string" && agent.id.trim())
+        ?.id?.trim() ??
+      agents.find((agent) => typeof agent.id === "string" && agent.id.trim())?.id?.trim() ??
+      "main"
+    );
+  }
+
+  private buildAgentNotifyCommand(
+    text: string,
+    target: NotificationTargetResolved | undefined,
+  ): string[] {
+    const nodeExec = process.execPath;
+    const cliEntry = process.argv[1];
+    const agentId = this.resolveNotificationAgentId();
+    const argvCore = [
+      "agent",
+      "--agent",
+      agentId,
+      "--message",
+      this.buildAgentPrompt(text),
+      "--thinking",
+      "low",
+      "--deliver",
+      "--timeout",
+      "120",
+      "--reply-channel",
+      target?.channel ?? "last",
+    ];
+
+    if (target?.to) {
+      argvCore.push("--reply-to", target.to);
+    }
+    if (typeof target?.accountId === "string" && target.accountId.length > 0) {
+      argvCore.push("--reply-account", target.accountId);
+    }
+
+    if (typeof cliEntry === "string" && cliEntry.trim().length > 0) {
+      return [nodeExec, cliEntry, ...argvCore];
+    }
+
+    return ["openclaw", ...argvCore];
+  }
+
+  private buildAgentPrompt(text: string): string {
+    return [
+      "你收到一条来自 Multimodal RAG 的索引事件通知。",
+      "请严格按你当前 agent 的人格设定回复，优先遵循已注入的 IDENTITY.md / SOUL.md。",
+      "如果本轮上下文里看不到 IDENTITY.md 或 SOUL.md，请先读取工作区对应文件（存在就读），再回复。",
+      "禁止调用 message、sessions_send、sessions_spawn 等消息投递工具；系统会用 --deliver 自动投递。",
+      "除非为了读取 IDENTITY.md / SOUL.md，否则不要调用其他工具。",
+      "只输出最终发给用户的通知正文，不要输出“已发送/已通知/处理中”等过程状态。",
+      "避免模板化官腔，用该 agent 一贯口吻写一段自然中文通知。",
+      `事件内容：${text}`,
+    ].join("\n");
+  }
+
+  private formatTargetLabel(target?: NotificationTargetResolved): string {
+    if (!target) {
+      return "last";
+    }
+    return `${target.channel}:${target.to}`;
+  }
+
   /**
    * CLI 回退：兼容缺少 requestHeartbeatNow 的旧版 runtime。
    */

package/src/setup.ts

@@ -31,6 +31,8 @@ type PluginConfigPartial = {
   indexExistingOnStart?: boolean;
   notifications?: {
     enabled?: boolean;
+    mode?: "agent" | "message-send" | "auto";
+    agentId?: string;
     quietWindowMs?: number;
     batchTimeoutMs?: number;
     channel?: string;
@@ -137,6 +139,8 @@ export async function runNonInteractiveSetup(opts: NonInteractiveSetupOpts): Pro
     notifications: {
       ...existing.notifications,
       enabled: opts.notifyEnabled ?? existing.notifications?.enabled ?? false,
+      mode: existing.notifications?.mode ?? "agent",
+      agentId: existing.notifications?.agentId,
       quietWindowMs: opts.notifyQuietWindowMs ?? existing.notifications?.quietWindowMs ?? 30000,
       batchTimeoutMs: opts.notifyBatchTimeoutMs ?? existing.notifications?.batchTimeoutMs ?? 600000,
       channel: existing.notifications?.channel ?? "last",
@@ -158,6 +162,10 @@ export async function runNonInteractiveSetup(opts: NonInteractiveSetupOpts): Pro
   console.log(`  启动时索引:   ${pluginConfig.indexExistingOnStart ? "是" : "否"}`);
   console.log(`  索引通知:     ${pluginConfig.notifications!.enabled ? "已启用" : "已禁用"}`);
   if (pluginConfig.notifications!.enabled) {
+    console.log(`    通知模式:   ${pluginConfig.notifications!.mode || "agent"}`);
+    if (pluginConfig.notifications!.agentId) {
+      console.log(`    Agent ID:   ${pluginConfig.notifications!.agentId}`);
+    }
     console.log(`    静默窗口:   ${pluginConfig.notifications!.quietWindowMs}ms`);
     console.log(`    批次超时:   ${pluginConfig.notifications!.batchTimeoutMs}ms`);
     console.log(`    通知渠道:   ${pluginConfig.notifications!.channel || "last"}`);
@@ -216,6 +224,8 @@ export async function runSetup(): Promise<void> {
     indexExistingOnStart: true,
     notifications: {
       enabled: existing.notifications?.enabled ?? false,
+      mode: existing.notifications?.mode ?? "agent",
+      agentId: existing.notifications?.agentId,
       quietWindowMs: existing.notifications?.quietWindowMs ?? 30000,
       batchTimeoutMs: existing.notifications?.batchTimeoutMs ?? 600000,
       channel: existing.notifications?.channel ?? "last",

package/src/types.ts

@@ -35,6 +35,8 @@ export type MediaSearchResult = {
  */
 export type NotificationConfig = {
   enabled: boolean; // 是否启用通知，默认 false
+  mode?: "agent" | "message-send" | "auto"; // 通知模式：默认 agent（唤醒 agent 回复）
+  agentId?: string; // mode=agent/auto 时用于触发的 agent，默认 main（或配置中的默认 agent）
   quietWindowMs: number; // 静默窗口（毫秒），默认 30000
   batchTimeoutMs: number; // 批次最大超时（毫秒），默认 600000
   channel?: string; // hooks/agent 投递渠道，默认 "last"