@jerryliang122/openclaw-qqbot 1.0.9 → 2.0.0

package/dist/index.d.cts

@@ -203,8 +203,9 @@ interface QQBotAccountConfig {
         sendMode?: 'stream' | 'static';
     };
     /**
-     * STT (语音转文字) 配置
-     * 配置后，收到语音消息时会自动调用 STT 服务转录为文字
+     * STT (语音转文字) 行为开关
+     * 转录凭证统一走框架 tools.media.audio.models；
+     * 框架未配置时直接使用 QQ 平台转写（asr_refer_text）
      */
     stt?: STTChannelConfig;
     /**
@@ -289,17 +290,30 @@ interface AudioFormatPolicy {
 }
 /**
  * STT (语音转文字) 配置
+ *
+ * 2026-10 起转录统一走框架音频理解管线（tools.media.audio.models 凭证），
+ * 本块只保留行为开关；旧凭证键已废弃（检测到会打迁移提示日志）。
+ * 框架 STT 未配置时，QQ 平台转写（asr_refer_text）直接作为唯一来源。
  */
 interface STTChannelConfig {
-    /** 是否启用 STT（默认 true，配置了 baseUrl+apiKey 即自动启用） */
+    /**
+     * 是否启用框架 STT 转录（默认 true）。
+     * false = 不调用外部 STT，语音只用平台转写（或无转写时占位文本）。
+     */
     enabled?: boolean;
-    /** STT 服务提供商 ID（对应 models.providers 中的 key，默认 "openai"） */
+    /**
+     * 平台转写（asr_refer_text）参与开关。默认参与：
+     * 框架 STT 未配置时直接作为唯一来源，STT 失败/为空时兜底。
+     * 设为 false 恢复严格模式——所有场景丢弃平台转写。
+     */
+    asrFallback?: boolean;
+    /** @deprecated 2026-10 起忽略——STT 凭证统一配置在框架 tools.media.audio.models */
     provider?: string;
-    /** STT API 地址（如 https://api.openai.com/v1） */
+    /** @deprecated 同上 */
     baseUrl?: string;
-    /** STT API 密钥 */
+    /** @deprecated 同上 */
     apiKey?: string;
-    /** STT 模型名称（默认 "whisper-1"） */
+    /** @deprecated 同上 */
     model?: string;
 }
 /**

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@jerryliang122/openclaw-qqbot",
-  "version": "1.0.9",
+  "version": "2.0.0",
   "description": "QQ Bot channel plugin for OpenClaw (independently maintained fork)",
   "publishConfig": {
     "access": "public",

package/src/middleware/attachment.ts

@@ -15,7 +15,7 @@ import {
   isVoiceAttachment,
 } from '@tencent-connect/qqbot-nodejs/protocol';
 import type { MessageAttachment } from '../types.js';
-import { transcribeAudio, resolveSTTConfig, shouldUsePlatformAsr } from '../utils/stt.js';
+import { shouldUsePlatformAsr, isFrameworkSttConfigured, hasLegacySttCredentials, transcribeAudioViaFramework } from '../utils/stt.js';
 import { formatVoiceText, formatDuration, type VoiceTranscript, type TranscriptSource } from '../utils/voice-text.js';
 import { downloadRemoteMedia } from '../adapter/media.js';
 import { getAdapters } from '../adapter/resolve.js';
@@ -96,8 +96,9 @@ export async function processAttachments(
   cfg: Record<string, unknown>,
   log?: Log,
 ): Promise<ProcessedAttachments> {
-  const sttCfg = resolveSTTConfig(cfg);
   const usePlatformAsr = shouldUsePlatformAsr(cfg);
+  const sttConfigured = isFrameworkSttConfigured(cfg);
+  warnLegacySttCredentials(cfg, log);
   const audioPolicy = resolveAudioPolicy(cfg);
 
   const imageUrls: string[] = [];
@@ -120,7 +121,7 @@ export async function processAttachments(
     }
 
     if (isVoice) {
-      const transcript = await processVoiceAttachment(att, sttCfg, usePlatformAsr, audioPolicy, log);
+      const transcript = await processVoiceAttachment(att, cfg, usePlatformAsr, sttConfigured, audioPolicy, log);
       return { type: 'voice' as const, transcript };
     }
 
@@ -208,29 +209,42 @@ function kindFromContentType(contentType: string | undefined): InboundMediaEntry
 
 // ── 语音处理 ──
 
+/** 废弃插件级 STT 凭证的一次性迁移提示（每进程一条，避免每条语音刷屏） */
+let legacySttWarned = false;
+
+function warnLegacySttCredentials(cfg: Record<string, unknown>, log?: Log): void {
+  if (!legacySttWarned && hasLegacySttCredentials(cfg)) {
+    legacySttWarned = true;
+    log?.info(
+      'Voice: channels.qqbot.stt credentials (provider/baseUrl/apiKey/model) are deprecated and ignored; ' +
+        'configure tools.media.audio.models instead — platform asr_refer_text is used when framework STT is absent',
+    );
+  }
+}
+
 async function processVoiceAttachment(
   att: MessageAttachment,
-  sttCfg: ReturnType<typeof resolveSTTConfig>,
+  cfg: Record<string, unknown>,
   usePlatformAsr: boolean,
+  sttConfigured: boolean,
   audioPolicy: AudioPolicyResolved,
   log?: Log,
 ): Promise<VoiceTranscript> {
-  // 平台转写（asr_refer_text）仅在显式 asrFallback: true 时参与；
-  // 缺省/false 时在所有场景下丢弃——包括 STT 未配置（语音落占位文本）
-  // 与 STT 失败（不当兜底），三条泄漏路径（转写成功携带 / 转写失败回退 /
-  // 下载失败回退）一并堵死。
+  // 平台转写（asr_refer_text，QQ 平台自动 STT 随事件 JSON 下发）：
+  // 默认参与——框架 STT 未配置时直接作为唯一来源，STT 失败时兜底；
+  // 仅 asrFallback: false（严格模式）时在所有场景丢弃。
   const rawAsrText = att.asr_refer_text?.trim() || undefined;
   const asrReferText = usePlatformAsr ? rawAsrText : undefined;
   // 远端 URL 兜底：优先 wav_url，其次原始 url
   const remoteUrl = normalizeUrl(att.voice_wav_url) || normalizeUrl(att.url) || undefined;
 
-  // STT 未配置：占位文本；显式 asrFallback: true 时退回平台转写
-  if (!sttCfg) {
+  // 框架 STT 未配置 → 平台转写直接作为 transcript（无下载、无外部调用）
+  if (!sttConfigured) {
     if (!usePlatformAsr && rawAsrText) {
-      log?.info(`Voice: STT not configured; platform asr_refer_text discarded (asrFallback not enabled)`);
+      log?.info(`Voice: framework STT not configured; platform asr_refer_text discarded (asrFallback: false)`);
     }
     if (asrReferText) {
-      log?.debug?.(`Voice: using asr_refer_text (STT not configured, asrFallback enabled)`);
+      log?.debug?.(`Voice: using platform asr_refer_text (framework STT not configured)`);
       return { text: asrReferText, source: 'asr', asrReferText, remoteUrl };
     }
     return {
@@ -281,17 +295,18 @@ async function processVoiceAttachment(
 
   if (localPath) {
     try {
-      const transcript = await transcribeAudio(localPath, cfg2stt(sttCfg));
+      const transcript = await transcribeAudioViaFramework(localPath, cfg);
       if (transcript) {
-        log?.debug?.(`Voice STT: ${transcript.slice(0, 80)}...`);
+        log?.debug?.(`Voice STT (framework): ${transcript.slice(0, 80)}...`);
         return { text: transcript, source: 'stt', duration, localPath, remoteUrl, asrReferText };
       }
     } catch (err) {
-      log?.error(`Voice STT failed: ${err instanceof Error ? err.message : String(err)}`);
+      log?.error(`Voice STT (framework) failed: ${err instanceof Error ? err.message : String(err)}`);
     }
   }
 
   if (asrReferText) {
+    log?.debug?.(`Voice: falling back to platform asr_refer_text after framework STT failure`);
     return { text: asrReferText, source: 'asr', duration, localPath, remoteUrl, asrReferText };
   }
 
@@ -334,10 +349,6 @@ function normalizeFormats(formats: string[]): string[] {
   });
 }
 
-function cfg2stt(sttCfg: NonNullable<ReturnType<typeof resolveSTTConfig>>): Record<string, unknown> {
-  return { channels: { qqbot: { stt: sttCfg } } };
-}
-
 // ── 文件工具 ──
 
 function normalizeUrl(url: string | undefined): string {

package/src/types.ts

@@ -211,8 +211,9 @@ export interface QQBotAccountConfig {
     sendMode?: 'stream' | 'static';
   };
   /**
-   * STT (语音转文字) 配置
-   * 配置后，收到语音消息时会自动调用 STT 服务转录为文字
+   * STT (语音转文字) 行为开关
+   * 转录凭证统一走框架 tools.media.audio.models；
+   * 框架未配置时直接使用 QQ 平台转写（asr_refer_text）
    */
   stt?: STTChannelConfig;
   /**
@@ -301,17 +302,30 @@ export interface AudioFormatPolicy {
 
 /**
  * STT (语音转文字) 配置
+ *
+ * 2026-10 起转录统一走框架音频理解管线（tools.media.audio.models 凭证），
+ * 本块只保留行为开关；旧凭证键已废弃（检测到会打迁移提示日志）。
+ * 框架 STT 未配置时，QQ 平台转写（asr_refer_text）直接作为唯一来源。
  */
 export interface STTChannelConfig {
-  /** 是否启用 STT（默认 true，配置了 baseUrl+apiKey 即自动启用） */
+  /**
+   * 是否启用框架 STT 转录（默认 true）。
+   * false = 不调用外部 STT，语音只用平台转写（或无转写时占位文本）。
+   */
   enabled?: boolean;
-  /** STT 服务提供商 ID（对应 models.providers 中的 key，默认 "openai"） */
+  /**
+   * 平台转写（asr_refer_text）参与开关。默认参与：
+   * 框架 STT 未配置时直接作为唯一来源，STT 失败/为空时兜底。
+   * 设为 false 恢复严格模式——所有场景丢弃平台转写。
+   */
+  asrFallback?: boolean;
+  /** @deprecated 2026-10 起忽略——STT 凭证统一配置在框架 tools.media.audio.models */
   provider?: string;
-  /** STT API 地址（如 https://api.openai.com/v1） */
+  /** @deprecated 同上 */
   baseUrl?: string;
-  /** STT API 密钥 */
+  /** @deprecated 同上 */
   apiKey?: string;
-  /** STT 模型名称（默认 "whisper-1"） */
+  /** @deprecated 同上 */
   model?: string;
 }
 

package/src/utils/stt.ts

@@ -1,114 +1,83 @@
 /**
- * STT (Speech-to-Text) 语音转文字服务
+ * STT (Speech-to-Text) 语音转文字 — 框架音频理解管线
  *
- * 支持 OpenAI 兼容的 /audio/transcriptions 接口。
- * 配置优先级：
- *   1. channels.qqbot.stt（插件级）
- *   2. 框架级 audio model 配置
+ * 转录统一委托给 openclaw/plugin-sdk/media-understanding-runtime 的
+ * `transcribeAudioFile`（provider 注册表、附件缓存、SSRF 策略与错误语义
+ * 均由框架维护），插件不再自带 OpenAI 兼容 HTTP 调用；STT 凭证只认
+ * 框架级 `tools.media.audio.models` 配置（与内置 telegram 通道一致）。
+ *
+ * 平台转写（asr_refer_text）：QQ 平台对语音消息自动 STT 并随事件 JSON 下发。
+ * 默认策略——框架 STT 未配置时**直接采用平台转写**；已配置时平台转写作为
+ * 自有转录失败/为空的兜底。`channels.qqbot.stt.asrFallback: false` 可整体
+ * 禁用平台转写（严格模式，恢复 2026-08-17 的丢弃行为）。
  */
-import * as fs from 'node:fs';
 import * as path from 'node:path';
+import { transcribeAudioFile } from 'openclaw/plugin-sdk/media-understanding-runtime';
 
-export interface STTConfig {
-  enabled: boolean;
-  baseUrl: string;
-  apiKey: string;
-  model: string;
-}
+type TranscribeParams = Parameters<typeof transcribeAudioFile>[0];
 
 /**
- * 平台转写（asr_refer_text）参与判定。
- * 仅当显式配置 channels.qqbot.stt.asrFallback: true 时保留平台转写；
- * 缺省、false 或 stt 块整体不存在时一律丢弃——包括 STT 未配置的场景
- * （此时语音消息落占位文本，而不是退回平台转写）。
- * 读取独立于 STT 凭证解析成败：stt 块无凭证但 asrFallback: true 仍生效。
+ * 平台转写（asr_refer_text）是否参与（独立于框架 STT 配置读取）。
+ * 默认 true；显式 `channels.qqbot.stt.asrFallback: false` 时关闭（严格模式）。
  */
 export function shouldUsePlatformAsr(cfg: Record<string, unknown>): boolean {
   const channels = asRecord(cfg.channels);
   const qqbot = asRecord(channels?.qqbot);
-  return asRecord(qqbot?.stt)?.asrFallback === true;
+  return asRecord(qqbot?.stt)?.asrFallback !== false;
 }
 
 /**
- * 从 OpenClaw 配置中解析 STT 设置
+ * 框架 STT（tools.media.audio）是否可用：
+ * - `channels.qqbot.stt.enabled === false` → 插件级显式关闭（只用平台转写）
+ * - `tools.media.audio.enabled === false` → 框架级关闭
+ * - `models` 为空 → 未配置
+ *
+ * 仅做存在性探测控制流程；provider 解析与实际调用由 transcribeAudioFile 完成。
  */
-export function resolveSTTConfig(cfg: Record<string, unknown>): STTConfig | null {
+export function isFrameworkSttConfigured(cfg: Record<string, unknown>): boolean {
   const channels = asRecord(cfg.channels);
   const qqbot = asRecord(channels?.qqbot);
-  const sttCfg = asRecord(qqbot?.stt);
-
-  // 显式禁用
-  if (sttCfg?.enabled === false) {
-    return null;
-  }
-
-  const models = asRecord(cfg.models);
-  const providers = asRecord(models?.providers);
-
-  // 1. 插件级 STT 配置
-  if (sttCfg) {
-    const providerId = readString(sttCfg, 'provider') ?? 'openai';
-    const providerCfg = asRecord(providers?.[providerId]);
-    const baseUrl = readString(sttCfg, 'baseUrl') ?? readString(providerCfg, 'baseUrl');
-    const apiKey = readString(sttCfg, 'apiKey') ?? readString(providerCfg, 'apiKey');
-    const model = readString(sttCfg, 'model') ?? 'whisper-1';
-    if (baseUrl && apiKey) {
-      return { enabled: true, baseUrl: baseUrl.replace(/\/+$/, ''), apiKey, model };
-    }
+  if (asRecord(qqbot?.stt)?.enabled === false) {
+    return false;
   }
-
-  // 2. 框架级 audio model fallback
   const tools = asRecord(cfg.tools);
   const media = asRecord(tools?.media);
   const audio = asRecord(media?.audio);
-  const audioModels = audio?.models;
-  const audioModelEntry = Array.isArray(audioModels) ? asRecord(audioModels[0]) : undefined;
-  if (audioModelEntry) {
-    const providerId = readString(audioModelEntry, 'provider') ?? 'openai';
-    const providerCfg = asRecord(providers?.[providerId]);
-    const baseUrl = readString(audioModelEntry, 'baseUrl') ?? readString(providerCfg, 'baseUrl');
-    const apiKey = readString(audioModelEntry, 'apiKey') ?? readString(providerCfg, 'apiKey');
-    const model = readString(audioModelEntry, 'model') ?? 'whisper-1';
-    if (baseUrl && apiKey) {
-      return { enabled: true, baseUrl: baseUrl.replace(/\/+$/, ''), apiKey, model };
-    }
+  if (!audio || audio.enabled === false) {
+    return false;
   }
+  return Array.isArray(audio.models) && audio.models.length > 0;
+}
 
-  return null;
+/**
+ * 检测已废弃的插件级 STT 凭证（channels.qqbot.stt.provider/baseUrl/apiKey/model）。
+ * 2026-10 起凭证统一走框架 `tools.media.audio.models`，旧键被忽略；
+ * 返回 true 时调用方打一次性迁移提示。
+ */
+export function hasLegacySttCredentials(cfg: Record<string, unknown>): boolean {
+  const channels = asRecord(cfg.channels);
+  const qqbot = asRecord(channels?.qqbot);
+  const stt = asRecord(qqbot?.stt);
+  if (!stt) return false;
+  return ['provider', 'baseUrl', 'apiKey', 'model'].some(
+    (key) => typeof stt[key] === 'string' && (stt[key] as string).trim().length > 0,
+  );
 }
 
 /**
- * 调用 STT 服务转录音频文件
+ * 经框架音频理解管线转录本地音频文件。
+ * 返回修剪后的转录文本；无文本返回 null。
+ * provider 缺失/调用失败会抛错，由调用方捕获后走平台转写兜底。
  */
-export async function transcribeAudio(
+export async function transcribeAudioViaFramework(
   audioPath: string,
   cfg: Record<string, unknown>,
 ): Promise<string | null> {
-  const sttCfg = resolveSTTConfig(cfg);
-  if (!sttCfg) {
-    return null;
-  }
-
-  const fileBuffer = fs.readFileSync(audioPath);
-  const fileName = sanitizeFileName(path.basename(audioPath));
-  const mime = guessMimeType(fileName);
-
-  const form = new FormData();
-  form.append('file', new Blob([fileBuffer], { type: mime }), fileName);
-  form.append('model', sttCfg.model);
-
-  const resp = await fetch(`${sttCfg.baseUrl}/audio/transcriptions`, {
-    method: 'POST',
-    headers: { Authorization: `Bearer ${sttCfg.apiKey}` },
-    body: form,
+  const result = await transcribeAudioFile({
+    filePath: audioPath,
+    cfg: cfg as unknown as TranscribeParams['cfg'],
+    mime: guessMimeType(audioPath),
   });
-
-  if (!resp.ok) {
-    const detail = await resp.text().catch(() => '');
-    throw new Error(`STT failed (HTTP ${resp.status}): ${detail.slice(0, 300)}`);
-  }
-
-  const result = (await resp.json()) as { text?: string };
   return result.text?.trim() || null;
 }
 
@@ -121,18 +90,6 @@ function asRecord(value: unknown): Record<string, unknown> | undefined {
   return undefined;
 }
 
-function readString(obj: Record<string, unknown> | undefined, key: string): string | undefined {
-  const val = obj?.[key];
-  if (typeof val === 'string' && val.trim()) {
-    return val.trim();
-  }
-  return undefined;
-}
-
-function sanitizeFileName(name: string): string {
-  return name.replace(/[^a-zA-Z0-9._-]/g, '_');
-}
-
 function guessMimeType(fileName: string): string {
   const ext = path.extname(fileName).toLowerCase();
   const mimeMap: Record<string, string> = {