@kmchai/cortico-world-voice 0.3.0 → 0.3.2

package/CHANGELOG.md

@@ -1,3 +1,12 @@
+## 0.3.2
+
+- IndexTTS2 的模型提示词明确:`emotion` / `instruct` 传自然语言,由服务映射到 `emotion_text`;不要在正文写 `emotion_text` 或方括号标签。服务 0.4.2 起这两个 options 不再由模型页覆盖。
+
+## 0.3.1
+
+- 自动朗读不再把 `end_turn` 当成实质工具调用。模型说完正文再调 `end_turn` 结束这一轮时,正文照常按概率朗读;仍会压掉与 `web_search` 等实际工具同轮出现的中间正文。
+- 网关 0.1.1 已把 World 的 `outputTap` 扇进主 session;此前网关 bot 里概率朗读拿不到正文。
+
 ## 0.3.0
 
 - 系统 Config tab 移除「音色与情绪」组;音色、情绪控制、默认情绪、默认表演指令、语速与副语言标签移到「模型」页。

package/README.md

@@ -77,7 +77,7 @@ World 页的「模型」tab 选模型与音色,并按服务 `/v1/models` 返回
 
 只想响应工具与显式请求、不要随机朗读:保留 `autoSpeak: true`,把 `autoProbability` 设为 `0`。把 `autoSpeak` 整个关掉会让 tap 不再挂载,显式关键词也就看不到正文了;这时只保留 `voice_speak` 工具触发。
 
-自动朗读依赖 Persona 把已挂载 World 的 `outputTap()` 扇进主 session;仓内 `cormini` 与 Coopanion 都这样做。只想要工具触发时,把 `autoSpeak` 关掉即可。
+自动朗读依赖 Persona 把已挂载 World 的 `outputTap()` 扇进主 session;`cormini`、Coopanion 与 `Kmch AI · 网关` 0.1.1 起都这样做。只想要工具触发时,把 `autoSpeak` 关掉即可。模型说完正文再调 `end_turn` 不影响朗读;与搜索等实际工具同轮的中间正文仍不念。
 
 ## 情绪、语速与标签
 
@@ -91,7 +91,7 @@ World 页的「模型」tab 选模型与音色,并按服务 `/v1/models` 返回
 | `tags` | 不发情绪参数,只用正文标签。 | 正文标签。 |
 | `none` | 都不发。 | — |
 
-OpenAI 兼容条目把 `instructions` / `emotion` / `speed` 直接放进请求。其他模型可在服务面板里覆盖 profile 的字段映射,语音不用改配置。
+OpenAI 兼容条目把 `instructions` / `emotion` / `speed` 直接放进请求。IndexTTS2 把 `instructions` 或 `emotion` 映射成 `use_emotion_text: true` 与 `emotion_text`;这两个参数由语音的「默认情绪 / 默认表演指令」或单句 `emotion` / `instruct` 驱动,不在模型参数面板里单独出现。其他模型可在服务面板里覆盖 profile 的字段映射,语音不用改配置。
 
 `response_format` 每次都带;`model` 与 `voice` 配了才带,工具参数里的音色优先于配置默认值。
 

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@kmchai/cortico-world-voice",
-  "version": "0.3.0",
+  "version": "0.3.2",
   "type": "module",
   "description": "Cortico World: voice tools, probabilistic reading, emotion and paralinguistic tags, text filtering and local playback; speech is synthesized by the Kmch AI service over HTTP",
   "author": "kmchai",

package/src/models.ts

@@ -28,7 +28,7 @@ const INDEXTTS2: ModelInfo = {
   match: ['index-tts2', 'index_tts2', 'index-tts2.5', 'index_tts2_5', '2.5'],
   label: 'IndexTTS2',
   tags: false,
-  prompt: '情绪用自然语言(emotion_text),不要写 [Laughter] 这类方括号标签;采样/时长参数在语音模型页配置,不要写进正文.',
+  prompt: '情绪用 voice_speak 的 emotion 或 instruct 传自然语言,服务会映射到 emotion_text;不要在正文写 emotion_text 或 [Laughter] 这类方括号标签。采样/时长参数在语音模型页配置,不要写进正文.',
 };
 
 const GENERIC: ModelInfo = {

package/src/triggers.ts

@@ -8,6 +8,8 @@ import type { VoiceConfigSection } from './types.ts';
 
 /** 工具参数里可能放正文的字段,按顺序取第一个字符串。 */
 const TEXT_FIELDS = ['script', 'question', 'text', 'content', 'message', 'body'] as const;
+/** 只结束这一轮的控制工具,不算「这一轮做了别的事」。 */
+const FLOW_TOOLS = new Set(['end_turn']);
 
 export function splitList(raw: string): string[] {
   return raw
@@ -60,15 +62,27 @@ interface StreamLike {
 
 export class VoiceTap implements OutputTap {
   private text = '';
-  private calls = 0;
-  private readonly names = new Map<number, string>();
+  /** 这一轮出现过的函数调用:output_index -> name;名字未知时存空串。 */
+  private readonly callNames = new Map<number, string>();
+  /** 没有 output_index 的函数调用;无法判断是不是 end_turn,按实质调用处理。 */
+  private orphanCall = false;
   private readonly emitted = new Set<number>();
 
   constructor(private readonly opts: TapOptions) {}
 
+  private noteCall(index: number, name: string): void {
+    if (index < 0) {
+      if (name && FLOW_TOOLS.has(name)) return;
+      this.orphanCall = true;
+      return;
+    }
+    if (name) this.callNames.set(index, name);
+    else if (!this.callNames.has(index)) this.callNames.set(index, '');
+  }
+
   /** 工具调用完成:同一个 output_index 只交出去一次。 */
   private takeCall(index: number, name: string, args: string): void {
-    if (!name || name.startsWith('voice_')) return;
+    if (!name || name.startsWith('voice_') || FLOW_TOOLS.has(name)) return;
     if (this.emitted.has(index)) return;
     if (!toolNames(this.opts.cfg()).has(name)) return;
     const text = textOfToolArgs(args);
@@ -85,38 +99,39 @@ export class VoiceTap implements OutputTap {
       return;
     }
     if (e.type === 'response.output_item.added' && e.item?.type === 'function_call') {
-      this.calls += 1;
-      if (e.item.name) this.names.set(index, e.item.name);
+      this.noteCall(index, e.item.name ?? '');
       return;
     }
     // 有的传输只给参数结束事件,不带完整 item;名字从 added 里取。
     if (e.type === 'response.function_call_arguments.done') {
-      const name = this.names.get(index) ?? '';
+      const name = this.callNames.get(index) ?? '';
+      this.noteCall(index, name);
       if (name) this.takeCall(index, name, e.arguments ?? '');
       return;
     }
     if (e.type === 'response.output_item.done' && e.item?.type === 'function_call') {
-      this.calls += 1;
-      const name = e.item.name ?? this.names.get(index) ?? '';
+      const name = e.item.name ?? this.callNames.get(index) ?? '';
+      this.noteCall(index, name);
       if (name) this.takeCall(index, name, e.item.arguments ?? '');
-      this.names.delete(index);
     }
   }
 
   onRoundEnd(): void {
     const text = this.text;
     this.text = '';
-    const pureText = this.calls === 0;
-    this.calls = 0;
-    this.names.clear();
+    // 只有结束轮次的调用不算实质动作;纯文本回复照样可以自动朗读。
+    const nonFlow = this.orphanCall
+      || [...this.callNames.values()].some((name) => name === '' || !FLOW_TOOLS.has(name));
+    this.callNames.clear();
+    this.orphanCall = false;
     this.emitted.clear();
-    if (pureText && text.trim()) this.opts.onText(text, 'text');
+    if (!nonFlow && text.trim()) this.opts.onText(text, 'text');
   }
 
   onAbort(): void {
     this.text = '';
-    this.calls = 0;
-    this.names.clear();
+    this.callNames.clear();
+    this.orphanCall = false;
     this.emitted.clear();
     this.opts.onAbort?.();
   }