arona-agent 1.0.0

package/src/tts_stream.ts

@@ -0,0 +1,260 @@
+import type { ChildProcessWithoutNullStreams } from "child_process";
+import { join } from "path";
+import { PYTHON_DIR, config, verbose } from "./config.ts";
+import { t } from "./locale.ts";
+import { spawnCompat, stripProxyEnv } from "./utils/spawn.ts";
+import { stripMarkdown } from "./voice.ts";
+import { getMainAgent, type AgentId } from "./agent_registry.ts";
+import { getVoiceId } from "./voices.ts";
+import { splitStreamedText, countTextUnits } from "./text_split.ts";
+
+/**
+ * 非流式 TTS 管道（阿里云百炼"非实时语音合成"，整句一次 HTTP 合成）。
+ *
+ * 每句话 spawn 一次性 Python 进程 python/tts_say.py，通过 stdin/stdout JSON 行通信：
+ *   发送：{"text":"...","voice":"<id>"}（单行，进程随即退出）
+ *   接收：{"event":"ready"} / {"event":"play_start"} / {"event":"play_end"} / {"event":"error","message":...}
+ *
+ * 行为约定：
+ *   - 只有回合最后一个 assistant message 的文本走 TTS：renderer 累积 text_delta，
+ *     agent_end 时把最后一段完整文本传给 endTurn(text) 一次性处理（中间穿插工具调用的
+ *     过程性发言不朗读）——避免被 change_emotion 等工具调用切成多段的句子被拆读
+ *   - 整段字数判断：countTextUnits(整段) >= MAX_TURN_LEN 则整段跳过不朗读（长回复静音）
+ *   - 围栏代码块（```...```）整块剔除；句内 markdown 成句后剔除
+ *   - 句子进入严格串行队列：合成（HTTP+下载）→ 播放 → 下一句
+ *   - 音色每句动态取 getVoiceId(currentAgent)，setVoice 仅切换当前角色、无需重启进程
+ *   - 覆盖主 + 子 Agent：同一实例通过 setVoice 切角色
+ */
+// 整段字数阈值（countTextUnits 口径）：>= 50 的回复不朗读
+const MAX_SENTENCE_LEN = 50;
+const TTS_FORCE_SPLIT_LEN = 9999; // 仅标点切句、不强切
+
+/** 剔除整段文本中的 ``` 代码围栏（文本已完整，无需跨 delta 状态机）。 */
+function stripCodeBlocks(s: string): string {
+  // 先删成对围栏块，再清掉残留的单个 ```（未闭合/游离标记）
+  return s.replace(/```[\s\S]*?```/g, " ").replace(/```/g, " ");
+}
+
+export class TtsStream {
+  private proc: ChildProcessWithoutNullStreams | null = null;
+  private pendingCount = 0; // 活跃播放段数（play_start +1 / play_end -1）
+  private queue: string[] = []; // 待合成句子队列
+  private busy = false; // 当前是否有句子在合成/播放
+  private shuttingDown = false;
+  private _killRequested = false; // 本次是否因 cancel 主动杀进程（区分正常结束与打断）
+  private currentAgent: AgentId = getMainAgent();
+
+  constructor(
+    private isEnabledFor: (agent: AgentId) => boolean,
+    private onIdle?: () => void,
+  ) {}
+
+  /** 当前是否有未播放完的合成段（供 repl 判断 pet.reset 时机） */
+  get isPending(): boolean {
+    return this.pendingCount > 0 || this.busy || this.queue.length > 0;
+  }
+
+  /** 当前 TTS 音色所属角色 */
+  get currentAgentId(): AgentId {
+    return this.currentAgent;
+  }
+
+  /** 切换当前朗读角色音色（非流式下每句 spawn 时动态取 voice，无需重启进程）。 */
+  setVoice(agentId: AgentId): void {
+    if (this.currentAgent !== agentId) {
+      this.currentAgent = agentId;
+      if (verbose) console.error(`[tts] setVoice ${agentId}`);
+    }
+  }
+
+  /**
+   * 回合结束：处理最后一段回复文本（由 renderer 在 agent_end 时调用）。
+   * - 空文本（keep_silent / 无最终发言）→ 不朗读
+   * - 整段字数 >= MAX_SENTENCE_LEN → 整段跳过（长回复静音）
+   * - 否则切句入队，串行合成播放
+   */
+  endTurn(text: string): void {
+    if (!this.isEnabledFor(this.currentAgent)) return;
+    if (!text || !text.trim()) {
+      if (verbose) console.error("[tts] endTurn: no final text, skip");
+      return;
+    }
+    const full = stripCodeBlocks(text).trim();
+    if (!full) return;
+    const units = countTextUnits(stripMarkdown(full));
+    if (units === 0 || units >= MAX_SENTENCE_LEN) {
+      if (verbose) console.error(`[tts] skip whole turn units=${units} "${full.slice(0, 40)}"`);
+      return;
+    }
+    const { sentences, rest } = splitStreamedText(full, TTS_FORCE_SPLIT_LEN);
+    for (const s of sentences) this.emitSentence(s);
+    const tail = rest.trim();
+    if (tail) this.emitSentence(tail);
+    void this.drain();
+  }
+
+  /** 打断当前合成与队列（新输入 / Esc / Ctrl+C / STT 触发时调用）。 */
+  cancel(): void {
+    this.queue = [];
+    this.pendingCount = 0;
+    this.killProc();
+    if (verbose) console.error("[tts] cancel (queue cleared)");
+  }
+
+  /** 切换角色后清空残余（非流式音色动态取，无需杀进程重拉）。 */
+  restartVoice(): void {
+    this.cancel();
+  }
+
+  /** 退出时停止当前合成进程 */
+  shutdown(): void {
+    this.shuttingDown = true;
+    this.cancel();
+  }
+
+  // ------------------------------------------------------------
+  // 内部
+  // ------------------------------------------------------------
+
+  /**
+   * 句级过滤：剔除句内 markdown 后按字数判断。字数口径 = 中文每字 1、英文单词 1、
+   * 符号不计（countTextUnits）；字数为 0（纯符号）的句子不朗读。
+   * （整段已 < MAX_SENTENCE_LEN，单句必然 < 阈值，此处过滤为纯防御）
+   */
+  private emitSentence(sentence: string): void {
+    const clean = stripMarkdown(sentence).trim();
+    if (!clean) return;
+    const units = countTextUnits(clean);
+    if (units === 0 || units >= MAX_SENTENCE_LEN) {
+      if (verbose) console.error(`[tts] skip sentence units=${units} "${clean.slice(0, 40)}"`);
+      return;
+    }
+    if (verbose) console.error(`[tts] queue push units=${units} "${clean.slice(0, 40)}"`);
+    this.queue.push(clean);
+    void this.drain();
+  }
+
+  /** 串行排空队列：合成 + 播放一句再下一句。全部播完且未被打断时触发 onIdle。 */
+  private async drain(): Promise<void> {
+    if (this.busy || this.shuttingDown) return;
+    if (this.queue.length === 0) return;
+    this.busy = true;
+    let aborted = false;
+    try {
+      while (this.queue.length > 0 && !this.shuttingDown) {
+        const sentence = this.queue.shift()!;
+        if (verbose) console.error(`[tts] speakOne start "${sentence.slice(0, 40)}"`);
+        const ok = await this.speakOne(sentence);
+        if (verbose) console.error(`[tts] speakOne end ok=${ok} remaining=${this.queue.length}`);
+        if (!ok) {
+          aborted = true;
+          break;
+        }
+      }
+    } finally {
+      this.busy = false;
+    }
+    if (!aborted && !this.shuttingDown && this.pendingCount === 0) {
+      this.onIdle?.();
+    }
+  }
+
+  /**
+   * 合成并播放一句话：spawn 一次性 python 进程，等待其播完（play_end）或退出。
+   * @returns true = 正常结束（含合成失败，继续下一句）；false = 被 cancel 打断
+   */
+  private speakOne(text: string): Promise<boolean> {
+    return new Promise((resolve) => {
+      this._killRequested = false;
+      let settled = false;
+      const doResolve = (val: boolean) => {
+        if (settled) return;
+        settled = true;
+        resolve(val);
+      };
+      let stdoutBuffer = "";
+      const proc = spawnCompat(config.pythonPath, ["-u", join(PYTHON_DIR, "tts_say.py")], {
+        env: stripProxyEnv({
+          ...process.env,
+          PYTHONUTF8: "1",
+          QWEN_WORKSPACE_ID: config.workspaceId,
+          QWEN_TTS_API_KEY: config.ttsApiKey,
+          QWEN_TTS_MODEL: config.ttsModel,
+          QWEN_TTS_VOICE: getVoiceId(this.currentAgent),
+        }),
+        stdio: ["pipe", "pipe", "pipe"],
+      });
+      this.proc = proc;
+
+      proc.stdout.on("data", (data) => {
+        stdoutBuffer += data.toString();
+        const lines = stdoutBuffer.split("\n");
+        stdoutBuffer = lines.pop() || "";
+        for (const line of lines) {
+          const trimmed = line.trim();
+          if (!trimmed) continue;
+          let evt: { event?: string; message?: string };
+          try {
+            evt = JSON.parse(trimmed);
+          } catch {
+            continue;
+          }
+          switch (evt.event) {
+            case "play_start":
+              this.pendingCount++;
+              if (verbose) console.error(`[tts] play_start pending=${this.pendingCount}`);
+              break;
+            case "play_end":
+              if (this.pendingCount > 0) this.pendingCount--;
+              if (verbose) console.error(`[tts] play_end pending=${this.pendingCount}`);
+              doResolve(true); // 播放完成
+              break;
+            case "error":
+              console.warn(t(`TTS: ${evt.message ?? "unknown error"}`, `TTS: ${evt.message ?? "unknown error"}`));
+              if (verbose) console.error(`[tts] error: ${evt.message}`);
+              // 合成失败不中断队列，靠 close 再 resolve(true) 继续下一句
+              break;
+            default:
+              break;
+          }
+        }
+      });
+
+      proc.stderr.on("data", (data) => {
+        if (!verbose) return;
+        const msg = data.toString().trim();
+        if (msg) console.error(`[python:tts_say]`, msg);
+      });
+
+      proc.on("close", () => {
+        if (this.proc === proc) this.proc = null;
+        // 若已通过 play_end 结算，则 close 不再改写结果；否则按是否被 kill 决定
+        doResolve(!this._killRequested);
+      });
+      proc.on("error", () => {
+        if (this.proc === proc) this.proc = null;
+        doResolve(!this._killRequested);
+      });
+
+      try {
+        proc.stdin.write(JSON.stringify({ text, voice: getVoiceId(this.currentAgent) }) + "\n");
+        proc.stdin.end();
+      } catch {
+        // 忽略
+      }
+    });
+  }
+
+  private killProc(): void {
+    this._killRequested = true;
+    const proc = this.proc;
+    this.proc = null;
+    if (proc && !proc.killed) {
+      try {
+        proc.kill("SIGTERM");
+      } catch {
+        // 忽略
+      }
+    }
+  }
+}

package/src/tui_select.ts

@@ -0,0 +1,146 @@
+// 通用多选 TUI 选择器（raw-mode stdin）。
+// 用于 setup 与 arona voice add 的角色音色选择：↑/↓ 移动、空格切换 [*]/[ ]、回车确认、Esc/q/Ctrl+C 取消。
+// 复用 commands.ts 的可见宽度计算与行截断思路，避免 CJK 折行导致重绘叠字。
+
+import chalk from "chalk";
+
+export interface SelectOption {
+  id: string;
+  label: string;
+  /** 锁定：强制显示 [*]，空格不可切换（已有音色的角色）。 */
+  locked?: boolean;
+}
+
+/** 计算一个字符串去除 ANSI 转义后的可见宽度（CJK/全角算 2，控制符算 0）。 */
+function visibleWidth(s: string): number {
+  const stripped = s.replace(/\x1b(?:\[[0-9;?]*[A-Za-z]|[0-9])/g, "");
+  let w = 0;
+  for (const ch of stripped) {
+    const code = ch.codePointAt(0)!;
+    if (code >= 0x1100 && (
+      code <= 0x115f || (code >= 0x2e80 && code <= 0x303e) ||
+      (code >= 0x3040 && code <= 0x33bf) || (code >= 0x3400 && code <= 0x4dbf) ||
+      (code >= 0x4e00 && code <= 0xa4cf) || (code >= 0xac00 && code <= 0xd7af) ||
+      (code >= 0xf900 && code <= 0xfaff) || (code >= 0xfe30 && code <= 0xfe6f) ||
+      (code >= 0xff01 && code <= 0xff60) || (code >= 0xffe0 && code <= 0xffe6)
+    )) w += 2;
+    else if (code >= 0x20) w += 1;
+  }
+  return w;
+}
+
+/** 截断字符串到可见宽度（保留 ANSI 颜色转义，超出加 …）。 */
+function truncateStyled(text: string, maxW: number, style: (s: string) => string): string {
+  if (visibleWidth(text) <= maxW) return style(text);
+  let res = "";
+  let w = 0;
+  for (const ch of text) {
+    const code = ch.codePointAt(0)!;
+    const cw = (code >= 0x1100 && (
+      code <= 0x115f || (code >= 0x2e80 && code <= 0x303e) ||
+      (code >= 0x3040 && code <= 0x33bf) || (code >= 0x3400 && code <= 0x4dbf) ||
+      (code >= 0x4e00 && code <= 0xa4cf) || (code >= 0xac00 && code <= 0xd7af) ||
+      (code >= 0xf900 && code <= 0xfaff) || (code >= 0xfe30 && code <= 0xfe6f) ||
+      (code >= 0xff01 && code <= 0xff60) || (code >= 0xffe0 && code <= 0xffe6)
+    )) ? 2 : 1;
+    if (w + cw > maxW - 1) break;
+    res += ch;
+    w += cw;
+  }
+  return style(res + "…");
+}
+
+/**
+ * 多选 TUI。返回选中的 id 集合；用户取消（Esc/q/Ctrl+C）返回 null。
+ *
+ * 交互：↑/↓ 循环移动光标，空格切换 [*]/[ ]，回车确认。
+ * 调用方需保证进入前 stdin 未被 readline 占用（setup 在调用前 rl.close()）。
+ */
+export async function multiSelect(
+  title: string,
+  options: SelectOption[],
+  initiallySelected: Set<string>,
+  hint?: string,
+): Promise<Set<string> | null> {
+  if (options.length === 0) return new Set<string>();
+
+  const wasRaw = process.stdin.isRaw ?? false;
+  if (process.stdin.isTTY) {
+    process.stdin.setRawMode(true);
+  }
+  process.stdin.resume();
+  process.stdin.setEncoding("utf8");
+
+  const selected = new Set<string>(initiallySelected);
+  let cursor = 0;
+  let drawnScreenLines = 0;
+  const cols = process.stdout.columns ?? 80;
+
+  const render = () => {
+    if (drawnScreenLines > 0) {
+      process.stdout.write("\x1b[" + drawnScreenLines + "A");
+    }
+    process.stdout.write("\r\x1b[0J");
+    const maxW = cols - 1;
+    const out: string[] = [];
+    // title / hint 也必须截断到终端宽度：否则超宽折行 → 实际屏幕行数 > 逻辑行数，
+    // drawnScreenLines 低估导致下一次 \x1b[N A 上移不足、上一帧残留累积（英文长标题复现）
+    out.push(truncateStyled(title, maxW, (x) => chalk.bold.cyan(x)));
+    options.forEach((o, i) => {
+      const checked = o.locked || selected.has(o.id);
+      const marker = checked ? "[*]" : "[ ]";
+      const text = `${marker} ${o.label}`;
+      const styled = i === cursor
+        ? truncateStyled(text, maxW, (x) => chalk.bold.cyan(x))
+        : truncateStyled(text, maxW, (x) => x);
+      out.push(styled);
+    });
+    if (hint) out.push(truncateStyled(hint, maxW, (x) => chalk.cyan(x)));
+    process.stdout.write(out.join("\r\n") + "\r\n");
+    drawnScreenLines = out.length;
+  };
+
+  render();
+
+  let resolveFn: (v: Set<string> | null) => void = () => {};
+  const onData = (key: string) => {
+    if (key === "\x1b[A") {
+      cursor = (cursor - 1 + options.length) % options.length;
+      render();
+    } else if (key === "\x1b[B") {
+      cursor = (cursor + 1) % options.length;
+      render();
+    } else if (key === " ") {
+      const o = options[cursor];
+      if (o.locked) return; // 锁定项：空格无效，保持 [*]
+      if (selected.has(o.id)) selected.delete(o.id);
+      else selected.add(o.id);
+      render();
+    } else if (key === "\r" || key === "\n") {
+      cleanup();
+      resolveFn(selected);
+    } else if (key === "\x1b" || key === "\x1b\x1b" || key === "q" || key === "\x03") {
+      cleanup();
+      resolveFn(null);
+    }
+  };
+
+  const cleanup = () => {
+    process.stdin.removeListener("data", onData);
+    // 恢复进入前的 raw mode 状态（setup 已 rl.close()、voice_cli 无 rl，均安全）
+    if (process.stdin.isTTY) {
+      try {
+        process.stdin.setRawMode(wasRaw);
+      } catch {
+        // 忽略
+      }
+    }
+    // pause stdin：resume() 后 stdin 保持 flowing，事件循环被 stdin 引用挂住，
+    // 进程不会退出（按 Esc/回车取消后只能 Ctrl+C 强退）。本 TUI 仅用于
+    // setup / voice add 的独立进程场景（REPL 内联选择器才需要保持 resume）。
+    process.stdin.pause();
+  };
+
+  process.stdin.on("data", onData);
+  return new Promise<Set<string> | null>((resolve) => { resolveFn = resolve; });
+}