dsh-line-bot 0.10.0 → 0.10.2

package/CHANGELOG.md

@@ -1,3 +1,15 @@
+## 0.10.2
+
+- 修正 Windows 一鍵配置語音環境：改為直接使用解壓後的 `crispasr.exe`（與 `openblas.dll` 同資料夾），不再只複製 exe 導致缺少 DLL、`--version` 失敗。
+- 安裝時會實際執行 `crispasr.exe --version` 驗證，失敗時回報缺少 DLL 的細節。
+- 修正面板卡在「讀取中」：語音環境偵測改為快取＋只用檔案檢查，`/api/line-bot/status` 不再因 MLX 匯入檢查被阻塞（先前每次可能卡 30 秒以上）。
+
+## 0.10.1
+
+- 語音：自然語言語氣（instruct）改用 CosyVoice GGUF；MLX 的 instruct 模式會把語氣指令一起念出來，已避免。
+- 語音：MLX 合成加上 `NUMBA_CACHE_DIR`，避免新版 Python 環境第一次執行就失敗。
+- 面板與文件更新語音引擎說明。
+
 ## 0.10.0
 
 - 新增語音回覆（CosyVoice3-0.5B）：角色可以在回覆最後加 `[[voice]]`，插件會把文字合成語音並用 LINE 語音訊息送出；合成失敗或 reply token 過期時自動改用文字／push。

package/README.en.md

@@ -230,6 +230,7 @@ The persona can attach a sticker to a text reply, or reply with just an image. I
 - The persona can put `[[voice]]` at the end of a reply; the plugin synthesizes the text with CosyVoice3-0.5B and sends a LINE audio message (m4a).
 - On Apple Silicon macOS it synthesizes locally with MLX; on Windows (or without MLX) it uses CosyVoice GGUF (CrispASR). Press "Set up environment" once in the panel (downloads roughly 1–2 GB).
 - The "Voice replies" card toggles the feature, requires confirming that you have the rights to the voice, lets you upload a reference clip (the default is a 12–16 s cut of the provided sample), choose instruct/zero-shot mode, and preview the audio.
+- Natural-language style (instruct) uses CosyVoice GGUF; MLX is only used for zero-shot, so the instruction is never read aloud.
 - Synthesis takes about 20–40 s; if the reply token expires it falls back to push. Audio is stored under `<DSH_HOME>/line-bot/media/` and served at `/media/<token>` through the tunnel.
 - Requires `ffmpeg`; MLX mode needs Python 3.10+.
 

package/README.ja.md

@@ -233,6 +233,9 @@ Bot がグループ（または複数人のルーム）に追加されたとき
 - 合成には約 20–40 秒かかります。reply token の期限が切れた場合は push に切り替わります。音声は `<DSH_HOME>/line-bot/media/` に保存され、tunnel の `/media/<token>` で配信されます。
 - `ffmpeg` が必要です。MLX モードは Python 3.10+ が必要です。
 
+- 自然言語の話し方（instruct）は CosyVoice GGUF を使用します。MLX はゼロショット専用で、指示が読み上げられるのを防ぎます。
+
+
 ## 診断
 - パネルの「詳細設定 → 診断を実行」でサーバー、Tunnel、公開 URL、webhook、dsh-meme 図庫、画像変換ツール、モデル、最近のエラーを確認できます。「安全な修復」は tunnel 再接続と webhook 再設定だけを行います。
 - CLI：`npx dsh-line-bot doctor`、`doctor --fix`、`doctor --json`。

package/README.ko.md

@@ -231,6 +231,9 @@ Bot이 그룹(또는 다인 룸)에 추가되면:
 - 합성에는 약 20–40초가 걸립니다. reply token이 만료되면 push로 자동 전환됩니다. 음성은 `<DSH_HOME>/line-bot/media/`에 저장되고 tunnel의 `/media/<token>`으로 제공됩니다.
 - `ffmpeg`가 필요합니다. MLX 모드는 Python 3.10+가 필요합니다.
 
+- 자연어 말투(instruct)는 CosyVoice GGUF를 사용합니다. MLX는 제로샷 전용이라 지시문이 읽히지 않습니다.
+
+
 ## 진단
 - 패널의 "고급 설정 → 진단 실행"에서 서버, Tunnel, 공개 URL, webhook, dsh-meme 라이브러리, 이미지 변환 도구, 모델, 최근 오류를 확인할 수 있습니다. "안전 복구"는 tunnel 재연결과 webhook 재설정만 수행합니다.
 - CLI: `npx dsh-line-bot doctor`, `doctor --fix`, `doctor --json`.

package/README.md

@@ -230,6 +230,7 @@ Bot 被加進群組（或多人聊天室）後：
 - 角色可以在回覆最後加 `[[voice]]`，插件會用 CosyVoice3-0.5B 把文字合成語音，並以 LINE 語音訊息送出（m4a）。
 - macOS（Apple Silicon）在本機用 MLX 合成；Windows／沒有 MLX 時用 CosyVoice GGUF（CrispASR）。第一次要先在面板按「一鍵配置環境」（會下載模型，約 1–2GB）。
 - 面板「語音回覆」可開關、確認聲音使用權、上傳參考音（預設用指定音檔的 12–16 秒片段）、選推理模式與語氣指令、試聽。
+- 自然語言語氣（instruct）使用 CosyVoice GGUF；MLX 只用於零樣本模式，避免語氣指令被念出來。
 - 合成需要約 20–40 秒；若 reply token 過期會自動改用 push。語音檔存在 `<DSH_HOME>/line-bot/media/`，透過 tunnel 的 `/media/<token>` 提供。
 - 需要 `ffmpeg`；MLX 模式需要 Python 3.10+。
 

package/README.zh-CN.md

@@ -230,6 +230,7 @@ Bot 被加入群组（或多人聊天室）后：
 - 角色可以在回复最后加 `[[voice]]`，插件会用 CosyVoice3-0.5B 把文字合成语音，并以 LINE 语音消息发送（m4a）。
 - macOS（Apple Silicon）在本机用 MLX 合成；Windows／没有 MLX 时用 CosyVoice GGUF（CrispASR）。第一次要先在面板按「一键配置环境」（会下载模型，约 1–2GB）。
 - 面板「语音回复」可开关、确认声音使用权、上传参考音频（默认用指定音频的 12–16 秒片段）、选择推理模式与语气指令、试听。
+- 自然语言语气（instruct）使用 CosyVoice GGUF；MLX 只用于零样本模式，避免语气指令被念出来。
 - 合成需要约 20–40 秒；若 reply token 过期会自动改用 push。语音文件存在 `<DSH_HOME>/line-bot/media/`，通过 tunnel 的 `/media/<token>` 提供。
 - 需要 `ffmpeg`；MLX 模式需要 Python 3.10+。
 

package/TROUBLESHOOTING.md

@@ -38,6 +38,14 @@ npx dsh-line-bot doctor --fix   # 安全修復：重連 tunnel、重設 webhook
 - 合成約需 20–40 秒；reply token 過期時會自動改用 push。日誌看 `語音回覆`、`語音合成失敗`。
 - 模型只有在語言上下文有語音提示時才會加 `[[voice]]`；可先用「測試 Agent 回覆」確認。
 
+### Windows 一鍵配置語音失敗
+- 0.10.2 起會直接使用解壓後的 `crispasr.exe`，它必須和 `openblas.dll` 在同一個資料夾。
+- 若仍失敗，到 `%USERPROFILE%\.dsh\line-bot\tts\crispasr\windows\` 找 `crispasr-windows-x86_64-cpu\crispasr.exe`，手動雙擊或執行 `crispasr.exe --version` 看缺哪個 DLL。
+- 也需要 `ffmpeg` 在 PATH 中。
+
+### 語音把語氣指令念出來
+- 舊版 MLX 的 instruct 模式會把語氣描述一起念；0.10.1 起 instruct 一律走 CosyVoice GGUF。升級後重新產生一次語音即可，舊音檔不會變。
+
 ### APNG 不會動
 - LINE 不播放 APNG，只顯示第一幀。保持 `stickers.apng=false` 即可。
 

package/client.js

@@ -1415,10 +1415,10 @@ window.__ModuleLoader__.load({
           h('div', { style: S.row },
             h(Badge, { ok: voiceStatus.ready === true }, voiceStatus.ready ? '語音環境就緒' : '尚未就緒'),
             h(Badge, { ok: voiceCfg.consent === true }, voiceCfg.consent ? '已確認使用權' : '未確認使用權'),
-            h(Badge, { ok: true }, voiceStatus.mlx?.ok ? 'macOS MLX' : voiceStatus.gguf?.ok ? 'GGUF' : '未安裝引擎'),
+            h(Badge, { ok: true }, voiceStatus.effectiveProvider === 'gguf' ? 'GGUF' : voiceStatus.effectiveProvider === 'mlx' ? 'MLX' : '未安裝引擎'),
             h(Badge, { ok: !!voiceStatus.reference?.path }, voiceStatus.reference?.path ? ('參考音 ' + (voiceStatus.reference.seconds || 0) + ' 秒') : '沒有參考音'),
           ),
-          h('div', { style: S.hint }, 'macOS 會用 MLX（較快）；Windows 或沒有 MLX 時用 CosyVoice GGUF。合成一次約需 20–40 秒，送出時若 reply token 過期會自動改用 push。'),
+          h('div', { style: S.hint }, '自然語言語氣（instruct）一律用 CosyVoice GGUF，避免 MLX 把語氣指令念出來；零樣本模式可用 MLX。合成一次約需 20–40 秒，reply token 過期會自動改用 push。'),
           h(Toggle, { checked: voiceCfg.enabled === true, onChange: (value) => update({ voice: { enabled: value } }), label: '開啟語音回覆', hint: '開啟後角色可以自己決定用語音；關閉時完全不合成。' }),
           h(Toggle, { checked: voiceCfg.consent === true, onChange: (value) => update({ voice: { consent: value } }), label: '我確認有使用此聲音的權利', hint: '使用他人聲音做克隆前請先取得同意；確認後才會合成。' }),
           h('div', { style: S.row },

package/lib/host.mjs

@@ -51,7 +51,7 @@ const { createVision } = visionMod
 const { createTts } = ttsMod
 const { chunkText, clip, inQuietWindow, jsonFail, jsonOk, maskSecret, readJsonBody, safeArray, sleep, readJsonSafe } = utilMod
 
-export const VERSION = '0.10.0'
+export const VERSION = '0.10.2'
 
 // 環境變數提供的 Cloudflare API Token（方便用 shell 注入、不用把 token 寫進設定檔）。
 // 設定檔裡的 token 優先；兩者都沒有時才用環境變數。
@@ -2801,7 +2801,7 @@ export async function create({ ctx, config: pluginConfig, logger: upstream }) {
         return { messages: built.messages, parsed: built.parsed }
       }
       case 'voice-detect':
-        return tts.detect()
+        return tts.detect({ force: true, validate: true })
       case 'voice-install': {
         if (tts.status().installing) return { started: false, already: true }
         tts.install()

package/lib/tts.mjs

@@ -94,8 +94,13 @@ export function createTts({ dir, logger, getConfig }) {
     last: null,
     lastError: '',
     installing: false,
+    ggufBinary: '',
   }
 
+  let detectCache = { at: 0, value: null }
+  let refCache = { at: 0, key: '', value: null }
+  let mlxError = ''
+
   function setSetup(phase, message, error = '') {
     state.setup = {
       phase,
@@ -126,6 +131,15 @@ export function createTts({ dir, logger, getConfig }) {
   function referenceInfo() {
     const file = referencePath()
     if (!file) return { path: '', exists: false, seconds: 0 }
+    let stamp = ''
+    try {
+      const st = fs.statSync(file)
+      stamp = `${st.size}:${st.mtimeMs}`
+    } catch {
+      stamp = ''
+    }
+    const key = `${file}|${stamp}`
+    if (refCache.value && refCache.key === key && Date.now() - refCache.at < 60000) return refCache.value
     let seconds = 0
     try {
       const out = execFileSync('ffprobe', ['-v', 'error', '-show_entries', 'format=duration', '-of', 'default=nw=1:nk=1', file], {
@@ -136,7 +150,9 @@ export function createTts({ dir, logger, getConfig }) {
     } catch {
       seconds = 0
     }
-    return { path: file, exists: true, seconds: Math.round(seconds * 100) / 100 }
+    const value = { path: file, exists: true, seconds: Math.round(seconds * 100) / 100 }
+    refCache = { at: Date.now(), key, value }
+    return value
   }
 
   function mlxModelCached() {
@@ -156,8 +172,20 @@ export function createTts({ dir, logger, getConfig }) {
     return false
   }
 
-  let mlxError = ''
-  function mlxReady() {
+  function sitePackages(name) {
+    try {
+      const lib = path.join(paths.mlxVenv, 'lib')
+      for (const dir of fs.readdirSync(lib)) {
+        if (!dir.startsWith('python')) continue
+        if (dirExists(path.join(lib, dir, 'site-packages', name))) return true
+      }
+    } catch {
+      /* ignore */
+    }
+    return false
+  }
+
+  function mlxReady({ validate = false } = {}) {
     if (!fileExists(paths.mlxPython)) {
       mlxError = '找不到 MLX Python 環境'
       return false
@@ -166,8 +194,16 @@ export function createTts({ dir, logger, getConfig }) {
       mlxError = `找不到 MLX 合成腳本：${paths.mlxScript}`
       return false
     }
+    if (!sitePackages('mlx_audio') || !sitePackages('mlx_lm')) {
+      mlxError = 'MLX 套件尚未安裝完成'
+      return false
+    }
+    if (!validate) {
+      mlxError = ''
+      return true
+    }
     try {
-      execFileSync(paths.mlxPython, ['-c', 'import mlx_audio, mlx_lm, librosa'], { stdio: 'ignore', timeout: 30000 })
+      execFileSync(paths.mlxPython, ['-c', 'import mlx_audio, mlx_lm, librosa'], { stdio: 'ignore', timeout: 20000 })
       mlxError = ''
       return true
     } catch (error) {
@@ -176,14 +212,39 @@ export function createTts({ dir, logger, getConfig }) {
     }
   }
 
+  function findCrispExe(dir, depth = 3) {
+    if (depth < 0) return ''
+    let entries = []
+    try {
+      entries = fs.readdirSync(dir, { withFileTypes: true })
+    } catch {
+      return ''
+    }
+    for (const entry of entries) {
+      if (entry.isFile() && /^crispasr\.exe$/i.test(entry.name)) return path.join(dir, entry.name)
+    }
+    for (const entry of entries) {
+      if (!entry.isDirectory()) continue
+      const hit = findCrispExe(path.join(dir, entry.name), depth - 1)
+      if (hit) return hit
+    }
+    return ''
+  }
+
   function ggufBinary() {
-    const candidates = [isWin() ? paths.winCrisp : paths.macCrisp, which('crispasr')]
+    if (state.ggufBinary && fileExists(state.ggufBinary)) return state.ggufBinary
+    if (isWin()) {
+      const found = findCrispExe(paths.winDir)
+      if (found) return found
+    }
+    const candidates = [isWin() ? '' : paths.macCrisp, which('crispasr')]
     return candidates.find((item) => item && fileExists(item)) || ''
   }
 
-  function ggufReady() {
+  function ggufReady({ validate = false } = {}) {
     const bin = ggufBinary()
     if (!bin) return false
+    if (!validate) return true
     try {
       execFileSync(bin, ['--version'], { stdio: 'ignore', timeout: 8000 })
       return true
@@ -192,19 +253,23 @@ export function createTts({ dir, logger, getConfig }) {
     }
   }
 
-  function detect() {
+  function detect({ force = false, validate = false } = {}) {
+    const now = Date.now()
+    if (!force && !validate && detectCache.value && now - detectCache.at < 120000) return detectCache.value
     const platform = process.platform
     const arch = process.arch
     const preferred = platform === 'darwin' && arch === 'arm64' ? 'mlx' : 'gguf'
     const ffmpeg = which('ffmpeg')
     const ref = referenceInfo()
-    return {
+    const mlxOk = mlxReady({ validate })
+    const ggufOk = ggufReady({ validate })
+    const value = {
       platform,
       arch,
       preferred,
       ffmpeg: { path: ffmpeg, ok: !!ffmpeg },
       mlx: {
-        ok: mlxReady(),
+        ok: mlxOk,
         python: fileExists(paths.mlxPython) ? paths.mlxPython : '',
         model: MLX_MODEL,
         modelCached: mlxModelCached(),
@@ -212,19 +277,33 @@ export function createTts({ dir, logger, getConfig }) {
         script: paths.mlxScript,
       },
       gguf: {
-        ok: ggufReady(),
+        ok: ggufOk,
         binary: ggufBinary(),
         backend: GGUF_BACKEND,
       },
       reference: ref,
       setup: state.setup,
-      ready: (preferred === 'mlx' ? mlxReady() : ggufReady()) && !!ref.path,
+      ready: (mlxOk || ggufOk) && !!ref.path,
     }
+    detectCache = { at: now, value }
+    return value
+  }
+
+  function providerFor(cfg = cfgVoice()) {
+    const detected = detect()
+    const instruct = String(cfg.cloneMode || 'instruct') !== 'zero-shot'
+    if (instruct) return detected.gguf.ok ? 'gguf' : ''
+    return detected.mlx.ok ? 'mlx' : detected.gguf.ok ? 'gguf' : ''
   }
 
   function resolveProvider(cfg = cfgVoice()) {
     const detected = detect()
     const wanted = String(cfg.provider || 'auto')
+    const instruct = String(cfg.cloneMode || 'instruct') !== 'zero-shot'
+    if (instruct) {
+      if (detected.gguf.ok) return 'gguf'
+      throw new Error('自然語言語氣（instruct）模式需要 GGUF 引擎；MLX 的 instruct 會把指示念出來。請按「一鍵配置環境」。')
+    }
     if (wanted === 'mlx') {
       if (!detected.mlx.ok) throw new Error('MLX 語音環境還沒安裝完成，請先按「一鍵配置環境」')
       return 'mlx'
@@ -293,7 +372,7 @@ export function createTts({ dir, logger, getConfig }) {
     const pipBase = uv ? [uv, 'pip', 'install', '--python', paths.mlxPython] : [paths.mlxPython, '-m', 'pip', 'install']
     setSetup('pip', '安裝 MLX 語音套件（mlx-audio-plus）')
     const packages = ['mlx-audio-plus==0.1.7', 'mlx-lm==0.29.1', 'librosa', 'pyloudnorm', 'soundfile']
-    await run(pipBase[0], [...pipBase.slice(1), ...packages], { timeout: 1800000, env: { ...process.env, HF_HOME: paths.hfHome } })
+    await run(pipBase[0], [...pipBase.slice(1), ...packages], { timeout: 1800000, env: { ...process.env, HF_HOME: paths.hfHome, NUMBA_CACHE_DIR: path.join(paths.root, 'numba') } })
 
     if (!mlxModelCached()) {
       setSetup('model', '下載 CosyVoice3-0.5B 模型（約 1.4GB，第一次會比較久）')
@@ -303,7 +382,7 @@ export function createTts({ dir, logger, getConfig }) {
       ].join('\n')
       await run(paths.mlxPython, ['-c', downloader], {
         timeout: 3600000,
-        env: { ...process.env, HF_HOME: paths.hfHome },
+        env: { ...process.env, HF_HOME: paths.hfHome, NUMBA_CACHE_DIR: path.join(paths.root, 'numba') },
       })
     } else {
       setSetup('model', 'MLX 模型已下載')
@@ -337,18 +416,15 @@ export function createTts({ dir, logger, getConfig }) {
     const zip = path.join(root, 'crispasr-windows.zip')
     await downloadFile(CRISPASR_WIN_URL, zip)
     await run('powershell', ['-NoProfile', '-Command', `Expand-Archive -LiteralPath ${JSON.stringify(zip)} -DestinationPath ${JSON.stringify(paths.winDir)} -Force`], { timeout: 300000 })
-    const found = []
-    for (const name of fs.readdirSync(paths.winDir)) {
-      const full = path.join(paths.winDir, name)
-      if (/crispasr(\.exe)?$/i.test(name)) found.push(full)
-      if (dirExists(full)) {
-        for (const sub of fs.readdirSync(full)) {
-          if (/^crispasr(\.exe)?$/i.test(sub)) found.push(path.join(full, sub))
-        }
-      }
+    const exe = findCrispExe(paths.winDir)
+    if (!exe) throw new Error('解壓縮後找不到 crispasr.exe')
+    try {
+      execFileSync(exe, ['--version'], { encoding: 'utf8', timeout: 15000 })
+    } catch (error) {
+      const detail = String(error?.stderr || error?.message || error).slice(0, 300)
+      throw new Error(`crispasr.exe 無法執行（可能是缺少 DLL）：${detail}`)
     }
-    if (!found[0]) throw new Error('解壓縮後找不到 crispasr.exe')
-    if (found[0] !== paths.winCrisp) fs.copyFileSync(found[0], paths.winCrisp)
+    state.ggufBinary = exe
     return 'gguf'
   }
 
@@ -398,10 +474,25 @@ export function createTts({ dir, logger, getConfig }) {
       }
       await ensureDefaultReference()
       const env = { ...process.env, HF_HOME: paths.hfHome }
-      setSetup('test', '測試語音合成')
-      await synthesize('主人，語音功能測試成功。', { forceProvider: provider, env, skipConsent: true })
-      setSetup('done', `環境已就緒（${provider === 'mlx' ? 'macOS MLX' : 'CosyVoice GGUF'}）`)
-      return { started: true, provider }
+      if (detected.platform === 'darwin' && provider !== 'gguf') {
+        try {
+          await installMacGguf()
+        } catch (error) {
+          logger.warn(`GGUF 備援引擎安裝失敗：${String(error?.message || error).slice(0, 200)}`)
+        }
+      }
+      setSetup('test', '測試語音合成（instruct 模式會用 GGUF 引擎）')
+      await synthesize('主人，語音功能測試成功。', { env, skipConsent: true })
+      const finalProvider = providerFor() || provider
+      try {
+        fs.writeFileSync(path.join(root, '.ready'), new Date().toISOString())
+      } catch {
+        /* ignore */
+      }
+      detectCache = { at: 0, value: null }
+      refCache = { at: 0, key: '', value: null }
+      setSetup('done', `環境已就緒（${finalProvider === 'mlx' ? 'macOS MLX' : 'CosyVoice GGUF'}）`)
+      return { started: true, provider: finalProvider }
     } catch (error) {
       setSetup('error', '環境安裝失敗', error)
       throw error
@@ -423,6 +514,11 @@ export function createTts({ dir, logger, getConfig }) {
     const cfg = cfgVoice()
     if (!skipConsent && cfg.consent !== true) throw new Error('尚未確認聲音使用權利（面板：語音回覆 → 我確認有使用權）')
     if (!skipConsent && cfg.enabled === false) throw new Error('語音功能未開啟')
+    if (String(cfg.cloneMode || 'instruct') !== 'zero-shot' && !ggufReady()) {
+      setSetup('engine', '下載 GGUF 引擎（自然語言語氣模式需要）')
+      if (isWin()) await installWinGguf()
+      else await installMacGguf()
+    }
     const provider = forceProvider || resolveProvider(cfg)
     const ref = referencePath()
     if (!ref) throw new Error('尚未設定參考音')
@@ -451,7 +547,7 @@ export function createTts({ dir, logger, getConfig }) {
         fs.writeFileSync(jobFile, JSON.stringify(payload), { mode: 0o600 })
         const { stdout } = await run(paths.mlxPython, [paths.mlxScript, jobFile], {
           timeout: 600000,
-          env: { ...env, HF_HOME: paths.hfHome },
+          env: { ...env, HF_HOME: paths.hfHome, NUMBA_CACHE_DIR: path.join(paths.root, 'numba') },
         })
         const line = String(stdout || '').split(/\r?\n/).reverse().find((item) => item.startsWith('RESULT:'))
         if (!line) throw new Error(`MLX 沒有回傳結果：${String(stdout).slice(-300)}`)
@@ -524,6 +620,7 @@ export function createTts({ dir, logger, getConfig }) {
       installing: state.installing,
       last: state.last,
       lastError: state.lastError,
+      effectiveProvider: (() => { try { return providerFor() } catch { return '' } })(),
       mlxScript: fileExists(paths.mlxScript),
       lastSample: (() => {
         try {

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "dsh-line-bot",
-  "version": "0.10.0",
+  "version": "0.10.2",
   "description": "把 LINE 官方帳號（Messaging API）接進 DeepSeek Harness 的插件：內建 Cloudflare Tunnel、人設選擇（大肥魚或插件自訂）、主動傳訊與完整設定面板。",
   "type": "module",
   "main": "index.js",