@minimalcorp/tsunagi 0.1.49 → 0.1.51

package/dist/server/lib/whisper-process.js

@@ -3,6 +3,7 @@ import * as fs from 'node:fs';
 import * as os from 'node:os';
 import * as path from 'node:path';
 import { fileURLToPath } from 'node:url';
+import { ASR_MODELS, findAsrModel, findAsrModelByRepo, getVoiceInputSettings, saveVoiceInputSettings, } from './asr-models.js';
 import { killProcessOnPort } from './process-port.js';
 import { findPython, isVenvUpToDate, PYTHON_NOT_FOUND_MESSAGE, writeVenvMarker, } from './python-venv.js';
 const WHISPER_SERVER_URL = process.env.TSUNAGI_WHISPER_SERVER_URL || 'http://127.0.0.1:8765';
@@ -13,13 +14,13 @@ const WHISPER_PORT = 8765;
 const TSUNAGI_WHISPER_DIR = path.join(os.homedir(), '.tsunagi', 'whisper');
 const VENV_DIR = path.join(TSUNAGI_WHISPER_DIR, 'venv');
 const HF_CACHE_DIR = path.join(TSUNAGI_WHISPER_DIR, 'cache');
-const MODEL_CACHE_DIR = path.join(HF_CACHE_DIR, 'hub', 'models--mlx-community--whisper-large-v3-turbo');
-// 実測値(2026-07時点、encoder+decoder等の合計)。多少の変動はあるがETA計算の目安として使う。
-const EXPECTED_MODEL_BYTES = 1_614_000_000;
 // starting_serverフェーズ(spawn後にhealthyになるまで待つ時間)の上限。
-// 遅いマシンでのPython起動/import/Metal初期化のばらつきを吸収するため60秒に設定。
+// 遅いマシンでのPython起動/import/Metal初期化に加え、Qwen3-ASRは起動時にモデル(最大約4GB)を
+// メモリへ読み込むため、そのばらつきを吸収できるよう120秒に設定。
 // プロセスが起動途中でクラッシュした場合はこのタイムアウトを待たず即座に検知する。
-const STARTUP_TIMEOUT_MS = 60_000;
+const STARTUP_TIMEOUT_MS = 120_000;
+// モデル切り替え時、停止したサーバーのポートが空くまで待つ時間の上限。
+const SHUTDOWN_TIMEOUT_MS = 15_000;
 // クラッシュ時にエラーメッセージへ含めるstderrの上限文字数。
 const STDERR_TAIL_MAX_CHARS = 4000;
 // このファイルの位置から whisper-server を探す:
@@ -36,8 +37,12 @@ export function findWhisperServerDir() {
 function venvPython() {
     return path.join(VENV_DIR, 'bin', 'python3');
 }
-function isModelReady() {
-    const snapshotsDir = path.join(MODEL_CACHE_DIR, 'snapshots');
+// huggingface_hubのキャッシュ構成(hub/models--{owner}--{name})に合わせたモデルの保存先。
+function modelCacheDir(repo) {
+    return path.join(HF_CACHE_DIR, 'hub', `models--${repo.replace('/', '--')}`);
+}
+function isModelReady(repo) {
+    const snapshotsDir = path.join(modelCacheDir(repo), 'snapshots');
     if (!fs.existsSync(snapshotsDir))
         return false;
     return fs.readdirSync(snapshotsDir).length > 0;
@@ -47,31 +52,53 @@ let downloadProgress;
 let lastError;
 let managedProcess = null;
 let setupPromise = null;
+// セットアップ中・tsunagi管理で起動中のモデル
+let targetModel = null;
 function sleep(ms) {
     return new Promise((resolve) => setTimeout(resolve, ms));
 }
+// 起動していれば読み込み中のモデルのリポジトリIDを返す(未起動ならnull)。
+// tsunagi外で起動されたサーバーでも、どのモデルで動いているかを知るために/healthから取る。
 async function checkHealth() {
     try {
         const response = await fetch(`${WHISPER_SERVER_URL}/health`, {
             signal: AbortSignal.timeout(2000),
         });
-        return response.ok;
+        if (!response.ok)
+            return null;
+        const body = (await response.json().catch(() => ({})));
+        return { repo: typeof body.model === 'string' ? body.model : null };
     }
     catch {
-        return false;
+        return null;
     }
 }
 export async function getWhisperServerStatus() {
     const serverDir = findWhisperServerDir();
     // セットアップ/起動フロー進行中はそのステップをそのまま報告する。
     if (setupPromise) {
-        return { step: currentStep, serverDir, downloadProgress, error: lastError };
+        return {
+            step: currentStep,
+            serverDir,
+            modelId: targetModel?.id ?? null,
+            downloadProgress,
+            error: lastError,
+        };
     }
-    const healthy = await checkHealth();
-    if (healthy) {
-        return { step: managedProcess ? 'running' : 'running_external', serverDir };
+    const health = await checkHealth();
+    if (health) {
+        return {
+            step: managedProcess ? 'running' : 'running_external',
+            serverDir,
+            modelId: (health.repo && findAsrModelByRepo(health.repo)?.id) ?? null,
+        };
     }
-    return { step: lastError ? 'error' : 'not_running', serverDir, error: lastError };
+    return {
+        step: lastError ? 'error' : 'not_running',
+        serverDir,
+        modelId: null,
+        error: lastError,
+    };
 }
 function runStep(cmd, args, cwd, env) {
     return new Promise((resolve, reject) => {
@@ -87,8 +114,8 @@ function runStep(cmd, args, cwd, env) {
 }
 // モデルDL中(huggingface_hubがblobs/配下に *.incomplete を書き続ける)のファイルサイズを
 // 定期的にポーリングし、進捗(%)と直近の転送速度からのETAを算出する。
-async function trackModelDownload(child) {
-    const blobsDir = path.join(MODEL_CACHE_DIR, 'blobs');
+async function trackModelDownload(child, model) {
+    const blobsDir = path.join(modelCacheDir(model.repo), 'blobs');
     let lastBytes = 0;
     let lastTime = Date.now();
     let stopped = false;
@@ -111,7 +138,7 @@ async function trackModelDownload(child) {
         const now = Date.now();
         const elapsedSec = (now - lastTime) / 1000;
         const bytesPerSec = elapsedSec > 0 ? (downloaded - lastBytes) / elapsedSec : 0;
-        const remaining = EXPECTED_MODEL_BYTES - downloaded;
+        const remaining = model.expectedBytes - downloaded;
         // 転送が一時的に止まって見える(ポーリング間隔とディスク書き込みのタイミングがずれる)だけで
         // 速度0になることがあるため、その場合は直前のETAを維持し「計算中...」への逆戻りを防ぐ。
         const etaSeconds = bytesPerSec > 0
@@ -119,15 +146,21 @@ async function trackModelDownload(child) {
             : (downloadProgress?.etaSeconds ?? null);
         downloadProgress = {
             downloadedBytes: downloaded,
-            totalBytes: EXPECTED_MODEL_BYTES,
+            totalBytes: model.expectedBytes,
             etaSeconds,
         };
         lastBytes = downloaded;
         lastTime = now;
     }
 }
-async function runSetupAndStart(dir) {
-    const hfEnv = { ...process.env, HF_HOME: HF_CACHE_DIR, HF_HUB_DISABLE_XET: '1' };
+async function runSetupAndStart(dir, model) {
+    const hfEnv = {
+        ...process.env,
+        HF_HOME: HF_CACHE_DIR,
+        HF_HUB_DISABLE_XET: '1',
+        TSUNAGI_ASR_ENGINE: model.engine,
+        TSUNAGI_ASR_MODEL: model.repo,
+    };
     const requirementsFile = path.join(dir, 'requirements.txt');
     if (!isVenvUpToDate(VENV_DIR, requirementsFile)) {
         currentStep = 'installing_deps';
@@ -140,16 +173,16 @@ async function runSetupAndStart(dir) {
         await runStep(venvPython(), ['-m', 'pip', 'install', '-r', 'requirements.txt'], dir);
         writeVenvMarker(VENV_DIR, requirementsFile);
     }
-    if (!isModelReady()) {
+    if (!isModelReady(model.repo)) {
         currentStep = 'downloading_model';
-        downloadProgress = { downloadedBytes: 0, totalBytes: EXPECTED_MODEL_BYTES, etaSeconds: null };
+        downloadProgress = { downloadedBytes: 0, totalBytes: model.expectedBytes, etaSeconds: null };
         await new Promise((resolve, reject) => {
-            const child = spawn(venvPython(), ['download_model.py'], {
+            const child = spawn(venvPython(), ['download_model.py', model.repo], {
                 cwd: dir,
                 stdio: 'ignore',
                 env: hfEnv,
             });
-            void trackModelDownload(child);
+            void trackModelDownload(child, model);
             child.on('exit', (code) => {
                 if (code === 0)
                     resolve();
@@ -190,7 +223,8 @@ async function runSetupAndStart(dir) {
     }
     throw new Error(`Server did not become healthy within ${STARTUP_TIMEOUT_MS / 1000}s of starting`);
 }
-export function startWhisperServer() {
+// 設定で選択中のモデルでセットアップ・起動する。
+export async function startWhisperServer() {
     if (setupPromise || managedProcess) {
         return { started: false, error: 'Already starting/running' };
     }
@@ -198,8 +232,16 @@ export function startWhisperServer() {
     if (!dir) {
         return { started: false, error: 'whisper-server directory not found' };
     }
+    const { modelId } = await getVoiceInputSettings();
+    // getVoiceInputSettingsが一覧にあるIDだけを返すため必ず見つかる
+    const model = findAsrModel(modelId);
+    // 設定の読み込みを待つ間に別のリクエストで起動が始まった場合に備えて再確認する
+    if (setupPromise || managedProcess) {
+        return { started: false, error: 'Already starting/running' };
+    }
     lastError = undefined;
-    setupPromise = runSetupAndStart(dir)
+    targetModel = model;
+    setupPromise = runSetupAndStart(dir, model)
         .catch((error) => {
         currentStep = 'error';
         lastError = error instanceof Error ? error.message : String(error);
@@ -213,6 +255,7 @@ export async function stopWhisperServer() {
     if (managedProcess) {
         managedProcess.kill();
         managedProcess = null;
+        targetModel = null;
         currentStep = 'not_running';
         return { stopped: true };
     }
@@ -234,3 +277,57 @@ export function stopWhisperServerOnExit() {
     managedProcess?.kill();
     managedProcess = null;
 }
+async function waitUntilStopped() {
+    const start = Date.now();
+    while (Date.now() - start < SHUTDOWN_TIMEOUT_MS) {
+        if (!(await checkHealth()))
+            return true;
+        await sleep(500);
+    }
+    return false;
+}
+export async function listAsrModels() {
+    const { modelId } = await getVoiceInputSettings();
+    return {
+        models: ASR_MODELS.map((m) => ({ ...m, installed: isModelReady(m.repo) })),
+        selectedModelId: modelId,
+    };
+}
+// 使用するモデルを切り替える。サーバーが別のモデルで起動中なら、停止して
+// 新しいモデルで起動し直す(未ダウンロードならダウンロードから行う)。
+// 停止中の場合は設定の保存のみ行い、次回起動時にそのモデルを読み込む。
+export async function selectAsrModel(modelId) {
+    if (!findAsrModel(modelId))
+        return { ok: false, error: `Unknown model: ${modelId}` };
+    if (setupPromise) {
+        return { ok: false, error: 'サーバーのセットアップ中はモデルを切り替えられません' };
+    }
+    await saveVoiceInputSettings({ modelId });
+    const status = await getWhisperServerStatus();
+    const running = status.step === 'running' || status.step === 'running_external';
+    if (!running || status.modelId === modelId)
+        return { ok: true, restarted: false };
+    const stopped = await stopWhisperServer();
+    if (!stopped.stopped)
+        return { ok: false, error: stopped.error ?? 'サーバーを停止できませんでした' };
+    if (!(await waitUntilStopped())) {
+        return { ok: false, error: 'サーバーの停止を確認できませんでした' };
+    }
+    const started = await startWhisperServer();
+    if (!started.started)
+        return { ok: false, error: started.error ?? 'サーバーを起動できませんでした' };
+    return { ok: true, restarted: true };
+}
+// ダウンロード済みのモデルを削除してディスク容量を空ける。
+// 使用中(セットアップ中・起動中)のモデルは削除できない。
+export async function deleteAsrModel(modelId) {
+    const model = findAsrModel(modelId);
+    if (!model)
+        return { ok: false, error: `Unknown model: ${modelId}` };
+    const status = await getWhisperServerStatus();
+    if (status.modelId === modelId) {
+        return { ok: false, error: '使用中のモデルは削除できません。先にサーバーを停止してください' };
+    }
+    fs.rmSync(modelCacheDir(model.repo), { recursive: true, force: true });
+    return { ok: true };
+}

package/dist/server/routes/whisper.js

@@ -1,15 +1,8 @@
-import { getWhisperServerStatus, startWhisperServer, stopWhisperServer, } from '../lib/whisper-process.js';
-import { generateLlmCompletion } from '../lib/llm-process.js';
+import { deleteAsrModel, getWhisperServerStatus, listAsrModels, selectAsrModel, startWhisperServer, stopWhisperServer, } from '../lib/whisper-process.js';
 import { appendVoiceDebugLog } from '../lib/voice-debug-log.js';
-// ユーザーが依存関係(pipパッケージ)をセットアップ済みのローカル常駐サーバー
-// (apps/whisper-server)を指す。依存関係のインストール自体はtsunagi側では行わず、
-// プロセスの起動・停止のみ管理する。
+// ローカル常駐の音声認識サーバー(apps/whisper-server)を指す。
+// 読み込むモデル(Whisper / Qwen3-ASR)は起動時に whisper-process 側で指定する。
 const WHISPER_SERVER_URL = process.env.TSUNAGI_WHISPER_SERVER_URL || 'http://127.0.0.1:8765';
-// 文字起こし結果のLLM整形に使うシステムプロンプト(既定値)。Settings画面で
-// 上書きされなかった場合に使う。同音異義語の誤変換(例:「句読点」→「句頭点」、
-// 「誤字」→「語字」)を放置してしまう問題があったため、該当パターンを明示して
-// 一語ずつ文脈と照合するよう指示している。
-const DEFAULT_TRANSCRIPTION_CORRECTION_SYSTEM_PROMPT = '以下は音声認識(Whisper)による文字起こし結果です。元の言葉遣いや言い回し、文章構成はできるだけそのまま維持してください。行ってよいのは次の2つだけです。(1)句読点の追加。(2)音声認識特有の誤字の修正。日本語の音声認識では、発音が同じで意味の異なる漢字に変換されることがよくあります(例:「句読点」→「句頭点」、「誤字」→「語字」など)。一見すると自然な単語に見えても文脈に合わない場合は誤変換である可能性が高いため、一語ずつ文脈に合っているか確認し、明らかな誤りは正しい漢字に修正してください。要約・言い換え・フィラーの除去・文の並び替えなど、上記2つ以外の変更は行わないでください。修正後の文章のみを出力し、前置きや説明は不要です。';
 export async function whisperRoutes(fastify) {
     // GET /whisper/server/status
     fastify.get('/whisper/server/status', async (_request, reply) => {
@@ -17,7 +10,7 @@ export async function whisperRoutes(fastify) {
     });
     // POST /whisper/server/start
     fastify.post('/whisper/server/start', async (_request, reply) => {
-        const result = startWhisperServer();
+        const result = await startWhisperServer();
         if (!result.started) {
             return reply.status(409).send({ error: result.error });
         }
@@ -31,6 +24,30 @@ export async function whisperRoutes(fastify) {
         }
         return reply.status(200).send(await getWhisperServerStatus());
     });
+    // GET /whisper/models
+    fastify.get('/whisper/models', async (_request, reply) => {
+        return reply.status(200).send({ data: await listAsrModels() });
+    });
+    // PUT /whisper/models/selected
+    fastify.put('/whisper/models/selected', async (request, reply) => {
+        const modelId = request.body?.modelId;
+        if (typeof modelId !== 'string') {
+            return reply.status(400).send({ error: 'modelId is required' });
+        }
+        const result = await selectAsrModel(modelId);
+        if (!result.ok) {
+            return reply.status(409).send({ error: result.error });
+        }
+        return reply.status(200).send({ data: await listAsrModels() });
+    });
+    // DELETE /whisper/models/:modelId
+    fastify.delete('/whisper/models/:modelId', async (request, reply) => {
+        const result = await deleteAsrModel(request.params.modelId);
+        if (!result.ok) {
+            return reply.status(409).send({ error: result.error });
+        }
+        return reply.status(200).send({ data: await listAsrModels() });
+    });
     // POST /whisper/transcribe
     fastify.post('/whisper/transcribe', async (request, reply) => {
         const file = await request.file();
@@ -41,21 +58,18 @@ export async function whisperRoutes(fastify) {
         // whisper-serverのinitial_promptとしてそのまま転送する。
         const promptField = file.fields.prompt;
         const prompt = typeof promptField?.value === 'string' ? promptField.value : undefined;
-        // ローカルLLMによる整形を使うかどうかはクライアント(Settingsの有効/無効フラグ)から渡される。
-        const useLlmField = file.fields.useLlm;
-        const useLlm = useLlmField?.value === 'true';
-        // LLM整形用システムプロンプトもSettings画面で編集・保存でき、指定があれば
-        // 既定のプロンプトの代わりに使う(空文字列の場合は既定のプロンプトを使う)。
-        const systemPromptField = file.fields.systemPrompt;
-        const systemPrompt = typeof systemPromptField?.value === 'string' && systemPromptField.value.trim()
-            ? systemPromptField.value
-            : DEFAULT_TRANSCRIPTION_CORRECTION_SYSTEM_PROMPT;
+        // 発話中の途中経過表示用のリクエスト。確定前の暫定結果なので、
+        // デバッグログはスキップする。
+        const interimField = file.fields.interim;
+        const interim = interimField?.value === 'true';
         const buffer = await file.toBuffer();
         const body = new FormData();
         body.append('file', new Blob([buffer]), file.filename);
         if (prompt)
             body.append('prompt', prompt);
         let whisperText;
+        let model;
+        const startedAt = Date.now();
         try {
             const response = await fetch(`${WHISPER_SERVER_URL}/transcribe`, {
                 method: 'POST',
@@ -66,6 +80,7 @@ export async function whisperRoutes(fastify) {
             }
             const result = (await response.json());
             whisperText = result.text;
+            model = result.model;
         }
         catch (error) {
             fastify.log.error(error, 'Whisper transcription error');
@@ -75,41 +90,14 @@ export async function whisperRoutes(fastify) {
                     : 'Transcription failed. Is apps/whisper-server running?',
             });
         }
-        if (!useLlm || !whisperText) {
-            appendVoiceDebugLog({ whisperPrompt: prompt, whisperText, useLlm });
-            return reply.status(200).send({ text: whisperText });
-        }
-        // LLMによる整形が有効な場合のみ追加で問い合わせる。文字起こし自体は既に
-        // 成功しているため、ここで失敗しても文字起こし結果はそのまま返す
-        // (ユーザーの発話内容を無駄にしないことを、整形の成否より優先する)。
-        try {
-            const corrected = await generateLlmCompletion([
-                { role: 'system', content: systemPrompt },
-                { role: 'user', content: whisperText },
-            ], Math.min(4096, Math.max(512, whisperText.length * 4)));
-            const correctedText = corrected.trim();
-            appendVoiceDebugLog({
-                whisperPrompt: prompt,
-                whisperText,
-                useLlm,
-                llmSystemPrompt: systemPrompt,
-                correctedText,
-            });
-            return reply.status(200).send({ text: correctedText });
-        }
-        catch (error) {
-            fastify.log.error(error, 'LLM correction failed, falling back to raw transcription');
+        if (!interim) {
             appendVoiceDebugLog({
+                model,
+                elapsedMs: Date.now() - startedAt,
                 whisperPrompt: prompt,
                 whisperText,
-                useLlm,
-                llmSystemPrompt: systemPrompt,
-                llmError: error instanceof Error ? error.message : String(error),
-            });
-            return reply.status(200).send({
-                text: whisperText,
-                warning: 'ローカルLLMによる整形に失敗したため、文字起こし結果をそのまま使用しました',
             });
         }
+        return reply.status(200).send({ text: whisperText });
     });
 }

package/dist/whisper-server/README.md

@@ -1,6 +1,14 @@
 # whisper-server
 
-ローカル音声入力用サーバー。mlx-whisper (Apple Silicon GPU) で文字起こしする。
+ローカル音声入力用サーバー。Apple Silicon GPU (MLX) で文字起こしする。
+モデルは起動時の環境変数で切り替える(tsunagiのSettingsで選択したものが渡される)。
+
+| `TSUNAGI_ASR_ENGINE` | `TSUNAGI_ASR_MODEL` の例                                           | 実装          |
+| -------------------- | ------------------------------------------------------------------ | ------------- |
+| `whisper` (既定)     | `mlx-community/whisper-large-v3-turbo`                             | mlx-whisper   |
+| `qwen3-asr`          | `mlx-community/Qwen3-ASR-1.7B-8bit`, `neosophie/Qwen3-ASR-1.7B-JA` | mlx-qwen3-asr |
+
+選択肢の一覧は `apps/server/src/lib/asr-models.ts` で定義する。
 tsunagi本体はこのサーバーにHTTPでプロキシするだけで、セットアップ・起動は行わない。
 
 ## 要件
@@ -8,7 +16,7 @@ tsunagi本体はこのサーバーにHTTPでプロキシするだけで、セッ
 - macOS (Apple Silicon: M1/M2/M3/M4)
 - Python 3.9+ (Xcode Command Line Tools または Homebrew 経由で入手可能)
 
-ffmpeg等の外部バイナリは不要（音声はブラウザ側で16kHzモノラルWAVに変換して送られる）。
+ffmpeg等の外部バイナリは不要（音声はブラウザ側のVADで発話区間だけ切り出し、16kHzモノラルWAVで送られる）。
 
 ## セットアップ・起動
 
@@ -17,7 +25,7 @@ cd apps/whisper-server
 ./run.sh
 ```
 
-初回は`.venv`を作成し`requirements.txt`の依存関係(mlx-whisper, fastapi, uvicorn等)をインストールしてから起動する。
-`http://127.0.0.1:8765`で待受。初回起動時にWhisperモデル(mlx-community/whisper-large-v3-turbo, 約1.5GB)を自動ダウンロードする。
+初回はvenvを作成し`requirements.txt`の依存関係(mlx-whisper, mlx-qwen3-asr, fastapi, uvicorn等)をインストールしてから起動する。
+`http://127.0.0.1:8765`で待受。初回起動時に指定モデルを自動ダウンロードする。
 
 起動している間、tsunagiのSettingsで音声入力を有効にすると利用できる。停止するとtsunagi側の音声入力はエラーになる。

package/dist/whisper-server/download_model.py

@@ -1,4 +1,7 @@
-"""Whisperモデルの重みを事前ダウンロードするだけのスクリプト。
+"""音声認識モデルの重みを事前ダウンロードするだけのスクリプト。
+
+使い方: python3 download_model.py <Hugging FaceのリポジトリID>
+(省略時はWhisper large-v3-turbo)
 
 サーバー起動(server.py)より前に呼ぶことで、初回の文字起こしリクエストで
 突然数分待たされる、という事態を避ける。tsunagi(Node)側からはこのプロセスの
@@ -6,9 +9,11 @@
 進捗を計算する想定なので、ここでは特別な進捗出力はしない。
 """
 
+import sys
+
 from huggingface_hub import snapshot_download
 
-MODEL_REPO = "mlx-community/whisper-large-v3-turbo"
+DEFAULT_MODEL_REPO = "mlx-community/whisper-large-v3-turbo"
 
 if __name__ == "__main__":
-    snapshot_download(repo_id=MODEL_REPO)
+    snapshot_download(repo_id=sys.argv[1] if len(sys.argv) > 1 else DEFAULT_MODEL_REPO)

package/dist/whisper-server/requirements.txt

@@ -1,4 +1,5 @@
 mlx-whisper==0.4.3
+mlx-qwen3-asr==0.4.4
 mlx==0.32.0
 fastapi
 uvicorn[standard]

package/dist/whisper-server/run.sh

@@ -31,7 +31,7 @@ find_python() {
 }
 
 if ! PYTHON_BIN="$(find_python)"; then
-  echo "音声入力(Whisper)サーバーの起動に失敗: Python ${MIN_PYTHON_VERSION}以上が見つかりません。" >&2
+  echo "音声入力サーバーの起動に失敗: Python ${MIN_PYTHON_VERSION}以上が見つかりません。" >&2
   echo "'brew install python@3.12' 等でインストールしてください。" >&2
   exit 1
 fi
@@ -49,8 +49,13 @@ if [ ! -d "$VENV_DIR" ] || [ "$(cat "$REQUIREMENTS_HASH_FILE" 2>/dev/null)" != "
   echo "$CURRENT_HASH" > "$REQUIREMENTS_HASH_FILE"
 fi
 
+# 読み込むモデル。未指定ならWhisper。Qwen3-ASRを使う場合は例えば
+#   TSUNAGI_ASR_ENGINE=qwen3-asr TSUNAGI_ASR_MODEL=mlx-community/Qwen3-ASR-1.7B-8bit ./run.sh
+export TSUNAGI_ASR_ENGINE="${TSUNAGI_ASR_ENGINE:-whisper}"
+export TSUNAGI_ASR_MODEL="${TSUNAGI_ASR_MODEL:-mlx-community/whisper-large-v3-turbo}"
+
 # サーバー起動前にモデルを予めダウンロードしておく(初回文字起こしで待たされないように)。
-"$VENV_DIR/bin/python3" download_model.py
+"$VENV_DIR/bin/python3" download_model.py "$TSUNAGI_ASR_MODEL"
 
 # venvを ~/.tsunagi 配下へ移設する場合があるため、絶対パスが焼き込まれる
 # コンソールスクリプト(bin/uvicorn等)ではなく `python3 -m` 経由で呼び出す。

package/dist/whisper-server/server.py

@@ -1,35 +1,78 @@
-"""ローカルWhisper文字起こしサーバー (mlx-whisper, Apple Silicon GPU)。
+"""ローカル音声認識サーバー (Apple Silicon GPU)。
+
+読み込むモデルは起動時の環境変数で切り替える(tsunagiのSettingsで選択したものが渡される)。
+- TSUNAGI_ASR_ENGINE: "whisper"(mlx-whisper) / "qwen3-asr"(mlx-qwen3-asr)
+- TSUNAGI_ASR_MODEL: Hugging FaceのリポジトリID
 
 ユーザーが手動でセットアップ・起動する常駐プロセス。モデルをメモリに保持し続け
 リクエスト毎のロード待ちを避ける。tsunagi本体(Fastify)からHTTPでプロキシされる。
 
-音声はブラウザのMediaRecorderが生成する元のwebm/opusをそのまま受け取る
-（クライアント側でのWAV再エンコードは行わない。Opus圧縮は録音時点で既に
-発生しているため、無圧縮WAVへ変換し直しても音質は改善せず転送量が増えるだけ）。
-デコードにはPyAV(`av`)を使う。ffmpegの内部コーデックをホイールに同梱しており、
+音声はブラウザ側のVAD(Silero VAD)で発話区間だけを切り出した16kHzモノラルWAVを受け取る。
+デコードにはPyAV(`av`)を使う(WAV以外の形式もそのままデコードできる)。ffmpegの内部コーデックをホイールに同梱しており、
 システムにffmpegバイナリをインストールする必要はない。
 """
 
 import io
+import os
+import re
+import threading
 from typing import Optional
 
 import av
 import numpy as np
 from fastapi import FastAPI, File, Form, UploadFile
-import mlx_whisper
 
-MODEL = "mlx-community/whisper-large-v3-turbo"
+ENGINE = os.environ.get("TSUNAGI_ASR_ENGINE", "whisper")
+MODEL = os.environ.get("TSUNAGI_ASR_MODEL", "mlx-community/whisper-large-v3-turbo")
+if ENGINE not in ("whisper", "qwen3-asr"):
+    raise SystemExit(f"Unknown TSUNAGI_ASR_ENGINE: {ENGINE}")
+
+if ENGINE == "whisper":
+    import mlx_whisper
+else:
+    from mlx_qwen3_asr import Session
+
+    # Qwen3-ASRはモデルを保持するSessionを起動時に作り、リクエスト毎のロード待ちを避ける。
+    # 読み込み完了まで/healthが応答しないため、tsunagi側は読み込み完了を起動完了とみなせる。
+    _qwen_session = Session(model=MODEL)
 # 無音・雑音区間で「ご視聴ありがとうございました」等の無関係な文章を自信満々に
 # 生成してしまう(Whisper系モデルで知られたハルシネーション挙動)ことがあるため、
 # no_speech_prob(無音である確率)がこの値を超えるセグメントは出力から除外する。
 NO_SPEECH_THRESHOLD = 0.6
+# ただしno_speech_probは30秒の窓ごとに1回しか計算されず、窓内の全セグメントに同じ値が
+# コピーされる。そのため「発話+末尾の無音」を含む窓では、無音部分から生成された定型文も
+# 発話ありと判定されて素通りする。これを補うため、発話より後ろ(または前)の無音区間に
+# 現れた異常セグメントを読み飛ばすmlx_whisper組込みの判定(要word_timestamps)を有効にする。
+HALLUCINATION_SILENCE_THRESHOLD = 2.0
+# それでも残った場合の最終防衛線。YouTube字幕由来の典型的なハルシネーションで、
+# セグメント全体が(句読点・空白を除いて)これらと完全一致する場合のみ除外する。
+# 部分一致にしないのは、ユーザーが実際にこれらの語を含む文を話すケースを壊さないため。
+HALLUCINATION_PHRASES = {
+    "ご視聴ありがとうございました",
+    "ご視聴ありがとうございます",
+    "最後までご視聴いただきありがとうございました",
+    "最後までご視聴ありがとうございました",
+    "チャンネル登録お願いします",
+    "チャンネル登録をお願いします",
+    "チャンネル登録よろしくお願いします",
+    "次回もお楽しみに",
+    "次回予告",
+    "おやすみなさい",
+}
+_NORMALIZE_RE = re.compile(r"[\s、。，．,.！!？?・…「」『』（）()\[\]〜~♪]+")
+
+# MLXの推論は同時実行を想定していないため直列化する。エンドポイント自体は
+# 同期関数にしてスレッドプールで実行させ、推論中も/healthが応答できるようにする
+# (途中経過の表示で文字起こしリクエストが連続しても、起動状態のポーリングが
+# タイムアウトしてUIが「未起動」扱いになるのを防ぐ)。
+_transcribe_lock = threading.Lock()
 
 app = FastAPI()
 
 
 @app.get("/health")
 async def health() -> dict:
-    return {"status": "ok", "model": MODEL}
+    return {"status": "ok", "engine": ENGINE, "model": MODEL}
 
 
 def decode_to_16k_mono(data: bytes) -> np.ndarray:
@@ -49,26 +92,56 @@ def decode_to_16k_mono(data: bytes) -> np.ndarray:
     return samples
 
 
-@app.post("/transcribe")
-async def transcribe(file: UploadFile = File(...), prompt: Optional[str] = Form(None)) -> dict:
-    data = await file.read()
-    audio = decode_to_16k_mono(data)
+def is_hallucination_phrase(text: str) -> bool:
+    return _NORMALIZE_RE.sub("", text) in HALLUCINATION_PHRASES
+
+
+def transcribe_whisper(audio: np.ndarray, prompt: Optional[str]) -> str:
     # initial_promptは文字起こしのスタイル(表記ゆれ・句読点・固有名詞など)を
     # 誘導するヒントで、tsunagiのSettingsからユーザーが自由に設定できる。
     result = mlx_whisper.transcribe(
-        audio, path_or_hf_repo=MODEL, language="ja", initial_prompt=prompt or None
+        audio,
+        path_or_hf_repo=MODEL,
+        language="ja",
+        initial_prompt=prompt or None,
+        # 前の窓の出力を次の窓のプロンプトに引き継ぐと、一度出たハルシネーションが
+        # 後続の窓へ連鎖しやすくなるため無効化する。
+        condition_on_previous_text=False,
+        word_timestamps=True,
+        hallucination_silence_threshold=HALLUCINATION_SILENCE_THRESHOLD,
     )
 
     # result["text"]はno_speech_prob等のフィルタを経ずに全セグメントを結合した
     # ものなので使わず、セグメント単位でno_speech_probを見て自前で組み立て直す。
     segments = result.get("segments")
     if segments:
-        text = "".join(
+        return "".join(
             seg["text"]
             for seg in segments
             if seg.get("no_speech_prob", 0.0) <= NO_SPEECH_THRESHOLD
+            and not is_hallucination_phrase(seg["text"])
         )
-    else:
-        text = result.get("text", "")
+    text = result.get("text", "")
+    return "" if is_hallucination_phrase(text) else text
+
+
+def transcribe_qwen3_asr(audio: np.ndarray, prompt: Optional[str]) -> str:
+    # contextはシステムプロンプトに差し込まれる語彙ヒント(スペース区切りの単語列を想定)。
+    # SettingsのプロンプトをWhisperのinitial_promptと共通で使う。
+    result = _qwen_session.transcribe(audio, context=prompt or "", language="Japanese")
+    # Whisperのようなno_speech_probは無いため、定型文の完全一致除外のみ行う。
+    return "" if is_hallucination_phrase(result.text) else result.text
 
-    return {"text": text.strip()}
+
+@app.post("/transcribe")
+def transcribe(file: UploadFile = File(...), prompt: Optional[str] = Form(None)) -> dict:
+    data = file.file.read()
+    audio = decode_to_16k_mono(data)
+    if audio.size == 0:
+        return {"text": "", "model": MODEL}
+    with _transcribe_lock:
+        if ENGINE == "whisper":
+            text = transcribe_whisper(audio, prompt)
+        else:
+            text = transcribe_qwen3_asr(audio, prompt)
+    return {"text": text.strip(), "model": MODEL}

package/npm-shrinkwrap.json

@@ -1,12 +1,12 @@
 {
   "name": "@minimalcorp/tsunagi",
-  "version": "0.1.49",
+  "version": "0.1.51",
   "lockfileVersion": 3,
   "requires": true,
   "packages": {
     "": {
       "name": "@minimalcorp/tsunagi",
-      "version": "0.1.49",
+      "version": "0.1.51",
       "license": "SEE LICENSE IN LICENSE",
       "os": [
         "darwin",