@minimalcorp/tsunagi 0.1.50 → 0.1.51

package/dist/server/lib/whisper-process.js

@@ -3,6 +3,7 @@ import * as fs from 'node:fs';
 import * as os from 'node:os';
 import * as path from 'node:path';
 import { fileURLToPath } from 'node:url';
+import { ASR_MODELS, findAsrModel, findAsrModelByRepo, getVoiceInputSettings, saveVoiceInputSettings, } from './asr-models.js';
 import { killProcessOnPort } from './process-port.js';
 import { findPython, isVenvUpToDate, PYTHON_NOT_FOUND_MESSAGE, writeVenvMarker, } from './python-venv.js';
 const WHISPER_SERVER_URL = process.env.TSUNAGI_WHISPER_SERVER_URL || 'http://127.0.0.1:8765';
@@ -13,13 +14,13 @@ const WHISPER_PORT = 8765;
 const TSUNAGI_WHISPER_DIR = path.join(os.homedir(), '.tsunagi', 'whisper');
 const VENV_DIR = path.join(TSUNAGI_WHISPER_DIR, 'venv');
 const HF_CACHE_DIR = path.join(TSUNAGI_WHISPER_DIR, 'cache');
-const MODEL_CACHE_DIR = path.join(HF_CACHE_DIR, 'hub', 'models--mlx-community--whisper-large-v3-turbo');
-// 実測値(2026-07時点、encoder+decoder等の合計)。多少の変動はあるがETA計算の目安として使う。
-const EXPECTED_MODEL_BYTES = 1_614_000_000;
 // starting_serverフェーズ(spawn後にhealthyになるまで待つ時間)の上限。
-// 遅いマシンでのPython起動/import/Metal初期化のばらつきを吸収するため60秒に設定。
+// 遅いマシンでのPython起動/import/Metal初期化に加え、Qwen3-ASRは起動時にモデル(最大約4GB)を
+// メモリへ読み込むため、そのばらつきを吸収できるよう120秒に設定。
 // プロセスが起動途中でクラッシュした場合はこのタイムアウトを待たず即座に検知する。
-const STARTUP_TIMEOUT_MS = 60_000;
+const STARTUP_TIMEOUT_MS = 120_000;
+// モデル切り替え時、停止したサーバーのポートが空くまで待つ時間の上限。
+const SHUTDOWN_TIMEOUT_MS = 15_000;
 // クラッシュ時にエラーメッセージへ含めるstderrの上限文字数。
 const STDERR_TAIL_MAX_CHARS = 4000;
 // このファイルの位置から whisper-server を探す:
@@ -36,8 +37,12 @@ export function findWhisperServerDir() {
 function venvPython() {
     return path.join(VENV_DIR, 'bin', 'python3');
 }
-function isModelReady() {
-    const snapshotsDir = path.join(MODEL_CACHE_DIR, 'snapshots');
+// huggingface_hubのキャッシュ構成(hub/models--{owner}--{name})に合わせたモデルの保存先。
+function modelCacheDir(repo) {
+    return path.join(HF_CACHE_DIR, 'hub', `models--${repo.replace('/', '--')}`);
+}
+function isModelReady(repo) {
+    const snapshotsDir = path.join(modelCacheDir(repo), 'snapshots');
     if (!fs.existsSync(snapshotsDir))
         return false;
     return fs.readdirSync(snapshotsDir).length > 0;
@@ -47,31 +52,53 @@ let downloadProgress;
 let lastError;
 let managedProcess = null;
 let setupPromise = null;
+// セットアップ中・tsunagi管理で起動中のモデル
+let targetModel = null;
 function sleep(ms) {
     return new Promise((resolve) => setTimeout(resolve, ms));
 }
+// 起動していれば読み込み中のモデルのリポジトリIDを返す(未起動ならnull)。
+// tsunagi外で起動されたサーバーでも、どのモデルで動いているかを知るために/healthから取る。
 async function checkHealth() {
     try {
         const response = await fetch(`${WHISPER_SERVER_URL}/health`, {
             signal: AbortSignal.timeout(2000),
         });
-        return response.ok;
+        if (!response.ok)
+            return null;
+        const body = (await response.json().catch(() => ({})));
+        return { repo: typeof body.model === 'string' ? body.model : null };
     }
     catch {
-        return false;
+        return null;
     }
 }
 export async function getWhisperServerStatus() {
     const serverDir = findWhisperServerDir();
     // セットアップ/起動フロー進行中はそのステップをそのまま報告する。
     if (setupPromise) {
-        return { step: currentStep, serverDir, downloadProgress, error: lastError };
+        return {
+            step: currentStep,
+            serverDir,
+            modelId: targetModel?.id ?? null,
+            downloadProgress,
+            error: lastError,
+        };
     }
-    const healthy = await checkHealth();
-    if (healthy) {
-        return { step: managedProcess ? 'running' : 'running_external', serverDir };
+    const health = await checkHealth();
+    if (health) {
+        return {
+            step: managedProcess ? 'running' : 'running_external',
+            serverDir,
+            modelId: (health.repo && findAsrModelByRepo(health.repo)?.id) ?? null,
+        };
     }
-    return { step: lastError ? 'error' : 'not_running', serverDir, error: lastError };
+    return {
+        step: lastError ? 'error' : 'not_running',
+        serverDir,
+        modelId: null,
+        error: lastError,
+    };
 }
 function runStep(cmd, args, cwd, env) {
     return new Promise((resolve, reject) => {
@@ -87,8 +114,8 @@ function runStep(cmd, args, cwd, env) {
 }
 // モデルDL中(huggingface_hubがblobs/配下に *.incomplete を書き続ける)のファイルサイズを
 // 定期的にポーリングし、進捗(%)と直近の転送速度からのETAを算出する。
-async function trackModelDownload(child) {
-    const blobsDir = path.join(MODEL_CACHE_DIR, 'blobs');
+async function trackModelDownload(child, model) {
+    const blobsDir = path.join(modelCacheDir(model.repo), 'blobs');
     let lastBytes = 0;
     let lastTime = Date.now();
     let stopped = false;
@@ -111,7 +138,7 @@ async function trackModelDownload(child) {
         const now = Date.now();
         const elapsedSec = (now - lastTime) / 1000;
         const bytesPerSec = elapsedSec > 0 ? (downloaded - lastBytes) / elapsedSec : 0;
-        const remaining = EXPECTED_MODEL_BYTES - downloaded;
+        const remaining = model.expectedBytes - downloaded;
         // 転送が一時的に止まって見える(ポーリング間隔とディスク書き込みのタイミングがずれる)だけで
         // 速度0になることがあるため、その場合は直前のETAを維持し「計算中...」への逆戻りを防ぐ。
         const etaSeconds = bytesPerSec > 0
@@ -119,15 +146,21 @@ async function trackModelDownload(child) {
             : (downloadProgress?.etaSeconds ?? null);
         downloadProgress = {
             downloadedBytes: downloaded,
-            totalBytes: EXPECTED_MODEL_BYTES,
+            totalBytes: model.expectedBytes,
             etaSeconds,
         };
         lastBytes = downloaded;
         lastTime = now;
     }
 }
-async function runSetupAndStart(dir) {
-    const hfEnv = { ...process.env, HF_HOME: HF_CACHE_DIR, HF_HUB_DISABLE_XET: '1' };
+async function runSetupAndStart(dir, model) {
+    const hfEnv = {
+        ...process.env,
+        HF_HOME: HF_CACHE_DIR,
+        HF_HUB_DISABLE_XET: '1',
+        TSUNAGI_ASR_ENGINE: model.engine,
+        TSUNAGI_ASR_MODEL: model.repo,
+    };
     const requirementsFile = path.join(dir, 'requirements.txt');
     if (!isVenvUpToDate(VENV_DIR, requirementsFile)) {
         currentStep = 'installing_deps';
@@ -140,16 +173,16 @@ async function runSetupAndStart(dir) {
         await runStep(venvPython(), ['-m', 'pip', 'install', '-r', 'requirements.txt'], dir);
         writeVenvMarker(VENV_DIR, requirementsFile);
     }
-    if (!isModelReady()) {
+    if (!isModelReady(model.repo)) {
         currentStep = 'downloading_model';
-        downloadProgress = { downloadedBytes: 0, totalBytes: EXPECTED_MODEL_BYTES, etaSeconds: null };
+        downloadProgress = { downloadedBytes: 0, totalBytes: model.expectedBytes, etaSeconds: null };
         await new Promise((resolve, reject) => {
-            const child = spawn(venvPython(), ['download_model.py'], {
+            const child = spawn(venvPython(), ['download_model.py', model.repo], {
                 cwd: dir,
                 stdio: 'ignore',
                 env: hfEnv,
             });
-            void trackModelDownload(child);
+            void trackModelDownload(child, model);
             child.on('exit', (code) => {
                 if (code === 0)
                     resolve();
@@ -190,7 +223,8 @@ async function runSetupAndStart(dir) {
     }
     throw new Error(`Server did not become healthy within ${STARTUP_TIMEOUT_MS / 1000}s of starting`);
 }
-export function startWhisperServer() {
+// 設定で選択中のモデルでセットアップ・起動する。
+export async function startWhisperServer() {
     if (setupPromise || managedProcess) {
         return { started: false, error: 'Already starting/running' };
     }
@@ -198,8 +232,16 @@ export function startWhisperServer() {
     if (!dir) {
         return { started: false, error: 'whisper-server directory not found' };
     }
+    const { modelId } = await getVoiceInputSettings();
+    // getVoiceInputSettingsが一覧にあるIDだけを返すため必ず見つかる
+    const model = findAsrModel(modelId);
+    // 設定の読み込みを待つ間に別のリクエストで起動が始まった場合に備えて再確認する
+    if (setupPromise || managedProcess) {
+        return { started: false, error: 'Already starting/running' };
+    }
     lastError = undefined;
-    setupPromise = runSetupAndStart(dir)
+    targetModel = model;
+    setupPromise = runSetupAndStart(dir, model)
         .catch((error) => {
         currentStep = 'error';
         lastError = error instanceof Error ? error.message : String(error);
@@ -213,6 +255,7 @@ export async function stopWhisperServer() {
     if (managedProcess) {
         managedProcess.kill();
         managedProcess = null;
+        targetModel = null;
         currentStep = 'not_running';
         return { stopped: true };
     }
@@ -234,3 +277,57 @@ export function stopWhisperServerOnExit() {
     managedProcess?.kill();
     managedProcess = null;
 }
+async function waitUntilStopped() {
+    const start = Date.now();
+    while (Date.now() - start < SHUTDOWN_TIMEOUT_MS) {
+        if (!(await checkHealth()))
+            return true;
+        await sleep(500);
+    }
+    return false;
+}
+export async function listAsrModels() {
+    const { modelId } = await getVoiceInputSettings();
+    return {
+        models: ASR_MODELS.map((m) => ({ ...m, installed: isModelReady(m.repo) })),
+        selectedModelId: modelId,
+    };
+}
+// 使用するモデルを切り替える。サーバーが別のモデルで起動中なら、停止して
+// 新しいモデルで起動し直す(未ダウンロードならダウンロードから行う)。
+// 停止中の場合は設定の保存のみ行い、次回起動時にそのモデルを読み込む。
+export async function selectAsrModel(modelId) {
+    if (!findAsrModel(modelId))
+        return { ok: false, error: `Unknown model: ${modelId}` };
+    if (setupPromise) {
+        return { ok: false, error: 'サーバーのセットアップ中はモデルを切り替えられません' };
+    }
+    await saveVoiceInputSettings({ modelId });
+    const status = await getWhisperServerStatus();
+    const running = status.step === 'running' || status.step === 'running_external';
+    if (!running || status.modelId === modelId)
+        return { ok: true, restarted: false };
+    const stopped = await stopWhisperServer();
+    if (!stopped.stopped)
+        return { ok: false, error: stopped.error ?? 'サーバーを停止できませんでした' };
+    if (!(await waitUntilStopped())) {
+        return { ok: false, error: 'サーバーの停止を確認できませんでした' };
+    }
+    const started = await startWhisperServer();
+    if (!started.started)
+        return { ok: false, error: started.error ?? 'サーバーを起動できませんでした' };
+    return { ok: true, restarted: true };
+}
+// ダウンロード済みのモデルを削除してディスク容量を空ける。
+// 使用中(セットアップ中・起動中)のモデルは削除できない。
+export async function deleteAsrModel(modelId) {
+    const model = findAsrModel(modelId);
+    if (!model)
+        return { ok: false, error: `Unknown model: ${modelId}` };
+    const status = await getWhisperServerStatus();
+    if (status.modelId === modelId) {
+        return { ok: false, error: '使用中のモデルは削除できません。先にサーバーを停止してください' };
+    }
+    fs.rmSync(modelCacheDir(model.repo), { recursive: true, force: true });
+    return { ok: true };
+}

package/dist/server/routes/whisper.js

@@ -1,15 +1,8 @@
-import { getWhisperServerStatus, startWhisperServer, stopWhisperServer, } from '../lib/whisper-process.js';
-import { generateLlmCompletion } from '../lib/llm-process.js';
+import { deleteAsrModel, getWhisperServerStatus, listAsrModels, selectAsrModel, startWhisperServer, stopWhisperServer, } from '../lib/whisper-process.js';
 import { appendVoiceDebugLog } from '../lib/voice-debug-log.js';
-// ユーザーが依存関係(pipパッケージ)をセットアップ済みのローカル常駐サーバー
-// (apps/whisper-server)を指す。依存関係のインストール自体はtsunagi側では行わず、
-// プロセスの起動・停止のみ管理する。
+// ローカル常駐の音声認識サーバー(apps/whisper-server)を指す。
+// 読み込むモデル(Whisper / Qwen3-ASR)は起動時に whisper-process 側で指定する。
 const WHISPER_SERVER_URL = process.env.TSUNAGI_WHISPER_SERVER_URL || 'http://127.0.0.1:8765';
-// 文字起こし結果のLLM整形に使うシステムプロンプト(既定値)。Settings画面で
-// 上書きされなかった場合に使う。同音異義語の誤変換(例:「句読点」→「句頭点」、
-// 「誤字」→「語字」)を放置してしまう問題があったため、該当パターンを明示して
-// 一語ずつ文脈と照合するよう指示している。
-const DEFAULT_TRANSCRIPTION_CORRECTION_SYSTEM_PROMPT = '以下は音声認識(Whisper)による文字起こし結果です。元の言葉遣いや言い回し、文章構成はできるだけそのまま維持してください。行ってよいのは次の2つだけです。(1)句読点の追加。(2)音声認識特有の誤字の修正。日本語の音声認識では、発音が同じで意味の異なる漢字に変換されることがよくあります(例:「句読点」→「句頭点」、「誤字」→「語字」など)。一見すると自然な単語に見えても文脈に合わない場合は誤変換である可能性が高いため、一語ずつ文脈に合っているか確認し、明らかな誤りは正しい漢字に修正してください。要約・言い換え・フィラーの除去・文の並び替えなど、上記2つ以外の変更は行わないでください。修正後の文章のみを出力し、前置きや説明は不要です。';
 export async function whisperRoutes(fastify) {
     // GET /whisper/server/status
     fastify.get('/whisper/server/status', async (_request, reply) => {
@@ -17,7 +10,7 @@ export async function whisperRoutes(fastify) {
     });
     // POST /whisper/server/start
     fastify.post('/whisper/server/start', async (_request, reply) => {
-        const result = startWhisperServer();
+        const result = await startWhisperServer();
         if (!result.started) {
             return reply.status(409).send({ error: result.error });
         }
@@ -31,6 +24,30 @@ export async function whisperRoutes(fastify) {
         }
         return reply.status(200).send(await getWhisperServerStatus());
     });
+    // GET /whisper/models
+    fastify.get('/whisper/models', async (_request, reply) => {
+        return reply.status(200).send({ data: await listAsrModels() });
+    });
+    // PUT /whisper/models/selected
+    fastify.put('/whisper/models/selected', async (request, reply) => {
+        const modelId = request.body?.modelId;
+        if (typeof modelId !== 'string') {
+            return reply.status(400).send({ error: 'modelId is required' });
+        }
+        const result = await selectAsrModel(modelId);
+        if (!result.ok) {
+            return reply.status(409).send({ error: result.error });
+        }
+        return reply.status(200).send({ data: await listAsrModels() });
+    });
+    // DELETE /whisper/models/:modelId
+    fastify.delete('/whisper/models/:modelId', async (request, reply) => {
+        const result = await deleteAsrModel(request.params.modelId);
+        if (!result.ok) {
+            return reply.status(409).send({ error: result.error });
+        }
+        return reply.status(200).send({ data: await listAsrModels() });
+    });
     // POST /whisper/transcribe
     fastify.post('/whisper/transcribe', async (request, reply) => {
         const file = await request.file();
@@ -41,25 +58,18 @@ export async function whisperRoutes(fastify) {
         // whisper-serverのinitial_promptとしてそのまま転送する。
         const promptField = file.fields.prompt;
         const prompt = typeof promptField?.value === 'string' ? promptField.value : undefined;
-        // 発話中の途中経過表示用のリクエスト。確定前の暫定結果なので、LLM整形と
-        // デバッグログはスキップして生の文字起こし結果だけを速く返す。
+        // 発話中の途中経過表示用のリクエスト。確定前の暫定結果なので、
+        // デバッグログはスキップする。
         const interimField = file.fields.interim;
         const interim = interimField?.value === 'true';
-        // ローカルLLMによる整形を使うかどうかはクライアント(Settingsの有効/無効フラグ)から渡される。
-        const useLlmField = file.fields.useLlm;
-        const useLlm = !interim && useLlmField?.value === 'true';
-        // LLM整形用システムプロンプトもSettings画面で編集・保存でき、指定があれば
-        // 既定のプロンプトの代わりに使う(空文字列の場合は既定のプロンプトを使う)。
-        const systemPromptField = file.fields.systemPrompt;
-        const systemPrompt = typeof systemPromptField?.value === 'string' && systemPromptField.value.trim()
-            ? systemPromptField.value
-            : DEFAULT_TRANSCRIPTION_CORRECTION_SYSTEM_PROMPT;
         const buffer = await file.toBuffer();
         const body = new FormData();
         body.append('file', new Blob([buffer]), file.filename);
         if (prompt)
             body.append('prompt', prompt);
         let whisperText;
+        let model;
+        const startedAt = Date.now();
         try {
             const response = await fetch(`${WHISPER_SERVER_URL}/transcribe`, {
                 method: 'POST',
@@ -70,6 +80,7 @@ export async function whisperRoutes(fastify) {
             }
             const result = (await response.json());
             whisperText = result.text;
+            model = result.model;
         }
         catch (error) {
             fastify.log.error(error, 'Whisper transcription error');
@@ -79,44 +90,14 @@ export async function whisperRoutes(fastify) {
                     : 'Transcription failed. Is apps/whisper-server running?',
             });
         }
-        if (interim) {
-            return reply.status(200).send({ text: whisperText });
-        }
-        if (!useLlm || !whisperText) {
-            appendVoiceDebugLog({ whisperPrompt: prompt, whisperText, useLlm });
-            return reply.status(200).send({ text: whisperText });
-        }
-        // LLMによる整形が有効な場合のみ追加で問い合わせる。文字起こし自体は既に
-        // 成功しているため、ここで失敗しても文字起こし結果はそのまま返す
-        // (ユーザーの発話内容を無駄にしないことを、整形の成否より優先する)。
-        try {
-            const corrected = await generateLlmCompletion([
-                { role: 'system', content: systemPrompt },
-                { role: 'user', content: whisperText },
-            ], Math.min(4096, Math.max(512, whisperText.length * 4)));
-            const correctedText = corrected.trim();
-            appendVoiceDebugLog({
-                whisperPrompt: prompt,
-                whisperText,
-                useLlm,
-                llmSystemPrompt: systemPrompt,
-                correctedText,
-            });
-            return reply.status(200).send({ text: correctedText });
-        }
-        catch (error) {
-            fastify.log.error(error, 'LLM correction failed, falling back to raw transcription');
+        if (!interim) {
             appendVoiceDebugLog({
+                model,
+                elapsedMs: Date.now() - startedAt,
                 whisperPrompt: prompt,
                 whisperText,
-                useLlm,
-                llmSystemPrompt: systemPrompt,
-                llmError: error instanceof Error ? error.message : String(error),
-            });
-            return reply.status(200).send({
-                text: whisperText,
-                warning: 'ローカルLLMによる整形に失敗したため、文字起こし結果をそのまま使用しました',
             });
         }
+        return reply.status(200).send({ text: whisperText });
     });
 }

package/dist/whisper-server/README.md

@@ -1,6 +1,14 @@
 # whisper-server
 
-ローカル音声入力用サーバー。mlx-whisper (Apple Silicon GPU) で文字起こしする。
+ローカル音声入力用サーバー。Apple Silicon GPU (MLX) で文字起こしする。
+モデルは起動時の環境変数で切り替える(tsunagiのSettingsで選択したものが渡される)。
+
+| `TSUNAGI_ASR_ENGINE` | `TSUNAGI_ASR_MODEL` の例                                           | 実装          |
+| -------------------- | ------------------------------------------------------------------ | ------------- |
+| `whisper` (既定)     | `mlx-community/whisper-large-v3-turbo`                             | mlx-whisper   |
+| `qwen3-asr`          | `mlx-community/Qwen3-ASR-1.7B-8bit`, `neosophie/Qwen3-ASR-1.7B-JA` | mlx-qwen3-asr |
+
+選択肢の一覧は `apps/server/src/lib/asr-models.ts` で定義する。
 tsunagi本体はこのサーバーにHTTPでプロキシするだけで、セットアップ・起動は行わない。
 
 ## 要件
@@ -17,7 +25,7 @@ cd apps/whisper-server
 ./run.sh
 ```
 
-初回は`.venv`を作成し`requirements.txt`の依存関係(mlx-whisper, fastapi, uvicorn等)をインストールしてから起動する。
-`http://127.0.0.1:8765`で待受。初回起動時にWhisperモデル(mlx-community/whisper-large-v3-turbo, 約1.5GB)を自動ダウンロードする。
+初回はvenvを作成し`requirements.txt`の依存関係(mlx-whisper, mlx-qwen3-asr, fastapi, uvicorn等)をインストールしてから起動する。
+`http://127.0.0.1:8765`で待受。初回起動時に指定モデルを自動ダウンロードする。
 
 起動している間、tsunagiのSettingsで音声入力を有効にすると利用できる。停止するとtsunagi側の音声入力はエラーになる。

package/dist/whisper-server/download_model.py

@@ -1,4 +1,7 @@
-"""Whisperモデルの重みを事前ダウンロードするだけのスクリプト。
+"""音声認識モデルの重みを事前ダウンロードするだけのスクリプト。
+
+使い方: python3 download_model.py <Hugging FaceのリポジトリID>
+(省略時はWhisper large-v3-turbo)
 
 サーバー起動(server.py)より前に呼ぶことで、初回の文字起こしリクエストで
 突然数分待たされる、という事態を避ける。tsunagi(Node)側からはこのプロセスの
@@ -6,9 +9,11 @@
 進捗を計算する想定なので、ここでは特別な進捗出力はしない。
 """
 
+import sys
+
 from huggingface_hub import snapshot_download
 
-MODEL_REPO = "mlx-community/whisper-large-v3-turbo"
+DEFAULT_MODEL_REPO = "mlx-community/whisper-large-v3-turbo"
 
 if __name__ == "__main__":
-    snapshot_download(repo_id=MODEL_REPO)
+    snapshot_download(repo_id=sys.argv[1] if len(sys.argv) > 1 else DEFAULT_MODEL_REPO)

package/dist/whisper-server/requirements.txt

@@ -1,4 +1,5 @@
 mlx-whisper==0.4.3
+mlx-qwen3-asr==0.4.4
 mlx==0.32.0
 fastapi
 uvicorn[standard]

package/dist/whisper-server/run.sh

@@ -31,7 +31,7 @@ find_python() {
 }
 
 if ! PYTHON_BIN="$(find_python)"; then
-  echo "音声入力(Whisper)サーバーの起動に失敗: Python ${MIN_PYTHON_VERSION}以上が見つかりません。" >&2
+  echo "音声入力サーバーの起動に失敗: Python ${MIN_PYTHON_VERSION}以上が見つかりません。" >&2
   echo "'brew install python@3.12' 等でインストールしてください。" >&2
   exit 1
 fi
@@ -49,8 +49,13 @@ if [ ! -d "$VENV_DIR" ] || [ "$(cat "$REQUIREMENTS_HASH_FILE" 2>/dev/null)" != "
   echo "$CURRENT_HASH" > "$REQUIREMENTS_HASH_FILE"
 fi
 
+# 読み込むモデル。未指定ならWhisper。Qwen3-ASRを使う場合は例えば
+#   TSUNAGI_ASR_ENGINE=qwen3-asr TSUNAGI_ASR_MODEL=mlx-community/Qwen3-ASR-1.7B-8bit ./run.sh
+export TSUNAGI_ASR_ENGINE="${TSUNAGI_ASR_ENGINE:-whisper}"
+export TSUNAGI_ASR_MODEL="${TSUNAGI_ASR_MODEL:-mlx-community/whisper-large-v3-turbo}"
+
 # サーバー起動前にモデルを予めダウンロードしておく(初回文字起こしで待たされないように)。
-"$VENV_DIR/bin/python3" download_model.py
+"$VENV_DIR/bin/python3" download_model.py "$TSUNAGI_ASR_MODEL"
 
 # venvを ~/.tsunagi 配下へ移設する場合があるため、絶対パスが焼き込まれる
 # コンソールスクリプト(bin/uvicorn等)ではなく `python3 -m` 経由で呼び出す。

package/dist/whisper-server/server.py

@@ -1,4 +1,8 @@
-"""ローカルWhisper文字起こしサーバー (mlx-whisper, Apple Silicon GPU)。
+"""ローカル音声認識サーバー (Apple Silicon GPU)。
+
+読み込むモデルは起動時の環境変数で切り替える(tsunagiのSettingsで選択したものが渡される)。
+- TSUNAGI_ASR_ENGINE: "whisper"(mlx-whisper) / "qwen3-asr"(mlx-qwen3-asr)
+- TSUNAGI_ASR_MODEL: Hugging FaceのリポジトリID
 
 ユーザーが手動でセットアップ・起動する常駐プロセス。モデルをメモリに保持し続け
 リクエスト毎のロード待ちを避ける。tsunagi本体(Fastify)からHTTPでプロキシされる。
@@ -9,6 +13,7 @@
 """
 
 import io
+import os
 import re
 import threading
 from typing import Optional
@@ -16,9 +21,20 @@ from typing import Optional
 import av
 import numpy as np
 from fastapi import FastAPI, File, Form, UploadFile
-import mlx_whisper
 
-MODEL = "mlx-community/whisper-large-v3-turbo"
+ENGINE = os.environ.get("TSUNAGI_ASR_ENGINE", "whisper")
+MODEL = os.environ.get("TSUNAGI_ASR_MODEL", "mlx-community/whisper-large-v3-turbo")
+if ENGINE not in ("whisper", "qwen3-asr"):
+    raise SystemExit(f"Unknown TSUNAGI_ASR_ENGINE: {ENGINE}")
+
+if ENGINE == "whisper":
+    import mlx_whisper
+else:
+    from mlx_qwen3_asr import Session
+
+    # Qwen3-ASRはモデルを保持するSessionを起動時に作り、リクエスト毎のロード待ちを避ける。
+    # 読み込み完了まで/healthが応答しないため、tsunagi側は読み込み完了を起動完了とみなせる。
+    _qwen_session = Session(model=MODEL)
 # 無音・雑音区間で「ご視聴ありがとうございました」等の無関係な文章を自信満々に
 # 生成してしまう(Whisper系モデルで知られたハルシネーション挙動)ことがあるため、
 # no_speech_prob(無音である確率)がこの値を超えるセグメントは出力から除外する。
@@ -45,7 +61,7 @@ HALLUCINATION_PHRASES = {
 }
 _NORMALIZE_RE = re.compile(r"[\s、。，．,.！!？?・…「」『』（）()\[\]〜~♪]+")
 
-# mlx_whisperの推論は同時実行を想定していないため直列化する。エンドポイント自体は
+# MLXの推論は同時実行を想定していないため直列化する。エンドポイント自体は
 # 同期関数にしてスレッドプールで実行させ、推論中も/healthが応答できるようにする
 # (途中経過の表示で文字起こしリクエストが連続しても、起動状態のポーリングが
 # タイムアウトしてUIが「未起動」扱いになるのを防ぐ)。
@@ -56,7 +72,7 @@ app = FastAPI()
 
 @app.get("/health")
 async def health() -> dict:
-    return {"status": "ok", "model": MODEL}
+    return {"status": "ok", "engine": ENGINE, "model": MODEL}
 
 
 def decode_to_16k_mono(data: bytes) -> np.ndarray:
@@ -80,40 +96,52 @@ def is_hallucination_phrase(text: str) -> bool:
     return _NORMALIZE_RE.sub("", text) in HALLUCINATION_PHRASES
 
 
-@app.post("/transcribe")
-def transcribe(file: UploadFile = File(...), prompt: Optional[str] = Form(None)) -> dict:
-    data = file.file.read()
-    audio = decode_to_16k_mono(data)
-    if audio.size == 0:
-        return {"text": ""}
+def transcribe_whisper(audio: np.ndarray, prompt: Optional[str]) -> str:
     # initial_promptは文字起こしのスタイル(表記ゆれ・句読点・固有名詞など)を
     # 誘導するヒントで、tsunagiのSettingsからユーザーが自由に設定できる。
-    with _transcribe_lock:
-        result = mlx_whisper.transcribe(
-            audio,
-            path_or_hf_repo=MODEL,
-            language="ja",
-            initial_prompt=prompt or None,
-            # 前の窓の出力を次の窓のプロンプトに引き継ぐと、一度出たハルシネーションが
-            # 後続の窓へ連鎖しやすくなるため無効化する。
-            condition_on_previous_text=False,
-            word_timestamps=True,
-            hallucination_silence_threshold=HALLUCINATION_SILENCE_THRESHOLD,
-        )
+    result = mlx_whisper.transcribe(
+        audio,
+        path_or_hf_repo=MODEL,
+        language="ja",
+        initial_prompt=prompt or None,
+        # 前の窓の出力を次の窓のプロンプトに引き継ぐと、一度出たハルシネーションが
+        # 後続の窓へ連鎖しやすくなるため無効化する。
+        condition_on_previous_text=False,
+        word_timestamps=True,
+        hallucination_silence_threshold=HALLUCINATION_SILENCE_THRESHOLD,
+    )
 
     # result["text"]はno_speech_prob等のフィルタを経ずに全セグメントを結合した
     # ものなので使わず、セグメント単位でno_speech_probを見て自前で組み立て直す。
     segments = result.get("segments")
     if segments:
-        text = "".join(
+        return "".join(
             seg["text"]
             for seg in segments
             if seg.get("no_speech_prob", 0.0) <= NO_SPEECH_THRESHOLD
             and not is_hallucination_phrase(seg["text"])
         )
-    else:
-        text = result.get("text", "")
-        if is_hallucination_phrase(text):
-            text = ""
+    text = result.get("text", "")
+    return "" if is_hallucination_phrase(text) else text
 
-    return {"text": text.strip()}
+
+def transcribe_qwen3_asr(audio: np.ndarray, prompt: Optional[str]) -> str:
+    # contextはシステムプロンプトに差し込まれる語彙ヒント(スペース区切りの単語列を想定)。
+    # SettingsのプロンプトをWhisperのinitial_promptと共通で使う。
+    result = _qwen_session.transcribe(audio, context=prompt or "", language="Japanese")
+    # Whisperのようなno_speech_probは無いため、定型文の完全一致除外のみ行う。
+    return "" if is_hallucination_phrase(result.text) else result.text
+
+
+@app.post("/transcribe")
+def transcribe(file: UploadFile = File(...), prompt: Optional[str] = Form(None)) -> dict:
+    data = file.file.read()
+    audio = decode_to_16k_mono(data)
+    if audio.size == 0:
+        return {"text": "", "model": MODEL}
+    with _transcribe_lock:
+        if ENGINE == "whisper":
+            text = transcribe_whisper(audio, prompt)
+        else:
+            text = transcribe_qwen3_asr(audio, prompt)
+    return {"text": text.strip(), "model": MODEL}

package/npm-shrinkwrap.json

@@ -1,12 +1,12 @@
 {
   "name": "@minimalcorp/tsunagi",
-  "version": "0.1.50",
+  "version": "0.1.51",
   "lockfileVersion": 3,
   "requires": true,
   "packages": {
     "": {
       "name": "@minimalcorp/tsunagi",
-      "version": "0.1.50",
+      "version": "0.1.51",
       "license": "SEE LICENSE IN LICENSE",
       "os": [
         "darwin",

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@minimalcorp/tsunagi",
-  "version": "0.1.50",
+  "version": "0.1.51",
   "description": "Multi-repo GitHub project management with Claude AI integration, designed for visualizing and controlling AI-driven development locally.",
   "keywords": [
     "tsunagi",