@minimalcorp/tsunagi 0.1.26 → 0.1.28

package/dist/server/lib/llm-process.js

@@ -19,6 +19,14 @@ const HF_CACHE_DIR = path.join(TSUNAGI_LLM_DIR, 'cache');
 const MODEL_CACHE_DIR = path.join(HF_CACHE_DIR, 'hub', 'models--mlx-community--Qwen3-30B-A3B-Instruct-2507-4bit');
 // 実測値(2026-07時点、4bit量子化された重み一式の合計)。多少の変動はあるがETA計算の目安として使う。
 const EXPECTED_MODEL_BYTES = 17_200_000_000;
+// starting_serverフェーズ(spawn後にhealthyになるまで待つ時間)の上限。
+// mlx_lm.serverは/healthをモデル本体のロード完了を待たずに返す(ロードはバックグラウンド
+// スレッドで進む)ため、この待ち時間の大半はPython起動/import初期化のばらつきに対する
+// マージン。whisperより依存関係が重いぶん長めの90秒を維持する。
+// プロセスが起動途中でクラッシュした場合はこのタイムアウトを待たず即座に検知する。
+const STARTUP_TIMEOUT_MS = 90_000;
+// クラッシュ時にエラーメッセージへ含めるstderrの上限文字数。
+const STDERR_TAIL_MAX_CHARS = 4000;
 // このファイルは apps/server/src/lib (dev) または apps/cli/dist/server/lib
 // (npm配布物) のいずれかにいる。どちらの場合も3階層上に llm-server が
 // 兄弟ディレクトリとして存在するようレイアウトを揃えている
@@ -111,7 +119,11 @@ async function trackModelDownload(child) {
         const elapsedSec = (now - lastTime) / 1000;
         const bytesPerSec = elapsedSec > 0 ? (downloaded - lastBytes) / elapsedSec : 0;
         const remaining = EXPECTED_MODEL_BYTES - downloaded;
-        const etaSeconds = bytesPerSec > 0 ? Math.max(0, Math.round(remaining / bytesPerSec)) : null;
+        // 転送が一時的に止まって見える(ポーリング間隔とディスク書き込みのタイミングがずれる)だけで
+        // 速度0になることがあるため、その場合は直前のETAを維持し「計算中...」への逆戻りを防ぐ。
+        const etaSeconds = bytesPerSec > 0
+            ? Math.max(0, Math.round(remaining / bytesPerSec))
+            : (downloadProgress?.etaSeconds ?? null);
         downloadProgress = {
             downloadedBytes: downloaded,
             totalBytes: EXPECTED_MODEL_BYTES,
@@ -150,25 +162,34 @@ async function runSetupAndStart(dir) {
         downloadProgress = undefined;
     }
     currentStep = 'starting_server';
-    const child = spawn(venvPython(), ['-m', 'mlx_lm.server', '--model', MODEL, '--host', '127.0.0.1', '--port', String(LLM_PORT)], { cwd: dir, stdio: 'ignore', env: hfEnv });
-    child.on('exit', () => {
+    const child = spawn(venvPython(), ['-m', 'mlx_lm.server', '--model', MODEL, '--host', '127.0.0.1', '--port', String(LLM_PORT)], { cwd: dir, stdio: ['ignore', 'ignore', 'pipe'], env: hfEnv });
+    let stderrTail = '';
+    child.stderr?.on('data', (chunk) => {
+        stderrTail = (stderrTail + chunk.toString()).slice(-STDERR_TAIL_MAX_CHARS);
+    });
+    // healthポーリングとは別に、プロセスが起動途中で終了したことをタイムアウトを待たず検知する。
+    let exitInfo = null;
+    child.on('exit', (code, signal) => {
+        exitInfo = `exit code=${code} signal=${signal}`;
         if (managedProcess === child)
             managedProcess = null;
     });
-    child.on('error', () => {
+    child.on('error', (err) => {
+        exitInfo = `spawn error: ${err.message}`;
         if (managedProcess === child)
             managedProcess = null;
     });
     managedProcess = child;
-    // MoEで実計算はアクティブパラメータ(~3B)分のみだが、4bit量子化でも~17GBの
-    // 重みファイル自体はメモリへ展開する必要があるため、whisperより長めに待つ。
     const start = Date.now();
-    while (Date.now() - start < 90000) {
+    while (Date.now() - start < STARTUP_TIMEOUT_MS) {
+        if (exitInfo) {
+            throw new Error(`llm-server crashed while starting (${exitInfo})${stderrTail ? `\n${stderrTail}` : ''}`);
+        }
         if (await checkHealth())
             return;
         await sleep(1000);
     }
-    throw new Error('Server did not become healthy within 90s of starting');
+    throw new Error(`Server did not become healthy within ${STARTUP_TIMEOUT_MS / 1000}s of starting`);
 }
 export function startLlmServer() {
     if (setupPromise || managedProcess) {

package/dist/server/lib/whisper-process.js

@@ -15,6 +15,12 @@ const HF_CACHE_DIR = path.join(TSUNAGI_WHISPER_DIR, 'cache');
 const MODEL_CACHE_DIR = path.join(HF_CACHE_DIR, 'hub', 'models--mlx-community--whisper-large-v3-turbo');
 // 実測値(2026-07時点、encoder+decoder等の合計)。多少の変動はあるがETA計算の目安として使う。
 const EXPECTED_MODEL_BYTES = 1_614_000_000;
+// starting_serverフェーズ(spawn後にhealthyになるまで待つ時間)の上限。
+// 遅いマシンでのPython起動/import/Metal初期化のばらつきを吸収するため60秒に設定。
+// プロセスが起動途中でクラッシュした場合はこのタイムアウトを待たず即座に検知する。
+const STARTUP_TIMEOUT_MS = 60_000;
+// クラッシュ時にエラーメッセージへ含めるstderrの上限文字数。
+const STDERR_TAIL_MAX_CHARS = 4000;
 // このファイルは apps/server/src/lib (dev) または apps/cli/dist/server/lib
 // (npm配布物) のいずれかにいる。どちらの場合も3階層上に whisper-server が
 // 兄弟ディレクトリとして存在するようレイアウトを揃えている
@@ -107,7 +113,11 @@ async function trackModelDownload(child) {
         const elapsedSec = (now - lastTime) / 1000;
         const bytesPerSec = elapsedSec > 0 ? (downloaded - lastBytes) / elapsedSec : 0;
         const remaining = EXPECTED_MODEL_BYTES - downloaded;
-        const etaSeconds = bytesPerSec > 0 ? Math.max(0, Math.round(remaining / bytesPerSec)) : null;
+        // 転送が一時的に止まって見える(ポーリング間隔とディスク書き込みのタイミングがずれる)だけで
+        // 速度0になることがあるため、その場合は直前のETAを維持し「計算中...」への逆戻りを防ぐ。
+        const etaSeconds = bytesPerSec > 0
+            ? Math.max(0, Math.round(remaining / bytesPerSec))
+            : (downloadProgress?.etaSeconds ?? null);
         downloadProgress = {
             downloadedBytes: downloaded,
             totalBytes: EXPECTED_MODEL_BYTES,
@@ -146,23 +156,34 @@ async function runSetupAndStart(dir) {
         downloadProgress = undefined;
     }
     currentStep = 'starting_server';
-    const child = spawn(venvPython(), ['-m', 'uvicorn', 'server:app', '--host', '127.0.0.1', '--port', '8765'], { cwd: dir, stdio: 'ignore', env: hfEnv });
-    child.on('exit', () => {
+    const child = spawn(venvPython(), ['-m', 'uvicorn', 'server:app', '--host', '127.0.0.1', '--port', '8765'], { cwd: dir, stdio: ['ignore', 'ignore', 'pipe'], env: hfEnv });
+    let stderrTail = '';
+    child.stderr?.on('data', (chunk) => {
+        stderrTail = (stderrTail + chunk.toString()).slice(-STDERR_TAIL_MAX_CHARS);
+    });
+    // healthポーリングとは別に、プロセスが起動途中で終了したことをタイムアウトを待たず検知する。
+    let exitInfo = null;
+    child.on('exit', (code, signal) => {
+        exitInfo = `exit code=${code} signal=${signal}`;
         if (managedProcess === child)
             managedProcess = null;
     });
-    child.on('error', () => {
+    child.on('error', (err) => {
+        exitInfo = `spawn error: ${err.message}`;
         if (managedProcess === child)
             managedProcess = null;
     });
     managedProcess = child;
     const start = Date.now();
-    while (Date.now() - start < 30000) {
+    while (Date.now() - start < STARTUP_TIMEOUT_MS) {
+        if (exitInfo) {
+            throw new Error(`whisper-server crashed while starting (${exitInfo})${stderrTail ? `\n${stderrTail}` : ''}`);
+        }
         if (await checkHealth())
             return;
         await sleep(1000);
     }
-    throw new Error('Server did not become healthy within 30s of starting');
+    throw new Error(`Server did not become healthy within ${STARTUP_TIMEOUT_MS / 1000}s of starting`);
 }
 export function startWhisperServer() {
     if (setupPromise || managedProcess) {