@minimalcorp/tsunagi 0.3.3 → 0.4.2

package/dist/whisper-server/run.sh

@@ -1,62 +0,0 @@
-#!/usr/bin/env bash
-set -euo pipefail
-cd "$(dirname "${BASH_SOURCE[0]}")"
-
-# venv・モデルキャッシュとも ~/.tsunagi/whisper 配下にまとめる。
-# npmインストール先(apps/whisper-server自体)が書き込み不可な場所でも動くようにする狙いもある。
-TSUNAGI_WHISPER_DIR="${HOME}/.tsunagi/whisper"
-VENV_DIR="${TSUNAGI_WHISPER_DIR}/venv"
-export HF_HOME="${TSUNAGI_WHISPER_DIR}/cache"
-# xet転送は進捗の観測が難しい独自プロトコルのため無効化し、素直なHTTPダウンロードに固定する。
-export HF_HUB_DISABLE_XET=1
-
-# requirements.txtでpinしているmlxがrequires-python >=3.10のため、venv作成に使うpython3自体も
-# 3.10以上でなければpip installがそもそも失敗する。`python3`という名前がPATH上のどのバージョンを
-# 指すかは環境依存(古いmacOS付属Python等)なため、候補を新しい順に探して最初に見つかった
-# 3.10以上を使う。
-MIN_PYTHON_VERSION="3.10"
-
-find_python() {
-  for cand in python3.14 python3.13 python3.12 python3.11 python3.10 python3; do
-    if command -v "$cand" >/dev/null 2>&1; then
-      ver="$("$cand" -c 'import sys; print("%d.%d" % sys.version_info[:2])' 2>/dev/null || true)"
-      [ -z "$ver" ] && continue
-      if [ "$(printf '%s\n%s\n' "$MIN_PYTHON_VERSION" "$ver" | sort -V | head -n1)" = "$MIN_PYTHON_VERSION" ]; then
-        echo "$cand"
-        return 0
-      fi
-    fi
-  done
-  return 1
-}
-
-if ! PYTHON_BIN="$(find_python)"; then
-  echo "音声入力サーバーの起動に失敗: Python ${MIN_PYTHON_VERSION}以上が見つかりません。" >&2
-  echo "'brew install python@3.12' 等でインストールしてください。" >&2
-  exit 1
-fi
-
-# requirements.txtの内容、または使用するpython3のバージョンが変わった場合は既存venvごと作り直す。
-# venvは作成時のpythonバイナリに紐づくため、pip installだけでは古いバージョンのまま更新できない。
-REQUIREMENTS_HASH_FILE="${VENV_DIR}/.requirements.sha256"
-CURRENT_HASH="$( { cat requirements.txt; "$PYTHON_BIN" --version; } | shasum -a 256 | awk '{print $1}')"
-
-if [ ! -d "$VENV_DIR" ] || [ "$(cat "$REQUIREMENTS_HASH_FILE" 2>/dev/null)" != "$CURRENT_HASH" ]; then
-  mkdir -p "$TSUNAGI_WHISPER_DIR"
-  rm -rf "$VENV_DIR"
-  "$PYTHON_BIN" -m venv "$VENV_DIR"
-  "$VENV_DIR/bin/python3" -m pip install -r requirements.txt
-  echo "$CURRENT_HASH" > "$REQUIREMENTS_HASH_FILE"
-fi
-
-# 読み込むモデル。未指定ならWhisper。Qwen3-ASRを使う場合は例えば
-#   TSUNAGI_ASR_ENGINE=qwen3-asr TSUNAGI_ASR_MODEL=mlx-community/Qwen3-ASR-1.7B-8bit ./run.sh
-export TSUNAGI_ASR_ENGINE="${TSUNAGI_ASR_ENGINE:-whisper}"
-export TSUNAGI_ASR_MODEL="${TSUNAGI_ASR_MODEL:-mlx-community/whisper-large-v3-turbo}"
-
-# サーバー起動前にモデルを予めダウンロードしておく(初回文字起こしで待たされないように)。
-"$VENV_DIR/bin/python3" download_model.py "$TSUNAGI_ASR_MODEL"
-
-# venvを ~/.tsunagi 配下へ移設する場合があるため、絶対パスが焼き込まれる
-# コンソールスクリプト(bin/uvicorn等)ではなく `python3 -m` 経由で呼び出す。
-exec "$VENV_DIR/bin/python3" -m uvicorn server:app --host 127.0.0.1 --port 8765

package/dist/whisper-server/server.py

@@ -1,147 +0,0 @@
-"""ローカル音声認識サーバー (Apple Silicon GPU)。
-
-読み込むモデルは起動時の環境変数で切り替える(tsunagiのSettingsで選択したものが渡される)。
-- TSUNAGI_ASR_ENGINE: "whisper"(mlx-whisper) / "qwen3-asr"(mlx-qwen3-asr)
-- TSUNAGI_ASR_MODEL: Hugging FaceのリポジトリID
-
-ユーザーが手動でセットアップ・起動する常駐プロセス。モデルをメモリに保持し続け
-リクエスト毎のロード待ちを避ける。tsunagi本体(Fastify)からHTTPでプロキシされる。
-
-音声はブラウザ側のVAD(Silero VAD)で発話区間だけを切り出した16kHzモノラルWAVを受け取る。
-デコードにはPyAV(`av`)を使う(WAV以外の形式もそのままデコードできる)。ffmpegの内部コーデックをホイールに同梱しており、
-システムにffmpegバイナリをインストールする必要はない。
-"""
-
-import io
-import os
-import re
-import threading
-from typing import Optional
-
-import av
-import numpy as np
-from fastapi import FastAPI, File, Form, UploadFile
-
-ENGINE = os.environ.get("TSUNAGI_ASR_ENGINE", "whisper")
-MODEL = os.environ.get("TSUNAGI_ASR_MODEL", "mlx-community/whisper-large-v3-turbo")
-if ENGINE not in ("whisper", "qwen3-asr"):
-    raise SystemExit(f"Unknown TSUNAGI_ASR_ENGINE: {ENGINE}")
-
-if ENGINE == "whisper":
-    import mlx_whisper
-else:
-    from mlx_qwen3_asr import Session
-
-    # Qwen3-ASRはモデルを保持するSessionを起動時に作り、リクエスト毎のロード待ちを避ける。
-    # 読み込み完了まで/healthが応答しないため、tsunagi側は読み込み完了を起動完了とみなせる。
-    _qwen_session = Session(model=MODEL)
-# 無音・雑音区間で「ご視聴ありがとうございました」等の無関係な文章を自信満々に
-# 生成してしまう(Whisper系モデルで知られたハルシネーション挙動)ことがあるため、
-# no_speech_prob(無音である確率)がこの値を超えるセグメントは出力から除外する。
-NO_SPEECH_THRESHOLD = 0.6
-# ただしno_speech_probは30秒の窓ごとに1回しか計算されず、窓内の全セグメントに同じ値が
-# コピーされる。そのため「発話+末尾の無音」を含む窓では、無音部分から生成された定型文も
-# 発話ありと判定されて素通りする。これを補うため、発話より後ろ(または前)の無音区間に
-# 現れた異常セグメントを読み飛ばすmlx_whisper組込みの判定(要word_timestamps)を有効にする。
-HALLUCINATION_SILENCE_THRESHOLD = 2.0
-# それでも残った場合の最終防衛線。YouTube字幕由来の典型的なハルシネーションで、
-# セグメント全体が(句読点・空白を除いて)これらと完全一致する場合のみ除外する。
-# 部分一致にしないのは、ユーザーが実際にこれらの語を含む文を話すケースを壊さないため。
-HALLUCINATION_PHRASES = {
-    "ご視聴ありがとうございました",
-    "ご視聴ありがとうございます",
-    "最後までご視聴いただきありがとうございました",
-    "最後までご視聴ありがとうございました",
-    "チャンネル登録お願いします",
-    "チャンネル登録をお願いします",
-    "チャンネル登録よろしくお願いします",
-    "次回もお楽しみに",
-    "次回予告",
-    "おやすみなさい",
-}
-_NORMALIZE_RE = re.compile(r"[\s、。，．,.！!？?・…「」『』（）()\[\]〜~♪]+")
-
-# MLXの推論は同時実行を想定していないため直列化する。エンドポイント自体は
-# 同期関数にしてスレッドプールで実行させ、推論中も/healthが応答できるようにする
-# (途中経過の表示で文字起こしリクエストが連続しても、起動状態のポーリングが
-# タイムアウトしてUIが「未起動」扱いになるのを防ぐ)。
-_transcribe_lock = threading.Lock()
-
-app = FastAPI()
-
-
-@app.get("/health")
-async def health() -> dict:
-    return {"status": "ok", "engine": ENGINE, "model": MODEL}
-
-
-def decode_to_16k_mono(data: bytes) -> np.ndarray:
-    container = av.open(io.BytesIO(data))
-    stream = container.streams.audio[0]
-    resampler = av.AudioResampler(format="s16", layout="mono", rate=16000)
-
-    chunks = []
-    for frame in container.decode(stream):
-        for resampled in resampler.resample(frame):
-            chunks.append(resampled.to_ndarray().reshape(-1))
-    container.close()
-
-    if not chunks:
-        return np.zeros(0, dtype=np.float32)
-    samples = np.concatenate(chunks).astype(np.float32) / 32768.0
-    return samples
-
-
-def is_hallucination_phrase(text: str) -> bool:
-    return _NORMALIZE_RE.sub("", text) in HALLUCINATION_PHRASES
-
-
-def transcribe_whisper(audio: np.ndarray, prompt: Optional[str]) -> str:
-    # initial_promptは文字起こしのスタイル(表記ゆれ・句読点・固有名詞など)を
-    # 誘導するヒントで、tsunagiのSettingsからユーザーが自由に設定できる。
-    result = mlx_whisper.transcribe(
-        audio,
-        path_or_hf_repo=MODEL,
-        language="ja",
-        initial_prompt=prompt or None,
-        # 前の窓の出力を次の窓のプロンプトに引き継ぐと、一度出たハルシネーションが
-        # 後続の窓へ連鎖しやすくなるため無効化する。
-        condition_on_previous_text=False,
-        word_timestamps=True,
-        hallucination_silence_threshold=HALLUCINATION_SILENCE_THRESHOLD,
-    )
-
-    # result["text"]はno_speech_prob等のフィルタを経ずに全セグメントを結合した
-    # ものなので使わず、セグメント単位でno_speech_probを見て自前で組み立て直す。
-    segments = result.get("segments")
-    if segments:
-        return "".join(
-            seg["text"]
-            for seg in segments
-            if seg.get("no_speech_prob", 0.0) <= NO_SPEECH_THRESHOLD
-            and not is_hallucination_phrase(seg["text"])
-        )
-    text = result.get("text", "")
-    return "" if is_hallucination_phrase(text) else text
-
-
-def transcribe_qwen3_asr(audio: np.ndarray, prompt: Optional[str]) -> str:
-    # contextはシステムプロンプトに差し込まれる語彙ヒント(スペース区切りの単語列を想定)。
-    # SettingsのプロンプトをWhisperのinitial_promptと共通で使う。
-    result = _qwen_session.transcribe(audio, context=prompt or "", language="Japanese")
-    # Whisperのようなno_speech_probは無いため、定型文の完全一致除外のみ行う。
-    return "" if is_hallucination_phrase(result.text) else result.text
-
-
-@app.post("/transcribe")
-def transcribe(file: UploadFile = File(...), prompt: Optional[str] = Form(None)) -> dict:
-    data = file.file.read()
-    audio = decode_to_16k_mono(data)
-    if audio.size == 0:
-        return {"text": "", "model": MODEL}
-    with _transcribe_lock:
-        if ENGINE == "whisper":
-            text = transcribe_whisper(audio, prompt)
-        else:
-            text = transcribe_qwen3_asr(audio, prompt)
-    return {"text": text.strip(), "model": MODEL}