@horizon_works/banto 0.7.0 → 0.8.0

package/payload/skills/transcribe/README.md

@@ -1,182 +0,0 @@
-# ローカル文字起こしキット（Whisper＋辞書＋話者識別）
-
-Zoom録画などの音声・動画ファイルを、**PCの中だけで**文字起こしするための道具一式です。
-外部サービスに音声を送らないので、機密性の高い会議でも安心して使えます。
-
-3つの道具が入っています。
-
-| ファイル | 役割 |
-|---|---|
-| `transcribe.py` | 音声・動画 → タイムスタンプ付きテキスト（Whisperローカル版） |
-| `dict.json` | 誤変換の補正辞書。使うほど育つ |
-| `enroll_speaker.py` / `identify_speakers.py` | 話者識別。「誰が話したか」を声紋で判定 |
-
----
-
-## ★Windows で使うとき（初回のみ）
-
-このREADMEの下の方は Mac 向けに書かれています。Windows では次の順で入れます。
-
-```powershell
-# 1. Python と ffmpeg を入れる（→ 必要なプログラム.md の 5・6）
-#    Python は「Add python.exe to PATH」に必ずチェック
-
-# 2. 専用の環境を作る（キットのフォルダで。1回だけ）
-python -m venv .venv
-
-# 3. その環境に入る（PCを再起動したら毎回）
-.venv\Scripts\activate
-
-# 4. 部品を入れる
-pip install faster-whisper
-```
-
-★話者識別（誰が話したか）を使うときだけ、追加で `pip install resemblyzer` を入れます。
-うまく入らないときは `pip install webrtcvad-wheels` を先に実行してください。
-
-★**手順が多い部分です。** 詰まったら、画面のメッセージをそのまま番頭に見せてください。
-
----
-
-## セットアップ（Mac・初回のみ）
-
-このREADMEごとAIに渡して「セットアップして」と伝えるのが一番早いです。
-手動でやる場合は以下の3ステップです。
-
-```bash
-# 1. ffmpeg（動画・音声の変換に使う。導入済みならスキップ）
-brew install ffmpeg
-
-# 2. Python仮想環境（このフォルダの中に作る）
-cd transcribe-kit
-python3 -m venv venv
-source venv/bin/activate
-
-# 3. ライブラリ
-pip install faster-whisper resemblyzer
-```
-
-※ `resemblyzer` の依存 `webrtcvad` のインストールに失敗したら
-`pip install webrtcvad-wheels` を先に実行してから再度試してください。
-
----
-
-## 1. 文字起こし
-
-```bash
-python transcribe.py 会議録画.mp4
-```
-
-- 初回だけ認識モデル（約500MB）を自動ダウンロードします
-- 出力は入力と同じ場所に2つ：
-  - `会議録画.txt` … タイムスタンプ付き文字起こし（人が読む用）
-  - `会議録画.json` … 詳細データ（話者識別の入力になる）
-
-精度を上げたいときはモデルを指定します（大きいほど正確・遅い）：
-
-```bash
-python transcribe.py 会議録画.mp4 --model medium
-python transcribe.py 会議録画.mp4 --model large-v3
-```
-
-目安：60分の会議で small=10〜20分、medium=30分前後（Apple Silicon想定）。
-まずは small で試して、固有名詞の誤りが気になったら medium に上げるのがおすすめです。
-
----
-
-## 2. 辞書の育て方（ここが一番効きます）
-
-Whisperは会社名・商品名・業界用語をよく間違えます。
-間違いに気づいたら `dict.json` の `entries` に1行足すだけで、**次回から自動で直ります**。
-
-```json
-{
-  "entries": {
-    "誤変換された表記": "正しい表記",
-    "クロード": "Claude"
-  }
-}
-```
-
-運用のコツ：
-
-- 文字起こしが終わったらAIに「この文字起こしを校正して。繰り返し出てくる誤変換があれば dict.json に追記して」と頼むと、辞書が勝手に育ちます
-- **固有名詞・専門用語を中心に**登録してください。短い一般語（「はい」「時」など）を登録すると、正しい文章まで置換される事故が起きます
-- 置換は長い表記から先に適用されるので、似た誤変換は両方登録してOKです
-
----
-
-## 3. 話者識別（誰が話したか）
-
-Whisper単体は「何を話したか」しか分かりません。
-そこで**声紋（声の特徴を数値化したもの）**を使って「誰が話したか」を判定します。
-
-### 仕組み
-
-1. 各参加者の「その人だけが話している音声」から声紋を登録する（初回のみ）
-2. 会議の発話ひとつひとつを声紋と照合し、一番似ている人の名前を付ける
-
-### 手順1：声紋の登録（人ごとに初回のみ）
-
-その人だけが話している10秒〜1分程度の音声を用意します。
-過去のZoom録画から切り出すのが手軽です：
-
-```bash
-# 例：録画の5分10秒から60秒間を切り出す
-ffmpeg -i 過去の会議.mp4 -ss 00:05:10 -t 60 sample_yamada.m4a
-```
-
-切り出した音声で登録：
-
-```bash
-python enroll_speaker.py 山田 sample_yamada.m4a
-```
-
-→ `voiceprints/山田_voiceprint.npy` が作られます。参加者の人数分やってください。
-一度登録すれば、以降の会議で使い回せます。
-
-### 手順2：識別の実行
-
-文字起こし（手順1の `.json`）ができている状態で：
-
-```bash
-python identify_speakers.py 会議録画.mp4 会議録画.json
-```
-
-→ `会議録画_speakers.txt` が出ます。こんな形式です：
-
-```
-山田 0:12
-おはようございます。今日はよろしくお願いします。
-
-参加者A 0:45
-こちらこそ。早速ですが先週の件から…
-```
-
-- 声紋との類似度が低い発話は「不明」になります（登録していない人・音質が悪い区間）
-- 「不明」が多いときは、その人の声紋をもっと長い音源で登録し直すと改善します
-
----
-
-## よくあるつまずき
-
-| 症状 | 対処 |
-|---|---|
-| `ffmpeg: command not found` | `brew install ffmpeg` |
-| webrtcvadのビルドエラー | `pip install webrtcvad-wheels` |
-| 文字起こしが遅い | まず `--model small`（既定）で。会議が長い場合は分割も有効 |
-| 話者識別で「不明」が多い | 声紋登録の音源を長く・クリアなものに差し替えて再登録 |
-| 同じ人が別人判定される | マイク・環境が大きく違う録音は声紋がズレます。実際の会議と近い環境の音源で登録 |
-
----
-
-## この文字起こしの使い道（商談・社内面談）
-
-タイムスタンプ＋話者名付きのテキストは、そのまま
-**関係性管理スキル（relationship-manager）の入力**として使えます。
-
-- **商談**：終わった直後に「この文字起こしを読んで、○○社の担当者のプロファイルを更新して。次回の商談で押さえるべき点も整理して」とAIに渡す
-- **社内面談**：「この面談の文字起こしから、本人の関心事と気がかりを整理して」と渡せば、1on1の記録と次回準備が一度にできます
-
-商談相手・社員それぞれの声紋を一度登録しておけば、
-以降は「録画を置いて2コマンド」で話者名付きの記録が積み上がっていきます。

package/payload/skills/transcribe/dict.json

@@ -1,10 +0,0 @@
-{
-  "_readme": "Whisperの誤変換補正辞書。entries に「誤変換された表記: 正しい表記」を追記すると、次回の文字起こしから自動で直ります。固有名詞（会社名・商品名・人名・業界用語）を中心に登録してください。短い一般語の登録は誤爆のもとになるので避けてください。",
-  "entries": {
-    "クロード": "Claude",
-    "ジェミニ": "Gemini",
-    "チャットGPT": "ChatGPT",
-    "ノーションLM": "NotebookLM",
-    "ノートブックLM": "NotebookLM"
-  }
-}

package/payload/skills/transcribe/enroll_speaker.py

@@ -1,76 +0,0 @@
-"""話者の声紋を登録する（初回のみ・人ごと）
-
-使い方:
-  python enroll_speaker.py 山田 sample_yamada.m4a
-
-音声は「その人だけが話している」10秒〜1分程度のもの。
-過去の録画から切り出す例:
-  ffmpeg -i 過去の会議.mp4 -ss 00:05:10 -t 60 sample_yamada.m4a
-
-出力:
-  voiceprints/山田_voiceprint.npy
-"""
-import subprocess
-import sys
-from pathlib import Path
-
-import numpy as np
-
-# Windowsの既定はcp932で、日本語を出そうとすると化ける／落ちる。出力をUTF-8に固定する
-try:
-    sys.stdout.reconfigure(encoding="utf-8")
-    sys.stderr.reconfigure(encoding="utf-8")
-except Exception:
-    pass
-
-
-
-def load_audio_16k(path):
-    """ffmpegで16kHzモノラルに変換して読み込む（mp4/m4a/mp3/wav対応）"""
-    cmd = ["ffmpeg", "-v", "quiet", "-i", str(path),
-           "-ac", "1", "-ar", "16000", "-f", "f32le", "-"]
-    result = subprocess.run(cmd, capture_output=True)
-    if result.returncode != 0 or len(result.stdout) == 0:
-        print(f"[error] 音声の読み込みに失敗しました: {path}")
-        print("        ffmpegがインストールされているか確認してください（brew install ffmpeg）")
-        sys.exit(1)
-    return np.frombuffer(result.stdout, dtype=np.float32)
-
-
-def main():
-    if len(sys.argv) < 3:
-        print(__doc__)
-        sys.exit(1)
-
-    name, audio_path = sys.argv[1], sys.argv[2]
-    if not Path(audio_path).exists():
-        print(f"[error] ファイルが見つかりません: {audio_path}")
-        sys.exit(1)
-
-    from resemblyzer import VoiceEncoder, preprocess_wav
-
-    print(f"[1/3] 音声読み込み: {audio_path}")
-    wav = load_audio_16k(audio_path)
-    duration = len(wav) / 16000
-    print(f"       {duration:.0f}秒")
-    if duration < 5:
-        print("[warn] 5秒未満です。精度が落ちるので10秒以上を推奨します")
-
-    print(f"[2/3] 声紋を抽出中")
-    wav = preprocess_wav(wav, source_sr=16000)
-    encoder = VoiceEncoder()
-    embed = encoder.embed_utterance(wav)
-
-    out_dir = Path(__file__).parent / "voiceprints"
-    out_dir.mkdir(exist_ok=True)
-    out_path = out_dir / f"{name}_voiceprint.npy"
-    np.save(str(out_path), embed)
-
-    print(f"[3/3] 登録完了: {out_path}")
-    print(f"\n現在の登録者:")
-    for f in sorted(out_dir.glob("*_voiceprint.npy")):
-        print(f"  - {f.stem.replace('_voiceprint', '')}")
-
-
-if __name__ == "__main__":
-    main()

package/payload/skills/transcribe/identify_speakers.py

@@ -1,153 +0,0 @@
-"""会議音声の話者を識別する
-
-使い方:
-  python identify_speakers.py 会議録画.mp4 会議録画.json
-
-前提:
-  - 会議録画.json は transcribe.py の出力
-  - voiceprints/ に enroll_speaker.py で参加者の声紋を登録済み
-
-出力:
-  会議録画_speakers.txt  話者名＋タイムスタンプ付き文字起こし
-"""
-import json
-import subprocess
-import sys
-from pathlib import Path
-
-import numpy as np
-
-# Windowsの既定はcp932で、日本語を出そうとすると化ける／落ちる。出力をUTF-8に固定する
-try:
-    sys.stdout.reconfigure(encoding="utf-8")
-    sys.stderr.reconfigure(encoding="utf-8")
-except Exception:
-    pass
-
-
-# この類似度未満の発話は「不明」にする（0〜1。上げると厳しく、下げると甘く）
-THRESHOLD = 0.60
-
-# これより短い発話は声紋照合せず、直前の話者を引き継ぐ（秒）
-MIN_SEG_SEC = 0.8
-
-
-def load_audio_16k(path):
-    """ffmpegで16kHzモノラルに変換して読み込む"""
-    cmd = ["ffmpeg", "-v", "quiet", "-i", str(path),
-           "-ac", "1", "-ar", "16000", "-f", "f32le", "-"]
-    result = subprocess.run(cmd, capture_output=True)
-    if result.returncode != 0 or len(result.stdout) == 0:
-        print(f"[error] 音声の読み込みに失敗しました: {path}")
-        sys.exit(1)
-    return np.frombuffer(result.stdout, dtype=np.float32)
-
-
-def load_voiceprints():
-    vp_dir = Path(__file__).parent / "voiceprints"
-    prints = {}
-    if vp_dir.exists():
-        for f in sorted(vp_dir.glob("*_voiceprint.npy")):
-            name = f.stem.replace("_voiceprint", "")
-            prints[name] = np.load(str(f))
-    return prints
-
-
-def fmt_time(sec):
-    sec = int(sec)
-    h, m, s = sec // 3600, (sec % 3600) // 60, sec % 60
-    return f"{h}:{m:02d}:{s:02d}" if h else f"{m}:{s:02d}"
-
-
-def main():
-    if len(sys.argv) < 3:
-        print(__doc__)
-        sys.exit(1)
-
-    audio_path, json_path = Path(sys.argv[1]), Path(sys.argv[2])
-    for p in (audio_path, json_path):
-        if not p.exists():
-            print(f"[error] ファイルが見つかりません: {p}")
-            sys.exit(1)
-
-    voiceprints = load_voiceprints()
-    if not voiceprints:
-        print("[error] 声紋が1件も登録されていません。先に enroll_speaker.py で登録してください")
-        sys.exit(1)
-    print(f"登録済み声紋: {', '.join(voiceprints.keys())}")
-
-    from resemblyzer import VoiceEncoder, preprocess_wav
-
-    print(f"[1/3] 音声読み込み: {audio_path.name}")
-    wav = load_audio_16k(audio_path)
-
-    data = json.loads(json_path.read_text(encoding="utf-8"))
-    segments = data.get("segments", [])
-    print(f"[2/3] {len(segments)}セグメントを照合中")
-
-    encoder = VoiceEncoder()
-    names = list(voiceprints.keys())
-    vp_matrix = np.stack([voiceprints[n] for n in names])
-
-    results = []
-    prev_speaker = "不明"
-    stats = {}
-
-    for i, seg in enumerate(segments):
-        start, end = seg["start"], seg["end"]
-        speaker = prev_speaker
-        score = None
-
-        if end - start >= MIN_SEG_SEC:
-            chunk = wav[int(start * 16000):int(end * 16000)]
-            try:
-                processed = preprocess_wav(chunk, source_sr=16000)
-                if len(processed) >= 1600:
-                    embed = encoder.embed_utterance(processed)
-                    sims = vp_matrix @ embed  # 声紋はL2正規化済み＝内積がコサイン類似度
-                    best = int(np.argmax(sims))
-                    score = float(sims[best])
-                    speaker = names[best] if score >= THRESHOLD else "不明"
-            except Exception:
-                pass  # 無音・短すぎる区間は直前の話者を引き継ぐ
-
-        results.append({"speaker": speaker, "start": start, "text": seg["text"], "score": score})
-        prev_speaker = speaker
-        s = stats.setdefault(speaker, {"count": 0, "scores": []})
-        s["count"] += 1
-        if score is not None:
-            s["scores"].append(score)
-
-        if (i + 1) % 100 == 0:
-            print(f"       ... {i + 1}/{len(segments)}")
-
-    # 連続する同一話者の発話をまとめて出力
-    print(f"[3/3] 保存中")
-    out_lines = []
-    block_speaker, block_start, block_texts = None, None, []
-    for r in results:
-        if r["speaker"] != block_speaker:
-            if block_texts:
-                out_lines.append(f"{block_speaker} {fmt_time(block_start)}")
-                out_lines.append("".join(block_texts))
-                out_lines.append("")
-            block_speaker, block_start, block_texts = r["speaker"], r["start"], []
-        block_texts.append(r["text"])
-    if block_texts:
-        out_lines.append(f"{block_speaker} {fmt_time(block_start)}")
-        out_lines.append("".join(block_texts))
-
-    out_path = audio_path.with_name(audio_path.stem + "_speakers.txt")
-    out_path.write_text("\n".join(out_lines), encoding="utf-8")
-
-    print(f"\n完了: {out_path}")
-    print(f"\n話者別の内訳:")
-    for name, s in sorted(stats.items(), key=lambda x: -x[1]["count"]):
-        avg = f"（平均類似度 {np.mean(s['scores']):.2f}）" if s["scores"] else ""
-        print(f"  {name}: {s['count']}セグメント {avg}")
-    if stats.get("不明", {}).get("count", 0) > len(results) * 0.3:
-        print("\n[hint] 「不明」が3割を超えています。声紋の登録音源を長く・クリアなものに差し替えると改善します")
-
-
-if __name__ == "__main__":
-    main()

package/payload/skills/transcribe/transcribe.py

@@ -1,126 +0,0 @@
-"""ローカル文字起こし（faster-whisper）
-
-使い方:
-  python transcribe.py 会議録画.mp4
-  python transcribe.py 会議録画.mp4 --model medium
-
-出力（入力ファイルと同じ場所）:
-  会議録画.txt   タイムスタンプ付き文字起こし（人が読む用）
-  会議録画.json  詳細データ（identify_speakers.py の入力）
-
-dict.json（同じフォルダ）があれば、誤変換を自動補正します。
-"""
-import argparse
-import json
-import sys
-from pathlib import Path
-
-# Windowsの既定はcp932で、日本語を出そうとすると化ける／落ちる。出力をUTF-8に固定する
-try:
-    sys.stdout.reconfigure(encoding="utf-8")
-    sys.stderr.reconfigure(encoding="utf-8")
-except Exception:
-    pass
-
-
-
-def load_dict():
-    """dict.json の entries を読む（なければ空）"""
-    dict_path = Path(__file__).parent / "dict.json"
-    if not dict_path.exists():
-        return {}
-    try:
-        data = json.loads(dict_path.read_text(encoding="utf-8"))
-        return data.get("entries", {})
-    except Exception as e:
-        print(f"[warn] dict.json が読めませんでした（補正なしで続行）: {e}")
-        return {}
-
-
-def apply_dict(text, entries):
-    """長い表記から先に置換（部分一致の誤爆を減らす）"""
-    for wrong in sorted(entries, key=len, reverse=True):
-        text = text.replace(wrong, entries[wrong])
-    return text
-
-
-def fmt_time(sec):
-    sec = int(sec)
-    h, m, s = sec // 3600, (sec % 3600) // 60, sec % 60
-    return f"{h}:{m:02d}:{s:02d}" if h else f"{m}:{s:02d}"
-
-
-def main():
-    parser = argparse.ArgumentParser(description="ローカル文字起こし（faster-whisper）")
-    parser.add_argument("input", help="音声・動画ファイル（mp4/m4a/mp3/wav など）")
-    parser.add_argument("--model", default="small",
-                        help="モデルサイズ: tiny/base/small/medium/large-v3（既定: small）")
-    args = parser.parse_args()
-
-    src = Path(args.input)
-    if not src.exists():
-        print(f"[error] ファイルが見つかりません: {src}")
-        sys.exit(1)
-
-    # ★部品が入っていないときに、Pythonの生のエラーを見せない。
-    #   何をすればよいか分からない画面は、そこで人を止めてしまうので。
-    try:
-        from faster_whisper import WhisperModel
-    except ImportError:
-        print("")
-        print("  文字起こしの部品（faster-whisper）が入っていません。")
-        print("")
-        print("  キットのフォルダで、上から順に打ってください。")
-        print("     python -m venv .venv")
-        print("     .venv" + chr(92) + "Scripts" + chr(92) + "activate      ← Windows")
-        print("     source .venv/bin/activate     ← Mac")
-        print("     pip install faster-whisper")
-        print("")
-        print("  詳しくは kit/skills/transcribe/README.md を見てください。")
-        print("  番頭に「文字起こしの準備をしたい」と言えば、順番に案内します。")
-        print("")
-        sys.exit(1)
-
-    print(f"[1/3] モデル読み込み: {args.model}（初回はダウンロードに数分かかります）")
-    model = WhisperModel(args.model, device="cpu", compute_type="int8")
-
-    print(f"[2/3] 文字起こし中: {src.name}")
-    segments, info = model.transcribe(
-        str(src),
-        language="ja",
-        beam_size=5,
-        vad_filter=True,
-    )
-
-    entries = load_dict()
-    if entries:
-        print(f"       辞書補正: {len(entries)}語を適用します")
-
-    out_txt = src.with_suffix(".txt")
-    out_json = src.with_suffix(".json")
-
-    seg_list = []
-    lines = []
-    for seg in segments:
-        text = apply_dict(seg.text.strip(), entries)
-        seg_list.append({"start": round(seg.start, 2), "end": round(seg.end, 2), "text": text})
-        lines.append(f"[{fmt_time(seg.start)}] {text}")
-        # 進捗表示（5分ごと）
-        if len(seg_list) % 100 == 0:
-            print(f"       ... {fmt_time(seg.start)} まで完了")
-
-    print(f"[3/3] 保存中")
-    out_txt.write_text("\n".join(lines), encoding="utf-8")
-    out_json.write_text(
-        json.dumps({"duration": round(info.duration, 1), "segments": seg_list},
-                   ensure_ascii=False, indent=2),
-        encoding="utf-8",
-    )
-
-    print(f"\n完了: {len(seg_list)}セグメント / {fmt_time(info.duration)}")
-    print(f"  {out_txt}")
-    print(f"  {out_json}")
-
-
-if __name__ == "__main__":
-    main()