npm - akari-video - Versions diffs - 0.1.0 - Mend

akari-video 0.1.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.

Files changed (492) hide show

package/vendor/skills/compile-review-session/compilation-rules.md ADDED Viewed

@@ -0,0 +1,98 @@
+# コンパイル規則
+## 目次
+- [時計と cut 写像](#時計と-cut-写像)
+- [文字起こしと発話区切り](#文字起こしと発話区切り)
+- [参照解決](#参照解決)
+- [ストロークペアリング](#ストロークペアリング)
+- [採否と正規化](#採否と正規化)
+- [着地と劣化](#着地と劣化)
+## 時計と cut 写像
+`events.jsonl` を recT 順に読み、`playing`、`anchorTimelineT`、`anchorRecT`、`rate` を保持する。
+停止中は anchor の timelineT、再生中は
+`anchorTimelineT + (recT - anchorRecT) * rate` とする。`tick` は anchor を実測値へ戻す
+ドリフト訂正であり、推定より常に優先する。壊れた JSONL 行だけを warning 付きで除外する。
+`edit.snapshot.json` の最小 track をプライマリトラックとし、cut の
+`duration = (out - in) / (speed ?? 1)` を配列順に並べる。`at` がなければ直前の終了へ接続する。
+区間は `[timelineStart, timelineEnd)` とし、境界ちょうどは次の cut に属する。
+`sourceT = in + (timelineT - timelineStart) * speed` で逆写像する。snapshot がなければ拒否し、
+現在の edit.json や recT から sourceT を推測しない。
+## 文字起こしと発話区切り
+`analyze-footage` の 3 層に相乗りする。
+1. `skills/analyze-footage/bin/transcribe-sa.mjs` を `--check` 後に呼ぶ。
+2. 利用不能・失敗なら既存 `whisper-cli` と多言語 `ggml-*.bin` を探索し、mono 16 kHz WAV を
+   作って full JSON を正規化する。ツールやモデルを自動導入しない。
+3. `--allow-cloud-stt` があり、doctor ok の候補を decision card で確認でき、
+   `--cloud-provider ... --cloud-approved` まで明示された場合だけ
+   `transcribe-cloud.mjs` を呼ぶ。明示承認前に送信しない。
+採用する backend は word 時刻を返すものだけとし、`transcript.json` の `backend` に provenance
+を残す。音声の長い無音で backend の先頭ずれを補正した後、隣接 segment の間隔が 0.3 秒未満なら
+結合する。結合内は word に付いた `。！？!?` の後に word が残る場合に分割する。
+全 backend が失敗したら `backend: "unavailable"`、`segments: []` と原因を保存し、発話ゼロとして
+処理を続ける。「発話なし」とは断定しない。
+## 参照解決
+優先順位は次のとおり。
+1. 発話区間中に seek が起きた場合は発話終端時点の着地点を第一候補とし、その位置に 1 秒以上
+   滞留していれば、発話をまたぐスクラブが停止したとみなして `confidence: high` とする。
+2. 発話開始時に停止中なら停止フレームを採用し、`confidence: high` とする。停止中の連続 seek は
+   最後の着地点が anchor になる。
+3. 再生中なら発話開始から 3 秒遡った実軌跡と開始位置の間にある cut 境界を列挙する。候補が
+   1 つならその境界、0 なら瞬時位置、複数なら候補列を残す。
+4. 0 件・複数候補は `confidence: low` とし、`[要確認]` に候補と質問を書く。黙って捨てず、
+   複数候補から機械的に 1 つを断定しない。
+解決した timelineT を snapshot cuts に当て、`target: "cut:<元配列index>"` と sourceT を得る。
+## ストロークペアリング
+`strokes.json` がある場合、発話区間と recT が重なるストローク、または区間間の距離が 3 秒以内の
+ストロークを決定的に選ぶ。重なりを最優先し、次に発話開始へ最も近いストローク端点、最後に
+recT・ID の順で tie-break する。参照解決の優先順位は **停止中発話 > ストロークペア >
+巻き戻し再生 > 再生中発話**。停止中発話では停止フレームのアンカーを保ったままストロークだけを
+添付し、それ以外ではストロークの frame を sourceT / timelineT / cut target のアンカーにする。
+annotation には最大 100 点へ決定的に簡略化したポリラインを埋め込み、始点・終点を必ず残す。
+原本は `sessionRef` で参照し、`strokes.json` 自体は変更しない。ファイル欠落は正常、JSON や
+要素の破損は warning とし、壊れた要素だけを除外してストロークなしの従来経路へ劣化する。
+## 採否と正規化
+bin は編集語・要求語・システム確認語の保守的なヒューリスティックで暫定判定する。
+編集指示は命令形へ正規化し、原文を `transcript` に残す。テスト、音声確認、独り言、言い直し、
+雑談は annotation にせず、原文・recT・理由をレポートに残す。グレーな発話は破棄せず
+`[要確認]` に倒す。
+実案件では `--prepare-only` で `compile-proposals.json` を作り、各 `proposals[].decision` を
+確認・記入する。参照候補、原文、音声の recRange、snapshot の構造データを先に確認し、
+データにない視覚参照だけを最後の手段としてフレーム視認する。確定後に `--apply-proposals` で
+着地する。着地前ゲートを増やすのではなく、これはコンパイラ内のエージェント判断段である。
+自動一括が必要な fixture や明示運用では、未編集の暫定判定を直接着地できる。
+## 着地と劣化
+既存 `transcript.json` がスキーマ不正な場合は warning を残して再生成する。
+review.json の既存 annotations 行を再シリアライズしない。閉じ `]` の直前へ minified JSON を
+新しい行として加え、一時ファイルから rename する。ID は既存 `a-` 数値の最大 + 1 とし、削除済み
+ID を再利用しない。annotation は `status: "open"`、`input: "session"` とし、`timelineT` には
+解決済みタイムライン秒（参考値。正は sourceT）を書き込む。audio、transcript、session
+id・recRange・confidence を含める。
+成功後だけ session.json を `compiled` にし、今回の ID を `compiledAnnotations` へ追記する。
+既存 ID は保持する。compiled は既定でスキップし、`--force` でも既存 annotation を消さず新 ID を
+追加する。壊れた manifest と snapshot 欠落はセッション単位で報告し、他セッションを続行する。
+`packages/schemas/review.schema.json` の `input` enum と `apps/shell` の annotation reader に
+`session` を追加する同期は別タスクであり、本スキルの境界外である。契約どおり
+`input: "session"` を書き、境界外実装に合わせて値を歪めない。

package/vendor/skills/compile-review-session/dev-fixtures/README.md ADDED Viewed

@@ -0,0 +1,24 @@
+# compile-review-session fixture
+`fixture-project/` は合成音声だけを使う自己検証用プロジェクトである。実データは含まない。
+検証時はディレクトリごと `/tmp` へコピーし、fixture 本体には書き込まない。
+| session | パターン | 期待 |
+|---|---|---|
+| s-0001 | timelineT 15 で停止中。編集指示 + テスト発話 | sourceT 105 / cut:1 を 1 件追加、テスト発話を理由付き破棄 |
+| s-0002 | 停止中に 30→8→45 と seek | 最終着地点 sourceT 135 / cut:1 |
+| s-0003 | 再生中。発話前 3 秒で cut 境界 10 を通過 | 境界 sourceT 100 / cut:1 |
+| s-0004 | compiled・既存 a-0002 | 既定 skip。`--force` で sourceT 102 / cut:1 を新 ID 追加 |
+| s-0005 | 壊れた session.json | この session だけ skip |
+| s-0006 | snapshot 欠落 | sourceT を推測せず reject |
+| s-0007 | 発話をまたぐ多段スクラブ（発話中に seek が連続し、発話終端直前の最終 seek 着地点で 3 秒弱滞留して発話が終わる） | 発話終端の着地点 timelineT=71.25 → cut:1 → sourceT=1011.25（±0.05）に confidence high で解決 |
+| s-0008 | 手動コンパイル時代の `{start,end,text}` 形式（`words` 欠落）の transcript.json を事前に仕込んだセッション | warning を残して再文字起こし → 発話 1 件 → annotation 1 件（`BGMの音量を下げる`）まで完走。session は `failed` にならない |
+基準コマンド:
+```sh
+cp -R skills/compile-review-session/dev-fixtures/fixture-project /tmp/crs-selftest
+node skills/compile-review-session/bin/compile-review-session.mjs /tmp/crs-selftest --json
+node skills/compile-review-session/bin/compile-review-session.mjs /tmp/crs-selftest \
+  --session s-0004 --force --json
+```

package/vendor/skills/compile-review-session/dev-fixtures/fixture-project/review/sessions/s-0001/audio.wav ADDED Viewed

Binary file

package/vendor/skills/compile-review-session/dev-fixtures/fixture-project/review/sessions/s-0001/edit.snapshot.json ADDED Viewed

@@ -0,0 +1,12 @@
+{
+  "version": 0,
+  "output": { "width": 1280, "height": 720, "fps": 30 },
+  "source": { "path": "source.mp4", "proxy": null },
+  "cuts": [
+    { "in": 10, "out": 20, "transition_out": null },
+    { "in": 100, "out": 140, "transition_out": null }
+  ],
+  "overlays": [],
+  "layers": [],
+  "audio": { "bgm": null, "sfx": [] }
+}

package/vendor/skills/compile-review-session/dev-fixtures/fixture-project/review/sessions/s-0001/events.jsonl ADDED Viewed

	@@ -0,0 +1,2 @@
1	+ {"recT":0,"type":"start","timelineT":15,"playing":false}
2	+ {"recT":10.905,"type":"end","timelineT":15}

package/vendor/skills/compile-review-session/dev-fixtures/fixture-project/review/sessions/s-0001/session.json ADDED Viewed

@@ -0,0 +1,11 @@
+{
+  "version": 1,
+  "id": "s-0001",
+  "startedAt": "2026-07-24T05:00:00.000Z",
+  "endedAt": "2026-07-24T05:00:10.905Z",
+  "audio": "audio.wav",
+  "editSnapshot": "edit.snapshot.json",
+  "editHash": "sha256:b88f70ab79f9f03148973c06aa3820fa765b45fa59e1f51741c9d5acee9fb62d",
+  "status": "recorded",
+  "compiledAnnotations": null
+}

package/vendor/skills/compile-review-session/dev-fixtures/fixture-project/review/sessions/s-0002/audio.wav ADDED Viewed

Binary file

package/vendor/skills/compile-review-session/dev-fixtures/fixture-project/review/sessions/s-0002/edit.snapshot.json ADDED Viewed

@@ -0,0 +1,12 @@
+{
+  "version": 0,
+  "output": { "width": 1280, "height": 720, "fps": 30 },
+  "source": { "path": "source.mp4", "proxy": null },
+  "cuts": [
+    { "in": 10, "out": 20, "transition_out": null },
+    { "in": 100, "out": 140, "transition_out": null }
+  ],
+  "overlays": [],
+  "layers": [],
+  "audio": { "bgm": null, "sfx": [] }
+}

package/vendor/skills/compile-review-session/dev-fixtures/fixture-project/review/sessions/s-0002/events.jsonl ADDED Viewed

@@ -0,0 +1,5 @@
+{"recT":0,"type":"start","timelineT":5,"playing":false}
+{"recT":1.0,"type":"seek","from":5,"to":30}
+{"recT":1.5,"type":"seek","from":30,"to":8}
+{"recT":2.0,"type":"seek","from":8,"to":45}
+{"recT":7.071938,"type":"end","timelineT":45}

package/vendor/skills/compile-review-session/dev-fixtures/fixture-project/review/sessions/s-0002/session.json ADDED Viewed

@@ -0,0 +1,11 @@
+{
+  "version": 1,
+  "id": "s-0002",
+  "startedAt": "2026-07-24T05:05:00.000Z",
+  "endedAt": "2026-07-24T05:05:07.072Z",
+  "audio": "audio.wav",
+  "editSnapshot": "edit.snapshot.json",
+  "editHash": "sha256:b88f70ab79f9f03148973c06aa3820fa765b45fa59e1f51741c9d5acee9fb62d",
+  "status": "recorded",
+  "compiledAnnotations": null
+}

package/vendor/skills/compile-review-session/dev-fixtures/fixture-project/review/sessions/s-0003/audio.wav ADDED Viewed

Binary file

package/vendor/skills/compile-review-session/dev-fixtures/fixture-project/review/sessions/s-0003/edit.snapshot.json ADDED Viewed

@@ -0,0 +1,12 @@
+{
+  "version": 0,
+  "output": { "width": 1280, "height": 720, "fps": 30 },
+  "source": { "path": "source.mp4", "proxy": null },
+  "cuts": [
+    { "in": 10, "out": 20, "transition_out": null },
+    { "in": 100, "out": 140, "transition_out": null }
+  ],
+  "overlays": [],
+  "layers": [],
+  "audio": { "bgm": null, "sfx": [] }
+}

package/vendor/skills/compile-review-session/dev-fixtures/fixture-project/review/sessions/s-0003/events.jsonl ADDED Viewed

@@ -0,0 +1,19 @@
+{"recT":0,"type":"start","timelineT":0,"playing":false}
+{"recT":0,"type":"play","timelineT":0}
+{"recT":1,"type":"tick","timelineT":1}
+{"recT":2,"type":"tick","timelineT":2}
+{"recT":3,"type":"tick","timelineT":3}
+{"recT":4,"type":"tick","timelineT":4}
+{"recT":5,"type":"tick","timelineT":5}
+{"recT":6,"type":"tick","timelineT":6}
+{"recT":7,"type":"tick","timelineT":7}
+{"recT":8,"type":"tick","timelineT":8}
+{"recT":9,"type":"tick","timelineT":9}
+{"recT":10,"type":"tick","timelineT":10}
+{"recT":11,"type":"tick","timelineT":11}
+{"recT":12,"type":"tick","timelineT":12}
+{"recT":13,"type":"tick","timelineT":13}
+{"recT":14,"type":"tick","timelineT":14}
+{"recT":15,"type":"tick","timelineT":15}
+{"recT":16,"type":"tick","timelineT":16}
+{"recT":16.907938,"type":"end","timelineT":16.907938}

package/vendor/skills/compile-review-session/dev-fixtures/fixture-project/review/sessions/s-0003/session.json ADDED Viewed

@@ -0,0 +1,11 @@
+{
+  "version": 1,
+  "id": "s-0003",
+  "startedAt": "2026-07-24T05:10:00.000Z",
+  "endedAt": "2026-07-24T05:10:16.908Z",
+  "audio": "audio.wav",
+  "editSnapshot": "edit.snapshot.json",
+  "editHash": "sha256:b88f70ab79f9f03148973c06aa3820fa765b45fa59e1f51741c9d5acee9fb62d",
+  "status": "recorded",
+  "compiledAnnotations": null
+}

package/vendor/skills/compile-review-session/dev-fixtures/fixture-project/review/sessions/s-0004/audio.wav ADDED Viewed

Binary file

package/vendor/skills/compile-review-session/dev-fixtures/fixture-project/review/sessions/s-0004/edit.snapshot.json ADDED Viewed

@@ -0,0 +1,12 @@
+{
+  "version": 0,
+  "output": { "width": 1280, "height": 720, "fps": 30 },
+  "source": { "path": "source.mp4", "proxy": null },
+  "cuts": [
+    { "in": 10, "out": 20, "transition_out": null },
+    { "in": 100, "out": 140, "transition_out": null }
+  ],
+  "overlays": [],
+  "layers": [],
+  "audio": { "bgm": null, "sfx": [] }
+}

package/vendor/skills/compile-review-session/dev-fixtures/fixture-project/review/sessions/s-0004/events.jsonl ADDED Viewed

	@@ -0,0 +1,2 @@
1	+ {"recT":0,"type":"start","timelineT":12,"playing":false}
2	+ {"recT":6.390438,"type":"end","timelineT":12}

package/vendor/skills/compile-review-session/dev-fixtures/fixture-project/review/sessions/s-0004/session.json ADDED Viewed

@@ -0,0 +1,11 @@
+{
+  "version": 1,
+  "id": "s-0004",
+  "startedAt": "2026-07-24T05:15:00.000Z",
+  "endedAt": "2026-07-24T05:15:06.390Z",
+  "audio": "audio.wav",
+  "editSnapshot": "edit.snapshot.json",
+  "editHash": "sha256:b88f70ab79f9f03148973c06aa3820fa765b45fa59e1f51741c9d5acee9fb62d",
+  "status": "compiled",
+  "compiledAnnotations": ["a-0002"]
+}

package/vendor/skills/compile-review-session/dev-fixtures/fixture-project/review/sessions/s-0005/session.json ADDED Viewed

	@@ -0,0 +1 @@
1	+ {"version": 1, "id": "s-0005", "startedAt": "2026-07-24T05:20:00.000Z", "status": "recorded"

package/vendor/skills/compile-review-session/dev-fixtures/fixture-project/review/sessions/s-0006/audio.wav ADDED Viewed

Binary file

package/vendor/skills/compile-review-session/dev-fixtures/fixture-project/review/sessions/s-0006/events.jsonl ADDED Viewed

	@@ -0,0 +1,2 @@
1	+ {"recT":0,"type":"start","timelineT":3,"playing":false}
2	+ {"recT":3.0,"type":"end","timelineT":3}

package/vendor/skills/compile-review-session/dev-fixtures/fixture-project/review/sessions/s-0006/session.json ADDED Viewed

@@ -0,0 +1,11 @@
+{
+  "version": 1,
+  "id": "s-0006",
+  "startedAt": "2026-07-24T05:25:00.000Z",
+  "endedAt": "2026-07-24T05:25:03.000Z",
+  "audio": "audio.wav",
+  "editSnapshot": "edit.snapshot.json",
+  "editHash": "sha256:0000000000000000000000000000000000000000000000000000000000000000",
+  "status": "recorded",
+  "compiledAnnotations": null
+}

package/vendor/skills/compile-review-session/dev-fixtures/fixture-project/review/sessions/s-0007/audio.wav ADDED Viewed

Binary file

package/vendor/skills/compile-review-session/dev-fixtures/fixture-project/review/sessions/s-0007/edit.snapshot.json ADDED Viewed

@@ -0,0 +1,13 @@
+{
+  "version": 0,
+  "output": { "width": 1280, "height": 720, "fps": 30 },
+  "source": { "path": "source.mp4", "proxy": null },
+  "cuts": [
+    { "in": 0, "out": 60, "transition_out": null },
+    { "in": 1000, "out": 1050, "at": 60, "transition_out": null },
+    { "in": 2000, "out": 2060, "at": 110, "transition_out": null }
+  ],
+  "overlays": [],
+  "layers": [],
+  "audio": { "bgm": null, "sfx": [] }
+}

package/vendor/skills/compile-review-session/dev-fixtures/fixture-project/review/sessions/s-0007/events.jsonl ADDED Viewed

@@ -0,0 +1,9 @@
+{"recT":0,"type":"start","timelineT":0,"playing":false}
+{"recT":11.21,"type":"seek","from":0,"to":100.06}
+{"recT":12.72,"type":"seek","from":100.06,"to":104.34}
+{"recT":12.97,"type":"seek","from":104.34,"to":115.17}
+{"recT":12.98,"type":"rate","value":0.9}
+{"recT":13.23,"type":"seek","from":115.17,"to":122.88}
+{"recT":17.32,"type":"seek","from":122.88,"to":71.25}
+{"recT":17.33,"type":"rate","value":1}
+{"recT":20.52,"type":"end","timelineT":71.25}

package/vendor/skills/compile-review-session/dev-fixtures/fixture-project/review/sessions/s-0007/session.json ADDED Viewed

@@ -0,0 +1,11 @@
+{
+  "version": 1,
+  "id": "s-0007",
+  "startedAt": "2026-07-24T05:30:00.000Z",
+  "endedAt": "2026-07-24T05:30:20.520Z",
+  "audio": "audio.wav",
+  "editSnapshot": "edit.snapshot.json",
+  "editHash": "sha256:0000000000000000000000000000000000000000000000000000000000000000",
+  "status": "recorded",
+  "compiledAnnotations": null
+}

package/vendor/skills/compile-review-session/dev-fixtures/fixture-project/review/sessions/s-0008/audio.wav ADDED Viewed

Binary file

package/vendor/skills/compile-review-session/dev-fixtures/fixture-project/review/sessions/s-0008/edit.snapshot.json ADDED Viewed

@@ -0,0 +1,12 @@
+{
+  "version": 0,
+  "output": { "width": 1280, "height": 720, "fps": 30 },
+  "source": { "path": "source.mp4", "proxy": null },
+  "cuts": [
+    { "in": 10, "out": 20, "transition_out": null },
+    { "in": 100, "out": 140, "transition_out": null }
+  ],
+  "overlays": [],
+  "layers": [],
+  "audio": { "bgm": null, "sfx": [] }
+}

package/vendor/skills/compile-review-session/dev-fixtures/fixture-project/review/sessions/s-0008/events.jsonl ADDED Viewed

	@@ -0,0 +1,2 @@
1	+ {"recT":0,"type":"start","timelineT":25,"playing":false}
2	+ {"recT":3.286938,"type":"end","timelineT":25}

package/vendor/skills/compile-review-session/dev-fixtures/fixture-project/review/sessions/s-0008/session.json ADDED Viewed

@@ -0,0 +1,11 @@
+{
+  "version": 1,
+  "id": "s-0008",
+  "startedAt": "2026-07-24T05:40:00.000Z",
+  "endedAt": "2026-07-24T05:40:03.287Z",
+  "audio": "audio.wav",
+  "editSnapshot": "edit.snapshot.json",
+  "editHash": "sha256:0000000000000000000000000000000000000000000000000000000000000000",
+  "status": "recorded",
+  "compiledAnnotations": null
+}

package/vendor/skills/compile-review-session/dev-fixtures/fixture-project/review/sessions/s-0008/transcript.json ADDED Viewed

@@ -0,0 +1,9 @@
+{
+  "version": 1,
+  "backend": "whisper-cpp",
+  "model": "legacy-manual-compile",
+  "language": "ja",
+  "segments": [
+    { "start": 0.2, "end": 3.0, "text": "BGMの音量をもう少し下げてください" }
+  ]
+}

package/vendor/skills/compile-review-session/dev-fixtures/fixture-project/review.json ADDED Viewed

@@ -0,0 +1,7 @@
+{
+  "version": 0,
+  "annotations": [
+    {"id":"a-0001","createdAt":"2026-07-20T10:00:00.000Z","src":null,"sourceT":50,"sourceRange":null,"timelineT":null,"target":null,"targetKind":null,"region":null,"strokes":null,"refs":null,"insertPosition":null,"intent":null,"text":"全体的にテンポが良い","input":"typed","audio":null,"poses":null,"status":"open","response":null}
+    , {"id":"a-0002","createdAt":"2026-07-21T09:00:00.000Z","src":null,"sourceT":102,"sourceRange":null,"timelineT":null,"target":"cut:1","targetKind":null,"region":null,"strokes":null,"refs":null,"insertPosition":null,"intent":null,"text":"BGMの音量を下げる","input":"session","audio":"review/sessions/s-0004/audio.wav","poses":null,"status":"open","response":null,"transcript":"背景の音楽をもう少し静かにしてください","session":{"id":"s-0004","recRange":[2,5.390438],"confidence":"high"}}
+  ]
+}