@danything/arib 2.0.0 → 2.2.0

package/README.md

@@ -1,17 +1,21 @@
 # @danything/arib
 
-日本のデジタル放送 (ISDB-T / ISDB-S、ARIB 規格) の MPEG-TS を TypeScript で読むライブラリです。
+日本のデジタル放送 (ISDB-T / ISDB-S / ISDB-C、ARIB 規格) の MPEG-TS と、4K の放送の MMT/TLV を TypeScript で読むライブラリです。
 録画サーバ [denpa](https://github.com/danything/denpa) の中で使っているものを切り出しました。
 
-- PSI (`psi`): パケットの切り出し、セクションの組み立て、PAT / PMT / SDT / NIT。衛星はネットワークの全部の TS の NIT と、ほかの TS の SDT もそろえて読む
+- PSI (`psi`): パケットの切り出し、セクションの組み立て、PAT / PMT / SDT / NIT。衛星はネットワークの全部の TS の NIT と、ほかの TS の SDT もそろえて読む。ケーブルは SDT だけで局をそろえる
 - 映像・音声の PES と ADTS を取り出す (`pes`)
 - 番組表の EIT[p/f] と EIT[schedule] を、ジャンル・音声・拡張形式イベント・シリーズ記述子まで読む。放送の時刻 (TDT / TOT) もここ (`eit`)
 - ARIB STD-B24 の 8 単位符号 (JIS X 0213 の 1 面・2 面まで) と ARIB 外字を文字列にする (`aribtext`、`aribtext-gaiji`)
 - 字幕は STD-B24 の字幕文を、字の置き場所まで決めた JSON にする (`b24caption`、形式は `caption-text`)
 - データ放送は DSM-CC のカルーセルからモジュールとファイルを組み立てる (`dsmcc`、`multipart`、`bml`、形式は `bml-protocol`)
 - Hybridcast の AIT を読む (`ait`)。1 つの局だけを抜き出す (`service-filter`)
+- 4K の放送 (MMT/TLV。ARIB STD-B32・B60) の土台として、TLV パケットの切り出し (`tlv`)、IP とヘッダー圧縮した IP から UDP の中身を取り出す処理 (`tlv-ip`)、MMTP のヘッダーとスクランブルの印、信号メッセージの分割と集約 (`mmtp`)
+- 4K の放送の表は、TLV-NIT・PLT・MPT・MH-SDT・MH-TOT (`mmt-si`)。局の一覧と、局ごとの CA_system_id (MPT のアクセス制御記述子) をそろえて読む `TlvServiceReader` もここ (TS の `psi` の `ServiceReader` に当たる)。番組表の MH-EIT は TS と同じ形式の番組にする (`mh-eit`)。1 つの局だけを TLV のまま抜き出す (`mmt-service-filter`)
+- 4K の放送の映像 (HEVC)・音声 (AAC)・字幕 (TTML) のアクセスユニットを、MPT の記述子から付けた PTS・DTS (90 kHz) と一緒に取り出す (`mmt-media`)。音声は LATM を外した AAC のフレームと AudioSpecificConfig、映像は NAL ユニットの並び。字幕の TTML は、TS の字幕と同じ字幕の文字の配置にする (`ttml`)。スクランブルの復号は無い
 - 試験用の TS (PSI・EIT・字幕・カルーセル・映像と音声) を組み立てる (`synth`、`synth-caption`、`synth-av`)
-- ほかのモジュールが使う道具として、バイト列 (`bytes`)、言語の名前 (`language`)、文字の表 (`b24-tables`)、字幕の外字の画像をなめらかにする処理 (`drcs-smooth`)
+- 試験用の TLV (TLV・IP・MMTP・MMT-SI と、MPU の中身・時刻の記述子・LATM) を組み立てる (`synth-mmt`)。本物の HEVC と AAC を時刻を進めて流し続ける (`synth-mmt-av`)
+- ほかのモジュールが使う道具として、バイト列 (`bytes`)、ビット単位の読み取り (`bits`)、言語の名前 (`language`)、文字の表 (`b24-tables`)、字幕の外字の画像をなめらかにする処理 (`drcs-smooth`)
 
 依存するパッケージはありません。
 
@@ -49,6 +53,39 @@ import { decodeAribText } from "@danything/arib/aribtext";
 decodeAribText(bytes); // "🈟ニュース"
 ```
 
+4K の放送は TLV のバイト列を渡します。番組は TS の `EpgReader` と同じ形式 (`EitEvent`) で返ります。
+
+```ts
+import { MmtEpgReader } from "@danything/arib/mh-eit";
+
+const epg = new MmtEpgReader();
+for await (const chunk of tlv) {
+  if (epg.feed(chunk)) {
+    for (const event of epg.takeChanged()) console.log(event.name); // "🈑報道１９３０"
+  }
+}
+```
+
+映像・音声・字幕は、1 局に絞った TLV のバイト列から取り出します。局 (MMT_package_id = service_id) を渡します。
+
+```ts
+import { MmtMediaReader } from "@danything/arib/mmt-media";
+import { ttmlPages } from "@danything/arib/ttml";
+
+const media = new MmtMediaReader(0xa1);
+for await (const chunk of tlv) {
+  for (const unit of media.feed(chunk)) {
+    if (unit.kind === "assets") continue; // 選んだアセットが変わった (受け側を作り直す)
+    if (unit.kind === "video") decodeHevc(unit.nals, unit.pts, unit.dts); // 時刻は 90 kHz
+    if (unit.kind === "audio")
+      decodeAac(unit.frame, unit.config.audioSpecificConfig);
+    if (unit.kind === "caption")
+      for (const { at, page } of ttmlPages(unit.document, unit.pts))
+        draw(at, page);
+  }
+}
+```
+
 ```ts
 import { B24CaptionDecoder } from "@danything/arib/b24caption";
 

package/dist/b24caption.js

@@ -299,13 +299,16 @@ export class B24CaptionDecoder {
             return;
         const found = [];
         for (let i = 0; i < languages; i++) {
-            if (at + 6 > data.length)
+            if (at + 5 > data.length)
                 return;
             const tag = data[at] >> 5;
             const dmf = data[at] & 0x0f;
             at += 1;
+            // DC (表示モード) が 1 バイト挟まる
             if (dmf === 0b1100 || dmf === 0b1101 || dmf === 0b1110)
                 at += 1;
+            if (at + 4 > data.length)
+                return;
             const code = ascii(data, at, 3);
             at += 3; // ISO 639
             const format = data[at] >> 4;

package/dist/bits.d.ts

@@ -0,0 +1,25 @@
+/**
+ * ビット単位の読み取り (大きい桁が先)。LATM の AudioMuxElement (`mmt-media.ts`) と、HEVC の SPS のように
+ * バイトの区切りに揃っていない並びを読む。**中身の意味は持たない。**
+ *
+ * 終わりを越えて読むと 0 を返し、`overrun` を立てる。読む側は最後に `overrun` を見て、壊れた並びを捨てる
+ * (1 ビットごとに長さを確かめなくて済む)
+ */
+export declare class BitReader {
+    private readonly data;
+    /** 次に読むビットの位置 (先頭から) */
+    at: number;
+    /** 終わりを越えて読もうとした */
+    overrun: boolean;
+    constructor(data: Uint8Array);
+    /** 残りのビット数 */
+    get left(): number;
+    /** `count` ビット (32 まで) を符号なしの整数で読む */
+    bits(count: number): number;
+    bit(): number;
+    skip(count: number): void;
+    /** 指数ゴロム符号 (符号なし。H.264・HEVC の ue(v)) */
+    ue(): number;
+    /** `from` ビット目から `count` ビットを、先頭に詰めたバイト列にする (端数の後ろは 0) */
+    slice(from: number, count: number): Uint8Array;
+}

package/dist/bits.js

@@ -0,0 +1,66 @@
+/**
+ * ビット単位の読み取り (大きい桁が先)。LATM の AudioMuxElement (`mmt-media.ts`) と、HEVC の SPS のように
+ * バイトの区切りに揃っていない並びを読む。**中身の意味は持たない。**
+ *
+ * 終わりを越えて読むと 0 を返し、`overrun` を立てる。読む側は最後に `overrun` を見て、壊れた並びを捨てる
+ * (1 ビットごとに長さを確かめなくて済む)
+ */
+export class BitReader {
+    data;
+    /** 次に読むビットの位置 (先頭から) */
+    at = 0;
+    /** 終わりを越えて読もうとした */
+    overrun = false;
+    constructor(data) {
+        this.data = data;
+    }
+    /** 残りのビット数 */
+    get left() {
+        return this.data.length * 8 - this.at;
+    }
+    /** `count` ビット (32 まで) を符号なしの整数で読む */
+    bits(count) {
+        let value = 0;
+        for (let i = 0; i < count; i++)
+            value = value * 2 + this.bit();
+        return value;
+    }
+    bit() {
+        const byte = this.data[this.at >> 3];
+        if (byte === undefined) {
+            this.overrun = true;
+            this.at++;
+            return 0;
+        }
+        const value = (byte >> (7 - (this.at & 7))) & 1;
+        this.at++;
+        return value;
+    }
+    skip(count) {
+        this.at += count;
+        if (this.at > this.data.length * 8)
+            this.overrun = true;
+    }
+    /** 指数ゴロム符号 (符号なし。H.264・HEVC の ue(v)) */
+    ue() {
+        let zeros = 0;
+        while (this.bit() === 0) {
+            // 32 を越える 0 は壊れた並び (overrun で止まる)
+            if (++zeros > 32 || this.overrun) {
+                this.overrun = true;
+                return 0;
+            }
+        }
+        return 2 ** zeros - 1 + this.bits(zeros);
+    }
+    /** `from` ビット目から `count` ビットを、先頭に詰めたバイト列にする (端数の後ろは 0) */
+    slice(from, count) {
+        const out = new Uint8Array(Math.ceil(count / 8));
+        const reader = new BitReader(this.data);
+        reader.at = from;
+        for (let i = 0; i < count; i++)
+            if (reader.bit())
+                out[i >> 3] |= 0x80 >> (i & 7);
+        return out;
+    }
+}

package/dist/eit.d.ts

@@ -259,6 +259,11 @@ export declare class EpgReader {
     });
     /** 任意の長さのバイト列を渡す。番組が 1 つでも増えたら true */
     feed(chunk: Uint8Array): boolean;
+    /**
+     * 読んだセクションを 1 つ足す。番組が 1 つでも増えたら true。
+     * 4K の放送の番組表 (`mh-eit.ts` の `MmtEpgReader`) は、読み方だけを替えてここに渡す
+     */
+    protected add(section: EitSection): boolean;
     /**
      * 溜めてあるものと混ぜる。**別の表で来るものを消し合わせない。**
      *
@@ -331,10 +336,12 @@ export declare class EpgReader {
  *
  * **中身で比べる。** 書き換われば version が上がるはずだが、上げずに中身だけ替える
  * 送り手を当てにしないよう、番組の番号・時刻・尺・タイトルで比べる。p/f は 1 局ぶん数百バイトが
- * 数秒おきに来るだけなので、毎回読んでも軽い
+ * 数秒おきに来るだけなので、毎回読んでも軽い。
+ *
+ * 4K の放送 (MMT/TLV) の MH-EIT[p/f] は、読み方だけを替えた `mh-eit.ts` の `MmtPresentFollowing` で追う
  */
 export declare class PresentFollowing {
-    private readonly serviceId;
+    protected readonly serviceId: number;
     private readonly sections;
     /** section 0 (いま) と 1 (次) で最後に読んだ番組。来ていなければ null */
     private readonly held;
@@ -351,5 +358,10 @@ export declare class PresentFollowing {
      * 最初に読めたときも true (知らなかったものが分かった)
      */
     feedPacket(packet: Uint8Array): boolean;
+    /**
+     * 読んだ p/f[actual] のセクションを 1 本覚える。**いまか次のどちらかが変わったら true**。
+     * 渡すのは追う局のものだけ (table_id と service_id は呼ぶ側が確かめる)
+     */
+    protected hold(section: EitSection | null): boolean;
 }
 export {};

package/dist/eit.js

@@ -159,10 +159,12 @@ function readDescriptors(event, body) {
     for (const [tag, data] of descriptors(body)) {
         switch (tag) {
             case DESC_SHORT_EVENT: {
+                if (data.length < 4)
+                    break;
                 const nameLength = data[3];
                 const textAt = 4 + nameLength;
                 event.name = decodeAribText(data.subarray(4, textAt));
-                const textLength = data[textAt];
+                const textLength = data[textAt] ?? 0;
                 event.description = decodeAribText(data.subarray(textAt + 1, textAt + 1 + textLength));
                 break;
             }
@@ -199,6 +201,9 @@ function readDescriptors(event, body) {
                 break;
             }
             case DESC_COMPONENT: {
+                // 短いものを読むと、種別 0 の「480i」と出る
+                if (data.length < 2)
+                    break;
                 const streamContent = data[0] & 0x0f;
                 const componentType = data[1];
                 event.video = {
@@ -221,6 +226,9 @@ function readDescriptors(event, body) {
              *     [残り]   text_char … **放送が付けた名前**
              */
             case DESC_AUDIO_COMPONENT: {
+                // 言語の符号まで無いものを読むと、言語が空の音声が 1 本増える
+                if (data.length < 9)
+                    break;
                 const flags = data[5];
                 const multiLingual = (flags & 0x80) !== 0;
                 const langs = [lang(data, 6)];
@@ -245,7 +253,7 @@ function readDescriptors(event, body) {
             case DESC_CA_CONTRACT_INFO: {
                 if (data.length < 4)
                     break;
-                const caSystemId = (data[0] << 8) | data[1];
+                const caSystemId = u16(data, 0);
                 const numOfComponent = data[2] & 0x0f;
                 let at = 3 + numOfComponent;
                 if (at >= data.length)
@@ -559,30 +567,36 @@ export class EpgReader {
         for (const packet of this.packets.feed(chunk)) {
             for (const raw of this.sections.feed(packet)) {
                 const section = parseEit(raw, this.options);
-                if (section === null)
-                    continue;
-                if (section.tableId >= SCHEDULE_ACTUAL_MIN) {
-                    if (!this.progress.has(section.serviceId))
-                        this.lastNewService = this.now();
-                    const progress = this.progress.get(section.serviceId) ??
-                        new ScheduleProgress(this.now);
-                    progress.add(section);
-                    this.progress.set(section.serviceId, progress);
-                }
-                for (const event of section.events) {
-                    if (section.tableId === TABLE_PF_ACTUAL &&
-                        this.onAir(section, event)) {
-                        this.present.set(event.serviceId, event);
-                    }
-                    if (event.startAt === null || event.duration === null)
-                        continue;
-                    this.merge(event);
+                if (section !== null && this.add(section))
                     added = true;
-                }
             }
         }
         return added;
     }
+    /**
+     * 読んだセクションを 1 つ足す。番組が 1 つでも増えたら true。
+     * 4K の放送の番組表 (`mh-eit.ts` の `MmtEpgReader`) は、読み方だけを替えてここに渡す
+     */
+    add(section) {
+        let added = false;
+        if (section.tableId >= SCHEDULE_ACTUAL_MIN) {
+            if (!this.progress.has(section.serviceId))
+                this.lastNewService = this.now();
+            const progress = this.progress.get(section.serviceId) ?? new ScheduleProgress(this.now);
+            progress.add(section);
+            this.progress.set(section.serviceId, progress);
+        }
+        for (const event of section.events) {
+            if (section.tableId === TABLE_PF_ACTUAL && this.onAir(section, event)) {
+                this.present.set(event.serviceId, event);
+            }
+            if (event.startAt === null || event.duration === null)
+                continue;
+            this.merge(event);
+            added = true;
+        }
+        return added;
+    }
     /**
      * 溜めてあるものと混ぜる。**別の表で来るものを消し合わせない。**
      *
@@ -727,7 +741,9 @@ export class EpgReader {
  *
  * **中身で比べる。** 書き換われば version が上がるはずだが、上げずに中身だけ替える
  * 送り手を当てにしないよう、番組の番号・時刻・尺・タイトルで比べる。p/f は 1 局ぶん数百バイトが
- * 数秒おきに来るだけなので、毎回読んでも軽い
+ * 数秒おきに来るだけなので、毎回読んでも軽い。
+ *
+ * 4K の放送 (MMT/TLV) の MH-EIT[p/f] は、読み方だけを替えた `mh-eit.ts` の `MmtPresentFollowing` で追う
  */
 export class PresentFollowing {
     serviceId;
@@ -760,20 +776,27 @@ export class PresentFollowing {
                 continue;
             if (u16(raw, 3) !== this.serviceId)
                 continue;
-            const section = parseEit(raw);
-            if (section === null || section.sectionNumber > 1)
-                continue;
-            const slot = section.sectionNumber;
-            const event = section.events[0] ?? null;
-            const mark = event === null ? "" : markOf(event);
-            if (this.marks[slot] === mark)
-                continue;
-            this.marks[slot] = mark;
-            this.held[slot] = event;
-            changed = true;
+            if (this.hold(parseEit(raw)))
+                changed = true;
         }
         return changed;
     }
+    /**
+     * 読んだ p/f[actual] のセクションを 1 本覚える。**いまか次のどちらかが変わったら true**。
+     * 渡すのは追う局のものだけ (table_id と service_id は呼ぶ側が確かめる)
+     */
+    hold(section) {
+        if (section === null || section.sectionNumber > 1)
+            return false;
+        const slot = section.sectionNumber;
+        const event = section.events[0] ?? null;
+        const mark = event === null ? "" : markOf(event);
+        if (this.marks[slot] === mark)
+            return false;
+        this.marks[slot] = mark;
+        this.held[slot] = event;
+        return true;
+    }
 }
 /** 変わったかどうかを見る中身。**番号・時刻・尺・タイトルだけ** (番組表に入れて画面に出るもの) */
 function markOf(event) {

package/dist/mh-eit.d.ts

@@ -0,0 +1,43 @@
+/**
+ * 4K の放送 (MMT/TLV) の番組表 MH-EIT (ARIB STD-B60) を、TS の番組表と同じ `EitEvent` に読む。
+ *
+ * 並びは TS の EIT と同じで、違うのは次の所 (実機のケーブルの BS4K で確かめた)。
+ *
+ * - TS の transport_stream_id の位置に tlv_stream_id が入る。`EitEvent.transportStreamId` にはそれを入れる
+ * - table_id は p/f が 0x8B、予定の基本が 0x8C から、詳細が 0x94 から。**TS の番号 (0x4E・0x50・0x58) に直して返す**
+ *   ので、揃ったかの数え方 (`ScheduleProgress`) と混ぜ方 (`EpgReader`) をそのまま使える
+ * - 記述子のタグが 2 バイトで (`mmt-si.ts` の `mmtDescriptors`)、文字は UTF-8。番組名の「🈑」なども Unicode の文字で来る
+ *
+ * 番組の記述子で読むのは、MH-短形式イベント (0xF001)・MH-拡張形式イベント (0xF002)・MH-コンテント (0x8012)・
+ * 映像コンポーネント (0x8010)・MH-音声コンポーネント (0x8014)・コンテンツコピー制御 (0x8038)。
+ * シリーズの記述子は来ていないので読まない (`series` を付けない。「この表は言っていない」)
+ */
+import { type EitSection, EpgReader, PresentFollowing } from "./eit.js";
+/**
+ * MH-EIT のセクションを 1 本読む。table_id は TS の番号に直す。番組表でなければ null。
+ * CRC は読む前に確かめてある (`MmtTableStream`) ので、長さの合わない番組の手前まで返す
+ */
+export declare function parseMhEit(section: Uint8Array): EitSection | null;
+/**
+ * 流れてくる TLV のバイト列から番組表を溜める。**読み方のほかは TS の `EpgReader` と同じ**
+ * (揃ったかの数え方、別の表で来るものの混ぜ方、p/f の「いま」)。
+ *
+ * MH-EIT は自分の TLV のストリームの局のぶんだけが来る (実機のケーブルの BS4K で確かめた)。
+ * TS の `other` (ほかの TS の局の番組表) に当たるものは無い
+ */
+export declare class MmtEpgReader extends EpgReader {
+    private readonly tables;
+    /** @param now いまの時刻。過ぎた時間帯の予定を待たないのに使う (`ScheduleProgress`) */
+    constructor(now?: () => number);
+    /** 任意の長さの TLV のバイト列を渡す。番組が 1 つでも増えたら true */
+    feed(chunk: Uint8Array): boolean;
+}
+/**
+ * **1 局の「いま」と「次」(MH-EIT[p/f]) を追う。** TS の `PresentFollowing` を 4K の放送 (MMT/TLV) で使えるようにしたもので、
+ * 違うのは読み方だけ (覚え方と、変わったかの比べ方は同じ)。ライブで番組の切り替わりを知るのに使う
+ */
+export declare class MmtPresentFollowing extends PresentFollowing {
+    private readonly tables;
+    /** 任意の長さの TLV のバイト列を渡す。**いまか次のどちらかが変わったら true** (最初に読めたときも true) */
+    feed(chunk: Uint8Array): boolean;
+}