@danything/arib 0.0.0-stage → 0.1.0

package/dist/synth.js

@@ -0,0 +1,508 @@
+/**
+ * TS のセクションを組み立てる。
+ *
+ * 実チューナーが無いので、解析のテストにも偽エージェントにも「それらしい TS」が要る。
+ * 読む側 (psi.ts・eit.ts・dsmcc.ts・logo.ts・ait.ts など) と対になる書く側で、ここだけが仕様の写し。
+ */
+import { joinBytes } from "./bytes.js";
+import { PACKET, SYNC, withCrc } from "./psi.js";
+// 組み立てる道具と一緒にここから取るテストがある (logo.test.ts) ので、そのまま出しておく
+export { withCrc };
+const be = (value) => [(value >> 8) & 0xff, value & 0xff];
+const be32 = (value) => [...be(value >>> 16), ...be(value & 0xffff)];
+/** セクションの頭8バイト (長さは `withCrc` が埋める)。版 0・節 0/0 */
+function head(tableId, extension) {
+    return [tableId, 0x00, 0x00, ...be(extension), 0xc1, 0x00, 0x00];
+}
+/** PCR の基準部 (90kHz) を適応フィールドに書く (旗は呼ぶ側)。拡張部 (27MHz の端数) は読む側が見ていないので 0 */
+export function putPcr(packet, pcr) {
+    const base = Math.round(pcr) % 2 ** 33;
+    packet[6] = Math.floor(base / 2 ** 25) & 0xff;
+    packet[7] = Math.floor(base / 2 ** 17) & 0xff;
+    packet[8] = Math.floor(base / 2 ** 9) & 0xff;
+    packet[9] = Math.floor(base / 2) & 0xff;
+    packet[10] = ((base & 1) << 7) | 0x7e;
+    packet[11] = 0x00;
+}
+/**
+ * Unicode → JIS X 0208 の区点。**読む側の裏返し。**
+ *
+ * 表を抱え込まずに、EUC-JP のデコーダを1回だけ総当たりして作る
+ * (84区 × 94点 = 7896 文字)。テストと偽放送局からしか呼ばないので、
+ * 最初に使うときまで作らない。
+ */
+let jis = null;
+function jisTable() {
+    if (jis !== null)
+        return jis;
+    const decoder = new TextDecoder("euc-jp");
+    jis = new Map();
+    for (let ku = 0x21; ku <= 0x74; ku++) {
+        for (let ten = 0x21; ten <= 0x7e; ten++) {
+            const char = decoder.decode(Uint8Array.of(ku | 0x80, ten | 0x80));
+            if (char.length !== 1 || char === "�")
+                continue;
+            if (!jis.has(char))
+                jis.set(char, (ku << 8) | ten);
+        }
+    }
+    return jis;
+}
+/**
+ * 文字列を ARIB STD-B24 の8単位符号にする。
+ *
+ * 初期状態 (G0=漢字) から始めて、ASCII のところだけ英数集合へ切り替える。
+ * 本物の放送はもっと凝った切り替え方をするが、**読む側が同じ経路を通れば足りる**。
+ * 文字の大きさは触らない (字幕は呼ぶ側が MSZ などを前に置く)。SI に書くなら `encodeSiText`
+ */
+export function encodeAribText(text, half = false) {
+    const out = [];
+    let alnum = false;
+    for (const char of text) {
+        const code = char.codePointAt(0) ?? 0;
+        if (code < 0x80) {
+            // ESC ( J で英数 (半角で読ませるなら MSZ で中型に)
+            if (!alnum)
+                out.push(0x1b, 0x28, 0x4a, ...(half ? [0x89] : []));
+            alnum = true;
+            out.push(code);
+            continue;
+        }
+        // ESC $ B で漢字 (中型にしていたら NSZ で標準に戻す)
+        if (alnum)
+            out.push(0x1b, 0x24, 0x42, ...(half ? [0x8a] : []));
+        alnum = false;
+        const kuten = jisTable().get(char);
+        // 表に無い字は下駄で埋める (2区14点)。長さが変わらないので位置がずれない
+        out.push(...be(kuten ?? 0x222e));
+    }
+    return out;
+}
+/**
+ * 番組名・局名 (SI) に書く形式。**ASCII は中型 (MSZ) で挟んで半角で読ませる** — 標準の大きさの
+ * 英数はテレビが全角で描く (読む側 `aribtext.ts` も全角にする)。全角の英数 (「Ｖｅｎｕｅ」) は
+ * 漢字の集合の字として書くので、読めば書いたとおりの文字列に戻る
+ */
+function encodeSiText(text) {
+    return encodeAribText(text, true);
+}
+/** 言語の符号 "jpn" (ISO 639-2) */
+const JPN = [0x6a, 0x70, 0x6e];
+/** 長さ1バイトを頭に付けた文字列。SI の記述子はどこもこの形式 */
+const sized = (text) => {
+    const body = encodeSiText(text);
+    return [body.length, ...body];
+};
+export function sdtSection(transportStreamId, originalNetworkId, services) {
+    const body = [
+        ...head(0x42, transportStreamId),
+        ...be(originalNetworkId),
+        0xff,
+    ];
+    for (const [serviceId, serviceType, name] of services) {
+        // service_descriptor (0x48): 種別 + 事業者名 + サービス名
+        const payload = [serviceType, 0x00, ...sized(name ?? "")];
+        const descriptor = [0x48, payload.length, ...payload];
+        body.push(...be(serviceId), 0xfc, ...be(0x8000 | descriptor.length), ...descriptor);
+    }
+    return withCrc(body);
+}
+/** 2桁の10進を BCD の1バイトに */
+const bcd = (value) => ((Math.floor(value / 10) << 4) | (value % 10)) & 0xff;
+/** epoch ms → MJD + BCD の5バイト。放送の時刻は日本時間で書く */
+function mjdTime(at) {
+    const jst = Math.floor(at / 1000) + 9 * 3600;
+    const mjd = Math.floor(jst / 86400) + 40587;
+    const rest = ((jst % 86400) + 86400) % 86400;
+    return [
+        ...be(mjd),
+        bcd(Math.floor(rest / 3600)),
+        bcd(Math.floor(rest / 60) % 60),
+        bcd(rest % 60),
+    ];
+}
+/** ms → BCD 3バイトの尺 */
+function bcdDuration(ms) {
+    const total = Math.floor(ms / 1000);
+    return [
+        bcd(Math.floor(total / 3600)),
+        bcd(Math.floor(total / 60) % 60),
+        bcd(total % 60),
+    ];
+}
+/**
+ * デジタルコピー制御記述子 (0xC1)。EIT の番組と PMT に載る。
+ * 中身は1バイトだけ: 記録制御 (2) 最大ビットレートの有無 (1) 部品ごとの制御の有無 (1) 出力の制御 (4)
+ */
+export function copyControlDescriptor(control) {
+    return [0xc1, 0x01, ((control & 0b11) << 6) | 0b0100];
+}
+function eventDescriptors(event) {
+    const out = [];
+    const short = [...JPN, ...sized(event.name)];
+    short.push(...sized(event.description ?? ""));
+    out.push(0x4d, short.length, ...short);
+    const extended = Object.entries(event.extended ?? {});
+    if (extended.length > 0) {
+        const items = extended.flatMap(([heading, text]) => [
+            ...sized(heading),
+            ...sized(text),
+        ]);
+        const body = [0x00, ...JPN, items.length, ...items, 0x00];
+        out.push(0x4e, body.length, ...body);
+    }
+    if (event.rawDescriptors !== undefined)
+        out.push(...event.rawDescriptors);
+    if (event.copyControl !== undefined)
+        out.push(...copyControlDescriptor(event.copyControl));
+    if (event.genres !== undefined && event.genres.length > 0) {
+        const body = event.genres.flatMap(([lv1, lv2]) => [(lv1 << 4) | lv2, 0xff]);
+        out.push(0x54, body.length, ...body);
+    }
+    if (event.video !== undefined) {
+        const [streamContent, componentType] = event.video;
+        out.push(0x50, 0x06, 0xf0 | streamContent, componentType, 0x00, ...JPN);
+    }
+    for (const [index, audio] of (event.audios ?? []).entries()) {
+        /*
+         * stream_content / component_type / component_tag / stream_type /
+         * simulcast_group_tag / フラグ / 言語 / **放送が付けた名前**。
+         *
+         * フラグは 多言語(1) 主音声(1) 品質(2) 標本化周波数(3) reserved(1)。
+         * 名前は、種別も言語も同じ音声が2本あるとき**唯一の見分け**になる
+         */
+        const lang = [...(audio.lang ?? "jpn")].map((c) => c.charCodeAt(0));
+        const text = encodeSiText(audio.text ?? "");
+        const flags = ((audio.main ?? true) ? 0b0100_0000 : 0) | 0b0000_1110;
+        const body = [
+            0x02,
+            audio.type,
+            0x10 + index,
+            0x0f,
+            0xff,
+            flags,
+            ...lang,
+            ...text,
+        ];
+        out.push(0xc4, body.length, ...body);
+    }
+    return out;
+}
+/** EIT。番組表そのもの。table_id で p/f (0x4E) と schedule (0x50〜) が分かれる */
+export function eitSection(options) {
+    const body = [
+        options.tableId,
+        0x00,
+        0x00,
+        ...be(options.serviceId),
+        0xc1 | ((options.version ?? 0) << 1),
+        options.sectionNumber ?? 0,
+        options.lastSectionNumber ?? 0,
+        ...be(options.transportStreamId),
+        ...be(options.originalNetworkId),
+        options.segmentLastSectionNumber ?? options.lastSectionNumber ?? 0,
+        options.lastTableId ?? options.tableId,
+    ];
+    for (const event of options.events) {
+        const descriptors = eventDescriptors(event);
+        body.push(...be(event.eventId), ...mjdTime(event.startAt), ...bcdDuration(event.duration), ((event.runningStatus ?? 0) << 5) |
+            (event.isFree === false ? 0x10 : 0x00) |
+            ((descriptors.length >> 8) & 0x0f), descriptors.length & 0xff, ...descriptors);
+    }
+    return withCrc(body);
+}
+export function nitSection(networkId, remoteControlKeyId, streams) {
+    const body = [...head(0x40, networkId), ...be(0xf000)];
+    const loop = [];
+    for (const [transportStreamId, originalNetworkId, services] of streams) {
+        const descriptors = [];
+        // TS information descriptor (0xCD)
+        if (remoteControlKeyId !== null)
+            descriptors.push(0xcd, 0x02, remoteControlKeyId, 0x00);
+        const serviceList = services.flatMap(([id, type]) => [...be(id), type]);
+        descriptors.push(0x41, serviceList.length, ...serviceList);
+        loop.push(...be(transportStreamId), ...be(originalNetworkId), ...be(0xf000 | descriptors.length), ...descriptors);
+    }
+    body.push(...be(0xf000 | loop.length), ...loop);
+    return withCrc(body);
+}
+/** セクションを TS パケットに詰める。頭のパケットには pointer_field が付く */
+export function packetize(pid, section, counter = 0) {
+    const packets = [];
+    let data = [0x00, ...section]; // pointer_field = 0
+    let first = true;
+    while (data.length > 0) {
+        const chunk = data.slice(0, PACKET - 4);
+        data = data.slice(PACKET - 4);
+        packets.push(SYNC, (first ? 0x40 : 0x00) | (pid >> 8), pid & 0xff, 0x10 | (counter & 0x0f));
+        packets.push(...chunk, ...new Array(PACKET - 4 - chunk.length).fill(0xff));
+        counter++;
+        first = false;
+    }
+    return Uint8Array.from(packets);
+}
+/** 部品を1本のバイト列に繋ぐ。組んだパケットを流し込むときの糊 */
+export function stream(...parts) {
+    return joinBytes(parts);
+}
+/** PCR を1つ運ぶだけのパケット */
+export function pcrPacket(pid, seconds, counter = 0) {
+    const packet = new Uint8Array(PACKET).fill(0xff);
+    packet[0] = SYNC;
+    packet[1] = pid >> 8;
+    packet[2] = pid & 0xff;
+    // 適応フィールドのみ (中身なし)
+    packet[3] = 0x20 | (counter & 0x0f);
+    packet[4] = PACKET - 5;
+    packet[5] = 0x10; // PCR_flag
+    putPcr(packet, seconds * 90_000);
+    return packet;
+}
+/** 放送の実時刻 (TDT) を1パケットに。BML の `getCurrentDateTime` が見る */
+export function tdtPacket(unixMs) {
+    return packetize(0x0014, Uint8Array.from([0x70, 0x70, 0x05, ...mjdTime(unixMs)]));
+}
+/** PAT。サービスID → PMT の PID */
+export function patSection(programs, transportStreamId = 1) {
+    const body = head(0x00, transportStreamId);
+    for (const [serviceId, pmtPid] of programs) {
+        body.push(...be(serviceId), 0xe0 | (pmtPid >> 8), pmtPid & 0xff);
+    }
+    return withCrc(body);
+}
+/**
+ * PMT。ロゴのカルーセルが乗る ES を1つだけ持たせる。
+ * 目印は stream_identifier_descriptor (0x52) の component_tag
+ */
+export function pmtSection(serviceId, esPid, componentTag) {
+    return withCrc([
+        ...head(0x02, serviceId),
+        0xe0,
+        0x00, // PCR_PID
+        0xf0,
+        0x00, // program_info_length = 0
+        0x0d, // stream_type: DSM-CC セクション
+        0xe0 | (esPid >> 8),
+        esPid & 0xff,
+        0xf0,
+        0x03,
+        0x52,
+        0x01,
+        componentTag,
+    ]);
+}
+/**
+ * ふつうの PMT。映像・音声のような ES を並べる。
+ *
+ * ロゴ用の `pmtSection` と違って中身を選べる。局を選り分ける
+ * [service-filter.ts](../../../packages/arib/src/service-filter.ts) を試すのに要る
+ */
+export function programMap(serviceId, pcrPid, 
+/** `[種別, PID]`。**3つ目は記述子**の並び (字幕の部品タグなど) */
+streams, ecmPid, 
+/** 番組ぜんたいに掛かる記述子 (program_info) に足すもの。コピー制御 ({@link copyControlDescriptor}) など */
+extra = []) {
+    const programInfo = [
+        ...(ecmPid === undefined
+            ? []
+            : [0x09, 0x04, 0x00, 0x05, 0xe0 | (ecmPid >> 8), ecmPid & 0xff]),
+        ...extra,
+    ];
+    const body = [
+        ...head(0x02, serviceId),
+        0xe0 | (pcrPid >> 8),
+        pcrPid & 0xff,
+        ...be(0xf000 | programInfo.length),
+        ...programInfo,
+    ];
+    for (const [streamType, pid, info = []] of streams) {
+        body.push(streamType, 0xe0 | (pid >> 8), pid & 0xff, ...be(0xf000 | info.length), ...info);
+    }
+    return withCrc(body);
+}
+/**
+ * データ符号化方式記述子 (0xFD)。**BML が載っている ES の目印。**
+ *
+ * 中身は「入口かどうか」と、カルーセルの回 (dataEventId)。
+ * 既定は地上波 (0x0C) の入口つき・960x540
+ */
+export function bxmlDescriptor(options = {}) {
+    const { dataComponentId = 0x0c, entryPoint = true } = options;
+    const body = [
+        ...be(dataComponentId),
+        // 伝送方式00 / 入口 / 自動起動 / 解像度0011 (960x540)
+        ...(entryPoint ? [0x33, 0x70] : [0x00, 0xff]),
+        0xf8, // dataEventId 0xF / event_section_flag
+        0xa0, // 即時取得あり / 蓄積不可 / 起動優先
+    ];
+    return [0xfd, body.length, ...body];
+}
+/** DSM-CC のセクションで包む */
+function dsmccSection(tableId, message) {
+    return withCrc([...head(tableId, 0), ...message]);
+}
+/**
+ * DII。「このモジュールは何バイトで、名前は何か」を伝える。
+ *
+ * **複数のモジュールを載せられる。** 本物の BS はここに `LOGO-05` と
+ * `CS_LOGO-05` を並べて流していて (実機の `BS15_0` で確認)、1つしか
+ * 載せられない作りでは CS を取りこぼす経路を試せない。
+ */
+export function diiSection(downloadId, blockSize, modules, 
+/** カルーセルの版。**同じ番号で送り直しても組み立て直されない** */
+transactionId = 1) {
+    const list = Array.isArray(modules) ? modules : [modules];
+    const entries = list.flatMap((module) => {
+        const info = [];
+        if (module.name !== undefined) {
+            const name = [...new TextEncoder().encode(module.name)];
+            info.push(0x02, name.length, ...name);
+        }
+        if (module.contentType !== undefined) {
+            const type = [...new TextEncoder().encode(module.contentType)];
+            info.push(0x01, type.length, ...type);
+        }
+        if (module.compression !== undefined) {
+            const { type, originalSize } = module.compression;
+            info.push(0xc2, 5, type & 0xff, ...be32(originalSize));
+        }
+        return [
+            ...be(module.moduleId),
+            ...be32(module.moduleSize),
+            module.moduleVersion,
+            info.length,
+            ...info,
+        ];
+    });
+    const rest = [
+        ...be32(downloadId),
+        ...be(blockSize),
+        0x00, // windowSize
+        0x00, // ackPeriod
+        ...be32(0), // tCDownloadWindow
+        ...be32(0), // tCDownloadScenario
+        ...be(0), // compatibilityDescriptor: 長さ0
+        ...be(list.length), // numberOfModules
+        ...entries,
+        ...be(0), // privateDataLength
+    ];
+    return dsmccSection(0x3b, [
+        0x11, // protocolDiscriminator
+        0x03, // dsmccType
+        ...be(0x1002), // messageId: DII
+        ...be32(transactionId),
+        0xff,
+        0x00, // reserved / adaptationLength
+        ...be(rest.length),
+        ...rest,
+    ]);
+}
+/** DDB。モジュールを割ったブロックを1つ運ぶ */
+export function ddbSection(downloadId, moduleId, moduleVersion, blockNumber, block) {
+    return dsmccSection(0x3c, [
+        0x11,
+        0x03,
+        ...be(0x1003), // messageId: DDB
+        ...be32(downloadId),
+        0xff,
+        0x00, // reserved / adaptationLength
+        ...be(block.length + 6),
+        ...be(moduleId),
+        moduleVersion,
+        0xff,
+        ...be(blockNumber),
+        ...block,
+    ]);
+}
+/** ロゴデータモジュール (ARIB STD-B21)。カルーセルで運ばれる中身 */
+export function logoModule(logoType, logos) {
+    const body = [logoType, ...be(logos.length)];
+    for (const logo of logos) {
+        body.push(...be(logo.logoId), logo.services.length);
+        for (const [networkId, serviceId] of logo.services) {
+            body.push(...be(networkId), ...be(0), ...be(serviceId));
+        }
+        body.push(...be(logo.data.length), ...logo.data);
+    }
+    return Uint8Array.from(body);
+}
+/*
+ * --- データ放送のテストで使う定番の割り振り ---
+ * bml / data-timeline / recorded-bml の3つのテストが、同じ表と同じ組み立てを
+ * それぞれに書いていた。番号そのものに意味は無く、揃っていることに意味がある。
+ */
+export const BML_TS = {
+    service: 1024,
+    pmtPid: 0x1f0,
+    videoPid: 0x0111,
+    bmlPid: 0x0800,
+    downloadId: 0xf0000001,
+    componentTag: 0x40,
+};
+/** BML の ES が1本だけ載った PMT (`BML_TS` の割り振り) */
+export function bmlPmt() {
+    return programMap(BML_TS.service, BML_TS.videoPid, [
+        [0x02, BML_TS.videoPid, [0x52, 0x01, 0x00]],
+        [
+            0x0d,
+            BML_TS.bmlPid,
+            [0x52, 0x01, BML_TS.componentTag, ...bxmlDescriptor()],
+        ],
+    ]);
+}
+/** PAT と PMT。データ放送のストリームの頭 */
+export function bmlHead() {
+    return [
+        packetize(0x0000, patSection([[BML_TS.service, BML_TS.pmtPid]])),
+        packetize(BML_TS.pmtPid, bmlPmt()),
+    ];
+}
+/**
+ * モジュール1つぶんの中身。**放送は multipart/mixed で複数のファイルを詰める。**
+ * 本物と同じく、頭に Content-Type、境界で区切って各ファイルに Content-Location
+ */
+export function multipartModule(files) {
+    const boundary = "denpa";
+    let out = `Content-Type: multipart/mixed; boundary=${boundary}\r\n\r\n`;
+    for (const [location, type, body] of files) {
+        out += `--${boundary}\r\nContent-Type: ${type}\r\nContent-Location: ${location}\r\n\r\n${body}\r\n`;
+    }
+    out += `--${boundary}--\r\n`;
+    return new TextEncoder().encode(out);
+}
+/** PMT の ES に付ける application_signalling_descriptor (0x6F)。**AIT の在り処の印** */
+export function aitSignallingDescriptor(applicationType = 0x0010, version = 1) {
+    return [0x6f, 0x03, ...be(applicationType), version & 0x1f];
+}
+/**
+ * AIT (table_id 0x74)。**Hybridcast のアプリのアドレス (URL) が載っている表。**
+ *
+ * 中身そのものは電波に乗っていないので、ここに入るのは URL と名前だけ
+ */
+export function aitSection(applications, applicationType = 0x0010) {
+    const loop = [];
+    for (const app of applications) {
+        const info = [];
+        if (app.name !== undefined) {
+            const name = encodeSiText(app.name);
+            // application_name_descriptor: 言語 + 長さ + 中身
+            info.push(0x01, 4 + name.length, ...JPN, name.length, ...name);
+        }
+        if (app.base !== undefined) {
+            const base = [...new TextEncoder().encode(app.base)];
+            // transport_protocol_descriptor: protocol_id=3 (通信路)、label、URL の頭
+            info.push(0x02, 5 + base.length, ...be(0x0003), 0x01, base.length, ...base, 0x00);
+        }
+        if (app.path !== undefined) {
+            const path = [...new TextEncoder().encode(app.path)];
+            info.push(0x15, path.length, ...path);
+        }
+        loop.push(...be32(app.organisationId), ...be(app.applicationId), app.controlCode ?? 0x01, ...be(0xf000 | info.length), ...info);
+    }
+    return withCrc([
+        ...head(0x74, 0x8000 | applicationType),
+        ...be(0xf000), // common_descriptors_length = 0
+        ...be(0xf000 | loop.length),
+        ...loop,
+    ]);
+}

package/package.json

@@ -1,6 +1,32 @@
 {
   "name": "@danything/arib",
-  "version": "0.0.0-stage",
-  "stub": true,
-  "description": "Temporary package placeholder for staged publishing"
-}
+  "version": "0.1.0",
+  "description": "日本のデジタル放送 (ARIB) の TS を読む: PSI・PES・EIT・ARIB の文字・字幕・データ放送",
+  "license": "MIT",
+  "repository": {
+    "type": "git",
+    "url": "git+https://github.com/danything/denpa.git",
+    "directory": "packages/arib"
+  },
+  "keywords": [
+    "arib",
+    "isdb",
+    "mpeg-ts",
+    "eit",
+    "epg",
+    "b24",
+    "caption",
+    "bml"
+  ],
+  "type": "module",
+  "sideEffects": false,
+  "exports": {
+    "./*": {
+      "types": "./dist/*.d.ts",
+      "default": "./dist/*.js"
+    }
+  },
+  "files": [
+    "dist"
+  ]
+}