@openheart/tavio-renderer 1.0.12-with-wasm → 2.0.0

package/build/esm/types/viewer/{tavioMesh.d.ts → tavioMesh/tavioMesh.d.ts}

@@ -1,30 +1,23 @@
-import { CubeTexture, DataTexture, Euler, PerspectiveCamera, Points, RawShaderMaterial, Texture, Vector3, WebGLRenderer } from 'three';
+import { Camera, CubeTexture, DataTexture, Euler, PerspectiveCamera, Points, Quaternion, RawShaderMaterial, Texture, Vector2, Vector3, WebGLRenderer } from 'three';
 import { default as EventEmitter } from 'eventemitter3';
-import { iLoadingOption, iViewerOption, iHeaderInfo, iTransform, iVectorLike } from './canvas';
-import { iCollisionTarget } from '../worker/tavioWorker';
-import { InstancedMeshEX } from '../extension/InstancedMeshEX';
-import { RenderView } from './renderView';
+import { iLoadingOption, iViewerOption, iHeaderInfo, iTransform, tSelectionMode, iLocalTransformInfo, tUniformValue, tCustomDefines } from '../types';
+import { iCollisionTarget } from '../../worker/tavioWorker';
+import { InstancedMeshEX } from '../../extension/InstancedMeshEX';
+import { RenderView } from '../renderView';
 /**
- * 画素情報として扱えるオブジェクト
+ * 32bit 符号なし整数テクスチャ (RGBA32UI) を生成する
+ * @param data - 書き込むデータ
+ * @param width - テクスチャの幅
+ * @param height - テクスチャの高さ
  */
-type tImageSource = HTMLImageElement | HTMLCanvasElement;
+export declare const createUint32DataTexture: (data: Uint32Array, width: number, height: number) => DataTexture;
 /**
- * 画像や canvas 要素をパースした結果
+ * 8bit 符号なし整数テクスチャ (RGBA8UI) を生成する
+ * @param data - 書き込むデータ
+ * @param width - テクスチャの幅
+ * @param height - テクスチャの高さ
  */
-interface iSplatSource {
-    count: number;
-    position32: Float32Array;
-    color8: Uint8ClampedArray;
-    converted: Uint8Array;
-    min: {
-        alpha: number;
-        scale: iVectorLike;
-    };
-    max: {
-        alpha: number;
-        scale: iVectorLike;
-    };
-}
+export declare const createUint8DataTexture: (data: Uint8Array, width: number, height: number) => DataTexture;
 export declare class TavioMesh extends EventEmitter {
     private worker;
     private meshIndex;
@@ -45,13 +38,30 @@ export declare class TavioMesh extends EventEmitter {
     private gaussianCountInChunk;
     private gaussianData;
     private gaussianIndexMap;
+    private latestIndexMap;
     private sortMap;
     private defaultRenderViewSymbol;
     private gaussianOrderData;
-    private gaussianGeneralData;
     private gaussianTransformData;
     private transformTextureWidth;
-    private currentSelectionCount;
+    private localTransform;
+    private selection;
+    private get gaussianLocalTransformData();
+    private set gaussianLocalTransformData(value);
+    private get temporaryLocalTransformData();
+    private set temporaryLocalTransformData(value);
+    private get localTransformTextureWidth();
+    private set localTransformTextureWidth(value);
+    private get gaussianLocalTransformTexture();
+    private set gaussianLocalTransformTexture(value);
+    private get localTransformUpdated();
+    private set localTransformUpdated(value);
+    private get gaussianGeneralData();
+    private set gaussianGeneralData(value);
+    private get currentSelectionCount();
+    private set currentSelectionCount(value);
+    private get gaussianGeneralDataTexture();
+    private set gaussianGeneralDataTexture(value);
     private gaussianDataTexture;
     private gaussianCompressedDataTexture0;
     private gaussianCompressedDataTexture1;
@@ -59,7 +69,6 @@ export declare class TavioMesh extends EventEmitter {
     private gaussianCompressedDataTexture3;
     private currentVertexCount;
     private maxDistance;
-    private gaussianGeneralDataTexture;
     private gaussianTransformDataTexture;
     private initializedTexture;
     private initializedColorTexture;
@@ -72,18 +81,20 @@ export declare class TavioMesh extends EventEmitter {
     private gaussianGeometry;
     private gaussianMaterial;
     private gaussianPickingMaterial;
+    private gaussianShadowingMaterial;
+    private gaussianIndexSelectionMaterial;
     private gaussianMesh;
     private gaussianPickingMesh;
+    private gaussianShadowingMesh;
+    private gaussianIndexSelectionMesh;
     private gaussianPoints;
     private gaussianPointGeometry;
     private gaussianPointMaterial;
-    private gaussianPointUniforms;
     private mainProperties;
     private backgroundTexture;
     private environmentTexture;
     private useWasmSort;
     private wasmSortInstance;
-    private wasmSortClient;
     private hasBillboard;
     private lastViewProjectionMap;
     private depthRenderTarget;
@@ -111,6 +122,19 @@ export declare class TavioMesh extends EventEmitter {
      * B: クォータニオンの WX
      * A: クォータニオンの YZ
      */
+    /**
+     * this.gaussianLocalTransformData についての覚書
+     * RGBA がそれぞれ Uint32 で、１画素が１スプラットに対応する
+     * position.xyz はそれぞれ 16bit、scale.xyz も同様に 16bit で先頭から並ぶ（RGB に相当するチャンネル）
+     * 残りの A チャンネルの 32bit には convertQuaternion で変換したオクタへドラルクォータニオン 24bit が入る
+     */
+    /**
+     * this.temporaryLocalTransformData についての覚書
+     * RGBA がそれぞれ Uint32 で、１画素が１スプラットに対応する（つまり this.gaussianLocalTransformData と同じ）
+     * このバッファは「スプラットが複数選択された」場合に、その選択された瞬間の状態をステートとして保持しておくために利用される
+     * このような退避バッファを使わないと、複数回選択・移動されたときに、前回の状態からどれくらい動いたか、を考えることができなくなる
+     * スプラットが選択された際に内容が更新され、ギズモから手が離れた瞬間に、この退避バッファの内容を踏まえてローカルトランスフォームする
+     */
     /**
      * インスタンスが発火するイベント
      */
@@ -121,8 +145,15 @@ export declare class TavioMesh extends EventEmitter {
      * @param camera - worker の更新のためにカメラのインスタンスが必要
      * @param material - メッシュの生成に使うマテリアルは上の層から指定されたものを使う
      * @param pickingMaterial - メッシュの生成に使うマテリアルは上の層から指定されたものを使う
+     * @param shadowingMaterial - メッシュの生成に使うマテリアルは上の層から指定されたものを使う
+     * @param indexSelectionMaterial - メッシュの生成に使うマテリアルは上の層から指定されたものを使う
+     * @param viewerOption - 上の層で用いているオプション
+     */
+    constructor(index: number, material: RawShaderMaterial, pickingMaterial: RawShaderMaterial, shadowingMaterial: RawShaderMaterial, indexSelectionMaterial: RawShaderMaterial, pointMaterial: RawShaderMaterial, viewerOption: iViewerOption);
+    /**
+     * マテリアルでローカル変換が有効化されているかどうか
      */
-    constructor(index: number, material: RawShaderMaterial, pickingMaterial: RawShaderMaterial, viewerOption: iViewerOption);
+    get enableLocalTransform(): boolean;
     /**
      * ==========================================================================
      * loader
@@ -130,29 +161,46 @@ export declare class TavioMesh extends EventEmitter {
      */
     /**
      * tavio 形式のリソースをロードする
-     * @param url - 読み込む .tavio ファイル
+     * ※ply や splat、画像・canvas 要素などのリソースは CPU 側で TavioMesh 用のバイナリを生成する処理を行うが、
+     *   tavio 形式の場合はバイナリから TavioMesh 用のデータを生成する部分が worker 側にあるため、他のロード系
+     *   メソッドと比較するとやや固有の処理が多いことに注意する
+     * @param source - 読み込む .tavio ファイル。URL 文字列に加え、事前に取得済みの Blob / ArrayBuffer を渡すこともできる
      * @param option - ロード・パース関連のオプション
      */
-    loadTavio(url: string, option?: iLoadingOption): Promise<void>;
+    loadTavio(source: string | Blob | ArrayBuffer, option?: iLoadingOption): Promise<void>;
     /**
      * ply 形式のリソースをロードする
-     * @param url - 読み込む .ply ファイル
+     * @param source - 読み込む .ply ファイル（URL文字列、Blob、または ArrayBuffer）
      * @param option - ロード・パース関連のオプション
      */
-    loadPly(url: string, option?: iLoadingOption): Promise<void>;
+    loadPly(source: string | Blob | ArrayBuffer, option?: iLoadingOption): Promise<void>;
     /**
      * splat 形式のリソースをロードする
-     * @param url - 読み込む .splat ファイル
+     * @param source - 読み込む .splat ファイル（URL文字列、Blob、または ArrayBuffer）
      */
-    loadSplat(url: string): Promise<void>;
+    loadSplat(source: string | Blob | ArrayBuffer): Promise<void>;
     /**
      * 画像形式のリソースをロードする
-     * @param url - 読み込む画像ファイル
+     * @param source - 読み込む画像ファイル（URL文字列、Blob、ArrayBuffer、または ImageBitmap）
      */
-    loadImage(url: string): Promise<void>;
+    loadImage(source: string | Blob | ArrayBuffer | ImageBitmap): Promise<void>;
+    /**
+     * canvas 形式のリソースをロードする
+     * @param canvas - 対象となる canvas 要素、または OffscreenCanvas / ImageBitmap
+     */
+    loadCanvas(canvas: HTMLCanvasElement | OffscreenCanvas | ImageBitmap): Promise<void>;
+    /**
+     * 画像や Canvas などのビットマップソースからスプラットを共通シーケンスで生成・ロードする
+     * ※ OffscreenCanvas モード（Worker スレッド）およびメインスレッドの双方に対応
+     * @param source - 画像・Canvas・ImageBitmap などのソース
+     * @param type - ソース種別（'image' | 'canvas'）
+     * @param byte - リソースのバイト長（不明時は null）
+     * @private
+     */
+    private _loadFromBitmapSource;
     /**
      * tavio 形式のリソースをロードする
-     * @param url - 読み込む .tavio ファイル
+     * @param source - 読み込む .tavio ファイル。URL 文字列に加え、事前に取得済みの Blob / ArrayBuffer を渡すこともできる（内部で Object URL 化して WASM デコーダに渡す）
      * @param option - ロード・パース関連のオプション
      * @param options.decodeMode - デコードモード. "sync", "concurrent", "parallel" を指定
      * @param options.maxThreads - decodeMode が "parallel" のときに使用されるスレッド数の上限
@@ -160,7 +208,7 @@ export declare class TavioMesh extends EventEmitter {
      * @param options.useSphericalHarmonics - 球面調和関数の交流成分を使用
      * @param options.isEncodeEnabled - エンコードを有効にする. 有効にするとエンコード時に必要なデータを読み込む
      */
-    loadTavioWasm(url: string, options?: ({
+    loadTavioWasm(source: string | Blob | ArrayBuffer, options?: ({
         decodeMode?: "sync";
     } | {
         decodeMode: "parallel";
@@ -181,35 +229,36 @@ export declare class TavioMesh extends EventEmitter {
         useSphericalHarmonics?: boolean;
     }): Promise<void>;
     /**
-     * 様々な形式のリソースをセーブする
-     * @param filename - 保存ファイル名
+     * tavio 形式のバイナリデータを生成する
      * @param options.exportSphericalHarmonics - 球面調和関数の交流成分をエンコードする [default: true]
      * @param options.exportCelestialSphere - 天体球の画像をエンコードする [default: true]
      * @param options.sphericalHarmonicsSampleRate - 球面調和関数の交流成分の計算のサンプル率 [default: 0.1]
      * @param options.celestialSphereDistanceRatio - 天体球の画像に使用する点の距離の比率 [default: 0.99]
      */
-    saveTavioWasm(filename: string, options?: {
+    exportTavioWasm(options?: {
         exportSphericalHarmonics?: boolean;
         exportCelestialSphere?: boolean;
         sphericalHarmonicsSampleRate?: number;
         celestialSphereDistanceRatio?: number;
-    }): Promise<void>;
+    }): Promise<{
+        bytes: Uint8Array;
+        version: string;
+    }>;
+    /**
+     * 様々な形式のリソースをセーブする
+     * @param filename - 保存ファイル名
+     * @param options.exportSphericalHarmonics - 球面調和関数の交流成分をエンコードする [default: true]
+     * @param options.exportCelestialSphere - 天体球の画像をエンコードする [default: true]
+     * @param options.sphericalHarmonicsSampleRate - 球面調和関数の交流成分の計算のサンプル率 [default: 0.1]
+     * @param options.celestialSphereDistanceRatio - 天体球の画像に使用する点の距離の比率 [default: 0.99]
+     */
+    saveTavioWasm(filename: string, options?: Parameters<typeof TavioMesh.prototype.exportTavioWasm>[0]): Promise<void>;
     /**
     * 様々な形式のリソースをセーブする
     * @param filename - 保存ファイル名
      * @param format - ファイル形式
      */
     saveMeshWasm(filename: string, format: "splat" | "ply" | "spz" | "sog"): Promise<void>;
-    /**
-     * canvas 要素からスプラットを生成してシーンに追加する
-     * @param canvas - 対象となる canvas 要素
-     */
-    loadCanvas(canvas: HTMLCanvasElement): Promise<void>;
-    /**
-     * 画像や canvas 要素をパースし変換する
-     * @param imageSource - 対象となる画像や canvas
-     */
-    convertImageSource(imageSource: tImageSource): iSplatSource;
     /**
      * ==========================================================================
      * getter / setter
@@ -218,23 +267,31 @@ export declare class TavioMesh extends EventEmitter {
     /**
      * 点描画用の Points インスタンスを返す
      */
-    getPoints(): Points;
+    getPoints(): Points | null;
     /**
      * メッシュのインスタンスを返す
      */
-    getMesh(): InstancedMeshEX;
+    getMesh(): InstancedMeshEX | null;
     /**
      * ピッキング用メッシュのインスタンスを返す
      */
-    getPickingMesh(): InstancedMeshEX;
+    getPickingMesh(): InstancedMeshEX | null;
+    /**
+     * 影描画用メッシュのインスタンスを返す
+     */
+    getShadowingMesh(): InstancedMeshEX | null;
+    /**
+     * インデックス選択用メッシュのインスタンスを返す
+     */
+    getIndexSelectionMesh(): InstancedMeshEX | null;
     /**
      * 背景用テクスチャを返す
      */
-    getBackgroundTexture(): Texture;
+    getBackgroundTexture(): Texture | null;
     /**
      * 環境マップ用テクスチャを返す
      */
-    getEnvironmentTexture(): CubeTexture;
+    getEnvironmentTexture(): CubeTexture | null;
     /**
      * 含まれる全スプラットの最大距離を返す
      */
@@ -247,11 +304,15 @@ export declare class TavioMesh extends EventEmitter {
      * uniform 変数を返す
      */
     getUniforms(): any;
+    /**
+     * 現在選択されているスプラットのトランスフォーム情報を返す
+     */
+    getSelectedSplatTransformInfo(): iLocalTransformInfo | null;
     /**
      * uniform 変数を設定する
      * @param values - 設定する uniform 変数をキーとするオブジェクト
      */
-    setUniforms(values: any): void;
+    setUniforms(values: Record<string, tUniformValue>): void;
     /**
      * 点描画用のマテリアルに紐づいている uniform 変数を返す
      */
@@ -260,7 +321,7 @@ export declare class TavioMesh extends EventEmitter {
      * 点描画用のマテリアルに uniform 変数を設定する
      * @param values - 設定する uniform 変数をキーとするオブジェクト
      */
-    setPointUniforms(values: any): void;
+    setPointUniforms(values: Record<string, any>): void;
     /**
      * defines の定義を返す
      */
@@ -269,7 +330,7 @@ export declare class TavioMesh extends EventEmitter {
      * defines を設定する
      * @param values - 設定する defines をキーとするオブジェクト
      */
-    setDefines(values: any): void;
+    setDefines(values: tCustomDefines): void;
     /**
      * 点描画用のマテリアルに紐づいている defines の定義を返す
      */
@@ -278,7 +339,7 @@ export declare class TavioMesh extends EventEmitter {
      * 点描画用のマテリアルに defines を設定する
      * @param values - 設定する defines をキーとするオブジェクト
      */
-    setPointDefines(values: any): void;
+    setPointDefines(values: tCustomDefines): void;
     /**
      * カメラ関係のパラメータを深度書き込み用に設定する
      * @param viewProjectionMatrix - 要素の配列
@@ -331,7 +392,7 @@ export declare class TavioMesh extends EventEmitter {
      * 指定されたインデックスの座標変換情報を返す
      * @param index - インデックス
      */
-    getTransform(index: number): iTransform;
+    getTransform(index: number): iTransform | null;
     /**
      * インデックスを指定してビルボードの設定を行う
      * @param index - インデックス
@@ -348,6 +409,46 @@ export declare class TavioMesh extends EventEmitter {
      * @private
      */
     private _updateTransformData;
+    /**
+     * ローカルモデル変換用のバッファを初期化する
+     * @param offset - 処理対象を限定するオフセット
+     * @param onlySelected - 現在選択状態のものだけを処理するかどうか
+     */
+    initLocalTransformData(offset?: number, onlySelected?: boolean): void;
+    /**
+     * ローカルモデル変換用のテクスチャを更新し uniform 変数へ反映する
+     */
+    updateLocalTransformTexture(): void;
+    /**
+     * スクリーン空間上の領域情報に基づいてスプラットを選択する
+     * @param buffer - ReadPixels の結果の Uint8Array をソースとする ArrayBuffer
+     * @param nw - フレームバッファ上の選択領域幅
+     * @param nh - フレームバッファ上の選択領域高さ
+     * @param mode - 選択モード
+     * @param maskBuffer - 範囲選択用のアルファマスクデータ (nw * nh * 4 バイト)
+     */
+    selectGaussiansByScreenArea(buffer: ArrayBuffer, nw: number, nh: number, mode: tSelectionMode, maskBuffer: ArrayBuffer): void;
+    /**
+     * 現在のローカル変換のデータを退避バッファにバックアップする。
+     * 複数選択時に、各スプラットの相対的な位置関係を維持したままトランスフォームを累積適用するための基準値となる。
+     * 非編集時はメモリを確保せず、必要になったタイミングで初めてバッファを遅延確保（Lazy Allocation）する。
+     */
+    backupLocalTransform(): void;
+    /**
+     * 現在選択しているスプラットに対してローカル変換を設定する（指定された値で完全に上書きする）
+     * @param translation - 平行移動
+     * @param rotation - 回転
+     * @param scale - スケール
+     */
+    applyLocalTransformToSelected(translation: Vector3, rotation: Quaternion, scale: Vector3): void;
+    /**
+     * 現在選択しているスプラットに対して、退避バッファを基準とした相対的なローカル変換を適用する
+     * @param translation - 相対平行移動
+     * @param rotation - 相対回転
+     * @param scale - 相対スケール
+     * @param initialQuaternion - 初期姿勢を意味するクォータニオン（単体選択時に考慮する必要がある）
+     */
+    applyLocalTransformToSelectedRelative(translation: Vector3, rotation: Quaternion, scale: Vector3, initialQuaternion?: Quaternion): void;
     /**
      * 自身のプロパティの状態に応じて球面調和関数に関連する uniform 変数の更新を行う
      * @private
@@ -369,6 +470,26 @@ export declare class TavioMesh extends EventEmitter {
      * @param camera - 対象となるカメラ
      */
     syncPinckingMaterial(camera: PerspectiveCamera): void;
+    /**
+     * shadowing 用マテリアルに uniform 変数を同期する
+     */
+    syncShadowingMaterial(): void;
+    /**
+     * indexSelection 用マテリアルに uniform 変数を同期する
+     * @param camera - 対象となるカメラ
+     */
+    syncIndexSelectionMaterial(camera: PerspectiveCamera): void;
+    /**
+     * gaussianMesh のモデル変換をすべての補助メッシュに同期する
+     */
+    syncModelTransform(): void;
+    /**
+     * shadowing 用マテリアルに uniform 変数を設定する
+     * @param camera - 対象となるカメラ
+     * @param focal - 対象となるカメラから求めた focal
+     * @param inverseViewport - ビューポートの逆数パラメータ
+     */
+    setShadowingUniform(camera: Camera, focal: Vector2, inverseViewport: Vector2): void;
     /**
      * ソートを実行する
      * @param renderView - ソート処理の対象となるビューの情報を持つレンダービュー
@@ -386,7 +507,7 @@ export declare class TavioMesh extends EventEmitter {
      * @param pointCount - 該当ファイルのスプラットの個数
      * @param isEncodeEnable - エンコード可能とするかどうか（WASM 用）
      */
-    allocateSharedData(index: number, offset: number, chunkCount: number, pointCount: number, isEncodeEnabled: Boolean): SharedData;
+    allocateSharedData(index: number, offset: number, chunkCount: number, pointCount: number, isEncodeEnabled: boolean): SharedData;
     /**
      * テクスチャのセットアップが完了しているかどうかを返す
      * @private
@@ -483,8 +604,9 @@ export declare class TavioMesh extends EventEmitter {
     /**
      * 衝突判定を設定する
      * @param collision - 設定する衝突判定、またはその配列
+     * @param mode - 選択モード（SELECTION_MODE）
      */
-    setCollision(collision: iCollisionTarget | iCollisionTarget[]): void;
+    setCollision(collision: iCollisionTarget | iCollisionTarget[], mode: tSelectionMode): void;
     /**
      * 現在の衝突判定を解除する
      */
@@ -514,13 +636,15 @@ declare class SharedData {
     sharedSphericalHarmonicsData: SharedArrayBuffer;
     sharedSphericalHarmonicsLabel: SharedArrayBuffer;
     sharedSphericalHarmonicsMaxQuantizationIndex: SharedArrayBuffer;
-    constructor(gaussianDataSize: number, gaussianGeneralDataSize: number, chunkCount: number, pointCount: number, isEncodeEnabled: Boolean);
-    get gaussianData(): Uint8Array;
-    get gaussianOrderData(): Uint8Array;
-    get gaussianGeneralData(): Uint8Array;
-    get sphericalHarmonicsData(): Float32Array;
-    get sphericalHarmonicsLabel(): Uint16Array;
-    get sphericalHarmonicsMaxQuantizationIndex(): Uint32Array;
+    sharedGaussianLocalTransformData: SharedArrayBuffer;
+    gaussianData: Uint8Array;
+    gaussianOrderData: Uint8Array;
+    gaussianGeneralData: Uint8Array;
+    sphericalHarmonicsData: Float32Array;
+    sphericalHarmonicsLabel: Uint16Array;
+    sphericalHarmonicsMaxQuantizationIndex: Uint32Array;
+    gaussianLocalTransformData: Uint32Array;
+    constructor(gaussianDataSize: number, gaussianGeneralDataSize: number, chunkCount: number, pointCount: number, isEncodeEnabled: boolean, enableLocalTransform: boolean);
     get isEncodeEnabled(): boolean;
 }
 export {};