@openheart/tavio-renderer 2.2.11-without-wasm → 2.2.13-without-wasm

package/build/esm/types/camera/orbitControls.d.ts

@@ -1,9 +1,15 @@
-import { PerspectiveCamera, Vector3 } from 'three';
+import { PerspectiveCamera, Vector2, Vector3 } from 'three';
 import { default as EventEmitter } from 'eventemitter3';
 interface iOrbitState {
     position: Vector3;
     target: Vector3;
 }
+interface iThetaPhi {
+    theta: number;
+    phi: number;
+    eye?: Vector3;
+    eyeXZ?: Vector2;
+}
 /**
  * カメラを中心に首振りや仰角方向の視線制御を可能とするカメラコントロール
  * @class
@@ -30,6 +36,7 @@ export declare class OrbitControls extends EventEmitter {
     enableZoom: boolean;
     enablePan: boolean;
     enableLimit: boolean;
+    enableZoomLimit: boolean;
     /**
      * 範囲を制限する処理では、東西南北のそれぞれの方向に対して制限範囲を設定できる
      * カメラが北極方向に近づく北緯方向を上、向かって左に流れていく方向を西経方向とする
@@ -49,6 +56,8 @@ export declare class OrbitControls extends EventEmitter {
     private downLimit;
     private leftLimit;
     private rightLimit;
+    private zoomInLimit;
+    private zoomOutLimit;
     private isDown;
     private overflow;
     private upOver;
@@ -61,15 +70,16 @@ export declare class OrbitControls extends EventEmitter {
     private _quatX;
     private _quatY;
     static EVENTS: string[];
+    /**
+     * 与えられた三次元ベクトル（要正規化）から theta と phi を計算する
+     * @param eye - 正規化されたベクトル
+     */
+    static calcThetaPhi(eye: Vector3): iThetaPhi;
     /**
      * @constructor
      * @param camera - 制御の対象となるカメラ
      */
     constructor(camera: PerspectiveCamera);
-    /**
-     * 現在の視線から theta と phi を計算する
-     */
-    private _getTP;
     /**
      * 大きなラジアンをクランプする
      * @param value - 処理対象となる値
@@ -113,6 +123,10 @@ export declare class OrbitControls extends EventEmitter {
      * 注視点とカメラの距離を設定する
      */
     setDistance(distance: number): void;
+    /**
+     * 現在の向き（ラジアンでの緯度経度）
+     */
+    getAngle(): iThetaPhi;
     /**
      * 前後移動（相対指定）
      * @param value - 距離
@@ -172,6 +186,16 @@ export declare class OrbitControls extends EventEmitter {
      * @param value - 設定する値
      */
     setRightLimit(value: number): void;
+    /**
+     * ズームの最短距離
+     * @param value - 設定する値
+     */
+    setZoomInLimit(value: number): void;
+    /**
+     * ズームの最長距離
+     * @param value - 設定する値
+     */
+    setZoomOutLimit(value: number): void;
     /**
      * 状態を更新し、変更があったかどうかを真偽値で返す
      */

package/build/esm/types/utility/utility.d.ts

@@ -30,6 +30,17 @@ export declare function loadJson(path: string): Promise<any>;
  * @param target - 対象となるビット数
  */
 export declare function checkBit(value: number, target: number): boolean;
+/**
+ * 4bit 整数を２つ受け取り、１つの 8bit 整数として返す
+ * @param high - 上位ビットに収める値
+ * @param low - 下位ビットに収める値
+ */
+export declare function pack4to8(high: number, low: number): number;
+/**
+ * １つの 8bit 整数を受け取り、4bit 整数を２つ返す
+ * @param value - 下位ビットに収める値
+ */
+export declare function unpack8to4(value: number): number[];
 /**
  * quaternion を octahedral quaternion に変換して返す
  * @param w - クォータニオンの w 成分

package/build/esm/types/viewer/canvas.d.ts

@@ -59,6 +59,7 @@ interface iCameraPathOption {
 interface iCameraParameter {
     position?: number[];
     eye?: number[];
+    target?: number[];
     fov?: number;
 }
 /**
@@ -136,6 +137,14 @@ export interface iTransform {
     rotation: Euler;
     scale: number;
 }
+/**
+ * ピッキングして得られた情報
+ */
+export interface iPickingInfo {
+    name: string;
+    index: number;
+    target: iVectorLike;
+}
 /**
  * ビューア実装本体
  */
@@ -299,7 +308,7 @@ export declare class Core extends EventEmitter {
     /**
      * 既存の TavioMesh のインスタンスにデータを統合する
      * @param name - このメッシュの固有名
-     * @param url - 読み込む .tavio ファイル
+     * @param url - 読み込む .ply ファイル
      * @param option - ロード・パース関連のオプション
      */
     concatPly(name: string, url: string, option?: iLoadingOption): Promise<void>;
@@ -312,10 +321,33 @@ export declare class Core extends EventEmitter {
     /**
      * 既存の TavioMesh のインスタンスにデータを統合する
      * @param name - このメッシュの固有名
-     * @param url - 読み込む .tavio ファイル
-     * @param option - ロード・パース関連のオプション
+     * @param url - 読み込む .splat ファイル
      */
     concatSplat(name: string, url: string): Promise<void>;
+    /**
+     * TavioMesh のインスタンスを生成し画像形式のリソースをロード、シーンに追加する
+     * @param name - このメッシュの固有名
+     * @param url - 読み込む画像ファイル
+     */
+    loadImage(name: string, url: string): Promise<void>;
+    /**
+     * 既存の TavioMesh のインスタンスにデータを統合する
+     * @param name - このメッシュの固有名
+     * @param url - 読み込む画像ファイル
+     */
+    concatImage(name: string, url: string): Promise<void>;
+    /**
+     * canvas 要素から TavioMesh のインスタンスを生成し、シーンに追加する
+     * @param name - このメッシュの固有名
+     * @param canvas - 処理の対象となる canvas 要素
+     */
+    loadCanvas(name: string, canvas: HTMLCanvasElement): Promise<void>;
+    /**
+     * 既存の TavioMesh のインスタンスにデータを統合する
+     * @param name - このメッシュの固有名
+     * @param canvas - 処理の対象となる canvas 要素
+     */
+    concatCanvas(name: string, canvas: HTMLCanvasElement): Promise<void>;
     /**
      * tavio 形式のリソースをロードする
      * @param name - このメッシュの固有名
@@ -368,14 +400,14 @@ export declare class Core extends EventEmitter {
     setBackgroundOpacity(opacity: number): void;
     /**
      * 名前を指定した TavioMesh に含まれるインスタンスを、インデックスで指定して動かす
-     * ※ここでいうインデックスとは load/concat した順番を意味する整数値
+     * ※ここでいうインデックスとは load/concat した順番を意味する整数値（concat していない場合常に 0）
      * @param name - 対象の名前
      * @param index - インデックス
      * @param translation - 平行移動
      * @param rotation - 回転（オイラー角）
      * @param scale - 拡大縮小（XYZ で統一のスケール）
      */
-    setTransform(name: string, index: number, translation: Vector3, rotation: Euler, scale: number): void;
+    setTransform(name: string, index: number, translation: iVectorLike, rotation: iVectorLike, scale: number): void;
     /**
      * 名前を指定した TavioMesh に含まれるインスタンスの、指定されたインデックスの座標変換情報を返す
      * ※ここでいうインデックスとは load/concat した順番を意味する整数値
@@ -383,6 +415,14 @@ export declare class Core extends EventEmitter {
      * @param index - インデックス
      */
     getTransform(name: string, index: number): iTransform;
+    /**
+     * 名前を指定した TavioMesh に含まれるインスタンスをビルボードとして扱うかどうかを設定する
+     * ※ここでいうインデックスとは load/concat した順番を意味する整数値
+     * @param name - 対象の名前
+     * @param index - インデックス
+     * @param flag - ビルボードとして扱うかどうか
+     */
+    setBillboard(name: string, index: number, flag: boolean): void;
     /**
      * ==========================================================================
      * general
@@ -436,8 +476,9 @@ export declare class Core extends EventEmitter {
      * フレームバッファに 3DGS のワールド座標をレンダリングし指定されたスクリーン座標から取得する
      * @param x - 取得する X 座標（スクリーン空間を -1.0 ～ 1.0 に正規化した座標）
      * @param y - 取得する Y 座標（スクリーン空間を -1.0 ～ 1.0 に正規化した座標, Y-down）
+     * @param isDebug - デバッグモード（有効化するとピッキングバッファを可視化）
      */
-    getWorldPositionByScreen(x: number, y: number): Promise<Float32Array>;
+    getWorldPositionByScreen(x: number, y: number, isDebug?: boolean): Promise<iPickingInfo>;
     /**
      * 各種リソースを解放する
      * ※このメソッドを呼び出すと、それまで利用していた canvas は再利用できなくなる
@@ -449,22 +490,28 @@ export declare class Core extends EventEmitter {
      * @private
      */
     private _updateViewportUniforms;
+    /**
+     * 座標を焼き込むレンダリング処理を実行しソートを実行させる
+     * @param isForce - 強制的に実行するかどうか
+     */
+    private _renderDepthRenderTarget;
     /**
      * ==========================================================================
      * camera
      * ==========================================================================
      */
     /**
-     * カメラの現在の座標と注視点、視野角を取得する
+     * カメラの現在の座標と視線方向、視野角を取得する
      */
     getCameraParameter(): iCameraParameter;
     /**
-     * カメラの現在の座標と注視点、視野角を取得する
+     * カメラの現在の座標と注視点、視野角を設定する
+     * ※このメソッドは設定時、その値が即座に反映される
      * @param position - 設定する座標
-     * @param eye - 設定する注視点
+     * @param target - 設定する注視点
      * @param fov - 設定する視野角
      */
-    setCameraParameter(position: iVectorLike, eye: iVectorLike, fov?: number): void;
+    setCameraParameter(position: iVectorLike | null, target?: iVectorLike | null, fov?: number | null): void;
     /**
      * ==========================================================================
      * controls
@@ -489,23 +536,6 @@ export declare class Core extends EventEmitter {
      * orbit controls
      * ==========================================================================
      */
-    /**
-     * オービットコントロールの注視点の座標を取得する
-     * @returns 注視点の座標
-     */
-    getOrbitTarget(): iVectorLike;
-    /**
-     * オービットコントロールの注視点と座標を設定する
-     * @param position - カメラの座標
-     * @param target - 注視点の座標
-     * setTransferPositionのみ呼び出した場合、見た目が変わらなかったため本関数を作成。
-     */
-    setOrbitPositionAndTarget(position: iVectorLike, target: iVectorLike): void;
-    /**
-     * オービットコントロールの注視点を設定する
-     * @param target - 注視点の座標
-     */
-    setOrbitTarget(target: iVectorLike): void;
     /**
      * オービットコントロールのズーム使用可否を設定する
      * @param enable - 使用可否を意味する真偽値
@@ -521,6 +551,11 @@ export declare class Core extends EventEmitter {
      * @param enable - 使用可否を意味する真偽値
      */
     setOrbitEnableLimit(enable: boolean): void;
+    /**
+     * オービットコントロールのズーム範囲制限の可否を設定する
+     * @param enable - 使用可否を意味する真偽値
+     */
+    setOrbitEnableZoomLimit(enable: boolean): void;
     /**
      * オービットコントロールの注視点と座標の距離を取得する
      * @returns 注視点と座標の距離
@@ -592,6 +627,16 @@ export declare class Core extends EventEmitter {
      * @param value - 設定する値
      */
     setOrbitRightLimit(value: number): void;
+    /**
+     * オービットコントロールのズームの最短距離を設定する
+     * @param value - 設定する値
+     */
+    setOrbitZoomInLimit(value: number): void;
+    /**
+     * オービットコントロールのズームの最長距離を設定する
+     * @param value - 設定する値
+     */
+    setOrbitZoomOutLimit(value: number): void;
     /**
      * ==========================================================================
      * camera path controls
@@ -707,6 +752,12 @@ export declare class Core extends EventEmitter {
      * @param isForce - トランジションせず即座に強制上書きするかどうか
      */
     setTransferRelativePosition(position: iVectorLike, isForce?: boolean): void;
+    /**
+     * TransferControls に fov を設定する
+     * @param fov - 設定する fov
+     * @param isForce - トランジションせず即座に強制上書きするかどうか
+     */
+    setTransferFov(fov: number, isForce?: boolean): void;
     /**
      * TransferControls に、現在の位置と向きに応じて移動するよう設定する
      * @param offset - 移動する量
@@ -734,12 +785,6 @@ export declare class Core extends EventEmitter {
      * @param isForce - トランジションせず即座に強制上書きするかどうか
      */
     moveTransferToBottom(scale: number, isForce?: boolean): void;
-    /**
-     * TransferControls に fov を設定する
-     * @param fov - 設定する fov
-     * @param isForce - トランジションせず即座に強制上書きするかどうか
-     */
-    setTransferFov(fov: number, isForce?: boolean): void;
     /**
      * ==========================================================================
      * camera collider
@@ -1017,12 +1062,14 @@ export declare class Core extends EventEmitter {
     /**
      * 箱の衝突判定パラメータ（Worker に渡すフォーマット）を生成する
      * @param width - 一辺の幅
+     * @param height - 一辺の高さ
+     * @param depth - 一辺の奥行き
      * @param position - ワールド空間における位置
      * @param scale - ワールド空間における拡大縮小（スケール）
      * @param inverseMatrix - ワールド変換の逆行列
      * @param reversed - 判定の反転（球に内包されている状態を規定とし、それを反転するかどうか）
      */
-    createCollisionBox(width: number, position: iVectorLike, scale: iVectorLike, inverseMatrix: Matrix4, reversed?: boolean): iCollisionTarget;
+    createCollisionBox(width: number, height: number, depth: number, position: iVectorLike, scale: iVectorLike, inverseMatrix: Matrix4, reversed?: boolean): iCollisionTarget;
     /**
      * ==========================================================================
      * selector

package/build/esm/types/viewer/tavioMesh.d.ts

@@ -1,11 +1,33 @@
 import { CubeTexture, DataTexture, Euler, PerspectiveCamera, Points, RawShaderMaterial, Texture, Vector3, WebGLRenderer } from 'three';
 import { default as EventEmitter } from 'eventemitter3';
-import { iLoadingOption, iViewerOption, iHeaderInfo, iTransform } from './canvas';
+import { iLoadingOption, iViewerOption, iHeaderInfo, iTransform, iVectorLike } from './canvas';
 import { iCollisionTarget } from '../worker/tavioWorker';
 import { InstancedMeshEX } from '../extension/InstancedMeshEX';
+/**
+ * 画素情報として扱えるオブジェクト
+ */
+type tImageSource = HTMLImageElement | HTMLCanvasElement;
+/**
+ * 画像や canvas 要素をパースした結果
+ */
+interface iSplatSource {
+    count: number;
+    position32: Float32Array;
+    color8: Uint8ClampedArray;
+    converted: Uint8Array;
+    min: {
+        alpha: number;
+        scale: iVectorLike;
+    };
+    max: {
+        alpha: number;
+        scale: iVectorLike;
+    };
+}
 export declare class TavioMesh extends EventEmitter {
     private perspectiveCamera;
     private worker;
+    private meshIndex;
     private featureBits;
     private majorVersionNumber;
     private minorVersionNumber;
@@ -41,6 +63,7 @@ export declare class TavioMesh extends EventEmitter {
     initialized: boolean;
     initializedPoints: boolean;
     initializedBackground: boolean;
+    sorted: boolean;
     private positionAttribute;
     private indexAttribute;
     private gaussianGeometry;
@@ -59,6 +82,7 @@ export declare class TavioMesh extends EventEmitter {
     private useWasmSort;
     private wasmSortClient;
     private isSorting;
+    private hasBillboard;
     private lastViewProjectionMatrix;
     private depthRenderTarget;
     private depthRenderScene;
@@ -72,7 +96,9 @@ export declare class TavioMesh extends EventEmitter {
      * R は選択されているかどうかを意味し、Uint8 の各ビットがどのセレクターによるものかを意味する
      * G は削除されているかどうかを意味し、将来的に undo/redo に対応するため削除操作のたびにインクリメントする
      * B は tavio 形式時の生アルファを保持し、min-max で復元する前の状態のままシェーダに送る
-     * A は 複数のデータを統合する際に何番目のデータであるかの整数インデックスを保持する
+     * A は何番目のメッシュなのか、を意味する整数と……
+     *   １つのメッシュに対して複数のデータを統合する際に何番目のデータであるかの整数インデックスを保持する
+     *   データは 8bit のアルファチャンネル１つに対して 4bit 整数を２つパックして詰め込む
      */
     /**
      * this.gaussianTransformData についての覚書
@@ -89,11 +115,12 @@ export declare class TavioMesh extends EventEmitter {
     static EVENTS: string[];
     /**
      * @constructor
+     * @param index - プロジェクト全体として何番目のメッシュのインスタンスかを意味するインデックス
      * @param camera - worker の更新のためにカメラのインスタンスが必要
      * @param material - メッシュの生成に使うマテリアルは上の層から指定されたものを使う
      * @param pickingMaterial - メッシュの生成に使うマテリアルは上の層から指定されたものを使う
      */
-    constructor(camera: PerspectiveCamera, material: RawShaderMaterial, pinckingMaterial: RawShaderMaterial, viewerOption: iViewerOption);
+    constructor(index: number, camera: PerspectiveCamera, material: RawShaderMaterial, pinckingMaterial: RawShaderMaterial, viewerOption: iViewerOption);
     /**
      * ==========================================================================
      * loader
@@ -116,6 +143,11 @@ export declare class TavioMesh extends EventEmitter {
      * @param url - 読み込む .splat ファイル
      */
     loadSplat(url: string): Promise<void>;
+    /**
+     * 画像形式のリソースをロードする
+     * @param url - 読み込む画像ファイル
+     */
+    loadImage(url: string): Promise<void>;
     /**
      * tavio 形式のリソースをロードする
      * @param url - 読み込む .tavio ファイル
@@ -169,6 +201,16 @@ export declare class TavioMesh extends EventEmitter {
         useGeneralData?: boolean;
         featureFlags?: number;
     }): Promise<void>;
+    /**
+     * canvas 要素からガウシアンを生成してシーンに追加する
+     * @param canvas - 対象となる canvas 要素
+     */
+    loadCanvas(canvas: HTMLCanvasElement): Promise<void>;
+    /**
+     * 画像や canvas 要素をパースし変換する
+     * @param imageSource - 対象となる画像や canvas
+     */
+    convertImageSource(imageSource: tImageSource): iSplatSource;
     /**
      * ==========================================================================
      * getter / setter
@@ -259,13 +301,30 @@ export declare class TavioMesh extends EventEmitter {
      * @param translation - 平行移動
      * @param rotation - 回転（オイラー角）
      * @param scale - 拡大縮小（XYZ で統一のスケール）
+     * @param force - 同時にテクスチャの内容を強制的に書き換えるかどうか
      */
-    setTransform(index: number, translation: Vector3, rotation: Euler, scale: number): void;
+    setTransform(index: number, translation: Vector3, rotation: Euler, scale: number, isForce?: boolean): void;
     /**
      * 指定されたインデックスの座標変換情報を返す
      * @param index - インデックス
      */
     getTransform(index: number): iTransform;
+    /**
+     * インデックスを指定してビルボードの設定を行う
+     * @param index - インデックス
+     * @param flag - ビルボードとして扱うかどうか
+     */
+    setBillboard(index: number, flag: boolean): void;
+    /**
+     * ビルボードのための transform 情報の更新を行う
+     * @param camera - カメラのワールド空間上の位置
+     */
+    updateBillboard(camera: PerspectiveCamera): void;
+    /**
+     * インスタンスごとの transform 情報をテクスチャに適用し更新する
+     * @private
+     */
+    private _updateTransformData;
     /**
      * 自身のプロパティの状態に応じて球面調和関数に関連する uniform 変数の更新を行う
      * @private
@@ -284,9 +343,8 @@ export declare class TavioMesh extends EventEmitter {
      */
     /**
      * picking 用マテリアルに uniform 変数を同期する
-     * @param div - ピッキング用フレームバッファの大きさに対する除数
      */
-    syncPinckingMaterial(div: number): void;
+    syncPinckingMaterial(): void;
     /**
      * ソートを実行する
      */
@@ -321,6 +379,10 @@ export declare class TavioMesh extends EventEmitter {
      * setup
      * ==========================================================================
      */
+    /**
+     * データのロード前に各種フラグをセットアップする
+     */
+    setupFlags(): void;
     /**
      * tavio 形式用の worker をセットアップする
      */

package/build/esm/types/worker/tavioWorker.d.ts

@@ -50,6 +50,8 @@ export interface iSphereCollision {
 }
 export interface iBoxCollision {
     width: number;
+    height: number;
+    depth: number;
     position: number[];
     scale: number[];
     inverse4x4: number[];

package/build/esm/wasm/pkg/no-thread/tavio.d.ts

@@ -56,30 +56,33 @@ export type InitInput = RequestInfo | URL | Response | BufferSource | WebAssembl
 
 export interface InitOutput {
     readonly memory: WebAssembly.Memory;
-    readonly decodeTavio: (a: number, b: number, c: number) => number;
     readonly main: () => void;
     readonly registerEventHandler: (a: number) => number;
     readonly sort: (a: number, b: number, c: number) => number;
+    readonly decodeTavio: (a: number, b: number, c: number) => number;
+    readonly __wbg_intounderlyingsink_free: (a: number, b: number) => void;
+    readonly intounderlyingsink_abort: (a: number, b: number) => number;
+    readonly intounderlyingsink_close: (a: number) => number;
+    readonly intounderlyingsink_write: (a: number, b: number) => number;
     readonly __wbg_intounderlyingbytesource_free: (a: number, b: number) => void;
     readonly intounderlyingbytesource_autoAllocateChunkSize: (a: number) => number;
     readonly intounderlyingbytesource_cancel: (a: number) => void;
     readonly intounderlyingbytesource_pull: (a: number, b: number) => number;
     readonly intounderlyingbytesource_start: (a: number, b: number) => void;
     readonly intounderlyingbytesource_type: (a: number) => number;
-    readonly __wbg_intounderlyingsink_free: (a: number, b: number) => void;
-    readonly intounderlyingsink_abort: (a: number, b: number) => number;
-    readonly intounderlyingsink_close: (a: number) => number;
-    readonly intounderlyingsink_write: (a: number, b: number) => number;
     readonly __wbg_intounderlyingsource_free: (a: number, b: number) => void;
     readonly intounderlyingsource_cancel: (a: number) => void;
     readonly intounderlyingsource_pull: (a: number, b: number) => number;
-    readonly __wasm_bindgen_func_elem_720: (a: number, b: number) => void;
-    readonly __wasm_bindgen_func_elem_1266: (a: number, b: number, c: number, d: number) => void;
-    readonly __wasm_bindgen_func_elem_721: (a: number, b: number, c: number) => void;
+    readonly __wasm_bindgen_func_elem_398: (a: number, b: number) => void;
+    readonly __wasm_bindgen_func_elem_747: (a: number, b: number) => void;
+    readonly __wasm_bindgen_func_elem_737: (a: number, b: number, c: number, d: number) => void;
+    readonly __wasm_bindgen_func_elem_1574: (a: number, b: number, c: number, d: number) => void;
+    readonly __wasm_bindgen_func_elem_407: (a: number, b: number, c: number) => void;
     readonly __wbindgen_export: (a: number, b: number) => number;
     readonly __wbindgen_export2: (a: number, b: number, c: number, d: number) => number;
     readonly __wbindgen_export3: (a: number) => void;
     readonly __wbindgen_export4: (a: number, b: number, c: number) => void;
+    readonly __wbindgen_add_to_stack_pointer: (a: number) => number;
     readonly __wbindgen_start: () => void;
 }