@openheart/tavio-renderer 2.6.5 → 2.6.7

package/build/esm/types/viewer/canvas.d.ts

@@ -100,6 +100,16 @@ export declare class Core extends EventEmitter {
      * @param quality - 画質(0〜1)。"image/jpeg" や "image/webp" のときのみ有効
      */
     captureImage(type?: string, quality?: number): Promise<Blob>;
+    /**
+     * 現在の描画内容を ImageBitmap として取得する(動画の書き出しなど、フレーム単位で連続して取得する用途)。
+     * OffscreenCanvas(Worker)で描画している場合も取得できる。
+     * 使い終わった ImageBitmap は呼び出し側で close() すること
+     * @param options.cameraPathProgress - 指定すると、描画の前にカメラパス上のこの位置(0.0 ～ 1.0)へ
+     *   イージングなしでカメラを移動する(カメラパスのコントロールが有効なときのみ反映される)
+     */
+    captureFrame(options?: {
+        cameraPathProgress?: number;
+    }): Promise<ImageBitmap>;
     addTavioMesh(name: string): void;
     removeTavioMesh(name: string, renderViewName?: string | Symbol): void;
     removeTavioMeshAllRenderView(name: string): void;
@@ -274,6 +284,30 @@ export declare class Core extends EventEmitter {
     removeGuideLine(name: string): void;
     setVisibleAreaHelper(name: string, option: iVisibleAreaHelperOption): void;
     removeVisibleAreaHelper(name: string): void;
+    /**
+     * glb(glTF)のモデルを読み込み、ガウシアンより先に描画するグループに追加する(スプラットとの前後関係が正しく表示される)。
+     * 不透明なマテリアルのみ対象で、半透明のマテリアルは前後関係が正しくならない。
+     * 追加しただけでは表示せず、setGltfModelTransformsで配置する。同じ名前で呼ぶと置き換える
+     * @param name - モデルの識別名
+     * @param source - glbのURL、またはglbのバイナリ
+     */
+    addGltfModel(name: string, source: string | ArrayBuffer): Promise<void>;
+    /**
+     * 画像を貼った板を、addGltfModelのモデルと同じグループに追加する(スプラットとの前後関係が正しく表示される)。
+     * 板はXY平面上で+Z方向を向き、長辺の長さが1で画像の縦横比に合わせる。画像の上が+Yになる。
+     * 照明の影響は受けず、半透明の画素は切り抜く(縁はギザギザになる)。
+     * 追加しただけでは表示せず、setGltfModelTransformsで配置し、removeGltfModelで削除する。同じ名前で呼ぶと置き換える
+     * @param name - モデルの識別名
+     * @param source - 画像(png/jpeg/webpなど)のURL・Blob・バイナリ、またはImageBitmap
+     */
+    addImageModel(name: string, source: string | Blob | ArrayBuffer | ImageBitmap): Promise<void>;
+    /**
+     * addGltfModelで読み込んだモデルを、行列の数だけ複製して配置する。空の配列を渡すと非表示になる
+     * @param name - モデルの識別名
+     * @param matrices - 各モデルのワールド行列(Matrix4.fromArrayと同じ列優先の16要素)
+     */
+    setGltfModelTransforms(name: string, matrices: number[][]): void;
+    removeGltfModel(name: string): void;
     pickSelector(ndcX: number, ndcY: number): Promise<string | null> | string | null;
     setSelectorScale(name: string, scale: iVectorLike): void;
     deleteSelector(name: string): void;

package/build/esm/types/viewer/driver/coreDriver.d.ts

@@ -334,6 +334,25 @@ export declare class CoreDriver extends EventEmitter implements iCoreDriver {
      * @param format - ファイル形式
      */
     exportMeshWasm(name: string, format: Parameters<typeof TavioMesh.prototype.exportMeshWasm>[0]): Promise<Uint8Array>;
+    /**
+     * 描画内容の取得(captureImage / captureFrame)のために、その場で1フレーム描画する
+     * 一時停止中でも取得できるよう、この1フレームだけ描画してから一時停止状態に戻す
+     * @private
+     */
+    private _renderOnceForCapture;
+    /**
+     * 現在の描画内容を ImageBitmap として取得する(動画の書き出しなど、フレーム単位で連続して取得する用途)
+     * captureImage と同じく、その場で1フレーム描画し、同じタスク内で canvas の内容を複製する
+     * (createImageBitmap は canvas を元にする場合、呼び出し時点の内容を複製する)。
+     * OffscreenCanvas(Worker)では OffscreenDriver から RPC で呼び出され、ImageBitmap は transfer で返る
+     * @param options.cameraPathProgress - 指定すると、描画の前にカメラパス上のこの位置(0.0 ～ 1.0)へ
+     *   イージングなしでカメラを移動する(カメラパスのコントロールが有効なときのみ反映される)。
+     *   数値でない値・NaN は無視する。animatePath 等のアニメーション中に呼ぶとアニメーション側の
+     *   更新で上書きされるため、呼び出し側でアニメーションを止めてから使うこと
+     */
+    captureFrame(options?: {
+        cameraPathProgress?: number;
+    }): Promise<ImageBitmap>;
     /**
      * 現在の描画内容を画像として取得する
      * preserveDrawingBuffer が無効でも取得できるよう、その場で1フレーム描画し、同じタスク内で
@@ -828,6 +847,15 @@ export declare class CoreDriver extends EventEmitter implements iCoreDriver {
      * @param force - イージング（補間）を行わず即座にカメラへ反映するかどうか [default: false]
      */
     updateCameraPath(time: number, force?: boolean): void;
+    /**
+     * カメラパスが有効な場合、指定された時間の位置と姿勢を TransferControls(force 時はカメラ本体にも)へ設定する。
+     * 描画の再開(start)は行わないため、その場で描画する captureFrame のように呼び出し側で描画を制御したい場合に使う
+     * @param time - 設定する時間（0.0 ～ 1.0）
+     * @param force - イージング（補間）を行わず即座にカメラへ反映するかどうか
+     * @returns カメラパスが有効で値を設定できた場合は true
+     * @private
+     */
+    private _applyCameraPath;
     /**
      * カメラパスを名前と座標データで追加登録する
      * @param name - カメラパスの識別名
@@ -1492,6 +1520,47 @@ export declare class CoreDriver extends EventEmitter implements iCoreDriver {
      * @param name - 削除するクロップ領域の表示の識別名
      */
     removeVisibleAreaHelper(name: string): void;
+    private gltfModelMap;
+    private gltfModelLoadIds;
+    private gltfModelLoadCounter;
+    private gltfModelEnvironment;
+    /**
+     * glb(glTF)のモデルを読み込み、ガウシアンと同じシーンに追加する。
+     * ガウシアンより先に描画して深度を書き込むため、スプラットとの前後関係が正しく表示される。
+     * 半透明のマテリアル(transparent)はガウシアンの後に描画されるため、前後関係が正しくならない点に注意。
+     * 追加した時点では何も表示せず、setGltfModelTransformsで配置した数だけ表示する。
+     * 同じ名前で呼ぶと置き換える。読み込み中に同じ名前で追加・削除された場合、古い読み込み結果は破棄する
+     * @param name - モデルの識別名
+     * @param source - glbのURL、またはglbのバイナリ
+     */
+    addGltfModel(name: string, source: string | ArrayBuffer): Promise<void>;
+    /**
+     * 画像を貼った板を、addGltfModelのモデルと同じグループに追加する(スプラットとの前後関係が正しく表示される)。
+     * 板はXY平面上で+Z方向を向き、長辺の長さが1で画像の縦横比に合わせる。画像の上が+Yになる。
+     * 照明の影響は受けず、アルファがIMAGE_MODEL_ALPHA_TEST未満の画素は切り抜く(半透明の縁はギザギザになる)。
+     * 配置・削除はsetGltfModelTransforms・removeGltfModelで行う。同じ名前で呼ぶと置き換える
+     * @param name - モデルの識別名
+     * @param source - 画像(png/jpeg/webpなど)のURL・Blob・バイナリ、またはImageBitmap(渡したImageBitmapは削除時にcloseする)
+     */
+    addImageModel(name: string, source: string | Blob | ArrayBuffer | ImageBitmap): Promise<void>;
+    /**
+     * addGltfModelで読み込んだモデルを、行列の数だけ複製して配置する。空の配列を渡すと非表示になる
+     * @param name - モデルの識別名
+     * @param matrices - 各モデルのワールド行列(Matrix4.fromArrayと同じ列優先の16要素)
+     */
+    setGltfModelTransforms(name: string, matrices: number[][]): void;
+    /**
+     * 名前を指定してglbのモデルを削除する。読み込み中の場合は読み込み結果を破棄する
+     * @param name - 削除するモデルの識別名
+     */
+    removeGltfModel(name: string): void;
+    /** モデルをシーンから外して破棄する。破棄したかどうかを返す */
+    private releaseGltfModel;
+    private getGltfModelEnvironment;
+    /** 画像のソースからImageBitmapを作る。Workerでも使えるよう、HTMLImageElementは使わない */
+    private static loadImageBitmap;
+    /** glbのモデルのジオメトリ・マテリアル・テクスチャを破棄する。共有している環境マップ(keep)は残す */
+    private static disposeGltfObject;
     /**
      * 画面上の位置(正規化デバイス座標)からレイを飛ばし、最初に当たる表示中のセレクターの名前を返す。
      * 各セレクターを包む境界球で判定し、遠くにある小さなセレクターでもクリックしやすいよう、

package/build/esm/types/viewer/driver/iCoreDriver.d.ts

@@ -66,6 +66,14 @@ export interface iCoreDriver extends EventEmitter {
      * @param quality - 画質(0〜1)。"image/jpeg" や "image/webp" のときのみ有効
      */
     captureImage(type?: string, quality?: number): Promise<Blob>;
+    /**
+     * 現在の描画内容を ImageBitmap として取得する(動画の書き出しなど、フレーム単位で連続して取得する用途)
+     * @param options.cameraPathProgress - 指定すると、描画の前にカメラパス上のこの位置(0.0 ～ 1.0)へ
+     *   イージングなしでカメラを移動する(カメラパスのコントロールが有効なときのみ反映される)
+     */
+    captureFrame(options?: {
+        cameraPathProgress?: number;
+    }): Promise<ImageBitmap>;
     addTavioMesh(name: string): void;
     removeTavioMesh(name: string, renderViewName?: string | Symbol): void;
     removeTavioMeshAllRenderView(name: string): void;
@@ -241,6 +249,14 @@ export interface iCoreDriver extends EventEmitter {
     setVisibleAreaHelper(name: string, option: iVisibleAreaHelperOption): void;
     /** クロップ領域の表示を削除する */
     removeVisibleAreaHelper(name: string): void;
+    /** glbのモデルを読み込み、ガウシアンとの前後関係を保って描画するグループに追加する。同じ名前で呼ぶと置き換える */
+    addGltfModel(name: string, source: string | ArrayBuffer): Promise<void>;
+    /** 画像を貼った板(長辺1、+Z向き)を、glbのモデルと同じグループに追加する。配置・削除はglbのモデルと同じAPIで行う */
+    addImageModel(name: string, source: string | Blob | ArrayBuffer | ImageBitmap): Promise<void>;
+    /** addGltfModelで読み込んだモデルを、ワールド行列(列優先の16要素)の数だけ複製して配置する */
+    setGltfModelTransforms(name: string, matrices: number[][]): void;
+    /** glbのモデルを削除する */
+    removeGltfModel(name: string): void;
     /** 画面上の位置(正規化デバイス座標)にある、表示中のセレクターの名前を返す(無ければnull) */
     pickSelector(ndcX: number, ndcY: number): Promise<string | null> | string | null;
     setSelectorScale(name: string, scale: iVectorLike): void;

package/build/esm/types/viewer/driver/offscreenDriver.d.ts

@@ -153,6 +153,13 @@ export declare class OffscreenDriver extends EventEmitter implements iCoreDriver
      * (Blob は構造化複製で Worker からメインスレッドへ返る)
      */
     captureImage(type?: string, quality?: number): Promise<Blob>;
+    /**
+     * Worker 内の OffscreenCanvas で描画した内容を ImageBitmap として取得する
+     * (ImageBitmap は Worker からメインスレッドへ transfer で返るため複製は発生しない)
+     */
+    captureFrame(options?: {
+        cameraPathProgress?: number;
+    }): Promise<ImageBitmap>;
     addTavioMesh(name: string): void;
     getFirstMeshName(): Promise<string | null>;
     createRenderView(name: string | Symbol): void;
@@ -247,6 +254,10 @@ export declare class OffscreenDriver extends EventEmitter implements iCoreDriver
     removeGuideLine(name: string): void;
     setVisibleAreaHelper(name: string, option: iVisibleAreaHelperOption): void;
     removeVisibleAreaHelper(name: string): void;
+    addGltfModel(name: string, source: string | ArrayBuffer): Promise<void>;
+    addImageModel(name: string, source: string | Blob | ArrayBuffer | ImageBitmap): Promise<void>;
+    setGltfModelTransforms(name: string, matrices: number[][]): void;
+    removeGltfModel(name: string): void;
     pickSelector(ndcX: number, ndcY: number): Promise<string | null>;
     setSelectorScale(name: string, scale: iVectorLike): void;
     deleteSelector(name: string): void;

package/build/esm/types/viewer/renderView.d.ts

@@ -27,6 +27,7 @@ export declare class RenderView {
     shadowingScene: Scene;
     gaussianGroup: Group;
     meshGroup: Group;
+    modelGroup: Group;
     interfaceGroup: Group;
     perspectiveCamera: PerspectiveCamera;
     controlsMap: Map<string, tControlInstance>;

package/build/esm/wasm/pkg/no-thread/tavio.d.ts

@@ -92,8 +92,8 @@ export interface InitOutput {
     readonly registerEventHandler: (a: number) => number;
     readonly resolveGaussianEdits: (a: number, b: number, c: number, d: number, e: number, f: number, g: number, h: number, i: number, j: number) => void;
     readonly sort: (a: number, b: number, c: number) => number;
-    readonly __wasm_bindgen_func_elem_2979: (a: number, b: number, c: number, d: number) => void;
-    readonly __wasm_bindgen_func_elem_2981: (a: number, b: number, c: number, d: number) => void;
+    readonly __wasm_bindgen_func_elem_2978: (a: number, b: number, c: number, d: number) => void;
+    readonly __wasm_bindgen_func_elem_2980: (a: number, b: number, c: number, d: number) => void;
     readonly __wasm_bindgen_func_elem_1190: (a: number, b: number, c: number) => void;
     readonly __wbindgen_export: (a: number, b: number) => number;
     readonly __wbindgen_export2: (a: number, b: number, c: number, d: number) => number;

package/build/esm/wasm/pkg/no-thread/tavio.js

@@ -618,7 +618,7 @@ function __wbg_get_imports() {
                     const a = state0.a;
                     state0.a = 0;
                     try {
-                        return __wasm_bindgen_func_elem_2981(a, state0.b, arg0, arg1);
+                        return __wasm_bindgen_func_elem_2980(a, state0.b, arg0, arg1);
                     } finally {
                         state0.a = a;
                     }
@@ -762,7 +762,7 @@ function __wbg_get_imports() {
         },
         __wbindgen_generic_0000000000000002: function(arg0, arg1) {
             // Cast intrinsic for `Closure(Closure { owned: true, function: Function { arguments: [Externref], shim_idx: 632, ret: Result(Unit), inner_ret: Some(Result(Unit)) }, mutable: true }) -> Externref`.
-            const ret = makeMutClosure(arg0, arg1, __wasm_bindgen_func_elem_2979);
+            const ret = makeMutClosure(arg0, arg1, __wasm_bindgen_func_elem_2978);
             return addHeapObject(ret);
         },
         __wbindgen_generic_0000000000000003: function(arg0) {
@@ -831,14 +831,14 @@ function __wasm_bindgen_func_elem_1190(arg0, arg1, arg2) {
     wasm.__wasm_bindgen_func_elem_1190(arg0, arg1, addHeapObject(arg2));
 }
 
-function __wasm_bindgen_func_elem_2981(arg0, arg1, arg2, arg3) {
-    wasm.__wasm_bindgen_func_elem_2981(arg0, arg1, addHeapObject(arg2), addHeapObject(arg3));
+function __wasm_bindgen_func_elem_2980(arg0, arg1, arg2, arg3) {
+    wasm.__wasm_bindgen_func_elem_2980(arg0, arg1, addHeapObject(arg2), addHeapObject(arg3));
 }
 
-function __wasm_bindgen_func_elem_2979(arg0, arg1, arg2) {
+function __wasm_bindgen_func_elem_2978(arg0, arg1, arg2) {
     try {
         const retptr = wasm.__wbindgen_add_to_stack_pointer(-16);
-        wasm.__wasm_bindgen_func_elem_2979(retptr, arg0, arg1, addHeapObject(arg2));
+        wasm.__wasm_bindgen_func_elem_2978(retptr, arg0, arg1, addHeapObject(arg2));
         var r0 = getDataViewMemory0().getInt32(retptr + 4 * 0, true);
         var r1 = getDataViewMemory0().getInt32(retptr + 4 * 1, true);
         if (r1) {

package/build/esm/wasm/pkg/no-thread/tavio_bg.wasm.d.ts

@@ -27,8 +27,8 @@ export const main: () => void;
 export const registerEventHandler: (a: number) => number;
 export const resolveGaussianEdits: (a: number, b: number, c: number, d: number, e: number, f: number, g: number, h: number, i: number, j: number) => void;
 export const sort: (a: number, b: number, c: number) => number;
-export const __wasm_bindgen_func_elem_2979: (a: number, b: number, c: number, d: number) => void;
-export const __wasm_bindgen_func_elem_2981: (a: number, b: number, c: number, d: number) => void;
+export const __wasm_bindgen_func_elem_2978: (a: number, b: number, c: number, d: number) => void;
+export const __wasm_bindgen_func_elem_2980: (a: number, b: number, c: number, d: number) => void;
 export const __wasm_bindgen_func_elem_1190: (a: number, b: number, c: number) => void;
 export const __wbindgen_export: (a: number, b: number) => number;
 export const __wbindgen_export2: (a: number, b: number, c: number, d: number) => number;

package/build/esm/wasm/pkg/thread/tavio.d.ts

@@ -110,10 +110,10 @@ export interface InitOutput {
     readonly wbg_rayon_poolbuilder_numThreads: (a: number) => number;
     readonly wbg_rayon_poolbuilder_receiver: (a: number) => number;
     readonly wbg_rayon_start_worker: (a: number) => void;
-    readonly __wasm_bindgen_func_elem_3151: (a: number, b: number, c: number, d: number) => void;
-    readonly __wasm_bindgen_func_elem_3154: (a: number, b: number, c: number, d: number) => void;
+    readonly __wasm_bindgen_func_elem_3149: (a: number, b: number, c: number, d: number) => void;
+    readonly __wasm_bindgen_func_elem_3152: (a: number, b: number, c: number, d: number) => void;
     readonly __wasm_bindgen_func_elem_1228: (a: number, b: number, c: number) => void;
-    readonly __wasm_bindgen_func_elem_3153: (a: number, b: number, c: number) => void;
+    readonly __wasm_bindgen_func_elem_3151: (a: number, b: number, c: number) => void;
     readonly memory: WebAssembly.Memory;
     readonly __wbindgen_export: (a: number, b: number) => number;
     readonly __wbindgen_export2: (a: number, b: number, c: number, d: number) => number;

package/build/esm/wasm/pkg/thread/tavio.js

@@ -690,7 +690,7 @@ function __wbg_get_imports(memory) {
                     const a = state0.a;
                     state0.a = 0;
                     try {
-                        return __wasm_bindgen_func_elem_3154(a, state0.b, arg0, arg1);
+                        return __wasm_bindgen_func_elem_3152(a, state0.b, arg0, arg1);
                     } finally {
                         state0.a = a;
                     }
@@ -728,7 +728,7 @@ function __wbg_get_imports(memory) {
                     const a = state0.a;
                     state0.a = 0;
                     try {
-                        return __wasm_bindgen_func_elem_3154(a, state0.b, arg0, arg1);
+                        return __wasm_bindgen_func_elem_3152(a, state0.b, arg0, arg1);
                     } finally {
                         state0.a = a;
                     }
@@ -906,12 +906,12 @@ function __wbg_get_imports(memory) {
         },
         __wbindgen_generic_0000000000000002: function(arg0, arg1) {
             // Cast intrinsic for `Closure(Closure { owned: true, function: Function { arguments: [Externref], shim_idx: 640, ret: Result(Unit), inner_ret: Some(Result(Unit)) }, mutable: true }) -> Externref`.
-            const ret = makeMutClosure(arg0, arg1, __wasm_bindgen_func_elem_3151);
+            const ret = makeMutClosure(arg0, arg1, __wasm_bindgen_func_elem_3149);
             return addHeapObject(ret);
         },
         __wbindgen_generic_0000000000000003: function(arg0, arg1) {
             // Cast intrinsic for `Closure(Closure { owned: true, function: Function { arguments: [Externref], shim_idx: 659, ret: Unit, inner_ret: Some(Unit) }, mutable: true }) -> Externref`.
-            const ret = makeMutClosure(arg0, arg1, __wasm_bindgen_func_elem_3153);
+            const ret = makeMutClosure(arg0, arg1, __wasm_bindgen_func_elem_3151);
             return addHeapObject(ret);
         },
         __wbindgen_generic_0000000000000004: function(arg0) {
@@ -995,18 +995,18 @@ function __wasm_bindgen_func_elem_1228(arg0, arg1, arg2) {
     wasm.__wasm_bindgen_func_elem_1228(arg0, arg1, addHeapObject(arg2));
 }
 
-function __wasm_bindgen_func_elem_3153(arg0, arg1, arg2) {
-    wasm.__wasm_bindgen_func_elem_3153(arg0, arg1, addHeapObject(arg2));
+function __wasm_bindgen_func_elem_3151(arg0, arg1, arg2) {
+    wasm.__wasm_bindgen_func_elem_3151(arg0, arg1, addHeapObject(arg2));
 }
 
-function __wasm_bindgen_func_elem_3154(arg0, arg1, arg2, arg3) {
-    wasm.__wasm_bindgen_func_elem_3154(arg0, arg1, addHeapObject(arg2), addHeapObject(arg3));
+function __wasm_bindgen_func_elem_3152(arg0, arg1, arg2, arg3) {
+    wasm.__wasm_bindgen_func_elem_3152(arg0, arg1, addHeapObject(arg2), addHeapObject(arg3));
 }
 
-function __wasm_bindgen_func_elem_3151(arg0, arg1, arg2) {
+function __wasm_bindgen_func_elem_3149(arg0, arg1, arg2) {
     try {
         const retptr = wasm.__wbindgen_add_to_stack_pointer(-16);
-        wasm.__wasm_bindgen_func_elem_3151(retptr, arg0, arg1, addHeapObject(arg2));
+        wasm.__wasm_bindgen_func_elem_3149(retptr, arg0, arg1, addHeapObject(arg2));
         var r0 = getDataViewMemory0().getInt32(retptr + 4 * 0, true);
         var r1 = getDataViewMemory0().getInt32(retptr + 4 * 1, true);
         if (r1) {

package/build/esm/wasm/pkg/thread/tavio_bg.wasm.d.ts

@@ -32,10 +32,10 @@ export const wbg_rayon_poolbuilder_build: (a: number) => void;
 export const wbg_rayon_poolbuilder_numThreads: (a: number) => number;
 export const wbg_rayon_poolbuilder_receiver: (a: number) => number;
 export const wbg_rayon_start_worker: (a: number) => void;
-export const __wasm_bindgen_func_elem_3151: (a: number, b: number, c: number, d: number) => void;
-export const __wasm_bindgen_func_elem_3154: (a: number, b: number, c: number, d: number) => void;
+export const __wasm_bindgen_func_elem_3149: (a: number, b: number, c: number, d: number) => void;
+export const __wasm_bindgen_func_elem_3152: (a: number, b: number, c: number, d: number) => void;
 export const __wasm_bindgen_func_elem_1228: (a: number, b: number, c: number) => void;
-export const __wasm_bindgen_func_elem_3153: (a: number, b: number, c: number) => void;
+export const __wasm_bindgen_func_elem_3151: (a: number, b: number, c: number) => void;
 export const memory: WebAssembly.Memory;
 export const __wbindgen_export: (a: number, b: number) => number;
 export const __wbindgen_export2: (a: number, b: number, c: number, d: number) => number;

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@openheart/tavio-renderer",
-  "version": "2.6.5",
+  "version": "2.6.7",
   "author": "OpenHeart Inc.",
   "license": "UNLICENSED",
   "description": "Rendering Engine for Tavio Format 3D data",