@vunk/plus 1.7.3 → 1.7.5

package/shared/audioToFrames/src/audio/AudioProcessor.d.ts

@@ -1,25 +0,0 @@
-/**
- * @file 音频特征处理工具
- *
- * 本模块提供了对 `FeatureExtractorService` 提取出的 Fbank 特征进行后续处理的工具函数。
- * 主要功能包括：
- * 1. 提供一个窗口函数 `getAudioWindow` 用于从完整的特征序列中提取上下文窗口。
- *
- * @author Zhonghan Li
- */
-import { NUM_MEL_BINS, NUM_SEQUENCE_FRAMES } from '../core/constants';
-export { NUM_MEL_BINS, NUM_SEQUENCE_FRAMES };
-/**
- * 从完整的音频特征中提取一个固定大小的上下文窗口。
- *
- * @param allAudioFeatures `FeatureExtractorService` 返回的扁平化特征数组。
- * @param allAudioDims `FeatureExtractorService` 返回的维度数组，形如 `[T_chunks, 4, 80]`。
- * @param centerChunkIndex 窗口中心的块（chunk）索引。
- * @returns 一个新的扁平化 Float32Array，代表 (32, 4, 80) 的窗口数据。
- */
-export declare function getAudioWindow(allAudioFeatures: Float32Array, allAudioDims: number[], centerChunkIndex: number): Float32Array;
-/**
- * 创建AudioContext的兼容函数，处理Safari的限制。
- * 在Safari中，AudioContext需要在用户交互后才能创建。
- */
-export declare function createAudioContext(): Promise<AudioContext>;

package/shared/audioToFrames/src/audio/FeatureExtractorService.d.ts

@@ -1,31 +0,0 @@
-/**
- * @file FeatureExtractorService.ts
- * 该服务封装了与特征提取 Web Worker 的交互，提供了一个简单的 Promise-based API。
- * @author Zhonghan Li
- */
-/**
- * 定义从 Worker 返回的成功消息的载荷结构。
- */
-export interface FeatureExtractionResult {
-    features: Float32Array;
-    dimensions: number[];
-}
-export declare class FeatureExtractorService {
-    private errorHandler;
-    private worker;
-    constructor();
-    /**
-     * 处理 AudioBuffer，在后台线程中提取特征。
-     * @param audioBuffer Web Audio API 的 AudioBuffer 对象。
-     * @returns 一个 Promise，成功时解析为特征结果，失败时拒绝并返回错误信息。
-     */
-    process(audioBuffer: AudioBuffer): Promise<FeatureExtractionResult>;
-    /**
-     * 创建Worker Promise，直接处理消息传递
-     */
-    private createWorkerPromise;
-    /**
-     * 终止Worker
-     */
-    terminate(): void;
-}

package/shared/audioToFrames/src/inference/types.d.ts

@@ -1,102 +0,0 @@
-import type { ImageDataResponse } from '../media/DataLoaderService';
-import type { StreamingChunkData } from './StreamingInferenceService';
-/**
- * 初始化Worker，加载ONNX模型
- */
-export interface StreamingWorkerInitMessage {
-    type: 'init';
-    modelPath: string;
-}
-/**
- * 初始化流式推理，加载数据集、图片Blob和混合掩码
- */
-export interface StreamingWorkerInitStreamingMessage {
-    type: 'init_streaming';
-    dataset: ImageDataResponse;
-    zipBuffer: ArrayBuffer;
-    blendingMaskBitmap: ImageBitmap;
-    startImageIndex: number;
-}
-/**
- * 运行单个chunk的推理
- */
-export interface StreamingWorkerRunMessage {
-    type: 'streaming_run';
-    chunkData: StreamingChunkData;
-    dataset: ImageDataResponse;
-    imageBlobs: Map<string, Blob>;
-    blendingMaskBitmap: ImageBitmap;
-}
-/**
- * 通知所有chunk已发送完毕，包含总帧数
- */
-export interface StreamingWorkerFinishMessage {
-    type: 'finish_chunks';
-    totalFrames: number;
-}
-/**
- * 停止推理，清理资源
- */
-export interface StreamingWorkerStopMessage {
-    type: 'stop';
-}
-/**
- * Worker可接收的所有消息类型
- */
-export type StreamingWorkerMessage = StreamingWorkerInitMessage | StreamingWorkerInitStreamingMessage | StreamingWorkerRunMessage | StreamingWorkerFinishMessage | StreamingWorkerStopMessage;
-/**
- * 主线程接收的单帧推理结果消息
- */
-export interface MainThreadFrameMessage {
-    type: 'frame';
-    payload: {
-        frame: ImageBitmap;
-        frameIndex: number;
-    };
-}
-/**
- * 主线程接收的chunk完成消息，包含耗时统计
- */
-export interface MainThreadChunkCompleteMessage {
-    type: 'chunk_complete';
-    payload: {
-        chunkIndex: number;
-        timings: Record<string, number>;
-    };
-}
-/**
- * 主线程接收的进度消息
- */
-export interface MainThreadProgressMessage {
-    type: 'progress';
-    payload: {
-        processed: number;
-        total: number;
-    };
-}
-/**
- * 主线程接收的全部完成消息，包含总耗时
- */
-export interface MainThreadAllCompleteMessage {
-    type: 'all_complete';
-    payload: {
-        totalTimings: Record<string, number>;
-    };
-}
-/**
- * 主线程接收的错误消息
- */
-export interface MainThreadErrorMessage {
-    type: 'error';
-    payload: string;
-}
-/**
- * 主线程接收的Worker就绪消息
- */
-export interface MainThreadReadyMessage {
-    type: 'ready';
-}
-/**
- * 主线程可接收的所有消息类型
- */
-export type MainThreadMessage = MainThreadFrameMessage | MainThreadChunkCompleteMessage | MainThreadProgressMessage | MainThreadAllCompleteMessage | MainThreadErrorMessage | MainThreadReadyMessage;

package/shared/audioToFrames/src/media/ImageBitmapPool.d.ts

@@ -1,63 +0,0 @@
-/**
- * @file ImageBitmap对象池
- *
- * 复用ImageBitmap对象以减少内存分配和垃圾回收压力
- * 特别适用于高频率的图像处理场景
- *
- * @author Zhonghan Li
- */
-export interface PooledBitmap {
-    bitmap: ImageBitmap;
-    width: number;
-    height: number;
-    inUse: boolean;
-    lastUsed: number;
-}
-export declare class ImageBitmapPool {
-    private pool;
-    private readonly maxPoolSize;
-    private readonly maxIdleTime;
-    constructor(maxPoolSize?: number, maxIdleTimeMs?: number);
-    /**
-     * 获取指定尺寸的ImageBitmap（优先从池中获取）
-     */
-    acquire(width: number, height: number): Promise<ImageBitmap>;
-    /**
-     * 释放ImageBitmap回池中
-     */
-    release(bitmap: ImageBitmap): void;
-    /**
-     * 从池中查找匹配尺寸的可用bitmap
-     */
-    private findMatchingBitmap;
-    /**
-     * 创建新的ImageBitmap
-     */
-    private createNewBitmap;
-    /**
-     * 清理空闲时间过长的对象
-     */
-    private cleanupIdleObjects;
-    /**
-     * 强制清理所有对象
-     */
-    cleanup(): void;
-    /**
-     * 获取池统计信息
-     */
-    getStats(): {
-        poolSize: number;
-        maxPoolSize: number;
-        inUseCount: number;
-        availableCount: number;
-        memoryEstimate: string;
-    };
-    /**
-     * 预热池：预先创建一些常用尺寸的bitmap
-     */
-    warmup(commonSizes?: Array<{
-        width: number;
-        height: number;
-    }>): Promise<void>;
-}
-export declare const globalImageBitmapPool: ImageBitmapPool;

package/shared/audioToFrames/src/media/ImageProcessor.d.ts

@@ -1,47 +0,0 @@
-/**
- * @file 图像张量与 Canvas 工具函数
- *
- * 本模块提供了与图像张量相关的常用工具函数，主要包括：
- * 1. 复用模块级 Canvas 以提升图像处理性能。
- * 2. 从 Blob 加载 ONNX 图像张量。
- * 3. 将张量高效转换为 ImageData 以便渲染。
- *
- * @author Zhonghan Li
- */
-import type JSZip from 'jszip';
-import { Tensor } from 'onnxruntime-web';
-/**
- * 获取一个共享的、模块级的 Canvas 2D 上下文。
- * 避免重复创建 Canvas 元素，提升性能。
- * @param width 画布期望宽度。
- * @param height 画布期望高度。
- * @returns 返回 2D 上下文。
- */
-export declare function getSharedCanvasContext(width: number, height: number): CanvasRenderingContext2D | OffscreenCanvasRenderingContext2D;
-/**
- * 计算 Ping-Pong 动画的下一帧状态（索引和方向）。
- *
- * @param currentIndex 当前帧索引。
- * @param numFrames 动画总帧数。
- * @param direction 当前播放方向 (1 为正向, -1 为反向)。
- * @returns 一个包含 { nextIndex, nextDirection } 的对象。
- */
-export declare function calculatePingPongState(currentIndex: number, numFrames: number, direction: number): {
-    nextIndex: number;
-    nextDirection: number;
-};
-/**
- * 从 JSZip 实例中按需加载并解析图像张量。
- * @param tensorFileName 要加载的 .bin 文件的名称。
- * @param zip JSZip 实例。
- * @param cropSize 裁剪尺寸，用于计算正确的边界和内部尺寸。
- * @returns 一个 ONNX Tensor。
- */
-export declare function loadTensorFromZip(tensorFileName: string, zip: JSZip, cropSize: number): Promise<Tensor>;
-/**
- * 将张量转换为 ImageData 对象，用于高性能渲染。
- * 此函数避免了昂贵的 toDataURL() 调用。
- * @param tensor 具有 [1, 3, H, W] 形状和 BGR 顺序的输入张量。
- * @returns 返回一个可以直接在 Canvas 上使用的 ImageData 对象，若格式不符则返回 null。
- */
-export declare function convertTensorToImageData(tensor: Tensor): ImageData | null;

package/shared/audioToFrames/src/media/PlaybackService.d.ts

@@ -1,56 +0,0 @@
-/**
- * @file PlaybackService.ts
- * 实时视频播放服务，用于在 Canvas 上渲染由推理服务生成的视频帧。
- * @author Zhonghan Li
- */
-export declare class PlaybackService {
-    private canvas;
-    private ctx;
-    private audioPlayer;
-    private inferenceRunning;
-    private animationFrameId;
-    private lastFrameTimestamp;
-    private onPlaybackEndCallback;
-    /** 播放器是否正在播放。 */
-    readonly isPlaying: import("vue").Ref<boolean, boolean>;
-    /** 当前播放的帧索引。 */
-    readonly currentFrameIndex: import("vue").Ref<number, number>;
-    /** 已生成的视频帧 ImageBitmap 数组。 */
-    readonly generatedFrames: import("vue").ShallowRef<ImageBitmap[], ImageBitmap[]>;
-    /**
-     * 创建一个新的 PlaybackService 实例。
-     * @param canvas 用于渲染视频帧的 HTMLCanvasElement。
-     * @param audioPlayer 用于同步播放的 HTMLAudioElement。
-     * @param onPlaybackEndCallback 播放完成后的回调函数（支持异步）。
-     */
-    constructor(canvas: HTMLCanvasElement, audioPlayer: HTMLAudioElement, onPlaybackEndCallback?: (() => void | Promise<void>) | null);
-    /**
-     * 设置推理过程是否仍在运行。
-     * 这用于确定当所有帧都播放完毕后是否停止播放循环。
-     * @param status 推理是否正在运行。
-     */
-    setInferenceRunning(status: boolean): void;
-    /**
-     * 向播放列表添加一帧并触发播放（如果尚未开始）。
-     * @param frameBitmap 要添加的视频帧。
-     */
-    addFrame(frameBitmap: ImageBitmap): void;
-    /**
-     * 开始实时播放。
-     */
-    start(): void;
-    /**
-     * 停止实时播放。
-     */
-    stop(): void;
-    /**
-     * 清理所有播放资源，释放内存。
-     * 包括停止播放、重置状态和释放 ImageBitmap 对象。
-     */
-    cleanup(): void;
-    /**
-     * 核心播放循环。
-     * @param timestamp 当前时间戳。
-     */
-    private playbackLoop;
-}

package/shared/audioToFrames/src/media/WebGLPlaybackService.d.ts

@@ -1,74 +0,0 @@
-/**
- * @file WebGLPlaybackService.ts
- * 基于WebGL的高性能视频播放服务，替代传统的Canvas 2D渲染。
- * 提供与PlaybackService相同的API，但使用WebGL进行渲染。
- * @author Zhonghan Li
- */
-export declare class WebGLPlaybackService {
-    private webglRenderer;
-    private audioPlayer;
-    private inferenceRunning;
-    private animationFrameId;
-    private lastFrameTimestamp;
-    private onPlaybackEndCallback;
-    private isWebGLSupported;
-    /** 播放器是否正在播放。 */
-    readonly isPlaying: import("vue").Ref<boolean, boolean>;
-    /** 当前播放的帧索引。 */
-    readonly currentFrameIndex: import("vue").Ref<number, number>;
-    /** 已生成的视频帧 ImageBitmap 数组。 */
-    readonly generatedFrames: import("vue").ShallowRef<ImageBitmap[], ImageBitmap[]>;
-    /**
-     * 创建一个新的 WebGLPlaybackService 实例。
-     * @param canvas 用于渲染视频帧的 HTMLCanvasElement。
-     * @param audioPlayer 用于同步播放的 HTMLAudioElement。
-     * @param onPlaybackEndCallback 播放完成后的回调函数（支持异步）。
-     */
-    constructor(canvas: HTMLCanvasElement, audioPlayer: HTMLAudioElement, onPlaybackEndCallback?: (() => void | Promise<void>) | null);
-    /**
-     * 初始化WebGL渲染器
-     */
-    initialize(): Promise<void>;
-    /**
-     * 设置推理过程是否仍在运行。
-     * 这用于确定当所有帧都播放完毕后是否停止播放循环。
-     * @param status 推理是否正在运行。
-     */
-    setInferenceRunning(status: boolean): void;
-    /**
-     * 向播放列表添加一帧并触发播放（如果尚未开始）。
-     * @param frameBitmap 要添加的视频帧。
-     */
-    addFrame(frameBitmap: ImageBitmap): void;
-    /**
-     * 开始实时播放。
-     */
-    start(): void;
-    /**
-     * 停止实时播放。
-     */
-    stop(): void;
-    /**
-     * 清理所有播放资源，释放内存。
-     * 包括停止播放、重置状态和释放 ImageBitmap 对象。
-     */
-    cleanup(): void;
-    /**
-     * 核心播放循环。
-     * @param timestamp 当前时间戳。
-     */
-    private playbackLoop;
-    /**
-     * 检查WebGL是否受支持
-     */
-    static isWebGLSupported(): boolean;
-    /**
-     * 获取WebGL渲染器信息
-     */
-    getWebGLInfo(): {
-        renderer: string;
-        vendor: string;
-        version: string;
-        maxTextureSize: number;
-    } | null;
-}

package/shared/audioToFrames/src/media/WebGLRenderer.d.ts

@@ -1,66 +0,0 @@
-/**
- * @file WebGLRenderer.ts
- * WebGL渲染器，提供高性能的图像渲染能力，替代传统的Canvas 2D渲染。
- * 支持纹理缓存、批量渲染和内存优化。
- * @author Zhonghan Li
- */
-export declare class WebGLRenderer {
-    private canvas;
-    private gl;
-    private program;
-    private vertexBuffer;
-    private textureCache;
-    private maxTextureSize;
-    private isInitialized;
-    private readonly vertexShaderSource;
-    private readonly fragmentShaderSource;
-    constructor(canvas: HTMLCanvasElement);
-    /**
-     * 初始化WebGL渲染器
-     */
-    initialize(): Promise<void>;
-    /**
-     * 渲染ImageBitmap到Canvas
-     * @param imageBitmap 要渲染的图像
-     * @param frameToRelease (可选) 渲染后要释放的上一帧
-     */
-    render(imageBitmap: ImageBitmap, frameToRelease?: ImageBitmap): void;
-    /**
-     * 清理纹理缓存中的指定ImageBitmap
-     * @param imageBitmap 要清理的ImageBitmap
-     */
-    clearTexture(imageBitmap: ImageBitmap): void;
-    /**
-     * 清理所有资源
-     */
-    cleanup(): void;
-    /**
-     * 创建着色器程序
-     */
-    private createShaderProgram;
-    /**
-     * 编译着色器
-     */
-    private compileShader;
-    /**
-     * 设置顶点缓冲区
-     */
-    private setupVertexBuffer;
-    /**
-     * 从ImageBitmap创建WebGL纹理
-     */
-    private createTexture;
-    /**
-     * 检查WebGL是否支持
-     */
-    static isSupported(): boolean;
-    /**
-     * 获取WebGL信息
-     */
-    getInfo(): {
-        renderer: string;
-        vendor: string;
-        version: string;
-        maxTextureSize: number;
-    };
-}

package/shared/utils.mjs

@@ -1,123 +0,0 @@
-class PerformanceTimer {
-  constructor() {
-    this.timings = {};
-    this.startTimes = {};
-  }
-  /**
-   * 开始计时
-   * @param name 计时器名称
-   */
-  start(name) {
-    this.startTimes[name] = performance.now();
-  }
-  /**
-   * 结束计时并记录
-   * @param name 计时器名称
-   * @returns 耗时（毫秒）
-   */
-  end(name) {
-    const startTime = this.startTimes[name];
-    if (startTime === void 0) {
-      console.warn(`Timer "${name}" was not started`);
-      return 0;
-    }
-    const elapsed = performance.now() - startTime;
-    this.timings[name] = elapsed;
-    delete this.startTimes[name];
-    return elapsed;
-  }
-  /**
-   * 获取所有计时结果
-   * @returns 计时结果对象
-   */
-  getTimings() {
-    return { ...this.timings };
-  }
-  /**
-   * 重置所有计时器
-   */
-  reset() {
-    this.timings = {};
-    this.startTimes = {};
-  }
-  /**
-   * 累加计时结果
-   * @param name 计时器名称
-   * @param value 要累加的值
-   */
-  accumulate(name, value) {
-    this.timings[name] = (this.timings[name] || 0) + value;
-  }
-  /**
-   * 合并其他计时器的结果
-   * @param other 其他计时器实例
-   */
-  merge(other) {
-    const otherTimings = other.getTimings();
-    for (const [name, value] of Object.entries(otherTimings)) {
-      this.accumulate(name, value);
-    }
-  }
-}
-function measurePerformance(timerName, timer) {
-  return function(_target, _propertyKey, descriptor) {
-    const originalMethod = descriptor.value;
-    descriptor.value = function(...args) {
-      timer.start(timerName);
-      const result = originalMethod.apply(this, args);
-      if (result instanceof Promise) {
-        return result.finally(() => {
-          timer.end(timerName);
-        });
-      } else {
-        timer.end(timerName);
-        return result;
-      }
-    };
-    return descriptor;
-  };
-}
-function normalizeError(error) {
-  if (error instanceof Error) {
-    return error.message;
-  }
-  if (typeof error === "string") {
-    return error;
-  }
-  return "Unknown error occurred";
-}
-function createErrorHandler(context, _fallbackMessage = "Operation failed") {
-  return function(error) {
-    const errorMessage = normalizeError(error);
-    const fullMessage = `${context}: ${errorMessage}`;
-    console.error(fullMessage);
-    throw new Error(fullMessage);
-  };
-}
-async function withRetry(operation, maxRetries = 3, delay = 1e3) {
-  let lastError;
-  for (let i = 0; i <= maxRetries; i++) {
-    try {
-      return await operation();
-    } catch (error) {
-      lastError = error;
-      if (i === maxRetries) {
-        break;
-      }
-      console.warn(`Operation failed, retrying in ${delay}ms... (${i + 1}/${maxRetries})`);
-      await new Promise((resolve) => setTimeout(resolve, delay));
-    }
-  }
-  throw new Error(`Operation failed after ${maxRetries} retries: ${normalizeError(lastError)}`);
-}
-function isNonNull(value) {
-  return value !== null && value !== void 0;
-}
-function isValidNumber(value) {
-  return typeof value === "number" && !Number.isNaN(value) && Number.isFinite(value);
-}
-function isValidArrayBuffer(value) {
-  return value instanceof ArrayBuffer && value.byteLength > 0;
-}
-
-export { PerformanceTimer as P, isValidNumber as a, isValidArrayBuffer as b, createErrorHandler as c, isNonNull as i, measurePerformance as m, normalizeError as n, withRetry as w };