@vunk/plus 1.10.1 → 1.10.3

package/shared/audioToFrames/src/inference/StreamingInferenceService.d.ts

@@ -1,189 +0,0 @@
-/**
- * @file StreamingInferenceService.ts
- *
- * 流式推理服务模块，支持增量推理模式。
- * 1. 每收到一个chunk的音频特征后，立即开始推理该部分的视频帧，显著降低首帧延迟。
- * 2. 支持推理进度、帧级回调、chunk完成回调、全部完成回调及错误处理。
- *
- * @author Zhonghan Li
- */
-import type { ChunkFeatureResult } from '../audio/StreamingFeatureExtractorService';
-import type { ImageDataResponse } from '../media/DataLoaderService';
-/**
- * Worker initialization message
- */
-export interface StreamingWorkerInitMessage {
-    type: 'init';
-    modelPath: string;
-}
-/**
- * Main thread message types for worker communication
- */
-export interface MainThreadFrameMessage {
-    type: 'frame';
-    payload: {
-        frame: ImageBitmap;
-        frameIndex: number;
-    };
-}
-export interface MainThreadChunkCompleteMessage {
-    type: 'chunk_complete';
-    payload: {
-        chunkIndex: number;
-        timings: Record<string, number>;
-    };
-}
-export interface MainThreadProgressMessage {
-    type: 'progress';
-    payload: {
-        processed: number;
-        total: number;
-    };
-}
-export interface MainThreadAllCompleteMessage {
-    type: 'all_complete';
-    payload: Record<string, number>;
-}
-export interface MainThreadErrorMessage {
-    type: 'error';
-    payload: string;
-}
-export interface MainThreadReadyMessage {
-    type: 'ready';
-}
-export type MainThreadMessage = MainThreadFrameMessage | MainThreadChunkCompleteMessage | MainThreadProgressMessage | MainThreadAllCompleteMessage | MainThreadErrorMessage | MainThreadReadyMessage;
-/**
- * 单个流式推理chunk的数据结构。
- */
-export interface StreamingChunkData {
-    /** chunk索引（从0开始） */
-    chunkIndex: number;
-    /** 音频特征（Float32Array） */
-    audioFeatures: Float32Array;
-    /** 特征维度信息 [帧数, 序列长度, mel频带数] */
-    audioDimensions: number[];
-    /** 该chunk对应的起始帧索引 */
-    startFrame: number;
-    /** 该chunk对应的结束帧索引 */
-    endFrame: number;
-}
-/**
- * 发送给worker的流式推理消息类型。
- */
-export interface StreamingWorkerRunMessage {
-    /** 消息类型，固定为 "streaming_run" */
-    type: 'streaming_run';
-    /** 当前chunk的数据 */
-    chunkData: StreamingChunkData;
-    /** 图像数据集（已在init_streaming中发送，此处占位） */
-    dataset: ImageDataResponse;
-    /** 图像Blob映射（已在init_streaming中发送，此处占位） */
-    zipBlob: Blob;
-    /** 融合掩码（已在init_streaming中发送，此处占位） */
-    blendingMaskBitmap: ImageBitmap;
-    /** 起始图像帧索引 */
-    startImageIndex: number;
-}
-/**
- * 流式推理回调接口定义。
- */
-export interface StreamingInferenceCallbacks {
-    /**
-     * 推理进度回调。
-     * @param processed 已处理帧数
-     * @param total 总帧数
-     */
-    onProgress?: (processed: number, total: number) => void;
-    /**
-     * 单帧推理完成回调。
-     * @param frame 生成的视频帧
-     * @param frameIndex 帧索引
-     */
-    onFrame?: (frame: ImageBitmap, frameIndex: number) => void;
-    /**
-     * 单个chunk推理完成回调。
-     * @param chunkIndex chunk索引
-     * @param timings 该chunk的耗时统计
-     */
-    onChunkComplete?: (chunkIndex: number, timings: Record<string, number>) => void;
-    /**
-     * 所有chunk推理完成回调。
-     * @param totalTimings 总耗时统计
-     */
-    onAllComplete?: (totalTimings: Record<string, number>) => void;
-    /**
-     * 推理错误回调。
-     * @param message 错误信息
-     */
-    onError?: (message: string) => void;
-}
-/**
- * 流式推理服务主类。
- */
-export declare class StreamingInferenceService {
-    /** 后台推理Worker实例 */
-    private worker;
-    /** 推理回调函数集合 */
-    private callbacks;
-    /** Worker是否已初始化 */
-    private isInitialized;
-    /** 待推理的chunk数据映射 */
-    private pendingChunks;
-    /** 已完成推理的chunk索引集合 */
-    private completedChunks;
-    /** 当前累计的总帧数 */
-    private totalFrames;
-    /** 是否处于推理处理中 */
-    private isProcessing;
-    /** 全局chunk索引计数器，确保每个chunk有唯一索引 */
-    private globalChunkIndex;
-    private _def;
-    /**
-     * 构造函数，初始化Worker并注册消息回调。
-     * @param modelPath 模型路径
-     * @param onReady Worker初始化完成回调
-     */
-    constructor(modelPath: string, onReady?: () => void);
-    /**
-     * 判断推理服务是否已准备就绪。
-     * @returns 是否已初始化
-     */
-    isReady(): boolean;
-    when(): Promise<void>;
-    /**
-     * 启动流式推理流程，发送共享数据到worker。
-     * @param sharedData 所有chunk共享的数据（图像、配置等）
-     * @param callbacks 推理过程中的回调函数
-     * @param startImageIndex 起始图像帧索引，默认为0
-     */
-    startStreaming(sharedData: {
-        dataset: ImageDataResponse;
-        zipBlob: Blob;
-        blendingMaskBitmap: ImageBitmap;
-    }, callbacks: StreamingInferenceCallbacks, startImageIndex?: number): Promise<void>;
-    /**
-     * 添加一个chunk进行推理。
-     * @param chunkResult 特征提取完成的chunk
-     */
-    addChunk(chunkResult: ChunkFeatureResult): void;
-    /**
-     * 通知所有chunk都已添加完成，发送总帧数到worker。
-     */
-    finishAddingChunks(): void;
-    /**
-     * 清理内部状态和资源。
-     */
-    private cleanup;
-    /**
-     * 轻度清理，保持连续性，用于音频文件间的清理。
-     */
-    private lightCleanup;
-    /**
-     * 停止推理并清理资源，通知worker停止。
-     */
-    stop(): void;
-    /**
-     * 彻底终止worker并清理所有资源。
-     */
-    terminate(): void;
-}

package/shared/audioToFrames/src/inference/index.d.ts

@@ -1,5 +0,0 @@
-/**
- * @file 推理服务模块导出
- * @author Zhonghan Li
- */
-export * from './StreamingInferenceService';

package/shared/audioToFrames/src/inference/index.mjs

@@ -1,3 +0,0 @@
-export { S as StreamingInferenceService } from '../../../StreamingInferenceService.mjs';
-import '@vunk/shared/promise';
-import '../../../config.mjs';

package/shared/audioToFrames/src/media/DataLoaderService.d.ts

@@ -1,59 +0,0 @@
-/**
- * @file 图像数据加载服务
- *
- * 本模块负责加载前端推理所需的图像元数据（JSON）及其对应的压缩图像文件（ZIP）。
- * 主要功能包括：
- * 1. 并行请求图像元数据和压缩包。
- * 2. 解压所有图像文件为 Blob，并以 Map 形式返回，便于后续按文件名索引。
- *
- * @author Zhonghan Li
- */
-import JSZip from 'jszip';
-/**
- * 单帧图像的元数据信息。
- */
-export interface ImageMetadata {
-    frame_id: string;
-    full_image: string;
-    face_image: string;
-    tensor_file: string;
-    crop_info: {
-        xmin: number;
-        ymin: number;
-        xmax: number;
-        ymax: number;
-        width: number;
-    };
-}
-/**
- * 数据集配置信息。
- */
-export interface DatasetInfo {
-    source_image_dimensions?: {
-        width: number;
-        height: number;
-    };
-    config: {
-        crop_size: number;
-        mask_region: [number, number, number, number];
-    };
-}
-/**
- * 图像数据响应结构。
- */
-export interface ImageDataResponse {
-    images: ImageMetadata[];
-    dataset_info: DatasetInfo;
-}
-/**
- * 加载图像元数据和图像压缩包。
- * 此优化版本不再一次性解压所有文件，而是返回JSZip实例和zip Blob，
- * 以便在主线程和Worker中按需解压，显著降低初始内存占用。
- * @returns 包含图像元数据、JSZip实例和zip Blob的对象。
- * @throws 当任一资源加载失败时抛出异常。
- */
-export declare function loadImageData(dataseUrl?: string, sourceUrl?: string): Promise<{
-    imageData: ImageDataResponse;
-    zip: JSZip;
-    zipBlob: Blob;
-}>;

package/shared/audioToFrames/src/media/PredictiveFrameLoader.d.ts

@@ -1,81 +0,0 @@
-/**
- * @file 智能预测帧加载器
- *
- * 基于ping-pong动画的可预测性，提前加载后续帧以减少等待时间
- * 同时管理内存使用，避免过度缓存
- *
- * @author Zhonghan Li
- */
-import type JSZip from 'jszip';
-import type { ImageDataResponse } from './DataLoaderService';
-export interface FrameLoadRequest {
-    index: number;
-    priority: 'immediate' | 'prefetch' | 'background';
-}
-export declare class PredictiveFrameLoader {
-    private frameCache;
-    private loadingPromises;
-    private readonly MAX_CACHE_SIZE;
-    private readonly PREFETCH_COUNT;
-    private cacheAccessOrder;
-    private dataset;
-    private zipInstance;
-    constructor(dataset: ImageDataResponse, zipInstance: JSZip);
-    /**
-     * 获取指定帧，同时智能预测和加载后续帧
-     */
-    getFrame(currentIndex: number, direction: number, totalFrames: number): Promise<ImageBitmap>;
-    /**
-     * 智能预测并预加载后续帧
-     */
-    private predictAndPrefetch;
-    /**
-     * 兼容性的空闲回调调度器（Safari不支持requestIdleCallback）
-     */
-    private scheduleIdleCallback;
-    /**
-     * 预测ping-pong动画的后续帧序列
-     */
-    private predictNextFrames;
-    /**
-     * 计算ping-pong动画的下一帧
-     */
-    private calculateNextPingPongFrame;
-    /**
-     * 加载单个帧（带缓存和内存管理）
-     */
-    private loadFrame;
-    /**
-     * 实际执行帧加载
-     */
-    private performFrameLoad;
-    /**
-     * 添加到缓存并管理内存
-     */
-    private addToCache;
-    /**
-     * 淘汰最久未使用的帧
-     */
-    private evictOldestFrame;
-    /**
-     * 更新访问顺序（LRU）
-     */
-    private updateAccessOrder;
-    /**
-     * 预热缓存：加载初始帧
-     */
-    warmup(startIndex?: number): Promise<void>;
-    /**
-     * 清理所有缓存
-     */
-    cleanup(): void;
-    /**
-     * 获取缓存统计信息
-     */
-    getStats(): {
-        cacheSize: number;
-        maxCacheSize: number;
-        cacheHitRatio: number;
-        memoryEstimate: string;
-    };
-}

package/shared/audioToFrames/src/media/index.d.ts

@@ -1,6 +0,0 @@
-/**
- * @file 媒体处理服务模块导出
- * @author Zhonghan Li
- */
-export * from './DataLoaderService';
-export * from './PredictiveFrameLoader';