@vkontakte/calls-audio-effects 1.4.2-dev.cbbd651d.0 → 1.5.1-dev.6a83256f.0

package/controllers/VadController.d.ts

@@ -11,6 +11,26 @@ export interface VadLib {
     VadController: typeof VadController;
 }
 export declare class VadController {
+    /**
+     * Коллбек, вызывающийся, когда ML-модель VAD скачана и готова к работе.
+     * Вызывается при каждом init().
+     * @param {string} model - Файл модели.
+     * @param {number} duration - Время скачивания файлов модели, мс.
+     */
+    onModelReady: (model: string, duration: number) => void;
+    /**
+     * Коллбек, вызывающийся при ошибке ML-модели VAD:
+     * модель не скачалась, не создалась, упала в работе или не загрузилась за минуту (timeout).
+     * @param {string} model - Файл модели.
+     * @param {string} error - Текст ошибки.
+     */
+    onModelError: (model: string, error: string) => void;
+    /**
+     * Коллбек, вызывающийся после каждого запуска модели VAD (раз в 20 мс).
+     * @param {number} duration - Время одного запуска модели, мс.
+     * Без загрузки модели и ожидания следующего блока звука.
+     */
+    onInference: (duration: number) => void;
     private _effect;
     private _sendTrack;
     private _vadInputTrack;

package/effects/EffectVadAi.d.ts

@@ -17,6 +17,8 @@ export interface EffectVadAiOptions {
 export interface VadProbs {
     speechProb: number;
     silenceProb: number;
+    /** Время одного запуска модели, мс */
+    inferenceDuration: number;
 }
 export declare class EffectVadAi extends WorkerAudioProcessor implements DataProcessing {
     onData: (probs: VadProbs) => void;
@@ -25,9 +27,14 @@ export declare class EffectVadAi extends WorkerAudioProcessor implements DataPro
     private readonly _modelDataUrl;
     private readonly _ortWasmUrl;
     private readonly _ortMjsUrl;
+    private _modelLoadTimeout;
     constructor(options?: EffectVadAiOptions);
+    /** Файл модели, на которой работает эффект */
+    get model(): string;
     init(): Promise<void>;
+    destroy(): void;
     protected onWorkletData(data: ArrayBuffer): void;
     protected onWorkerData(probs: VadProbs): void;
     static isSupported(): boolean;
+    private _stopModelLoadTimeout;
 }

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@vkontakte/calls-audio-effects",
-  "version": "1.4.2-dev.cbbd651d.0",
+  "version": "1.5.1-dev.6a83256f.0",
   "author": "vk.com",
   "description": "Audio effects library for video calls based on the vk.com platform",
   "homepage": "https://vk.com",
@@ -14,7 +14,7 @@
     "**/*.d.ts"
   ],
   "dependencies": {
-    "@vkontakte/audio-processing": "0.0.10-dev.e09c1c0b",
+    "@vkontakte/audio-processing": "0.0.10",
     "onnxruntime-web": "^1.26.0"
   }
 }

package/processor/WorkerAudioProcessor.d.ts

@@ -3,18 +3,38 @@ import { AudioProcessor, AudioProcessorParams } from './AudioProcessor';
 export interface WorkerAudioProcessorParams extends AudioProcessorParams {
     workerFunctionString: string;
     workerArgs: unknown[];
+    workerName?: string;
+    /**
+     * Файл модели, на которой работает весь воркер.
+     * Неперехваченные ошибки такого воркера считаются ошибками модели.
+     */
+    workerModel?: string;
 }
 export declare const enum WorkerResponseType {
     INIT = "init",
     DATA = "data",
     ERROR = "error",
-    DEBUG = "debug"
+    DEBUG = "debug",
+    MODEL_READY = "model_ready"
 }
 /**
  * Аудиопроцесс, добавляющий в цепочку обработки аудио определенный воркер
  * и функции для обмена данных с ним.
  */
 export declare abstract class WorkerAudioProcessor extends AudioProcessor {
+    /**
+     * Коллбек, вызывающийся, когда ML-модель эффекта скачана и готова к работе.
+     * @param {string} model - Файл модели.
+     * @param {number} duration - Время скачивания файлов модели, мс.
+     */
+    onModelReady: (model: string, duration: number) => void;
+    /**
+     * Коллбек, вызывающийся при ошибке ML-модели эффекта:
+     * модель не скачалась, не создалась или упала в работе.
+     * @param {string} model - Файл модели.
+     * @param {string} error - Текст ошибки.
+     */
+    onModelError: (model: string, error: string) => void;
     private worker;
     protected performanceMonitor: PerformanceMonitor | null;
     /**
@@ -28,6 +48,8 @@ export declare abstract class WorkerAudioProcessor extends AudioProcessor {
      * @param {string} params.workletName - Зарегистрированное имя ворклета.
      * @param {Function} params.workerFunction - Функция воркера.
      * @param {*[]} params.workerArgs - Параметры для передачи в функцию воркера при его инциализации.
+     * @param {string} [params.workerName] - Имя воркера, под которым он виден в DevTools.
+     * @param {string} [params.workerModel] - Файл модели, на которой работает весь воркер.
      */
     init(params: WorkerAudioProcessorParams): Promise<void>;
     resume(): void;

package/utils/ModelLoader.d.ts

@@ -1,11 +1,22 @@
 import wav2lip from '@vkontakte/audio-processing';
+/**
+ * Скачивает файл модели.
+ */
+export declare function downloadModelFile(url: string): Promise<Uint8Array>;
 /**
  * Скачивает файл модели и кладёт его в файловую систему wasm-модуля.
  * Должен быть вызван до создания алгоритма, который читает модель.
+ * @returns время скачивания, мс
  */
-export declare function loadModelFile(module: wav2lip.Wav2lipModule, urlResolver: (url: string) => string, fileName: string): Promise<void>;
+export declare function loadModelFile(module: wav2lip.Wav2lipModule, urlResolver: (url: string) => string, fileName: string): Promise<number>;
 /**
  * Удаляет файл модели из файловой системы wasm-модуля.
  * Созданный алгоритм хранит веса у себя, файл ему больше не нужен.
  */
 export declare function unloadModelFile(module: wav2lip.Wav2lipModule, fileName: string): void;
+/**
+ * Сообщает из воркера, что модель скачана и готова к работе.
+ * @param model - файл модели
+ * @param duration - время скачивания файлов модели, мс
+ */
+export declare function postModelReady(model: string, duration: number): void;

package/utils/Utils.d.ts

@@ -1 +1,5 @@
 export declare function createBlobObject(functionData: Function | string, args?: unknown[]): string;
+/**
+ * Имя файла из URL
+ */
+export declare function getFileName(url: string): string;

package/utils/WasmMemoryReport.d.ts

@@ -0,0 +1,5 @@
+/**
+ * Раз в минуту отправляет в лог эффекта размер памяти wasm-модуля воркера.
+ * Вызывается в воркере после создания модуля.
+ */
+export declare function startWasmMemoryReport(module: object): void;

package/workers/VadTfliteWorker.d.ts

@@ -2,5 +2,5 @@ import wav2lip from '@vkontakte/audio-processing';
 export interface VadWorkerRequest {
     data: ArrayBuffer;
 }
-declare const _default: (createWav2lipModule: typeof wav2lip, urlResolver: (url: string) => string) => void;
+declare const _default: (createWav2lipModule: typeof wav2lip, urlResolver: (url: string) => string, modelFile: string) => void;
 export default _default;

package/workers/VoiceChangeWorker.d.ts

@@ -7,6 +7,8 @@ export interface VoiceEffect {
     configInput: wav2lip.ConfigInput;
     config: wav2lip.Config;
     effect: wav2lip.Effect;
+    /** Файл ML-модели, на которой работает эффект */
+    model?: string;
 }
 declare const _default: (createWav2lipModule: typeof wav2lip, urlResolver: (url: string) => string) => void;
 export default _default;