@vkontakte/calls-audio-effects 1.2.9 → 1.2.10-dev.76a536b4.0

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@vkontakte/calls-audio-effects",
-  "version": "1.2.9",
+  "version": "1.2.10-dev.76a536b4.0",
   "author": "vk.com",
   "description": "Audio effects library for video calls based on the vk.com platform",
   "homepage": "https://vk.com",
@@ -14,6 +14,7 @@
     "**/*.d.ts"
   ],
   "dependencies": {
-    "@vkontakte/audio-processing": "0.0.8"
+    "@vkontakte/audio-processing": "0.0.8",
+    "onnxruntime-web": "^1.26.0"
   }
 }

package/AudioEffects.d.ts

@@ -1,4 +0,0 @@
-export { EffectVmojiLmarksVolume } from './effects/EffectVmojiLmarksVolume';
-export { EffectVmojiLmarksAi } from './effects/EffectVmojiLmarksAi';
-export { EffectVoiceChange, EffectVoiceChangeMode, VoiceChangeEffectType } from './effects/EffectVoiceChange';
-export { PerformanceMonitorMode } from './utils/PerformanceMonitor';

package/effects/EffectVmojiLmarksAi.d.ts

@@ -1,17 +0,0 @@
-import { DataProcessing } from '../processor/AudioProcessor';
-import { WorkerAudioProcessor } from '../processor/WorkerAudioProcessor';
-/**
- * Эффект, генерирующий точки для отрисовки анимации Vmoji
- * из входящего аудиопотока с использованием воркера с нейронкой в wasm-модуле wav2lip.
- */
-export declare class EffectVmojiLmarksAi extends WorkerAudioProcessor implements DataProcessing {
-    /**
-     * Коллбек, вызывающийся при генерации очередной серии точек Vmoji
-     * @param {ArrayBuffer} data - точки Vmoji
-     */
-    onData: (data: ArrayBuffer) => void;
-    init(): Promise<void>;
-    protected onWorkletData(data: ArrayBuffer): void;
-    protected onWorkerData(data: ArrayBuffer): void;
-    static isSupported(): boolean;
-}

package/effects/EffectVmojiLmarksVolume.d.ts

@@ -1,14 +0,0 @@
-import { AudioProcessor, DataProcessing } from '../processor/AudioProcessor';
-/**
- * Эффект, генерирующий точки для отрисовки анимации Vmoji
- * из входящего аудиопотока на основе громкости аудио (plain js).
- */
-export declare class EffectVmojiLmarksVolume extends AudioProcessor implements DataProcessing {
-    /**
-     * Коллбек, вызывающийся при генерации очередной серии точек Vmoji
-     * @param {ArrayBuffer} data - точки Vmoji
-     */
-    onData: (data: ArrayBuffer) => void;
-    init(): Promise<void>;
-    protected onWorkletData(data: ArrayBuffer): void;
-}

package/effects/EffectVoiceChange.d.ts

@@ -1,47 +0,0 @@
-import { WorkerAudioProcessor } from '../processor/WorkerAudioProcessor';
-import { PerformanceMonitorOptions } from '../utils/PerformanceMonitor';
-export interface VoiceChangeWorkletRequest {
-    data: ArrayBuffer;
-}
-export declare enum EffectVoiceChangeMode {
-    /** режим проигрывания обработанного аудио через стандартный аудио выход */
-    PLAYBACK = "playback",
-    /** режим вывода обработанного аудио в outputStream */
-    OUTPUT_STREAM = "output_stream"
-}
-export declare const enum VoiceChangeEffectType {
-    BALLOON = "balloon",
-    CATHEDRAL = "cathedral",
-    CHORUS = "chorus",
-    DISTORTION = "distortion",
-    ECHO = "echo",
-    EVIL = "evil",
-    GIANT = "giant",
-    HALL = "hall",
-    PHASER = "phaser",
-    ROBOT = "robot",
-    SQUIRELL = "squirell",
-    DENOISE = "denoise"
-}
-/**
- * Эффект, изменяющий голос из входящего аудиопотока
- * с использованием wasm-модуля wav2lip и направляющий
- * обработанный голос на стандартный выход (динамик) или в отдельный MediaStream.
- */
-export declare class EffectVoiceChange extends WorkerAudioProcessor {
-    private mode;
-    /**
-     * @typedef {string} EffectVoiceChangeMode
-     * @typedef {Object} PerformanceMonitorOptions
-     * @param {EffectVoiceChangeMode} mode - Режим вывода: аудио выход или MediaStream
-     * @param {PerformanceMonitorOptions} [performanceMonitorSettings] - Настройки мониторинга производительности.
-     * Для применения настроек по-умолчанию следует передать пустой объект.
-     * Если не определены, мониторинг не будет производиться.
-     */
-    constructor(mode?: EffectVoiceChangeMode, performanceMonitorSettings?: PerformanceMonitorOptions);
-    init(): Promise<void>;
-    setEffects(effects: string[], isPreset?: false): void;
-    setEffects(effects: VoiceChangeEffectType[], isPreset: true): void;
-    protected onWorkletData(data: ArrayBuffer): void;
-    protected onWorkerData(data: ArrayBuffer): void;
-}

package/processor/AudioProcessor.d.ts

@@ -1,58 +0,0 @@
-import { Logger } from '../utils/Logger';
-export interface AudioProcessorParams {
-    sampleRate?: number;
-    isOutputAudio?: boolean;
-    isOutputStream?: boolean;
-    workletFunction: Function;
-    workletName: string;
-}
-export declare const enum WorkletResponseType {
-    INIT = "init",
-    DATA = "data"
-}
-/**
- * Интерфейс, добавляющий классу AudioProcessor коллбек для передачи данных наружу.
- */
-export interface DataProcessing {
-    onData: (data: any) => void;
-}
-/**
- * Базовый класс аудиопроцессинга,
- * подразумевающий использование определенного AudioWorklet
- * для обработки входящего аудио.
- */
-export declare abstract class AudioProcessor {
-    /**
-     * MediaStream, в который производится вывод результата
-     * обработки аудио, если при инициализации был установлен флаг isOutputStream.
-     */
-    outputStream: MediaStream | null;
-    isInitialized: boolean;
-    protected audioContext: AudioContext | null;
-    protected workletNode: AudioWorkletNode | null;
-    private sourceNode;
-    protected logger: Logger;
-    /**
-     * @typedef {Object} AudioProcessorParams
-     * @param {AudioProcessorParams} params
-     * @param {number} [params.sampleRate] - Специфичный sampleRate для создания AudioContext.
-     * По-умолчанию используется значение на основе использумого аудио оборудования.
-     * @param {boolean} [params.isOutputAudio=false] - Выводить ли результат работы AudioWorklet
-     * на стандартный выход AudioContext (динамик).
-     * @param {boolean} [params.isOutputStream=false] - Выводить ли результат работы AudioWorklet
-     * в отдельный MediaStream outputStream, доступный публично.
-     * @param {Function} params.workletFunction - Функция, объявляющая и регистрирующая класс ворклета.
-     * @param {string} params.workletName - Зарегистрированное имя ворклета.
-     */
-    init({ sampleRate, isOutputAudio, isOutputStream, workletFunction, workletName, }: AudioProcessorParams): Promise<void>;
-    setSource(source: MediaStream | MediaStreamTrack | null): void;
-    destroy(): void;
-    resume(): void;
-    pause(): void;
-    setLogger(loggerFunction?: Function, loggerName?: string): void;
-    static isSupported(): boolean;
-    private createAudioContext;
-    private createWorklet;
-    protected abstract onWorkletData(data: unknown): void;
-    protected sendDataToWorklet(data: any, transfer?: any[]): void;
-}

package/processor/WorkerAudioProcessor.d.ts

@@ -1,41 +0,0 @@
-import { PerformanceMonitor } from '../utils/PerformanceMonitor';
-import { AudioProcessor, AudioProcessorParams } from './AudioProcessor';
-export interface WorkerAudioProcessorParams extends AudioProcessorParams {
-    workerFunctionString: string;
-    workerArgs: unknown[];
-}
-export declare const enum WorkerResponseType {
-    INIT = "init",
-    DATA = "data",
-    ERROR = "error",
-    DEBUG = "debug"
-}
-/**
- * Аудиопроцесс, добавляющий в цепочку обработки аудио определенный воркер
- * и функции для обмена данных с ним.
- */
-export declare abstract class WorkerAudioProcessor extends AudioProcessor {
-    private worker;
-    protected performanceMonitor: PerformanceMonitor | null;
-    /**
-     * @typedef {Object} WorkerAudioProcessorParams
-     * @param {WorkerAudioProcessorParams} params
-     * @param {number} [params.sampleRate] - Специфичный sampleRate для создания AudioContext.
-     * По-умолчанию используется значение на основе использумого аудио оборудования.
-     * @param {boolean} [params.isOutputAudio=false] - Выводить ли результат работы AudioWorklet
-     * на стандартный выход AudioContext (динамик).
-     * @param {Function} params.workletFunction - Функция, объявляющая и регистрирующая класс ворклета.
-     * @param {string} params.workletName - Зарегистрированное имя ворклета.
-     * @param {Function} params.workerFunction - Функция воркера.
-     * @param {*[]} params.workerArgs - Параметры для передачи в функцию воркера при его инциализации.
-     */
-    init(params: WorkerAudioProcessorParams): Promise<void>;
-    resume(): void;
-    pause(): void;
-    setLogger(loggerFunction?: Function, loggerName?: string): void;
-    destroy(): void;
-    protected abstract onWorkerData(data: unknown): void;
-    protected sendDataToWorker(data: any, transfer?: any[]): void;
-    static isSupported(): boolean;
-    private createWorker;
-}

package/utils/Logger.d.ts

@@ -1,9 +0,0 @@
-export declare class Logger {
-    private loggerName;
-    private loggerFunction;
-    constructor(loggerFunction: Function, loggerName?: string);
-    debug(...args: any[]): void;
-    log(...args: any[]): void;
-    warn(...args: any[]): void;
-    error(...args: any[]): void;
-}

package/utils/PerformanceMonitor.d.ts

@@ -1,58 +0,0 @@
-import { Logger } from './Logger';
-export declare const enum PerformanceMonitorMode {
-    PEAK = "peak",
-    AVG = "avg"
-}
-export interface PerformanceMonitorOptions {
-    badPerformanceThreshold?: number;
-    measureIntervalMs?: number;
-    mode?: PerformanceMonitorMode;
-    logPerformanceChecks?: boolean;
-    maxCountBadPerformanceBeforeCb?: number;
-    onBadPerformanceCb: Function;
-    onCheckPerformanceCb?: Function;
-}
-export declare class PerformanceMonitor {
-    private readonly threshold;
-    private readonly intervalMs;
-    private readonly mode;
-    private readonly logPerformanceChecks;
-    private readonly maxCountBadPerformanceBeforeCb;
-    private readonly onBadPerformanceCb;
-    private readonly onCheckPerformanceCb?;
-    private logger;
-    private interval;
-    private countBadPerformanceBeforeCb;
-    private beginMarkTs;
-    private performanceMeasures;
-    /**
-     * @typedef {Object} PerformanceMonitorOptions
-     * @param {PerformanceMonitorOptions} params
-     * @param {number} [params.badPerformanceThreshold=1.4] - Порог низкого значения производительности в мс,
-     * при котором происходит вызов callback.
-     * По-умолчанию - 1.4 мс.
-     * @param {number} [params.measureIntervalMs=1000] - Частота проверок проверок производительности в мс.
-     * При значении mode = 'avg', также является периодом агрегации значений.
-     * По-умолчанию - 1000 мс.
-     * @param {string} [params.mode='avg'] - Режим работы.
-     * 'avg' - проверка производительности по среднему значению за период.
-     * 'peak' - проверка производительности по максимальному значению за период.
-     * По-умолчанию - 'avg'.
-     * @param {boolean} [params.logPerformanceChecks=false] - Логировать ли проверки производительности
-     * со значениями для проверки.
-     * По-умолчанию - false.
-     * @param {number} [params.maxCountBadPerformanceBeforeCb] - Количество определенного спада производительности перед тем, как сработает коллбек.
-     * По-умолчанию - 1.
-     * @param {Function} params.onBadPerformanceCb - Коллбек для вызова при достижения значений "плохой" производительности.
-     * Вызывается с передачей "плохого" значения первым аргументом.
-     * @param {Function} params.onCheckPerformanceCb - Коллбек для вызова при проверке производительности.
-     * Вызывается с передачей значения измерения первым аргументом.
-     */
-    constructor({ badPerformanceThreshold, measureIntervalMs, mode, logPerformanceChecks, maxCountBadPerformanceBeforeCb, onBadPerformanceCb, onCheckPerformanceCb, }: PerformanceMonitorOptions);
-    private check;
-    markBegin(): void;
-    markEnd(): void;
-    start(): void;
-    stop(): void;
-    setLogger(logger: Logger): void;
-}

package/utils/Utils.d.ts

@@ -1 +0,0 @@
-export declare function createBlobObject(functionData: Function | string, args?: unknown[]): string;

package/workers/VmojiLmarksAiWorker.d.ts

@@ -1,6 +0,0 @@
-import wav2lip from '@vkontakte/audio-processing';
-export interface VmojiLmarksAiWorkerRequest {
-    data: ArrayBuffer;
-}
-declare const _default: (createWav2lipModule: typeof wav2lip, urlResolver: (url: string) => string) => void;
-export default _default;

package/workers/VoiceChangeWorker.d.ts

@@ -1,12 +0,0 @@
-import wav2lip from '@vkontakte/audio-processing';
-export declare const enum VoiceChangeWorkerRequestType {
-    SET_EFFECTS = "set_effects",
-    DATA = "data"
-}
-export interface VoiceEffect {
-    configInput: wav2lip.ConfigInput;
-    config: wav2lip.Config;
-    effect: wav2lip.Effect;
-}
-declare const _default: (createWav2lipModule: typeof wav2lip, urlResolver: (url: string) => string) => void;
-export default _default;

package/worklets/PureWorklet.d.ts

@@ -1,5 +0,0 @@
-/**
- * Простой ворклет, пересылающий входящие семплы по своему порту в формате ArrayBuffer.
- * Никак не изменяет исходящие семплы.
- */
-export declare function pureWorkletFunction(): void;

package/worklets/VmojiLmarksVolumeWorklet.d.ts

@@ -1,6 +0,0 @@
-/**
- * Ворклет, рассчитывающий точки для отрисовки анимации Vmoji
- * на основе громкости (амплитуды) входящих семплов.
- * Никак не изменяет исходящие семплы.
- */
-export declare function vmojiLmarksVolumeWorkletFunction(): void;

package/worklets/VoiceChangeWorklet.d.ts

@@ -1,6 +0,0 @@
-/**
- * Ворклет, передающий входящие семплы по своему порту
- * и подставляющий входящие по порту семплы в качестве исходящих для аудио контекста.
- * Используется для внешней обработки входящих семплов.
- */
-export declare function voiceChangeWorkletFunction(): void;