@vkontakte/calls-sdk 2.8.6-dev.77dd3c9d.0 → 2.8.6-dev.785c0ce9.0

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@vkontakte/calls-sdk",
-  "version": "2.8.6-dev.77dd3c9d.0",
+  "version": "2.8.6-dev.785c0ce9.0",
   "author": "vk.com",
   "description": "Library for video calls based on the vk.com platform",
   "homepage": "https://vk.com",
@@ -16,11 +16,15 @@
   "dependencies": {
     "@vkontakte/calls-audio-effects": "1.2.8",
     "@vkontakte/calls-video-effects": "2.2.3-beta.5",
-    "@vkontakte/calls-vmoji": "1.0.10-beta.16",
+    "@vkontakte/calls-vmoji": "1.0.10-beta.17",
     "@vkontakte/libvpx": "2.0.9",
     "bit-buffer": "0.2.5",
+    "fflate": "^0.8.2",
     "messagepack": "1.1.12",
     "simple-ebml-builder": "0.2.2",
     "webrtc-adapter": "7.7.0"
-  }
+  },
+  "workspaces": [
+    "workspaces/sandbox"
+  ]
 }

package/static/ApiTransport.d.ts

@@ -6,5 +6,5 @@ export declare function sendBeakon(method: string, params?: {
 }, noSession?: boolean): Promise<void>;
 export declare function request(method: string, params?: {
     [key: string]: any;
-}, noSession?: boolean, customEndpoint?: string): Promise<unknown>;
+}, noSession?: boolean, customEndpoint?: string): Promise<any>;
 export declare function sendFormData(url: string, data: FormData): Promise<void>;

package/static/Params.d.ts

@@ -82,6 +82,8 @@ export type ParamsObject = {
     /** @hidden */
     wssBase: string;
     /** @hidden */
+    wtsBase: string;
+    /** @hidden */
     wssToken: string;
     /** @hidden */
     signalingReconnectDelay: number;
@@ -440,6 +442,18 @@ export type ParamsObject = {
     fastScreenShareWidth: number;
     /** @hidden */
     fastScreenShareHeight: number;
+    /**
+     * Включить отправку быстрой шары с клиента по RTP
+     *
+     * _По умолчанию: `false`_
+     */
+    consumerFastScreenShare: boolean;
+    /**
+     * Включает отправку сервером нотификации video-quality-update
+     *
+     * _По умолчанию: `false`_
+     */
+    consumerFastScreenShareQualityOnDemand: boolean;
     /**
      * Использовать новые правила allMute для админа
      */
@@ -461,6 +475,38 @@ export type ParamsObject = {
      * _По умолчанию: `false`_
      */
     enableLogPerfStatReport: boolean;
+    /**
+     * Поддержка переключения качества видео в зависимости от сети
+     * Только для режима p2p
+     *
+     * _По умолчанию: `false`_
+     */
+    switchVideoAtBadNetwork: boolean;
+    /**
+     * Включает деградацию фпс для видео с камеры при низком фпс с включенными вирт фонами
+     *
+     * _По умолчанию: `false`_
+     */
+    enableVideoEffectsFpsDegradation: boolean;
+    /**
+     * Включить поддержку simulcast на отправке
+     *
+     * _По умолчанию: `false`_
+     */
+    simulcast: boolean;
+    /**
+     * Включить поддержку webtransport для сигналинга
+     *
+     * _По умолчанию: `false`_
+     */
+    webtransport: boolean;
+    /**
+     * Включить поддержку webtransport для сигналинга в FireFox
+     * Отдельная ручка, так как есть проблемы сейчас с FF
+     *
+     * _По умолчанию: `false`_
+     */
+    webtransportFF: boolean;
     /**
      * Получен локальный стрим с камеры/микрофона
      */
@@ -834,15 +880,6 @@ export type ParamsObject = {
      * Собеседник подключился к сигналлингу
      */
     onPeerRegistered?: () => void;
-    /**
-     * Поддержка переключения качества видео в зависимости от сети
-     * Только для режима p2p
-     *
-     * _По умолчанию: `false`_
-     */
-    switchVideoAtBadNetwork: boolean;
-    /** включает деградацию фпс для видео с камеры при низком фпс с включенными вирт фонами */
-    enableVideoEffectsFpsDegradation: boolean;
 };
 export default abstract class Params {
     private static _params;
@@ -879,6 +916,8 @@ export default abstract class Params {
     static set iceServers(value: IceServer[]);
     static get wssBase(): string;
     static set wssBase(value: string);
+    static get wtsBase(): string;
+    static set wtsBase(value: string);
     static get wssToken(): string;
     static set wssToken(value: string);
     static get signalingReconnectDelay(): number;
@@ -964,12 +1003,20 @@ export default abstract class Params {
     static get screenShareCongestionControlThreshold(): number;
     static get fastScreenShareWidth(): number;
     static get fastScreenShareHeight(): number;
+    static get consumerFastScreenShare(): boolean;
+    static get consumerFastScreenShareQualityOnDemand(): boolean;
     static get newMuteRules(): boolean;
     static get videoSuspend(): boolean;
     static get enumerateDevicesDelay(): number;
     static getScreenFrameRate(fastScreenShare: boolean): number;
     static get switchVideoAtBadNetwork(): boolean;
     static get enableVideoEffectsFpsDegradation(): boolean;
+    static get simulcast(): boolean;
+    static set simulcast(value: boolean);
+    static get webtransport(): boolean;
+    static set webtransport(value: boolean);
+    static get webtransportFF(): boolean;
+    static set webtransportFF(value: boolean);
     static toJSON(): {
         apiKey: string;
         apiEnv: string;
@@ -998,5 +1045,8 @@ export default abstract class Params {
         clientStatsPlatform: string;
         consumerScreenDataChannelPacketSize: number;
         switchVideoAtBadNetwork: boolean;
+        simulcast: boolean;
+        webtransport: boolean;
+        webtransportFF: boolean;
     };
 }

package/static/SimulcastInfo.d.ts

@@ -0,0 +1,13 @@
+import { type SimulcastInfo as ISimulcastInfo } from '../types/SimulcastInfo';
+import type { VideoBitrateSettings } from '../types/VideoSettings';
+export declare const SIMULCAST_DEFAULT: {
+    HEIGHT: number;
+    WIDTH: number;
+    BITRATE: number;
+};
+export declare const SIMULCAST_SCALABILITY_MODE = "L1T2";
+export declare const MAP_RID_TO_SCALE_RESOLUTION_DOWN_BY: Record<string, number>;
+export declare function isEqualSimulcastInfo(si1: ISimulcastInfo | null, si2: ISimulcastInfo | null): boolean;
+export declare function findBitrateAsc(maxDimension: number, bitrates: VideoBitrateSettings[]): number;
+export declare function calculateSimulcastInfo(width?: number, height?: number, bitrates?: VideoBitrateSettings[]): ISimulcastInfo;
+export declare function findScaleResolutionDownBy(rid?: string): number;

package/static/Utils.d.ts

@@ -61,7 +61,7 @@ declare namespace Utils {
         [key in T]?: K;
     }, obj2: {
         [key in T]?: K;
-    }): boolean;
+    }, deep?: boolean): boolean;
     function isArraysEquals<T>(arr1: T[], arr2: T[]): boolean;
     function isEmptyObject(obj: object): boolean;
     /**
@@ -71,8 +71,9 @@ declare namespace Utils {
     function participantMarkerCompare(marker1: ExternalParticipantListMarker | undefined, marker2: ExternalParticipantListMarker | undefined): number;
     /** убирает все ключи со значением `V` на 1 уровне */
     function objectFilterOutValues<T extends Record<string, V>, V = unknown>(obj: T, value?: unknown | unknown[]): Partial<T>;
-    function objectReduce<R, T extends Object>(obj: T, callback: (acc: R, value: T[keyof T], key: keyof T) => R, initialValue: R): R;
+    function objectReduce<R, T extends object>(obj: T, callback: (acc: R, value: T[keyof T], key: keyof T) => R, initialValue: R): R;
     const setImmediate: (fn: VoidFunction) => VoidFunction;
     function isObject(obj: unknown): obj is object;
+    function patchSimulcastAnswerSdp(sdp: string, trans: RTCRtpTransceiver, width: number, height: number): string;
 }
 export default Utils;

package/static/WebRTCUtils.d.ts

@@ -127,6 +127,7 @@ declare namespace WebRTCUtils {
     function isBrokenH264Decoder(): boolean;
     /**
      * В некоторых браузерах VP9 encoder сломан
+     * В симулкасте вп9 енкодер ведет себя некорректно
      */
     function isBrokenVP9Encoder(): boolean;
     /**
@@ -142,6 +143,10 @@ declare namespace WebRTCUtils {
      * Может ли браузер делать H264 приоритетным
      */
     function canPreferH264(): boolean;
+    /**
+     * Некоторые браузеры (Firefox, Safari) некорректно поддерживают симулкаст
+     */
+    function isSimulcastSupportedByBrowser(): boolean;
     /**
      * Имя операционной системы
      */

package/types/ChangeSimulcast.d.ts

@@ -0,0 +1,6 @@
+import { MediaSourceType } from '../classes/MediaSource';
+import { SimulcastInfo } from './SimulcastInfo';
+export type ChangeSimulcast = {
+    mediaSource: MediaSourceType;
+    simulcastInfo: SimulcastInfo;
+};

package/types/Conversation.d.ts

@@ -1,11 +1,14 @@
 import { TransportTopology } from '../classes/transport/Transport';
 import CallDirection from '../enums/CallDirection';
+import CallType from '../enums/CallType';
 import ConversationFeature from '../enums/ConversationFeature';
 import ConversationOption from '../enums/ConversationOption';
+import MediaOption from '../enums/MediaOption';
 import UserRole from '../enums/UserRole';
 import { AsrInfo } from './Asr';
 import { IFeaturesPerRole } from './ConversationFeature';
-import { ExternalParticipantId } from './ExternalId';
+import { ExternalId, ExternalParticipantId } from './ExternalId';
+import { FastStartHandler } from './FastStart';
 import MediaModifiers from './MediaModifiers';
 import MuteStates from './MuteStates';
 import { OkUserId, ParticipantId } from './Participant';
@@ -68,3 +71,27 @@ export type ConversationData = {
     /** @hidden */
     urlSharingInfoByRoom: Map<IRoomId, RoomUrlSharingInfo>;
 };
+export type ConversationOnStartParams = {
+    opponentIds?: OkUserId[];
+    opponentType: CallType;
+    mediaOptions: MediaOption[];
+    payload?: string;
+    joiningAllowed?: boolean;
+    requireAuthToJoin?: boolean;
+    onlyAdminCanShareMovie?: boolean;
+    externalIds?: ExternalId[];
+    onFastStart?: FastStartHandler;
+};
+export type StartConversationParams = {
+    opponentIds?: OkUserId[];
+    opponentType: CallType;
+    direction: CallDirection;
+    mediaOptions: MediaOption[];
+    payload?: string;
+    joiningAllowed?: boolean;
+    requireAuthToJoin?: boolean;
+    onlyAdminCanShareMovie?: boolean;
+    externalIds?: ExternalId[];
+    startedTime: number;
+    onFastStart?: FastStartHandler;
+};

package/types/ConversationParams.d.ts

@@ -2,6 +2,7 @@ import IceServer from './IceServer';
 type ConversationParams = {
     token: string;
     endpoint: string;
+    wt_endpoint?: string;
     turn_server?: IceServer;
     stun_server?: IceServer;
     client_type?: string;
@@ -10,6 +11,18 @@ type ConversationParams = {
     isp_as_org?: string;
     loc_cc?: string;
     loc_reg?: string;
-    external_user_type: string;
+    external_user_type?: string;
+};
+export type ExternalConversationParams = {
+    et: number;
+    iv: boolean;
+    srcp: string;
+    stne: string;
+    tkn: string;
+    trne: string;
+    trnp: string;
+    trnu: string;
+    wse: string;
+    wte: string;
 };
 export default ConversationParams;

package/types/ConversationResponse.d.ts

@@ -1,4 +1,5 @@
 import HangupType from '../enums/HangupType';
+import IceServer from './IceServer';
 /**
  * Начальные данные создания звонка
  * @hidden
@@ -12,6 +13,10 @@ type ConversationResponse = {
      * URL для подключения
      */
     endpoint: string;
+    /**
+     * URL для подключения по WebTransport
+     */
+    wt_endpoint?: string;
     /**
      * Токен комнаты для подключения к звонку по ссылке
      */
@@ -27,5 +32,9 @@ type ConversationResponse = {
      * Порядковый номер, присвоенный устройству при входе в звонок
      */
     device_idx?: number;
+    turn_server?: IceServer;
+    stun_server?: IceServer;
+    client_type?: string;
+    token: string;
 };
 export default ConversationResponse;

package/types/ExternalId.d.ts

@@ -19,6 +19,7 @@ export declare namespace ExternalIdUtils {
     function fromId(id: ExternalUserId, type?: ExternalIdType, deviceIdx?: number): ExternalParticipantId;
     function fromSignalingParticipant(participant: SignalingMessage.Participant, useDecorative?: boolean): ExternalParticipantId | undefined;
     function fromSignaling(signalingId: SignalingMessage.ExternalId, deviceIdx?: number): ExternalParticipantId;
+    function toSignaling(externalId: ExternalId): string;
     function toString(externalId: ExternalId): ExternalIdString;
     function fromIdToString(id: ExternalUserId, type?: ExternalIdType, deviceIdx?: number): ExternalIdString;
     function fromString(stringId: ExternalIdString): ExternalParticipantId;

package/types/FastStart.d.ts

@@ -0,0 +1,46 @@
+import { HangupType, IceServer } from '../CallsSDK';
+import CallType from '../enums/CallType';
+import MediaOption from '../enums/MediaOption';
+import { ExternalId } from './ExternalId';
+/**
+ * Параметры, которые нужно вернуть для создания fastStart
+ */
+export interface InternalParams {
+    platform: string;
+    sdkVersion: string;
+    clientAppKey: string;
+    deviceId: string;
+    protocolVersion: number;
+    domainId?: string;
+}
+export interface InternalCallerParams {
+    id: ID;
+    isConcurrent: boolean;
+    endpoint: string;
+    wtEndpoint: string;
+    clientType: string;
+    turn: IceServer;
+    stun: IceServer;
+}
+export interface ID {
+    internal: number;
+    external: string;
+}
+export interface FastStartParams {
+    conversationId: string;
+    internalParams: string;
+    externalIds?: ExternalId[];
+    opponentType: CallType;
+    mediaOptions: MediaOption[];
+    joiningAllowed?: boolean;
+    requireAuthToJoin?: boolean;
+    isVideo?: boolean;
+}
+export interface FastStartResponse {
+    internalCallerParams: string;
+    rejectedParticipants: {
+        id: string;
+        status: HangupType;
+    }[];
+}
+export type FastStartHandler = (params: FastStartParams) => Promise<FastStartResponse>;

package/types/Participant.d.ts

@@ -86,3 +86,12 @@ export interface Participant {
 export interface IGetParticipantsParameters {
     externalIds: ExternalId[];
 }
+export type ParticipantStateDataKey = 'hand' | 'drat';
+export declare enum ParticipantStateDataValue {
+    OFF = "0",
+    ON = "1"
+}
+/**
+ * Список состояний в виде ключ-значение. Максимальная длина ключей и значений - 5 символов. Пустые значения будут пропущены
+ */
+export type ParticipantStateData = Partial<Record<ParticipantStateDataKey, ParticipantStateDataValue>>;

package/types/PerfStatReporter.d.ts

@@ -45,5 +45,6 @@ export interface ICallStatLog extends Pick<CallStatReport, 'call_topology' | 'na
     concealment_audio_avg_size?: number;
     video_loss?: number;
     audio_loss?: number;
+    cpu_hardware_concurrency?: number;
     [k: string]: string | number | undefined;
 }

package/types/ServerSettings.d.ts

@@ -6,12 +6,14 @@ import VideoSettings from './VideoSettings';
 export type ServerSettings = {
     camera: VideoSettings | null;
     screenSharing: VideoSettings | null;
+    fastScreenSharing: VideoSettings | null;
 };
 export default ServerSettings;
 export declare function compareServerSettings(ss1: ServerSettings, ss2: ServerSettings): boolean;
 export declare function merge(ss: ServerSettings, other: ServerSettings): {
     camera: VideoSettings;
     screenSharing: VideoSettings;
+    fastScreenSharing: VideoSettings;
 };
 export declare function createEmptyServerSettings(): ServerSettings;
 export declare function clone(ss: ServerSettings): ServerSettings;

package/types/SignalingMessage.d.ts

@@ -20,7 +20,7 @@ import MediaSettings from './MediaSettings';
 import { ISharedMovieInfo, ISharedMovieState, ISharedMovieStoppedInfo } from './MovieShare';
 import MuteStates from './MuteStates';
 import { CompositeUserId, OkUserId, ParticipantId, ParticipantListMarker as ParticipantParticipantListMarker, ParticipantListMarkers, ParticipantListType as ParticipantParticipantListType } from './Participant';
-import { ParticipantStreamDescription } from './ParticipantStreamDescription';
+import { MediaType, ParticipantStreamDescription } from './ParticipantStreamDescription';
 import { IRoomId } from './Room';
 import VideoSettings from './VideoSettings';
 import { ChatRoom } from './WaitingHall';
@@ -133,6 +133,7 @@ declare namespace SignalingMessage {
         muteStates?: MuteStates;
         asrInfo?: AsrInfo;
         urlSharingInfo?: RoomUrlSharingInfo;
+        joinLink?: string;
     }
     export interface Room {
         active?: boolean;
@@ -308,6 +309,7 @@ declare namespace SignalingMessage {
     export interface SettingsUpdate extends Notification {
         camera: VideoSettings;
         screenSharing: VideoSettings;
+        fastScreenSharing: VideoSettings;
         settings: Record<string, any>;
     }
     export interface StalledActivity extends Notification {
@@ -349,6 +351,7 @@ declare namespace SignalingMessage {
             maxBitrate: number;
             maxDimension: number;
         };
+        mediaType?: MediaType;
     }
     export interface CustomData extends Notification {
         participantId: OkUserId;

package/types/SimulcastInfo.d.ts

@@ -0,0 +1,10 @@
+export type SimulcastStreamInfo = {
+    rid: string;
+    width: number;
+    height: number;
+    fps: number;
+    bitrate: number;
+};
+export type SimulcastInfo = {
+    streams: SimulcastStreamInfo[];
+};

package/types/Statistics.d.ts

@@ -24,46 +24,199 @@ export interface ILocalIceCandidateStat extends IRemoteIceCandidateStat {
     relayProtocol: string;
     networkType: RTCNetworkType;
 }
-export type StatRtp = {
+interface StatRtpOutboundVideo {
+    frameHeight?: number;
+    frameWidth?: number;
+    /**
+     * Идентификатор потока RTP (RID).
+     *
+     * Используется для идентификации различных потоков видео (например, simulcast) в сессиях WebRTC.
+     */
+    rid?: string;
+    framesSent?: number;
+    framesPerSecond?: number;
+    targetBitrate?: number;
+}
+export interface StatRtp extends StatRtpOutboundVideo {
+    /**
+     * Уникальный идентификатор источника синхронизации RTP
+     */
     ssrc: number;
+    /**
+     * Идентификатор медиалинии (MID)
+     *
+     * Используется для уникальной идентификации медиалинии в рамках WebRTC-сессии.
+     * MID помогает сопоставлять медиапотоки с их соответствующими трансиверами.
+     */
+    mid?: string;
+    /**
+     * Тип статистики (например, inbound-rtp, outbound-rtp)
+     */
     type: string;
+    /**
+     * Тип медиа (например, audio, video)
+     */
     kind: string;
+    /**
+     * Общее количество байтов, полученных по этому потоку
+     */
     bytesReceived: number;
+    /**
+     * Общее количество байтов, отправленных по этому потоку
+     */
     bytesSent: number;
+    /**
+     * Общее количество байтов заголовков, полученных по этому потоку
+     */
     headerBytesReceived: number;
+    /**
+     * Общее количество байтов заголовков, отправленных по этому потоку
+     */
     headerBytesSent: number;
+    /**
+     * Среднее значение джиттера в секундах
+     * Джиттер — это вариация задержки в получении пакетов данных.
+     */
     jitter: number;
+    /**
+     * Общее количество потерянных пакетов
+     */
     packetsLost: number;
+    /**
+     * Общее количество полученных пакетов
+     */
     packetsReceived: number;
+    /**
+     * Общее количество отправленных пакетов
+     */
     packetsSent: number;
+    /**
+     * Доля потерянных пакетов
+     */
     fractionLost: number;
+    /**
+     * Количество Picture Loss Indication (PLI) сообщений
+     * PLI — это сообщения, указывающие на потерю кадров изображения.
+     */
     pliCount: number;
+    /**
+     * Количество Full Intra Request (FIR) сообщений
+     * FIR — это запросы на отправку полного внутрикодированного кадра.
+     */
     firCount: number;
+    /**
+     * Количество Negative ACKnowledgement (NACK) сообщений
+     * NACK — это сообщения, указывающие на потерю пакетов данных.
+     */
     nackCount: number;
+    /**
+     * Идентификатор пользователя, связанный с этим потоком
+     */
     userId?: string;
+    /**
+     * Пропускная способность в битах в секунду
+     */
     bandwidth?: number;
+    /**
+     * Процент потерянных пакетов
+     */
     packetLoss?: number;
+    /**
+     * Частота дискретизации в герцах
+     * Частота дискретизации определяет качество звука.
+     */
     clockRate?: number;
+    /**
+     * Название кодека
+     * @example audio/opus, video/vp8
+     */
     mimeType?: string;
-    frameHeight?: number;
-    frameWidth?: number;
+    /**
+     * Библиотека, которая используется для кодека
+     */
+    encoderImplementation?: string;
+    /**
+     * Библиотека, которая используется для декодера
+     */
+    decoderImplementation?: string;
+    /**
+     * Параметры кодека, есть только у audio кодеков
+     */
+    sdpFmtpLine?: string;
+    /**
+     * Общее количество декодированных кадров
+     */
     framesDecoded?: number;
+    /**
+     * Общее количество полученных кадров
+     */
     framesReceived?: number;
+    /**
+     * Общее количество отброшенных кадров
+     */
     framesDropped?: number;
+    /**
+     * Изменение количества отброшенных кадров
+     */
     framesDroppedDelta?: number;
+    /**
+     * Изменение задержки между кадрами
+     */
     interframeDelayVariance?: number;
+    /**
+     * Общее количество полученных аудиосэмплов
+     */
     totalSamplesReceived?: number;
+    /**
+     * Общее время кодирования видео в секундах.
+     *
+     * Показывает, сколько времени было потрачено на кодирование видео кадров.
+     * Не применяется для аудио.
+     */
+    totalEncodeTime?: number;
+    /**
+     * Общее количество замаскированных сэмплов
+     */
     concealedSamples?: number;
+    /**
+     * Количество вставленных сэмплов для замедления
+     */
     insertedSamplesForDeceleration?: number;
+    /**
+     * Количество удаленных сэмплов для ускорения
+     */
     removedSamplesForAcceleration?: number;
+    /**
+     * Количество замаскированных беззвучных сэмплов
+     */
     silentConcealedSamples?: number;
+    /**
+     * Количество событий маскировки
+     */
     concealmentEvents?: number;
+    /**
+     * Общее количество аудиоэнергии
+     * Аудиоэнергия — это мера мощности аудиосигнала.
+     */
     totalAudioEnergy?: number;
+    /**
+     * Общее время замерзания в секундах
+     */
     totalFreezesDuration: number;
+    /**
+     * Изменение общего времени замерзания
+     * Время замерзания — это период, в течение которого поток временно останавливается.
+     */
     totalFreezesDurationDelta?: number;
+    /**
+     * Количество событий замерзания
+     */
     freezeCount: number;
+    /**
+     * Изменение количества событий замерзания
+     */
     freezeCountDelta?: number;
-};
+}
 export type StatItem = {
     timestamp: number;
     transport: StatTransport;
@@ -87,3 +240,4 @@ export type StatResult = {
         rtps: StatRtp[];
     };
 };
+export {};