@vkontakte/calls-sdk 2.6.3-dev.c4e735f.0 → 2.6.3-dev.cd0dd8d.0

package/classes/Conversation.d.ts

@@ -217,6 +217,14 @@ export default class Conversation extends EventEmitter {
     private _onRemoveParticipant;
     changeDevice(kind: MediaDeviceKind): Promise<void>;
     toggleScreenCapturing(screenEnabled: boolean, audioShareEnabled: boolean): Promise<void>;
+    toggleAnimojiCapturing(state: boolean): void;
+    setAnimojiSvg(
+    /** svg в незашифрованном (string) или зашифрованном (ArrayBuffer) виде */
+    svg: string | ArrayBuffer, 
+    /** participantId внешнего участника звонка, не требуется для текущего участника (текущего пользователя клиента) */
+    participantId?: ParticipantId | null, 
+    /** ключ расшифровки svg внешнего пользователя или кастомный ключ, не требуется для незашифрованных svg */
+    decryptionKey?: string | null): void;
     setVideoStream(stream: MediaStream, isScreen?: boolean): Promise<void>;
     setAudioStream(stream: MediaStream): Promise<void>;
     toggleLocalVideo(enabled: boolean): Promise<void>;
@@ -271,11 +279,11 @@ export default class Conversation extends EventEmitter {
     createJoinLink(): Promise<string>;
     removeJoinLink(): Promise<never>;
     addMovie({ movieId, gain, metadata }: IAddMovieParams): Promise<{
-        movieId: string;
+        movieId: number;
         streamType: string;
     }>;
     updateMovie(params: IUpdateMovieData): Promise<void>;
-    removeMovie(movieId: string): Promise<void>;
+    removeMovie(movieId: number): Promise<void>;
     updateRooms(rooms: SignalingMessage.Room[], assignRandomly: boolean): Promise<void>;
     activateRooms(roomIds: number[], deactivate: boolean): Promise<void>;
     switchRoom(toRoomId: number | null, participantId?: ParticipantId): Promise<void>;
@@ -334,6 +342,12 @@ export default class Conversation extends EventEmitter {
     private _onOptionsChanged;
     private _onNetworkStatus;
     private _onRemoteStreamSecond;
+    /**
+     * Коллбек, вызывающийся при получении/остановке стрима от AnimojiReceiver
+     * @param participantId - участник, к которому относится стрим
+     * @param stream - стрим анимированного аватара, null в случае остановки стрима
+     */
+    private _onAnimojiStream;
     private _onPeerConnectionClosed;
     private _changeFeatureSet;
     private _changeNeedRate;

package/classes/MediaSource.d.ts

@@ -5,7 +5,8 @@ import MediaSettings from '../types/MediaSettings';
 export declare const enum MediaSourceEvent {
     SOURCE_CHANGED = "SOURCE_CHANGED",
     TRACK_REPLACED = "TRACK_REPLACED",
-    SCREEN_STATUS = "SCREEN_STATUS"
+    SCREEN_STATUS = "SCREEN_STATUS",
+    ANIMOJI_STATUS = "ANIMOJI_STATUS"
 }
 /**
  * Тип трека
@@ -29,12 +30,17 @@ export declare class MediaSource extends EventEmitter {
     private _videoStatusOnScreenCapturingEnabled;
     private _effect;
     private _onDeviceChange;
+    /** MediaSource занят при переключении камеры или микрофона */
+    private _sourceBusy;
+    /** Состояние выключателя Animoji в UI */
+    private _animojiEnabled;
     constructor();
     request(mediaOptions?: MediaOption[], needEmptyTracks?: boolean): Promise<void>;
     getStream(): MediaStream | null;
     getScreenTrack(): MediaStreamTrack | null;
     getSendVideoTrack(noDataChannel?: boolean): MediaStreamTrack | null;
     private _getSendAudioTrack;
+    getAnimojiEnabled(): boolean;
     addTrackToPeerConnection(pc: RTCPeerConnection, observer: boolean, noDataChannel: boolean, audioRed: boolean): void;
     getMediaSettings(): MediaSettings;
     changeDevice(kind: MediaDeviceKind): Promise<void>;
@@ -57,10 +63,13 @@ export declare class MediaSource extends EventEmitter {
      * Может использоваться для тестирования.
      */
     setAudioStream(stream: MediaStream): Promise<void>;
+    private _busy;
+    private _free;
     private _changeAudioInput;
     private _changeScreen;
     private _disableScreenCapture;
     private disableAudioShare;
+    private stopAudioShareTrack;
     private getSilentAudioShareTrack;
     private _replaceLocalTrack;
     private _stopLocalTrack;
@@ -71,6 +80,9 @@ export declare class MediaSource extends EventEmitter {
     toggleScreenCapturing(captureScreen: boolean, captureAudio: boolean): Promise<void>;
     toggleVideo(enabled: boolean): Promise<void>;
     toggleAudio(enabled: boolean): Promise<void>;
+    toggleAnimojiCapturing(enabled: boolean): void;
+    onAnimojiSender(created: boolean): void;
+    onAnimojiStream(stream?: MediaStream | null): Promise<void>;
     setResolution(width: number, height: number): Promise<void>;
     updateNoiseSuppression(): Promise<void>;
     videoEffect(effect: IEffect | null): Promise<void>;

package/classes/transport/DirectTransport.d.ts

@@ -1,3 +1,4 @@
+import type { AnimojiSvgData } from '@vkontakte/calls-vmoji';
 import BaseSignaling from '../../abstract/BaseSignaling';
 import { ParticipantId } from '../../types/Participant';
 import ServerSettings from '../../types/ServerSettings';
@@ -13,6 +14,10 @@ export default class DirectTransport extends EventEmitter {
     private _remoteSDP;
     private _remoteCandidates;
     private _state;
+    private _animojiDataChannel;
+    private _animojiReceiver;
+    private _animojiSender;
+    private _animojiSvgDataByParticipantId;
     private _isOpen;
     private _remotePeerId;
     private _statInterval;
@@ -39,6 +44,7 @@ export default class DirectTransport extends EventEmitter {
     preventRestart(): void;
     allowRestart(): void;
     close(error?: Error): void;
+    setAnimojiSvg(participantId: ParticipantId, svgData: AnimojiSvgData): void;
     private _setState;
     private _onSignalingNotification;
     private _handleTransmittedData;
@@ -58,6 +64,7 @@ export default class DirectTransport extends EventEmitter {
     private _createAnswer;
     private static _patchDescription;
     private _onReplacedTrack;
+    private _onAnimojiStatus;
     private _startStatInterval;
     private _stopStatInterval;
     private _checkBadNetwork;
@@ -65,4 +72,9 @@ export default class DirectTransport extends EventEmitter {
     private _stopSettingsInterval;
     private _calcFingerprint;
     private _applySettings;
+    private _createDataChannel;
+    private _createAnimojiReceiver;
+    private _removeAnimojiReceiver;
+    private _createAnimojiSender;
+    private _removeAnimojiSender;
 }

package/classes/transport/ServerTransport.d.ts

@@ -1,3 +1,4 @@
+import type { AnimojiSvgData } from '@vkontakte/calls-vmoji';
 import BaseSignaling from '../../abstract/BaseSignaling';
 import { ParticipantId } from '../../types/Participant';
 import ServerSettings from '../../types/ServerSettings';
@@ -14,6 +15,10 @@ export default class ServerTransport extends EventEmitter {
     private _producerScreen;
     private _consumerScreen;
     private _asr;
+    private _animojiDataChannel;
+    private _animojiReceiver;
+    private _animojiSender;
+    private _animojiSvgDataByParticipantId;
     private _isOpen;
     private _observer;
     private _reconnectionPrevented;
@@ -36,7 +41,7 @@ export default class ServerTransport extends EventEmitter {
     private _rtpReceiversByStreamId;
     private _producerSessionId;
     private _newAudioShareTrack;
-    constructor(signaling: BaseSignaling, mediaSource: MediaSource, serverSettings: ServerSettings);
+    constructor(signaling: BaseSignaling, mediaSource: MediaSource, serverSettings: ServerSettings, animojiSvgDataByParticipantId?: Record<ParticipantId, AnimojiSvgData>);
     getState(): TransportState;
     updateStatisticsInterval(): void;
     open(observer?: boolean): void;
@@ -45,6 +50,7 @@ export default class ServerTransport extends EventEmitter {
     preventRestart(): void;
     allowRestart(): void;
     updateSettings(settings: ServerSettings): void;
+    setAnimojiSvg(participantId: ParticipantId, svgData: AnimojiSvgData): void;
     private _closeConnection;
     private static _closeDataChannel;
     private _createDataChannel;
@@ -60,8 +66,13 @@ export default class ServerTransport extends EventEmitter {
     private _removeCaptureSender;
     private _createCaptureReceiver;
     private _removeCaptureReceiver;
+    private _createAnimojiSender;
+    private _removeAnimojiSender;
+    private _createAnimojiReceiver;
+    private _removeAnimojiReceiver;
     private _applyConsumerSettings;
     private _onScreenSharingStatus;
+    private _onAnimojiStatus;
     private _setState;
     private _startStatInterval;
     private _stopStatInterval;

package/classes/transport/Transport.d.ts

@@ -1,3 +1,4 @@
+import type { AnimojiSvgData } from '@vkontakte/calls-vmoji/types';
 import BaseSignaling from '../../abstract/BaseSignaling';
 import { ParticipantId } from '../../types/Participant';
 import ServerSettings from '../../types/ServerSettings';
@@ -17,7 +18,8 @@ export declare const enum TransportEvent {
     TOPOLOGY_CHANGED = "TOPOLOGY_CHANGED",
     NETWORK_STATUS = "NETWORK_STATUS",
     PEER_CONNECTION_CLOSED = "PEER_CONNECTION_CLOSED",
-    ASR_TRANSCRIPTION = "ASR_TRANSCRIPTION"
+    ASR_TRANSCRIPTION = "ASR_TRANSCRIPTION",
+    ANIMOJI_STREAM = "ANIMOJI_STREAM"
 }
 export declare const enum TransportState {
     IDLE = "IDLE",
@@ -45,6 +47,7 @@ export declare class Transport extends EventEmitter {
     private _stListeners;
     private _states;
     private _localState;
+    private _animojiSvgDataByParticipantId;
     constructor(topology: TransportTopology, signaling: BaseSignaling, mediaSource: MediaSource, serverSettings: ServerSettings);
     updateSettings(settings: ServerSettings): void;
     updateStatisticsInterval(): void;
@@ -57,6 +60,7 @@ export declare class Transport extends EventEmitter {
     allocated(): string[];
     opened(): string[];
     getState(): TransportState;
+    setAnimojiSvg(participantId: ParticipantId, svgData: AnimojiSvgData): void;
     private _setStates;
     private _setState;
     private _setLocalState;
@@ -83,5 +87,6 @@ export declare class Transport extends EventEmitter {
     private _onServerRemoteTrackAdded;
     private _onServerRemoteTrackRemoved;
     private _onAsrTranscription;
+    private _onAnimojiStream;
     getStreamWaitingTimeMs(streamId: string, targetRtpTimestamp: number): number;
 }

package/enums/DataChannelLabel.d.ts

@@ -3,6 +3,7 @@ declare const enum DataChannelLabel {
     producerCommand = "producerCommand",
     consumerScreenShare = "consumerScreenShare",
     producerScreenShare = "producerScreenShare",
-    asr = "asr"
+    asr = "asr",
+    animoji = "animoji"
 }
 export default DataChannelLabel;

package/enums/MediaOption.d.ts

@@ -6,6 +6,7 @@ declare enum MediaOption {
     VIDEO = "VIDEO",
     SCREEN_SHARING = "SCREEN_SHARING",
     MOVIE_SHARING = "MOVIE_SHARING",
-    AUDIO_SHARING = "AUDIO_SHARING"
+    AUDIO_SHARING = "AUDIO_SHARING",
+    ANIMOJI = "ANIMOJI"
 }
 export default MediaOption;

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@vkontakte/calls-sdk",
-  "version": "2.6.3-dev.c4e735f.0",
+  "version": "2.6.3-dev.cd0dd8d.0",
   "author": "vk.com",
   "description": "Library for video calls based on the vk.com platform",
   "homepage": "https://vk.com",
@@ -15,6 +15,7 @@
   ],
   "dependencies": {
     "@vkontakte/calls-video-effects": "1.0.6-beta.18",
+    "@vkontakte/calls-vmoji": "1.0.4",
     "@vkontakte/libvpx": "2.0.9",
     "bit-buffer": "0.2.5",
     "messagepack": "1.1.12",

package/static/External.d.ts

@@ -215,8 +215,9 @@ declare namespace External {
      * Ошибка получения трека с камеры или микрофона
      *
      * @param error
+     * @param original
      */
-    function onPermissionsError(error: FatalError): void;
+    function onPermissionsError(error: FatalError, original: Error): void;
     /**
      * Пользователь отключился от звонка
      *

package/static/Params.d.ts

@@ -1,4 +1,5 @@
 import type { VideoEffects } from '@vkontakte/calls-video-effects';
+import type * as Vmoji from '@vkontakte/calls-vmoji';
 import { ConversationData } from '../classes/Conversation';
 import HangupReason from '../classes/HangupReason';
 import { MediaTrackKind } from '../classes/MediaSource';
@@ -119,6 +120,12 @@ export declare type ParamsObject = {
      * _По умолчанию: `15`_
      */
     screenFrameRate: number;
+    /**
+     * Вариант захвата экрана. Поддерживается в Chrome 107+
+     * @see https://developer.chrome.com/docs/web-platform/screen-sharing-controls/
+     * @hidden
+     */
+    displaySurface: DisplayCaptureSurfaceType;
     /**
      * Экземпляр класса `VideoEffects` из `@vkontakte/calls-video-effects`
      *
@@ -137,6 +144,12 @@ export declare type ParamsObject = {
      * _По умолчанию: `480`_
      */
     videoEffectMaxHeight: number;
+    /**
+     * Экземпляр класса `Vmoji` из `@vkontakte/calls-vmoji`
+     *
+     * Можно установить позднее методом `setVmoji`
+     */
+    vmoji: typeof Vmoji | null;
     iceRestartWaitTime: number;
     transportConnectionWaitTime: number;
     /**
@@ -305,6 +318,12 @@ export declare type ParamsObject = {
      * @hidden
      */
     screenShareCongestionControl: boolean;
+    /**
+     * Включить возможность захвата звука при трансляции экрана
+     *
+     * _По умолчанию: `false`_
+     */
+    audioShare: boolean;
     /**
      * Настройки api
      */
@@ -416,7 +435,7 @@ export declare type ParamsObject = {
     /**
      * Ошибка получения трека с камеры или микрофона
      */
-    onPermissionsError?: (error: FatalError) => void;
+    onPermissionsError?: (error: FatalError, original: Error) => void;
     /**
      * Пользователь отключился от звонка
      */
@@ -585,10 +604,6 @@ export declare type ParamsObject = {
      * @param feedback массив с реакциями
      */
     onFeedback?: (feedback: IFeedbackExternal[], roomId: number | null) => void;
-    /**
-     * Включать capability c аудио шарой
-     */
-    audioShareCapabilityEnabled: boolean;
     /**
      * Изменился список ролей, которым доступны ConversationFeatures
      *
@@ -650,12 +665,16 @@ export default abstract class Params {
     static get videoFrameRate(): number;
     static get videoFacingMode(): FacingMode;
     static get screenFrameRate(): number;
+    static get displaySurface(): DisplayCaptureSurfaceType;
     static get videoEffects(): VideoEffects | null;
     static set videoEffects(value: VideoEffects | null);
     static get videoEffectMaxWidth(): number;
     static set videoEffectMaxWidth(value: number);
     static get videoEffectMaxHeight(): number;
     static set videoEffectMaxHeight(value: number);
+    static get useVmoji(): boolean;
+    static get vmoji(): typeof Vmoji | null;
+    static set vmoji(value: typeof Vmoji | null);
     static get voiceParams(): {
         [key: string]: number;
     };
@@ -698,7 +717,7 @@ export default abstract class Params {
     static get filterObservers(): boolean;
     static get muteMode(): boolean;
     static get preserveAudioTracks(): boolean;
-    static get audioShareCapabilityEnabled(): boolean;
+    static get audioShare(): boolean;
     static get screenShareCongestionControl(): boolean;
     static get api(): {
         /** таймаут для батчинга на получение externalId */

package/static/WebRTCUtils.d.ts

@@ -49,7 +49,9 @@ declare class MediaConstraints {
  * @hidden
  */
 export declare class ScreenConstraints extends MediaConstraints {
+    readonly captureController: CaptureController | null;
     constructor(width: number, height: number, withAudioShare: boolean);
+    getNative(): object;
 }
 declare namespace WebRTCUtils {
     /**
@@ -178,6 +180,9 @@ declare namespace WebRTCUtils {
      * Возвращает подверсию браузера (если она есть)
      */
     function browserSubVersion(): string;
+    /**
+     * Браузер поддерживает захват звука при трансляции экрана
+     */
     function isAudioShareSupported(): boolean;
 }
 export default WebRTCUtils;

package/types/MediaSettings.d.ts

@@ -18,6 +18,10 @@ export declare type MediaSettings = {
      * Включена ли трансляция звука
      */
     isAudioSharingEnabled: boolean;
+    /**
+     * Включена ли трансляция вимоджи
+     */
+    isAnimojiEnabled: boolean;
     videoStreams: VideoStreamInfo[];
 };
 export declare type VideoStreamInfo = {

package/types/MovieShare.d.ts

@@ -1,18 +1,52 @@
 import LiveStatus from '../enums/LiveStatus';
-import { OkUserId, CompositeUserId } from './Participant';
+import { CompositeUserId } from './Participant';
 import { MediaType } from './ParticipantStreamDescription';
+/**
+ * Preview изображения ролика
+ */
 export interface IMoviePreview {
+    /**
+     * Ссылка на изображение
+     */
     url: string;
+    /**
+     * Ширина изображения
+     */
     width: number;
+    /**
+     * Высота изображения
+     */
     height: number;
 }
+/**
+ * MetaData ролика
+ */
+export interface IMovieMetaData {
+    /**
+     * Название ролика
+     */
+    title?: string;
+    /**
+     * Список Preview
+     */
+    thumbnails?: IMoviePreview[];
+}
+/**
+ * Параметры для добавления ролика в Совместный Просмотр
+ */
 export interface IAddMovieParams {
-    movieId: string;
+    /**
+     * ID  Ролика
+     */
+    movieId: number;
+    /**
+     * Начальная громкость
+     */
     gain?: number;
-    metadata?: {
-        title?: string;
-        thumbnails?: IMoviePreview[];
-    };
+    /**
+     * MetaData ролика
+     */
+    metadata?: IMovieMetaData;
 }
 export declare type ISharedMovieStateResponse = [
     number,
@@ -23,38 +57,133 @@ export declare type ISharedMovieStateResponse = [
     number,
     number
 ];
+/**
+ * Состояние проигрываемого ролика
+ */
 export interface ISharedMovieState {
+    /**
+     * ID Инициатора совместного просмотра
+     * @hidden
+     */
     participantId: CompositeUserId;
+    /**
+     * Громкость
+     */
     gain?: number;
+    /**
+     * Находится ли в состоянии паузы
+     */
     pause?: boolean;
+    /**
+     * Время прошедшее с начала ролика (сек)
+     */
     offset?: number;
+    /**
+     * Находится ли в стостоянии временного мьюта звука
+     */
     mute?: boolean;
+    /**
+     * Состояние лайва
+     * @hidden
+     */
     liveStatus?: LiveStatus;
+    /**
+     * Время до начала трансляции
+     * @hidden
+     */
     startTimeMs: number;
 }
+/**
+ * Параментры для обновления состояния ролика
+ */
 export interface IUpdateMovieData {
-    movieId: string;
+    /**
+     * Id ролика
+     */
+    movieId: number;
+    /**
+     * Громкость
+     */
     gain?: number;
+    /**
+     * Поставить на паузу / снять с паузы
+     */
     pause?: boolean;
+    /**
+     * Перемотать на n секунд
+     */
     offset?: number;
+    /**
+     * Временно отключить звук / включить звук в предыдущее состояние
+     */
     mute?: boolean;
 }
+/**
+ * Информация по добавленному ролику в Совместный просмотр
+ */
 export interface ISharedMovieInfo {
-    movieId: OkUserId;
+    /**
+     * Id ролика
+     */
+    movieId: number;
+    /**
+     * Id инициатора совсместного просмотра
+     * @hidden
+     */
     initiatorId: CompositeUserId;
+    /**
+     * Название ролика
+     */
     title: string;
+    /**
+     * Тип ролика (на данный момент STREAM или MOVIE)
+     */
     source: MediaType;
+    /**
+     * Внешний Id ролика
+     */
     externalMovieId: string;
+    /**
+     * Продолжительность ролика в секундах
+     */
     duration: number;
+    /**
+     * Массив Preview
+     */
     thumbnails: IMoviePreview[];
 }
+/**
+ * Информация по удоленному из Совместного Просмотра ролику
+ */
 export interface ISharedMovieStoppedInfo {
-    movieId: OkUserId;
+    /**
+     * Id ролика
+     */
+    movieId: number;
+    /**
+     * Id инициатора совсместного просмотра
+     * @hidden
+     */
     initiatorId: CompositeUserId;
+    /**
+     * Тип ролика (на данный момент STREAM или MOVIE)
+     */
     source: MediaType;
 }
+/**
+ * Информация по пришедшему стриму ролика в Совместном просмотре
+ */
 export interface IOnRemoteMovieData {
+    /**
+     * Id стрима
+     */
     streamName: string;
+    /**
+     * Стрим
+     */
     stream: MediaStream | null;
+    /**
+     * Тип ролика (на данный момент STREAM или MOVIE)
+     */
     mediaType: MediaType;
 }

package/types/MuteStates.d.ts

@@ -18,7 +18,7 @@ export interface IMuteParticipantParams {
 export interface IMuteParticipantInternalParams {
     uid: OkUserId | null;
     muteStates: MuteStates;
-    requestedMedia: MediaOption[];
-    deviceIdx: number;
-    roomId: number | null;
+    requestedMedia?: MediaOption[];
+    deviceIdx?: number;
+    roomId?: number | null;
 }

package/types/ParticipantStreamDescription.d.ts

@@ -7,7 +7,8 @@ export declare enum MediaType {
     SCREEN = "SCREEN",
     STREAM = "STREAM",
     MOVIE = "MOVIE",
-    AUDIOSHARE = "AUDIOSHARE"
+    AUDIOSHARE = "AUDIOSHARE",
+    ANIMOJI = "ANIMOJI"
 }
 export declare function serializeParticipantStreamDescription(description: ParticipantStreamDescription): string;
 export declare function parseParticipantStreamDescription(descriptionString: string): ParticipantStreamDescription;