@vkontakte/calls-sdk 2.8.13-dev.9394b771.0 → 2.8.13-dev.a071796a.0

package/classes/AudioOutput.d.ts

@@ -15,8 +15,9 @@ export default class AudioOutput {
     private readonly _features;
     private readonly _statFirstMediaReceived;
     private readonly _logger;
+    private _autoplayRecoveryController;
     constructor(statFirstMediaReceived: StatFirstMediaReceived, allowMultipleTracks?: boolean, debug?: DebugLogger, logger?: StatEventCollector | null);
-    add(participantId: ParticipantId, track: MediaStreamTrack): void;
+    add(participantId: ParticipantId, track: MediaStreamTrack, replaceAll?: boolean): void;
     remove(participantId: ParticipantId, track: MediaStreamTrack): void;
     get volume(): number;
     set volume(volume: number);
@@ -26,6 +27,7 @@ export default class AudioOutput {
     protected _getTracks(): MediaStreamTrack[];
     protected _initAudioElement(): void;
     protected _stopAudioElement(): void;
+    private _stopAutoplayRecovery;
     private _createAudioElement;
     private _prepareAudioElement;
     private _addTrackToAudioElement;

package/classes/MediaSource.d.ts

@@ -1,5 +1,6 @@
 import type { IEffect } from '@vkontakte/calls-video-effects';
 import EventEmitter from '../classes/EventEmitter';
+import ActiveFeature from '../enums/ActiveFeature';
 import MediaOption from '../enums/MediaOption';
 import { type DebugLogger } from '../static/Debug';
 import MediaSettings, { IVideoDimentions } from '../types/MediaSettings';
@@ -77,6 +78,8 @@ export declare class MediaSource extends EventEmitter {
      */
     getMediaSettings(): MediaSettings;
     get mediaSettings(): MediaSettings;
+    /** Что сейчас включено у пользователя — для метрики active_features */
+    get activeFeatures(): ActiveFeature[];
     changeDevice(kind: MediaDeviceKind): Promise<void>;
     /**
      * Установка кастомного стрима для видео, например внешний шаринг экрана

package/classes/StatsLogger.d.ts

@@ -2,7 +2,7 @@ import BaseApi from '../abstract/BaseApi';
 import BaseLogger from '../abstract/BaseLogger';
 import StatLog from '../enums/StatLog';
 import TransportTopology from '../enums/TransportTopology';
-type ClientStatsPayload = Record<string, string | number | boolean | undefined | null>;
+type ClientStatsPayload = Record<string, string | string[] | number | boolean | undefined | null>;
 export type LogClientStatsOptions = {
     immediately?: boolean;
     occurredAt?: number;

package/classes/conversation/Conversation.d.ts

@@ -117,7 +117,7 @@ export default class Conversation extends EventEmitter {
     accept(mediaOptions: MediaOption[]): Promise<ConversationData>;
     decline(params?: HangupParams): Promise<void>;
     hangup(params?: HangupParams): Promise<void>;
-    addParticipant(participantIds: ExternalId[], params?: AddParticipantParams): Promise<void>;
+    addParticipant(participantIds: ExternalId[], params?: AddParticipantParams): Promise<ExternalParticipant[] | undefined>;
     addParticipantLegacy(participantIds: CompositeUserId[], params?: AddParticipantParams): Promise<void>;
     removeParticipant(participantId: CompositeUserId, ban?: boolean): Promise<void>;
     setVolume(volume: number): void;
@@ -159,6 +159,7 @@ export default class Conversation extends EventEmitter {
     private _onConversationParticipantListChunk;
     private _createParticipantListChunk;
     private _participantListChunkToExternalChunk;
+    private _participantsToExternal;
     private _registerConnectionParticipants;
     private _registerParticipants;
     /** Установим состояние локальных мьютов */
@@ -453,6 +454,11 @@ export default class Conversation extends EventEmitter {
     private _onVideoSuspendSuggest;
     private _onParticipantHold;
     private _isMe;
+    /**
+     * Сколько человек сейчас в звонке. Считаем только принявших: приглашенные,
+     * у которых еще идет вызов, ресурсы не потребляют.
+     */
+    private _getParticipantsCount;
     private _getMuteStatesForRoomId;
     private _getMuteStatesForCurrentRoom;
     private _setMuteStatesForRoomId;

package/classes/stat/BatteryStats.d.ts

@@ -0,0 +1,25 @@
+import StatEventCollector from './StatEventCollector';
+export interface BatteryClock {
+    monotonicNow(): number;
+}
+/**
+ * Метрика battery_level_change: на каждое изменение уровня заряда отправляется
+ * само изменение в процентных пунктах и время, за которое оно произошло.
+ * Пока устройство на зарядке, замеры не ведутся: зарядка сбрасывает точку отсчёта,
+ * и первое изменение после неё только задаёт новую.
+ *
+ * Battery Status API есть только в Chromium, в Safari и Firefox его нет —
+ * там класс молча ничего не делает.
+ */
+export declare class BatteryStats {
+    private readonly _logger;
+    private readonly _clock;
+    private _battery;
+    private _previous;
+    private _destroyed;
+    constructor(logger: StatEventCollector, clock?: BatteryClock);
+    destroy(): void;
+    private _subscribe;
+    private _handleChargingChange;
+    private _handleLevelChange;
+}

package/classes/stat/ClientResourceStats.d.ts

@@ -0,0 +1,41 @@
+import ActiveFeature from '../../enums/ActiveFeature';
+import { type DebugLogger } from '../../static/Debug';
+/** Метрики ресурсов клиента за интервал между отправками callStat */
+export type ClientResourceReport = {
+    /** Максимум участников за интервал */
+    participants_max?: number;
+    /** Фичи, включенные в любой момент интервала */
+    active_features?: string[];
+    /** Максимальная площадь окна за интервал, в мегапикселях */
+    app_total_area_mpx_max?: number;
+};
+export type ClientResourceSources = {
+    getParticipantsCount: () => number;
+    getActiveFeatures: () => ActiveFeature[];
+};
+/**
+ * Копит ресурсные метрики между отправками callStat: репортер забирает накопленное
+ * через takeReport() и начинает копить заново.
+ *
+ * Замеряем чаще, чем отправляем, потому что нас интересует не состояние в момент отправки,
+ * а что происходило за интервал: пик участников и все фичи, которые успели поработать.
+ */
+export declare class ClientResourceStats {
+    private readonly _sources;
+    private readonly _debug;
+    private _timer;
+    private _participantsMax;
+    private _areaMpxMax;
+    private _features;
+    constructor(sources: ClientResourceSources, debug?: DebugLogger);
+    /** Забрать накопленное за интервал и начать копить заново */
+    takeReport(): ClientResourceReport;
+    destroy(): void;
+    private _sample;
+    /**
+     * Площадь окна в физических пикселях: CSS-пиксели умножаем на devicePixelRatio,
+     * иначе одно и то же окно на экране с ретиной и без давало бы одинаковую цифру.
+     * Приложение в вебе — это одна вкладка, суммировать нечего.
+     */
+    private _measureAreaMpx;
+}

package/classes/stat/ConversationStats.d.ts

@@ -4,7 +4,9 @@ import TransportTopology from '../../enums/TransportTopology';
 import HangupReason from '../HangupReason';
 import StatEventCollector from './StatEventCollector';
 import { ApiCallStats } from './ApiCallStats';
+import { BatteryStats } from './BatteryStats';
 import { CallLifecycleStats } from './CallLifecycleStats';
+import { ClientResourceSources, ClientResourceStats } from './ClientResourceStats';
 import { CodecStatsAggregator } from './CodecStatsAggregator';
 import { StatAggregator } from './StatAggregator';
 import { StatPings } from './StatPings';
@@ -17,9 +19,11 @@ export declare class ConversationStats {
     readonly pings: StatPings;
     readonly signalingCommands: StatSignalingCommands;
     readonly apiCalls: ApiCallStats;
+    readonly resources: ClientResourceStats;
+    readonly battery: BatteryStats;
     private readonly _api;
     private _unloading;
-    constructor(api: BaseApi, externalLogger: BaseLogger | null, getConversationId: () => string | null, getTopology: () => TransportTopology | undefined);
+    constructor(api: BaseApi, externalLogger: BaseLogger | null, getConversationId: () => string | null, getTopology: () => TransportTopology | undefined, resourceSources: ClientResourceSources);
     /**
      * Вызывается из pagehide-обработчика: события финиша должны пережить смерть
      * вкладки. Сводки пингов и команд сбрасываем здесь же — destroy() их только

package/classes/stat/SdpStats.d.ts

@@ -32,8 +32,9 @@ export declare class SdpStats {
     /** Не смогли применить SDP собеседника */
     logSetRemoteFailed(sdp: SdpDescription, error: unknown): void;
     destroy(): void;
-    private _intervalSince;
     private _logFailure;
     private _log;
 }
+/** Браузер может спрятать локальный адрес за именем вида <uuid>.local, такой кандидат в стату не шлём */
+export declare function isIpAddress(address: string): boolean;
 export {};

package/classes/stat/StatAggregator.d.ts

@@ -1,11 +1,13 @@
 import { ICallStatLog } from '../../types/PerfStatReporter';
 import { IEventualStatLog } from '../../types/IEventualStatLog';
 import StatEventCollector from './StatEventCollector';
+import { ClientResourceStats } from './ClientResourceStats';
 export declare class StatAggregator {
     private readonly _logger;
+    private readonly _resources;
     private readonly _eventualLogs;
     private _lastCallStatContext;
-    constructor(logger: StatEventCollector);
+    constructor(logger: StatEventCollector, resources?: ClientResourceStats | null);
     logCallStat(params: ICallStatLog): void;
     /**
      * Событие уходит с теми полями, что переданы. Без value — уходит без value.

package/classes/stat/StatEventCollector.d.ts

@@ -2,7 +2,7 @@ import BaseApi from '../../abstract/BaseApi';
 import BaseLogger from '../../abstract/BaseLogger';
 import StatLog from '../../enums/StatLog';
 import TransportTopology from '../../enums/TransportTopology';
-type ClientStatsPayload = Record<string, string | number | boolean | undefined | null>;
+type ClientStatsPayload = Record<string, string | string[] | number | boolean | undefined | null>;
 export type LogClientStatsOptions = {
     /** Время наступления события. По умолчанию — момент записи. */
     occurredAt?: number;

package/classes/stat/StatQueue.d.ts

@@ -2,8 +2,8 @@
 export declare const RECORD_LIMIT = 5000;
 /** Срок жизни события в очереди. */
 export declare const MAX_AGE_MS: number;
-/** Произвольный набор скалярных полей события. */
-export type StatPayload = Record<string, string | number | boolean | null>;
+/** Произвольный набор полей события: скаляры и списки строк. */
+export type StatPayload = Record<string, string | string[] | number | boolean | null>;
 /** Запись очереди без сгенерированного ключа. */
 export type StatQueueEntry = {
     /** userId владельца события. Не может быть неизвестным. */

package/classes/transport/PerfStatReporter.d.ts

@@ -8,8 +8,10 @@ export default class PerfStatReporter extends EventEmitter {
     private _previousPerfStatReportTimestamp;
     private _previousNetworkStatReportTimestamp;
     private _previousCallStatReportTimestamp;
-    private _previousCallStatReport;
+    private _previousCounters;
     private _previousRemoteInboundRtps;
+    private _previousInboundRtps;
+    private _previousOutboundRtps;
     private _previousCandidatePair;
     private _screenShareStats;
     private _signaling;
@@ -24,7 +26,9 @@ export default class PerfStatReporter extends EventEmitter {
     private reportNetworkStats;
     private _reportCallStats;
     private _reportCandidatePair;
+    private _calculateRemotePacketLoss;
     private _calculatePacketLoss;
+    private _calculateOutboundDeltas;
     private _handleScreenSharingStat;
     private _handleTransportStateChanged;
 }

package/classes/transport/ServerTransport.d.ts

@@ -83,6 +83,8 @@ export default class ServerTransport extends BaseTransport {
     private _startSettingsInterval;
     private _stopSettingsInterval;
     private _collectStat;
+    /** mid потока быстрой шары, чтобы отделить его от камеры в статистике */
+    private _getScreenShareMid;
     private _reportStats;
     private _detectStaleTracks;
     private _allocateConsumer;

package/classes/transport/Transport.d.ts

@@ -37,6 +37,8 @@ export declare class Transport extends EventEmitter {
     private _opened;
     private _directTransport;
     private _serverTransport;
+    private _pendingServerAudio;
+    private _serverAudioController;
     private _serverSettings;
     private _dtListeners;
     private _stListeners;
@@ -91,6 +93,9 @@ export declare class Transport extends EventEmitter {
     private _onServerAudioMixStall;
     private _onRemoteDataStats;
     private _onRemoteTrackAdded;
+    private _onServerTrackAdded;
+    private _trySwitchToServerAudio;
+    private _clearPendingServerAudio;
     private _onRemoteTrackRemoved;
     private _onAsrTranscription;
     private _onSourceChanged;

package/default/Api.d.ts

@@ -10,6 +10,7 @@ import PushData from '../types/PushData';
 export default class Api extends BaseApi {
     private _uuid;
     private _idCache;
+    constructor();
     private _callUnsafe;
     protected _call(method: string, data?: any, noSession?: boolean, allowReauthorize?: boolean): Promise<any>;
     userId(participantId: ParticipantId): ExternalParticipantId | null;
@@ -22,6 +23,8 @@ export default class Api extends BaseApi {
     private _removeCachedAnonymLogin;
     private _reauthorize;
     private _applyAnonymLogin;
+    /** Кладёт в кеш id соответствие своего участника из auth.anonymLogin */
+    private _cacheSelfExternalId;
     private _buildClientStatsData;
     /** Ошибки по отдельным событиям логируются, но батч трактуется целиком. */
     private _reportClientStatsItemErrors;

package/enums/ActiveFeature.d.ts

@@ -0,0 +1,19 @@
+/**
+ * Фичи, активные во время звонка. Уходят в метрику active_features,
+ * чтобы по ним разрезать остальную статистику: сколько фризов при включённой камере,
+ * какой битрейт при шаре и так далее.
+ *
+ * Здесь только то, что реально включено прямо сейчас, а не то, что разрешено настройками:
+ * иначе фича попадала бы в метрику у всех, кому ее просто не запретили.
+ *
+ * Сервер принимает только имена из своего списка, незнакомые отбрасывает с ошибкой.
+ * Новое имя добавляем сюда после того, как его добавят на сервере.
+ */
+declare enum ActiveFeature {
+    MICROPHONE = "MICROPHONE",
+    CAMERA = "CAMERA",
+    /** Любая шара экрана, в том числе быстрая */
+    SCREEN = "SCREEN",
+    ANIMOJI = "ANIMOJI"
+}
+export default ActiveFeature;

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@vkontakte/calls-sdk",
-  "version": "2.8.13-dev.9394b771.0",
+  "version": "2.8.13-dev.a071796a.0",
   "author": "vk.com",
   "description": "Library for video calls based on the vk.com platform",
   "homepage": "https://vk.com",
@@ -14,9 +14,9 @@
     "**/*.d.ts"
   ],
   "dependencies": {
-    "@vkontakte/calls-audio-effects": "1.4.2-dev.4a2ab040.0",
+    "@vkontakte/calls-audio-effects": "1.4.1",
     "@vkontakte/calls-video-effects": "2.2.3-beta.7",
-    "@vkontakte/calls-vmoji": "1.0.10-dev.1b7a636b.0",
+    "@vkontakte/calls-vmoji": "1.0.10-beta.17",
     "@vkontakte/libvpx": "2.0.9",
     "bit-buffer": "0.2.5",
     "fflate": "^0.8.2",

package/static/AuthData.d.ts

@@ -1,9 +1,16 @@
-import type { OkUserId } from '../types/Participant';
+import type { ExternalParticipantId } from '../types/ExternalId';
+import type { OkUserId, ParticipantId } from '../types/Participant';
+/** Свой участник и его внешний id */
+export type SelfExternalId = {
+    participantId: ParticipantId;
+    externalId: ExternalParticipantId;
+};
 export default abstract class AuthData {
     private static _sessionKey;
     private static _sessionSecretKey;
     private static _accessToken;
     private static _userId;
+    private static _selfExternalId;
     private static _reauthorizePromise;
     static get sessionKey(): string | undefined;
     static set sessionKey(value: string | undefined);
@@ -13,6 +20,9 @@ export default abstract class AuthData {
     static set accessToken(value: string | undefined);
     static get userId(): OkUserId | null;
     static set userId(value: OkUserId | null);
+    /** Свой участник и его внешний id из ответа auth.anonymLogin */
+    static get selfExternalId(): SelfExternalId | null;
+    static set selfExternalId(value: SelfExternalId | null);
     static isEmpty(): boolean;
     /**
      * Дедуплицирует одновременные попытки реавторизации из разных инстансов Api.

package/types/ClientStatsEvent.d.ts

@@ -1,7 +1,8 @@
+import { StatPayload } from '../classes/stat/StatQueue';
 /**
  * Событие статистики SDK, которое получает `onClientStats`
  */
-export type ClientStatsEvent = Record<string, string | number | boolean | null> & {
+export type ClientStatsEvent = StatPayload & {
     /** Имя события из `Stat`. У периодической статистики звонка его нет */
     name?: string;
     /** ID звонка, `null` — пока он неизвестен */

package/types/PerfStatReporter.d.ts

@@ -40,9 +40,33 @@ export interface ICallStatLog extends Pick<CallStatReport, 'call_topology' | 'na
     is_simulcast?: boolean;
     concealed_silent_audio_samples?: number;
     concealment_audio_avg_size?: number;
+    /** Потери исходящего видео: 100 * ΣΔpacketsLost / (ΣΔpacketsLost + ΣΔpacketsSent), по парам SSRC со свежим RR */
     video_loss?: number;
+    /** Потери исходящего аудио: 100 * ΣΔpacketsLost / (ΣΔpacketsLost + ΣΔpacketsSent), по парам SSRC со свежим RR */
     audio_loss?: number;
+    /** Потери входящего видео за период, в процентах */
+    in_video_loss?: number;
+    /** Потери входящего аудио за период, в процентах */
+    in_audio_loss?: number;
+    /** Байты, отправленные по исходящим аудио потокам за период, включая шару звука */
+    audio_bytes_sent?: number;
+    /** Уровень исходящего звука в шкале 16-битного PCM, от 0 до 32767 */
+    audio_level?: number;
+    /** Битрейт исходящего видео без ретрансмитов, кибибит/с */
+    br_encode?: number;
+    /** Битрейт отправки видео камеры, кибибит/с */
+    br_transmit?: number;
+    /** Битрейт ретрансмитов видео камеры, кибибит/с */
+    br_retransmit?: number;
+    /** Кадры камеры, закодированные энкодером за период */
+    frames_encoded?: number;
     cpu_hardware_concurrency?: number;
     audio_tracks?: number;
-    [k: string]: string | number | boolean | undefined;
+    /** Максимум участников за интервал между отправками */
+    participants_max?: number;
+    /** Фичи, включенные в любой момент интервала */
+    active_features?: string[];
+    /** Максимальная площадь окна приложения за интервал, в мегапикселях */
+    app_total_area_mpx_max?: number;
+    [k: string]: string | string[] | number | boolean | undefined;
 }

package/types/Statistics.d.ts

@@ -36,8 +36,14 @@ interface StatRtpOutboundVideo {
     framesSent?: number;
     framesPerSecond?: number;
     targetBitrate?: number;
+    /**
+     * Общее количество кадров, закодированных энкодером
+     */
+    framesEncoded?: number;
 }
 export interface StatRtp extends StatRtpOutboundVideo {
+    /** Время измерения, для remote-inbound-rtp — время получения RTCP Receiver Report */
+    timestamp: number;
     /**
      * Уникальный идентификатор источника синхронизации RTP
      */
@@ -65,6 +71,10 @@ export interface StatRtp extends StatRtpOutboundVideo {
      * Общее количество байтов, отправленных по этому потоку
      */
     bytesSent: number;
+    /**
+     * Общее количество байтов, отправленных повторно (ретрансмиты) по этому потоку
+     */
+    retransmittedBytesSent?: number;
     /**
      * Общее количество байтов заголовков, полученных по этому потоку
      */
@@ -73,6 +83,11 @@ export interface StatRtp extends StatRtpOutboundVideo {
      * Общее количество байтов заголовков, отправленных по этому потоку
      */
     headerBytesSent: number;
+    /**
+     * Уровень звука исходящего аудио потока в момент снятия статистики, от 0 до 1.
+     * Берется из media-source, у входящих потоков его нет.
+     */
+    audioLevel?: number;
     /**
      * Среднее значение джиттера в секундах
      * Джиттер — это вариация задержки в получении пакетов данных.
@@ -81,19 +96,15 @@ export interface StatRtp extends StatRtpOutboundVideo {
     /**
      * Общее количество потерянных пакетов
      */
-    packetsLost: number;
+    packetsLost?: number;
     /**
      * Общее количество полученных пакетов
      */
-    packetsReceived: number;
+    packetsReceived?: number;
     /**
      * Общее количество отправленных пакетов
      */
-    packetsSent: number;
-    /**
-     * Доля потерянных пакетов
-     */
-    fractionLost: number;
+    packetsSent?: number;
     /**
      * Количество Picture Loss Indication (PLI) сообщений
      * PLI — это сообщения, указывающие на потерю кадров изображения.
@@ -113,6 +124,10 @@ export interface StatRtp extends StatRtpOutboundVideo {
      * Идентификатор пользователя, связанный с этим потоком
      */
     userId?: string;
+    /**
+     * Поток демонстрации экрана (быстрая шара), а не камеры
+     */
+    isScreenShare?: boolean;
     /**
      * Пропускная способность в битах в секунду
      */