@seastart/srtc-web-sdk 0.5.5 → 0.5.7
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/CHANGELOG.md +9 -0
- package/package.json +1 -1
- package/srtc.d.mts +122 -3
- package/srtc.d.ts +122 -3
- package/srtc.js +1 -1
- package/srtc.mjs +1 -1
package/CHANGELOG.md
CHANGED
|
@@ -2,6 +2,15 @@
|
|
|
2
2
|
|
|
3
3
|
本文档记录 web SDK 各版本的改动点。遵循 [Keep a Changelog](https://keepachangelog.com/zh-CN/1.1.0/) 风格。
|
|
4
4
|
|
|
5
|
+
## v0.5.7 - 2026-07-21
|
|
6
|
+
|
|
7
|
+
- feat: 本地录制摄像头关闭时在格子中央显示圆形头像,头像加载失败或跨域被拒时回退为昵称首字母灰底圆
|
|
8
|
+
|
|
9
|
+
## v0.5.6 - 2026-06-16
|
|
10
|
+
|
|
11
|
+
- feat: 视频支持前置摄像头镜像,前置默认开启且可由用户调整
|
|
12
|
+
- feat: DeepFilterNet 降噪插件
|
|
13
|
+
|
|
5
14
|
## v0.5.5 - 2026-06-08
|
|
6
15
|
|
|
7
16
|
- fix: 本地录制移动端画面横屏及大小窗成员黑屏修复 (b979814)
|
package/package.json
CHANGED
package/srtc.d.mts
CHANGED
|
@@ -31,6 +31,8 @@ declare abstract class BaseChannel extends EventEmitter {
|
|
|
31
31
|
protected audioMixTrack?: BaseTrack & (IMockRemoteAudioMixTrack | IRemoteAudioMixTrack);
|
|
32
32
|
/** 视频合成流 */
|
|
33
33
|
protected videoMcuTrack?: BaseTrack;
|
|
34
|
+
/** 频道级音频合成流(program,服务端统一混音,观众/录制用,区别于参与者本地混的 audioMixTrack) */
|
|
35
|
+
protected audioMcuTrack?: BaseTrack;
|
|
34
36
|
/** 兼容回调方式的事件响应 */
|
|
35
37
|
protected eventCB: ((evt: ChannelEvent) => void) | null;
|
|
36
38
|
/**
|
|
@@ -161,13 +163,21 @@ declare abstract class BaseChannel extends EventEmitter {
|
|
|
161
163
|
*/
|
|
162
164
|
protected getSubscribeExOption(track: BaseTrack): Promise<Record<string, any>>;
|
|
163
165
|
/**
|
|
164
|
-
*
|
|
166
|
+
* 生成"参与者视角"混音流(mix-minus)。
|
|
167
|
+
* 由各平台按 vendor 决定具体类型:支持服务端混音的(OOK/wx/CDN)返回真 RemoteAudioMixTrack,
|
|
168
|
+
* 不支持的(webrtc-seastart)返回 MockRemoteAudioMixTrack(自动订他人音频、本地混、排除自己)。
|
|
169
|
+
* @param filter 可选 uid 过滤;仅本地混(Mock)生效
|
|
165
170
|
*/
|
|
166
171
|
protected abstract newRemoteAudioMixTrack(filter?: ((track: BaseTrack) => boolean) | string[]): BaseTrack & (IMockRemoteAudioMixTrack | IRemoteAudioMixTrack);
|
|
167
172
|
/**
|
|
168
|
-
*
|
|
173
|
+
* 生成远端视频合成流(Mcu,服务端统一合成,含所有人,观众/录制用)。
|
|
169
174
|
*/
|
|
170
175
|
protected abstract newRemoteVideoMcuTrack(): BaseTrack;
|
|
176
|
+
/**
|
|
177
|
+
* 生成远端音频合成流(program,服务端统一合成,含所有人,观众/录制用)。
|
|
178
|
+
* 与 newRemoteAudioMixTrack 不同:本方法各平台都返回"真·服务端合成流",绝不返回本地混(Mock)。
|
|
179
|
+
*/
|
|
180
|
+
protected abstract newRemoteAudioMcuTrack(): BaseTrack;
|
|
171
181
|
/**
|
|
172
182
|
* 获取远端频道混音流
|
|
173
183
|
* @param filter 音频轨道过滤器,传递string[]时,根据uid过滤
|
|
@@ -183,6 +193,14 @@ declare abstract class BaseChannel extends EventEmitter {
|
|
|
183
193
|
* 订阅远端视频合成流
|
|
184
194
|
*/
|
|
185
195
|
subscribeRemoteVideoMcuTrack(): Promise<BaseTrack>;
|
|
196
|
+
/**
|
|
197
|
+
* 订阅服务端统一合成的混音(program,含所有人,所有订阅者收到的一致)。
|
|
198
|
+
* 给不发声的观众/录制/旁路用,与 subscribeRemoteVideoMcuTrack 对应;不做 vendor 降级。
|
|
199
|
+
*
|
|
200
|
+
* 该流含全场(包括你自己):会发声的参与者订它会听到自己的回声——
|
|
201
|
+
* 参与者请改用 subscribeRemoteAudioMixTrack(本地 mix-minus,除自己)。
|
|
202
|
+
*/
|
|
203
|
+
subscribeRemoteAudioMcuTrack(): Promise<BaseTrack>;
|
|
186
204
|
/**
|
|
187
205
|
* 订阅远端用户视频流
|
|
188
206
|
* @param uid 用户id
|
|
@@ -509,6 +527,13 @@ declare abstract class BaseUser {
|
|
|
509
527
|
* 获取某轨道
|
|
510
528
|
*/
|
|
511
529
|
getTrack(id: string): BaseTrack | undefined;
|
|
530
|
+
/**
|
|
531
|
+
* 用给定 info 新造一个独立的 track 句柄(不登记进 this.tracks)。
|
|
532
|
+
* 用途:自订阅回环——订阅本端自己发布的轨道时,需要一个独立于本地发布轨道的远端句柄来承接下行,
|
|
533
|
+
* 否则 seastart 订阅 PC 的 ontrack 会用收到的远端轨道 setMediaStreamTrack 顶掉本地发布源,
|
|
534
|
+
* 导致发布端静音、编码器无输入、SFU 永等不到关键帧的死锁。此处仅暴露 protected newTrack 的建轨能力。
|
|
535
|
+
*/
|
|
536
|
+
spawnTrack(info: BaseTrackInfo): BaseTrack;
|
|
512
537
|
/**
|
|
513
538
|
* 根据desc获取某轨道
|
|
514
539
|
*/
|
|
@@ -652,6 +677,7 @@ declare class Channel extends BaseChannel {
|
|
|
652
677
|
protected getSubscribeExOption(track: BaseTrack): Promise<Record<string, any>>;
|
|
653
678
|
protected newRemoteAudioMixTrack(filter?: ((track: BaseTrack) => boolean) | string[]): RemoteAudioMixTrack | MockRemoteAudioMixTrack;
|
|
654
679
|
protected newRemoteVideoMcuTrack(): RemoteVideoMcuTrack;
|
|
680
|
+
protected newRemoteAudioMcuTrack(): RemoteAudioMcuTrack;
|
|
655
681
|
subscribeRemoteVideoTrack(uid: string, id: string): Promise<BaseTrack>;
|
|
656
682
|
unsubscribeRemoteTrack(track: BaseTrack, debounceWaitMs?: number): Promise<void>;
|
|
657
683
|
/** 自适应流管理器。懒初始化,避免父类构造期还未准备好 rtcStreamEngine/options 的问题。 */
|
|
@@ -903,8 +929,11 @@ declare class MqttClient extends EventEmitter {
|
|
|
903
929
|
*/
|
|
904
930
|
public getLastMessageId(): number;
|
|
905
931
|
}
|
|
932
|
+
declare class RemoteAudioMcuTrack extends RemoteAudioTrack {
|
|
933
|
+
constructor();
|
|
934
|
+
}
|
|
906
935
|
declare class RemoteVideoMcuTrack extends RemoteVideoTrack {
|
|
907
|
-
constructor(
|
|
936
|
+
constructor();
|
|
908
937
|
}
|
|
909
938
|
declare class SdkError {
|
|
910
939
|
/** 错误码 */
|
|
@@ -1133,6 +1162,23 @@ export declare class LocalCameraTrack extends LocalVideoTrack {
|
|
|
1133
1162
|
* @returns
|
|
1134
1163
|
*/
|
|
1135
1164
|
changeDeviceId(deviceId: string): Promise<void>;
|
|
1165
|
+
/**
|
|
1166
|
+
* 是否前置摄像头。供本地预览镜像判断使用。
|
|
1167
|
+
* 采集时显式指定的 facingMode 最可靠;未指定时按前置处理(对齐浏览器/LiveKit 的默认:
|
|
1168
|
+
* 拿不到朝向时按"自拍"看待,笔记本内置摄像头即属此类)。
|
|
1169
|
+
*/
|
|
1170
|
+
isFrontFacing(): boolean;
|
|
1171
|
+
/**
|
|
1172
|
+
* 设置镜像开关。前置摄像头默认开启,可在此调整;
|
|
1173
|
+
* 后置摄像头不支持镜像,调用无任何反应(满足"后置操作无反应")。
|
|
1174
|
+
* @param enabled 是否开启镜像
|
|
1175
|
+
*/
|
|
1176
|
+
setMirror(enabled: boolean): void;
|
|
1177
|
+
/**
|
|
1178
|
+
* 当前是否处于镜像状态 = 前置摄像头 且 镜像开关开启。
|
|
1179
|
+
* 后置摄像头恒为 false。渲染层据此决定是否水平翻转。
|
|
1180
|
+
*/
|
|
1181
|
+
isMirrored(): boolean;
|
|
1136
1182
|
/**
|
|
1137
1183
|
* 切换摄像头朝向(仅手机)
|
|
1138
1184
|
* @returns
|
|
@@ -1157,6 +1203,8 @@ export declare class LocalCompositeRecorder {
|
|
|
1157
1203
|
private audioInputTracks;
|
|
1158
1204
|
private trackedTrackListeners;
|
|
1159
1205
|
private videoElements;
|
|
1206
|
+
private avatarImages;
|
|
1207
|
+
private avatarFailedUrls;
|
|
1160
1208
|
private chunks;
|
|
1161
1209
|
private videoItems;
|
|
1162
1210
|
private width;
|
|
@@ -1270,6 +1318,15 @@ export declare class LocalCompositeRecorder {
|
|
|
1270
1318
|
* 不同用户可能碰撞,会导致多个槽位错误共享同一路画面(“都变成同一个人”)。
|
|
1271
1319
|
*/
|
|
1272
1320
|
private syncVideoElements;
|
|
1321
|
+
/**
|
|
1322
|
+
* 同步头像图片。
|
|
1323
|
+
*
|
|
1324
|
+
* 为当前 videoItems 中带 avatar 的槽位预加载头像图片,供摄像头关闭时在格子中央绘制圆形头像。
|
|
1325
|
+
* 采用匿名跨域(crossOrigin='anonymous'):若头像 CDN 未返回 CORS 头,浏览器会触发 onerror
|
|
1326
|
+
* 而非污染 canvas——被污染的 canvas 会导致 captureStream 整条录制流失效。加载失败的 URL 记入
|
|
1327
|
+
* avatarFailedUrls,绘制时回退为「昵称首字母彩色圆」。
|
|
1328
|
+
*/
|
|
1329
|
+
private syncAvatarImages;
|
|
1273
1330
|
/**
|
|
1274
1331
|
* 渲染循环。
|
|
1275
1332
|
*
|
|
@@ -1288,6 +1345,18 @@ export declare class LocalCompositeRecorder {
|
|
|
1288
1345
|
* 绘制视频标签。
|
|
1289
1346
|
*/
|
|
1290
1347
|
private drawLabel;
|
|
1348
|
+
/**
|
|
1349
|
+
* 在格子中央绘制圆形头像占位。
|
|
1350
|
+
*
|
|
1351
|
+
* 优先使用已加载成功的头像图片(cover 裁剪成圆);头像 URL 缺失、加载失败或跨域被拒时,
|
|
1352
|
+
* 回退为「昵称首字母彩色圆」,底色由 id/label 稳定哈希得到,保证同一用户颜色固定。
|
|
1353
|
+
*/
|
|
1354
|
+
private drawAvatarPlaceholder;
|
|
1355
|
+
/**
|
|
1356
|
+
* 取昵称首字符作为首字母头像文本;空昵称回退为 '?'。
|
|
1357
|
+
* 用 Array.from 以正确处理 emoji / 代理对,拉丁字母转大写。
|
|
1358
|
+
*/
|
|
1359
|
+
private avatarInitial;
|
|
1291
1360
|
/**
|
|
1292
1361
|
* 释放内部资源并重置状态。
|
|
1293
1362
|
*/
|
|
@@ -1433,6 +1502,7 @@ export declare class ProcessorPipeline implements TrackProcessor {
|
|
|
1433
1502
|
}
|
|
1434
1503
|
/**
|
|
1435
1504
|
* 远端混音流
|
|
1505
|
+
* 参与者视角,服务端 mix-minus,排除自己以外
|
|
1436
1506
|
*/
|
|
1437
1507
|
export declare class RemoteAudioMixTrack extends RemoteAudioTrack implements IRemoteAudioMixTrack {
|
|
1438
1508
|
constructor(info: BaseTrackInfo, filterUids?: string[]);
|
|
@@ -2686,6 +2756,12 @@ export interface LocalCompositeRecorderVideoItem {
|
|
|
2686
2756
|
rect: LocalCompositeRecorderRect;
|
|
2687
2757
|
/** 绘制在视频左下角的标签文本,例如用户名;不传则不绘制标签 */
|
|
2688
2758
|
label?: string;
|
|
2759
|
+
/**
|
|
2760
|
+
* 头像 URL;当该槽位没有可绘制视频帧(如摄像头关闭)时,在格子中央绘制圆形头像。
|
|
2761
|
+
* 采用匿名跨域加载(crossOrigin='anonymous'):CDN 未配 CORS 头会触发加载失败而非污染 canvas,
|
|
2762
|
+
* 失败或未传时回退为「昵称首字母彩色圆」。
|
|
2763
|
+
*/
|
|
2764
|
+
avatar?: string;
|
|
2689
2765
|
/** 视频填充方式:contain 保留完整画面,cover 填满区域并裁剪溢出部分;默认 contain */
|
|
2690
2766
|
fit?: "contain" | "cover";
|
|
2691
2767
|
/** 单个视频槽位背景色;默认 #1a1c22 */
|
|
@@ -2795,6 +2871,11 @@ export interface NetworkStats {
|
|
|
2795
2871
|
rtt_up?: number;
|
|
2796
2872
|
/** 订阅连接观测到的 RTT,单位 ms */
|
|
2797
2873
|
rtt_down?: number;
|
|
2874
|
+
/**
|
|
2875
|
+
* 服务端质量报告(上/下行)。来自 SFU 主动下发的 quality 报告(仅 seastart 等支持的 vendor 有)。
|
|
2876
|
+
* 与 getStats 客户端视角互补:上行实收/下行实发以服务端为准,缺省时上层自动回退客户端侧。
|
|
2877
|
+
*/
|
|
2878
|
+
server?: ServerQualityReport;
|
|
2798
2879
|
}
|
|
2799
2880
|
/** 画中画句柄,用于控制画中画状态 */
|
|
2800
2881
|
export interface PipHandle {
|
|
@@ -3013,6 +3094,44 @@ export interface SenderStats {
|
|
|
3013
3094
|
/** 时间戳 */
|
|
3014
3095
|
timestamp: number;
|
|
3015
3096
|
}
|
|
3097
|
+
/**
|
|
3098
|
+
* 服务端质量报告(上/下行双向)。仅在 SFU 支持并下发时存在,否则整体缺省。
|
|
3099
|
+
* seastart 引擎侧的 `SignalQualityMessage` 在此基础上再加一个 DC 消息类型判别字段。
|
|
3100
|
+
*/
|
|
3101
|
+
export interface ServerQualityReport {
|
|
3102
|
+
/** 服务端采样时间戳 ms */
|
|
3103
|
+
ts: number;
|
|
3104
|
+
/** 上行:客户端 -> SFU(服务端实收视角) */
|
|
3105
|
+
pub: ServerQualitySample;
|
|
3106
|
+
/** 下行:SFU -> 客户端(服务端实发视角) */
|
|
3107
|
+
sub: ServerQualitySample;
|
|
3108
|
+
}
|
|
3109
|
+
/**
|
|
3110
|
+
* 服务端质量报告的单方向采样。
|
|
3111
|
+
* 来源:SFU 主动下发的 quality 报告(如 seastart 的 quality DC,pub=上行、sub=下行)。字段与 SFU
|
|
3112
|
+
* `quality.go` 协议一一对应。作为权威定义放在此处,seastart 引擎侧的 `SignalQualitySample` 是它的别名。
|
|
3113
|
+
* 与客户端 getStats 视角互补:上行实收/下行实发以服务端为地面真值,客户端只在其缺省时兜底。
|
|
3114
|
+
*/
|
|
3115
|
+
export interface ServerQualitySample {
|
|
3116
|
+
/** 服务端算出的 0~100 连续分 */
|
|
3117
|
+
score: number;
|
|
3118
|
+
/** 服务端直接给出的档位 */
|
|
3119
|
+
level: ConnectionQuality;
|
|
3120
|
+
/** 服务端算好的 MOS,范围 1.0 ~ 4.5 */
|
|
3121
|
+
mos: number;
|
|
3122
|
+
/** 丢包率,0~1(注意:非百分数,上层展示需 ×100) */
|
|
3123
|
+
loss: number;
|
|
3124
|
+
/** RTT,单位 ms */
|
|
3125
|
+
rtt: number;
|
|
3126
|
+
/** jitter,单位 ms */
|
|
3127
|
+
jitter: number;
|
|
3128
|
+
/** 本窗口参与统计的包数 */
|
|
3129
|
+
packets: number;
|
|
3130
|
+
/** 本窗口该方向平均码率,单位 kbps */
|
|
3131
|
+
bitrate: number;
|
|
3132
|
+
/** 本窗口该方向字节数;和 bitrate 同源 */
|
|
3133
|
+
bytes: number;
|
|
3134
|
+
}
|
|
3016
3135
|
/**
|
|
3017
3136
|
* 流媒体引擎能力
|
|
3018
3137
|
*/
|
package/srtc.d.ts
CHANGED
|
@@ -31,6 +31,8 @@ declare abstract class BaseChannel extends EventEmitter {
|
|
|
31
31
|
protected audioMixTrack?: BaseTrack & (IMockRemoteAudioMixTrack | IRemoteAudioMixTrack);
|
|
32
32
|
/** 视频合成流 */
|
|
33
33
|
protected videoMcuTrack?: BaseTrack;
|
|
34
|
+
/** 频道级音频合成流(program,服务端统一混音,观众/录制用,区别于参与者本地混的 audioMixTrack) */
|
|
35
|
+
protected audioMcuTrack?: BaseTrack;
|
|
34
36
|
/** 兼容回调方式的事件响应 */
|
|
35
37
|
protected eventCB: ((evt: ChannelEvent) => void) | null;
|
|
36
38
|
/**
|
|
@@ -161,13 +163,21 @@ declare abstract class BaseChannel extends EventEmitter {
|
|
|
161
163
|
*/
|
|
162
164
|
protected getSubscribeExOption(track: BaseTrack): Promise<Record<string, any>>;
|
|
163
165
|
/**
|
|
164
|
-
*
|
|
166
|
+
* 生成"参与者视角"混音流(mix-minus)。
|
|
167
|
+
* 由各平台按 vendor 决定具体类型:支持服务端混音的(OOK/wx/CDN)返回真 RemoteAudioMixTrack,
|
|
168
|
+
* 不支持的(webrtc-seastart)返回 MockRemoteAudioMixTrack(自动订他人音频、本地混、排除自己)。
|
|
169
|
+
* @param filter 可选 uid 过滤;仅本地混(Mock)生效
|
|
165
170
|
*/
|
|
166
171
|
protected abstract newRemoteAudioMixTrack(filter?: ((track: BaseTrack) => boolean) | string[]): BaseTrack & (IMockRemoteAudioMixTrack | IRemoteAudioMixTrack);
|
|
167
172
|
/**
|
|
168
|
-
*
|
|
173
|
+
* 生成远端视频合成流(Mcu,服务端统一合成,含所有人,观众/录制用)。
|
|
169
174
|
*/
|
|
170
175
|
protected abstract newRemoteVideoMcuTrack(): BaseTrack;
|
|
176
|
+
/**
|
|
177
|
+
* 生成远端音频合成流(program,服务端统一合成,含所有人,观众/录制用)。
|
|
178
|
+
* 与 newRemoteAudioMixTrack 不同:本方法各平台都返回"真·服务端合成流",绝不返回本地混(Mock)。
|
|
179
|
+
*/
|
|
180
|
+
protected abstract newRemoteAudioMcuTrack(): BaseTrack;
|
|
171
181
|
/**
|
|
172
182
|
* 获取远端频道混音流
|
|
173
183
|
* @param filter 音频轨道过滤器,传递string[]时,根据uid过滤
|
|
@@ -183,6 +193,14 @@ declare abstract class BaseChannel extends EventEmitter {
|
|
|
183
193
|
* 订阅远端视频合成流
|
|
184
194
|
*/
|
|
185
195
|
subscribeRemoteVideoMcuTrack(): Promise<BaseTrack>;
|
|
196
|
+
/**
|
|
197
|
+
* 订阅服务端统一合成的混音(program,含所有人,所有订阅者收到的一致)。
|
|
198
|
+
* 给不发声的观众/录制/旁路用,与 subscribeRemoteVideoMcuTrack 对应;不做 vendor 降级。
|
|
199
|
+
*
|
|
200
|
+
* 该流含全场(包括你自己):会发声的参与者订它会听到自己的回声——
|
|
201
|
+
* 参与者请改用 subscribeRemoteAudioMixTrack(本地 mix-minus,除自己)。
|
|
202
|
+
*/
|
|
203
|
+
subscribeRemoteAudioMcuTrack(): Promise<BaseTrack>;
|
|
186
204
|
/**
|
|
187
205
|
* 订阅远端用户视频流
|
|
188
206
|
* @param uid 用户id
|
|
@@ -509,6 +527,13 @@ declare abstract class BaseUser {
|
|
|
509
527
|
* 获取某轨道
|
|
510
528
|
*/
|
|
511
529
|
getTrack(id: string): BaseTrack | undefined;
|
|
530
|
+
/**
|
|
531
|
+
* 用给定 info 新造一个独立的 track 句柄(不登记进 this.tracks)。
|
|
532
|
+
* 用途:自订阅回环——订阅本端自己发布的轨道时,需要一个独立于本地发布轨道的远端句柄来承接下行,
|
|
533
|
+
* 否则 seastart 订阅 PC 的 ontrack 会用收到的远端轨道 setMediaStreamTrack 顶掉本地发布源,
|
|
534
|
+
* 导致发布端静音、编码器无输入、SFU 永等不到关键帧的死锁。此处仅暴露 protected newTrack 的建轨能力。
|
|
535
|
+
*/
|
|
536
|
+
spawnTrack(info: BaseTrackInfo): BaseTrack;
|
|
512
537
|
/**
|
|
513
538
|
* 根据desc获取某轨道
|
|
514
539
|
*/
|
|
@@ -652,6 +677,7 @@ declare class Channel extends BaseChannel {
|
|
|
652
677
|
protected getSubscribeExOption(track: BaseTrack): Promise<Record<string, any>>;
|
|
653
678
|
protected newRemoteAudioMixTrack(filter?: ((track: BaseTrack) => boolean) | string[]): RemoteAudioMixTrack | MockRemoteAudioMixTrack;
|
|
654
679
|
protected newRemoteVideoMcuTrack(): RemoteVideoMcuTrack;
|
|
680
|
+
protected newRemoteAudioMcuTrack(): RemoteAudioMcuTrack;
|
|
655
681
|
subscribeRemoteVideoTrack(uid: string, id: string): Promise<BaseTrack>;
|
|
656
682
|
unsubscribeRemoteTrack(track: BaseTrack, debounceWaitMs?: number): Promise<void>;
|
|
657
683
|
/** 自适应流管理器。懒初始化,避免父类构造期还未准备好 rtcStreamEngine/options 的问题。 */
|
|
@@ -903,8 +929,11 @@ declare class MqttClient extends EventEmitter {
|
|
|
903
929
|
*/
|
|
904
930
|
public getLastMessageId(): number;
|
|
905
931
|
}
|
|
932
|
+
declare class RemoteAudioMcuTrack extends RemoteAudioTrack {
|
|
933
|
+
constructor();
|
|
934
|
+
}
|
|
906
935
|
declare class RemoteVideoMcuTrack extends RemoteVideoTrack {
|
|
907
|
-
constructor(
|
|
936
|
+
constructor();
|
|
908
937
|
}
|
|
909
938
|
declare class SdkError {
|
|
910
939
|
/** 错误码 */
|
|
@@ -1133,6 +1162,23 @@ export declare class LocalCameraTrack extends LocalVideoTrack {
|
|
|
1133
1162
|
* @returns
|
|
1134
1163
|
*/
|
|
1135
1164
|
changeDeviceId(deviceId: string): Promise<void>;
|
|
1165
|
+
/**
|
|
1166
|
+
* 是否前置摄像头。供本地预览镜像判断使用。
|
|
1167
|
+
* 采集时显式指定的 facingMode 最可靠;未指定时按前置处理(对齐浏览器/LiveKit 的默认:
|
|
1168
|
+
* 拿不到朝向时按"自拍"看待,笔记本内置摄像头即属此类)。
|
|
1169
|
+
*/
|
|
1170
|
+
isFrontFacing(): boolean;
|
|
1171
|
+
/**
|
|
1172
|
+
* 设置镜像开关。前置摄像头默认开启,可在此调整;
|
|
1173
|
+
* 后置摄像头不支持镜像,调用无任何反应(满足"后置操作无反应")。
|
|
1174
|
+
* @param enabled 是否开启镜像
|
|
1175
|
+
*/
|
|
1176
|
+
setMirror(enabled: boolean): void;
|
|
1177
|
+
/**
|
|
1178
|
+
* 当前是否处于镜像状态 = 前置摄像头 且 镜像开关开启。
|
|
1179
|
+
* 后置摄像头恒为 false。渲染层据此决定是否水平翻转。
|
|
1180
|
+
*/
|
|
1181
|
+
isMirrored(): boolean;
|
|
1136
1182
|
/**
|
|
1137
1183
|
* 切换摄像头朝向(仅手机)
|
|
1138
1184
|
* @returns
|
|
@@ -1157,6 +1203,8 @@ export declare class LocalCompositeRecorder {
|
|
|
1157
1203
|
private audioInputTracks;
|
|
1158
1204
|
private trackedTrackListeners;
|
|
1159
1205
|
private videoElements;
|
|
1206
|
+
private avatarImages;
|
|
1207
|
+
private avatarFailedUrls;
|
|
1160
1208
|
private chunks;
|
|
1161
1209
|
private videoItems;
|
|
1162
1210
|
private width;
|
|
@@ -1270,6 +1318,15 @@ export declare class LocalCompositeRecorder {
|
|
|
1270
1318
|
* 不同用户可能碰撞,会导致多个槽位错误共享同一路画面(“都变成同一个人”)。
|
|
1271
1319
|
*/
|
|
1272
1320
|
private syncVideoElements;
|
|
1321
|
+
/**
|
|
1322
|
+
* 同步头像图片。
|
|
1323
|
+
*
|
|
1324
|
+
* 为当前 videoItems 中带 avatar 的槽位预加载头像图片,供摄像头关闭时在格子中央绘制圆形头像。
|
|
1325
|
+
* 采用匿名跨域(crossOrigin='anonymous'):若头像 CDN 未返回 CORS 头,浏览器会触发 onerror
|
|
1326
|
+
* 而非污染 canvas——被污染的 canvas 会导致 captureStream 整条录制流失效。加载失败的 URL 记入
|
|
1327
|
+
* avatarFailedUrls,绘制时回退为「昵称首字母彩色圆」。
|
|
1328
|
+
*/
|
|
1329
|
+
private syncAvatarImages;
|
|
1273
1330
|
/**
|
|
1274
1331
|
* 渲染循环。
|
|
1275
1332
|
*
|
|
@@ -1288,6 +1345,18 @@ export declare class LocalCompositeRecorder {
|
|
|
1288
1345
|
* 绘制视频标签。
|
|
1289
1346
|
*/
|
|
1290
1347
|
private drawLabel;
|
|
1348
|
+
/**
|
|
1349
|
+
* 在格子中央绘制圆形头像占位。
|
|
1350
|
+
*
|
|
1351
|
+
* 优先使用已加载成功的头像图片(cover 裁剪成圆);头像 URL 缺失、加载失败或跨域被拒时,
|
|
1352
|
+
* 回退为「昵称首字母彩色圆」,底色由 id/label 稳定哈希得到,保证同一用户颜色固定。
|
|
1353
|
+
*/
|
|
1354
|
+
private drawAvatarPlaceholder;
|
|
1355
|
+
/**
|
|
1356
|
+
* 取昵称首字符作为首字母头像文本;空昵称回退为 '?'。
|
|
1357
|
+
* 用 Array.from 以正确处理 emoji / 代理对,拉丁字母转大写。
|
|
1358
|
+
*/
|
|
1359
|
+
private avatarInitial;
|
|
1291
1360
|
/**
|
|
1292
1361
|
* 释放内部资源并重置状态。
|
|
1293
1362
|
*/
|
|
@@ -1433,6 +1502,7 @@ export declare class ProcessorPipeline implements TrackProcessor {
|
|
|
1433
1502
|
}
|
|
1434
1503
|
/**
|
|
1435
1504
|
* 远端混音流
|
|
1505
|
+
* 参与者视角,服务端 mix-minus,排除自己以外
|
|
1436
1506
|
*/
|
|
1437
1507
|
export declare class RemoteAudioMixTrack extends RemoteAudioTrack implements IRemoteAudioMixTrack {
|
|
1438
1508
|
constructor(info: BaseTrackInfo, filterUids?: string[]);
|
|
@@ -2686,6 +2756,12 @@ export interface LocalCompositeRecorderVideoItem {
|
|
|
2686
2756
|
rect: LocalCompositeRecorderRect;
|
|
2687
2757
|
/** 绘制在视频左下角的标签文本,例如用户名;不传则不绘制标签 */
|
|
2688
2758
|
label?: string;
|
|
2759
|
+
/**
|
|
2760
|
+
* 头像 URL;当该槽位没有可绘制视频帧(如摄像头关闭)时,在格子中央绘制圆形头像。
|
|
2761
|
+
* 采用匿名跨域加载(crossOrigin='anonymous'):CDN 未配 CORS 头会触发加载失败而非污染 canvas,
|
|
2762
|
+
* 失败或未传时回退为「昵称首字母彩色圆」。
|
|
2763
|
+
*/
|
|
2764
|
+
avatar?: string;
|
|
2689
2765
|
/** 视频填充方式:contain 保留完整画面,cover 填满区域并裁剪溢出部分;默认 contain */
|
|
2690
2766
|
fit?: "contain" | "cover";
|
|
2691
2767
|
/** 单个视频槽位背景色;默认 #1a1c22 */
|
|
@@ -2795,6 +2871,11 @@ export interface NetworkStats {
|
|
|
2795
2871
|
rtt_up?: number;
|
|
2796
2872
|
/** 订阅连接观测到的 RTT,单位 ms */
|
|
2797
2873
|
rtt_down?: number;
|
|
2874
|
+
/**
|
|
2875
|
+
* 服务端质量报告(上/下行)。来自 SFU 主动下发的 quality 报告(仅 seastart 等支持的 vendor 有)。
|
|
2876
|
+
* 与 getStats 客户端视角互补:上行实收/下行实发以服务端为准,缺省时上层自动回退客户端侧。
|
|
2877
|
+
*/
|
|
2878
|
+
server?: ServerQualityReport;
|
|
2798
2879
|
}
|
|
2799
2880
|
/** 画中画句柄,用于控制画中画状态 */
|
|
2800
2881
|
export interface PipHandle {
|
|
@@ -3013,6 +3094,44 @@ export interface SenderStats {
|
|
|
3013
3094
|
/** 时间戳 */
|
|
3014
3095
|
timestamp: number;
|
|
3015
3096
|
}
|
|
3097
|
+
/**
|
|
3098
|
+
* 服务端质量报告(上/下行双向)。仅在 SFU 支持并下发时存在,否则整体缺省。
|
|
3099
|
+
* seastart 引擎侧的 `SignalQualityMessage` 在此基础上再加一个 DC 消息类型判别字段。
|
|
3100
|
+
*/
|
|
3101
|
+
export interface ServerQualityReport {
|
|
3102
|
+
/** 服务端采样时间戳 ms */
|
|
3103
|
+
ts: number;
|
|
3104
|
+
/** 上行:客户端 -> SFU(服务端实收视角) */
|
|
3105
|
+
pub: ServerQualitySample;
|
|
3106
|
+
/** 下行:SFU -> 客户端(服务端实发视角) */
|
|
3107
|
+
sub: ServerQualitySample;
|
|
3108
|
+
}
|
|
3109
|
+
/**
|
|
3110
|
+
* 服务端质量报告的单方向采样。
|
|
3111
|
+
* 来源:SFU 主动下发的 quality 报告(如 seastart 的 quality DC,pub=上行、sub=下行)。字段与 SFU
|
|
3112
|
+
* `quality.go` 协议一一对应。作为权威定义放在此处,seastart 引擎侧的 `SignalQualitySample` 是它的别名。
|
|
3113
|
+
* 与客户端 getStats 视角互补:上行实收/下行实发以服务端为地面真值,客户端只在其缺省时兜底。
|
|
3114
|
+
*/
|
|
3115
|
+
export interface ServerQualitySample {
|
|
3116
|
+
/** 服务端算出的 0~100 连续分 */
|
|
3117
|
+
score: number;
|
|
3118
|
+
/** 服务端直接给出的档位 */
|
|
3119
|
+
level: ConnectionQuality;
|
|
3120
|
+
/** 服务端算好的 MOS,范围 1.0 ~ 4.5 */
|
|
3121
|
+
mos: number;
|
|
3122
|
+
/** 丢包率,0~1(注意:非百分数,上层展示需 ×100) */
|
|
3123
|
+
loss: number;
|
|
3124
|
+
/** RTT,单位 ms */
|
|
3125
|
+
rtt: number;
|
|
3126
|
+
/** jitter,单位 ms */
|
|
3127
|
+
jitter: number;
|
|
3128
|
+
/** 本窗口参与统计的包数 */
|
|
3129
|
+
packets: number;
|
|
3130
|
+
/** 本窗口该方向平均码率,单位 kbps */
|
|
3131
|
+
bitrate: number;
|
|
3132
|
+
/** 本窗口该方向字节数;和 bitrate 同源 */
|
|
3133
|
+
bytes: number;
|
|
3134
|
+
}
|
|
3016
3135
|
/**
|
|
3017
3136
|
* 流媒体引擎能力
|
|
3018
3137
|
*/
|