@seastart/srtc-web-sdk 0.5.3 → 0.5.5
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/CHANGELOG.md +9 -0
- package/package.json +1 -1
- package/srtc.d.mts +80 -0
- package/srtc.d.ts +80 -0
- package/srtc.js +1 -1
- package/srtc.mjs +1 -1
package/CHANGELOG.md
CHANGED
|
@@ -2,6 +2,15 @@
|
|
|
2
2
|
|
|
3
3
|
本文档记录 web SDK 各版本的改动点。遵循 [Keep a Changelog](https://keepachangelog.com/zh-CN/1.1.0/) 风格。
|
|
4
4
|
|
|
5
|
+
## v0.5.5 - 2026-06-08
|
|
6
|
+
|
|
7
|
+
- fix: 本地录制移动端画面横屏及大小窗成员黑屏修复 (b979814)
|
|
8
|
+
|
|
9
|
+
## v0.5.4 - 2026-06-03
|
|
10
|
+
|
|
11
|
+
- feat: 新增音视频处理器插件机制
|
|
12
|
+
- feat: 新增wasm降噪插件
|
|
13
|
+
|
|
5
14
|
## v0.5.3 - 2026-05-08
|
|
6
15
|
|
|
7
16
|
- feat: add local composite recorder (47a20b0)
|
package/package.json
CHANGED
package/srtc.d.mts
CHANGED
|
@@ -1087,6 +1087,15 @@ export declare class ChannelEventType extends CommonChannelEventType {
|
|
|
1087
1087
|
*/
|
|
1088
1088
|
export declare class LocalAudioTrack extends BaseWebrtcTrack {
|
|
1089
1089
|
constructor();
|
|
1090
|
+
/**
|
|
1091
|
+
* 挂载音频处理器(如 RNN 降噪、变声)。传入数组时按顺序串联。
|
|
1092
|
+
* 需先 startCapture 采集到轨道后调用。
|
|
1093
|
+
*/
|
|
1094
|
+
setProcessor(processor: TrackProcessor | TrackProcessor[]): Promise<void>;
|
|
1095
|
+
/**
|
|
1096
|
+
* 卸载音频处理器,还原为原始采集轨道。
|
|
1097
|
+
*/
|
|
1098
|
+
removeProcessor(): Promise<void>;
|
|
1090
1099
|
/**
|
|
1091
1100
|
* 获取音量
|
|
1092
1101
|
*/
|
|
@@ -1227,6 +1236,13 @@ export declare class LocalCompositeRecorder {
|
|
|
1227
1236
|
* 从原生 MediaStreamTrack 或 SDK Track 中取出当前实际媒体轨。
|
|
1228
1237
|
*/
|
|
1229
1238
|
private resolveMediaStreamTrack;
|
|
1239
|
+
/**
|
|
1240
|
+
* 读取 SDK Track 的视频旋转角度(FourCC)。
|
|
1241
|
+
*
|
|
1242
|
+
* 原生 MediaStreamTrack 不携带旋转信息,按未旋转(ANGLE_UP)处理。
|
|
1243
|
+
* 用于让录制 canvas 与正常播放路径(CSS transform)的旋转表现保持一致。
|
|
1244
|
+
*/
|
|
1245
|
+
private resolveTrackAngle;
|
|
1230
1246
|
/**
|
|
1231
1247
|
* 判断是否为可监听 MSTRACK_REPLACED 的 SDK Track。
|
|
1232
1248
|
*/
|
|
@@ -1245,6 +1261,13 @@ export declare class LocalCompositeRecorder {
|
|
|
1245
1261
|
* 同步视频解码元素。
|
|
1246
1262
|
*
|
|
1247
1263
|
* 每个视频 track 都需要一个隐藏 HTMLVideoElement 作为 canvas.drawImage 的帧来源。
|
|
1264
|
+
* 这里以底层 MediaStreamTrack「对象引用」为 key 做复用:同一个 track 即使被多个槽位
|
|
1265
|
+
* 引用(例如大小窗布局下同一成员同时出现在大窗和小窗),也只创建一个解码 video 共享。
|
|
1266
|
+
* 否则同一个远端 track 被多个独立 video 同时播放会产生竞态,偶发其中一个 video
|
|
1267
|
+
* 取不到帧(videoWidth=0)导致对应槽位黑屏。
|
|
1268
|
+
*
|
|
1269
|
+
* 注意:不能用 track.id 字符串做 key——远端 track 的 id 全局不保证唯一,
|
|
1270
|
+
* 不同用户可能碰撞,会导致多个槽位错误共享同一路画面(“都变成同一个人”)。
|
|
1248
1271
|
*/
|
|
1249
1272
|
private syncVideoElements;
|
|
1250
1273
|
/**
|
|
@@ -1257,6 +1280,8 @@ export declare class LocalCompositeRecorder {
|
|
|
1257
1280
|
* 绘制单个视频槽位。
|
|
1258
1281
|
*
|
|
1259
1282
|
* contain 会完整显示视频,cover 会填满槽位并裁剪溢出区域。
|
|
1283
|
+
* 移动端竖屏采集的视频携带旋转角度,这里会按角度对 canvas 做等价旋转/镜像,
|
|
1284
|
+
* 与正常播放路径(PlayView.freshTransform 的 CSS transform)保持一致,避免录像横屏。
|
|
1260
1285
|
*/
|
|
1261
1286
|
private drawVideo;
|
|
1262
1287
|
/**
|
|
@@ -1323,6 +1348,15 @@ export declare class LocalScreenTrack extends LocalVideoTrack {
|
|
|
1323
1348
|
*/
|
|
1324
1349
|
export declare class LocalVideoTrack extends BaseWebrtcTrack {
|
|
1325
1350
|
constructor();
|
|
1351
|
+
/**
|
|
1352
|
+
* 挂载视频处理器(如美颜、虚化背景)。传入数组时按顺序串联。
|
|
1353
|
+
* 需先 startCapture 采集到轨道后调用。
|
|
1354
|
+
*/
|
|
1355
|
+
setProcessor(processor: TrackProcessor | TrackProcessor[]): Promise<void>;
|
|
1356
|
+
/**
|
|
1357
|
+
* 卸载视频处理器,还原为原始采集轨道。
|
|
1358
|
+
*/
|
|
1359
|
+
removeProcessor(): Promise<void>;
|
|
1326
1360
|
setMediaStreamTrack(mediaStreamTrack?: MediaStreamTrack): void;
|
|
1327
1361
|
/**
|
|
1328
1362
|
* 获取联播轨道(小流)
|
|
@@ -1380,6 +1414,23 @@ export declare class LocalVideoTrack extends BaseWebrtcTrack {
|
|
|
1380
1414
|
*/
|
|
1381
1415
|
isPopOut(container: HTMLElement): boolean;
|
|
1382
1416
|
}
|
|
1417
|
+
/**
|
|
1418
|
+
* 处理器串联组合器:把多个 TrackProcessor 收敛成一个。
|
|
1419
|
+
* 第一性原理——每个处理器都是 track→track 的变换,可逐级串联:
|
|
1420
|
+
* 源 → P1 → P2 → ... → processedTrack。
|
|
1421
|
+
*
|
|
1422
|
+
* 音频链共享一个 AudioContext,避免每级单独创建上下文(浏览器对 AudioContext 数量有限制)。
|
|
1423
|
+
*/
|
|
1424
|
+
export declare class ProcessorPipeline implements TrackProcessor {
|
|
1425
|
+
readonly name: string;
|
|
1426
|
+
processedTrack?: MediaStreamTrack;
|
|
1427
|
+
private processors;
|
|
1428
|
+
/** 仅当本组合器自建共享上下文时持有,destroy 时负责关闭 */
|
|
1429
|
+
private ownedAudioContext?;
|
|
1430
|
+
constructor(processors: TrackProcessor[]);
|
|
1431
|
+
init(options: ProcessorOptions): Promise<void>;
|
|
1432
|
+
destroy(): Promise<void>;
|
|
1433
|
+
}
|
|
1383
1434
|
/**
|
|
1384
1435
|
* 远端混音流
|
|
1385
1436
|
*/
|
|
@@ -2788,6 +2839,21 @@ export interface PopOutOptions {
|
|
|
2788
2839
|
/** 是否隐藏原始播放视图,默认true */
|
|
2789
2840
|
hideOriginView?: boolean;
|
|
2790
2841
|
}
|
|
2842
|
+
/**
|
|
2843
|
+
* 处理器初始化参数
|
|
2844
|
+
*/
|
|
2845
|
+
export interface ProcessorOptions {
|
|
2846
|
+
/** 源 MediaStreamTrack(采集得到的原始轨道) */
|
|
2847
|
+
track: MediaStreamTrack;
|
|
2848
|
+
/** 轨道类型 audio / video */
|
|
2849
|
+
kind: TrackKind;
|
|
2850
|
+
/**
|
|
2851
|
+
* 可选共享 AudioContext。
|
|
2852
|
+
* 串联多个音频处理器时由 ProcessorPipeline 传入同一个上下文,
|
|
2853
|
+
* 减少多级 destination→source 往返及重复创建 AudioContext 的开销。
|
|
2854
|
+
*/
|
|
2855
|
+
audioContext?: AudioContext;
|
|
2856
|
+
}
|
|
2791
2857
|
/**
|
|
2792
2858
|
* 属性更改项
|
|
2793
2859
|
*/
|
|
@@ -3024,6 +3090,20 @@ export interface TrackMetric {
|
|
|
3024
3090
|
/** 其他由 track.getInfo() 展开的字段 */
|
|
3025
3091
|
[key: string]: any;
|
|
3026
3092
|
}
|
|
3093
|
+
/**
|
|
3094
|
+
* 轨道处理器接口。
|
|
3095
|
+
* 插件作者实现此接口即可接入 SDK:输入一条轨道,产出一条处理后的轨道。
|
|
3096
|
+
*/
|
|
3097
|
+
export interface TrackProcessor {
|
|
3098
|
+
/** 处理器名称,用于日志与串联展示 */
|
|
3099
|
+
readonly name: string;
|
|
3100
|
+
/** 处理后的输出轨道;init 成功后必须可用 */
|
|
3101
|
+
readonly processedTrack?: MediaStreamTrack;
|
|
3102
|
+
/** 初始化:建立内部处理管线,并产出 processedTrack */
|
|
3103
|
+
init(options: ProcessorOptions): Promise<void>;
|
|
3104
|
+
/** 释放资源:断开音频节点、关闭自建的 AudioContext 等 */
|
|
3105
|
+
destroy(): Promise<void>;
|
|
3106
|
+
}
|
|
3027
3107
|
/**
|
|
3028
3108
|
* 程博流媒体服务连接信息
|
|
3029
3109
|
*/
|
package/srtc.d.ts
CHANGED
|
@@ -1087,6 +1087,15 @@ export declare class ChannelEventType extends CommonChannelEventType {
|
|
|
1087
1087
|
*/
|
|
1088
1088
|
export declare class LocalAudioTrack extends BaseWebrtcTrack {
|
|
1089
1089
|
constructor();
|
|
1090
|
+
/**
|
|
1091
|
+
* 挂载音频处理器(如 RNN 降噪、变声)。传入数组时按顺序串联。
|
|
1092
|
+
* 需先 startCapture 采集到轨道后调用。
|
|
1093
|
+
*/
|
|
1094
|
+
setProcessor(processor: TrackProcessor | TrackProcessor[]): Promise<void>;
|
|
1095
|
+
/**
|
|
1096
|
+
* 卸载音频处理器,还原为原始采集轨道。
|
|
1097
|
+
*/
|
|
1098
|
+
removeProcessor(): Promise<void>;
|
|
1090
1099
|
/**
|
|
1091
1100
|
* 获取音量
|
|
1092
1101
|
*/
|
|
@@ -1227,6 +1236,13 @@ export declare class LocalCompositeRecorder {
|
|
|
1227
1236
|
* 从原生 MediaStreamTrack 或 SDK Track 中取出当前实际媒体轨。
|
|
1228
1237
|
*/
|
|
1229
1238
|
private resolveMediaStreamTrack;
|
|
1239
|
+
/**
|
|
1240
|
+
* 读取 SDK Track 的视频旋转角度(FourCC)。
|
|
1241
|
+
*
|
|
1242
|
+
* 原生 MediaStreamTrack 不携带旋转信息,按未旋转(ANGLE_UP)处理。
|
|
1243
|
+
* 用于让录制 canvas 与正常播放路径(CSS transform)的旋转表现保持一致。
|
|
1244
|
+
*/
|
|
1245
|
+
private resolveTrackAngle;
|
|
1230
1246
|
/**
|
|
1231
1247
|
* 判断是否为可监听 MSTRACK_REPLACED 的 SDK Track。
|
|
1232
1248
|
*/
|
|
@@ -1245,6 +1261,13 @@ export declare class LocalCompositeRecorder {
|
|
|
1245
1261
|
* 同步视频解码元素。
|
|
1246
1262
|
*
|
|
1247
1263
|
* 每个视频 track 都需要一个隐藏 HTMLVideoElement 作为 canvas.drawImage 的帧来源。
|
|
1264
|
+
* 这里以底层 MediaStreamTrack「对象引用」为 key 做复用:同一个 track 即使被多个槽位
|
|
1265
|
+
* 引用(例如大小窗布局下同一成员同时出现在大窗和小窗),也只创建一个解码 video 共享。
|
|
1266
|
+
* 否则同一个远端 track 被多个独立 video 同时播放会产生竞态,偶发其中一个 video
|
|
1267
|
+
* 取不到帧(videoWidth=0)导致对应槽位黑屏。
|
|
1268
|
+
*
|
|
1269
|
+
* 注意:不能用 track.id 字符串做 key——远端 track 的 id 全局不保证唯一,
|
|
1270
|
+
* 不同用户可能碰撞,会导致多个槽位错误共享同一路画面(“都变成同一个人”)。
|
|
1248
1271
|
*/
|
|
1249
1272
|
private syncVideoElements;
|
|
1250
1273
|
/**
|
|
@@ -1257,6 +1280,8 @@ export declare class LocalCompositeRecorder {
|
|
|
1257
1280
|
* 绘制单个视频槽位。
|
|
1258
1281
|
*
|
|
1259
1282
|
* contain 会完整显示视频,cover 会填满槽位并裁剪溢出区域。
|
|
1283
|
+
* 移动端竖屏采集的视频携带旋转角度,这里会按角度对 canvas 做等价旋转/镜像,
|
|
1284
|
+
* 与正常播放路径(PlayView.freshTransform 的 CSS transform)保持一致,避免录像横屏。
|
|
1260
1285
|
*/
|
|
1261
1286
|
private drawVideo;
|
|
1262
1287
|
/**
|
|
@@ -1323,6 +1348,15 @@ export declare class LocalScreenTrack extends LocalVideoTrack {
|
|
|
1323
1348
|
*/
|
|
1324
1349
|
export declare class LocalVideoTrack extends BaseWebrtcTrack {
|
|
1325
1350
|
constructor();
|
|
1351
|
+
/**
|
|
1352
|
+
* 挂载视频处理器(如美颜、虚化背景)。传入数组时按顺序串联。
|
|
1353
|
+
* 需先 startCapture 采集到轨道后调用。
|
|
1354
|
+
*/
|
|
1355
|
+
setProcessor(processor: TrackProcessor | TrackProcessor[]): Promise<void>;
|
|
1356
|
+
/**
|
|
1357
|
+
* 卸载视频处理器,还原为原始采集轨道。
|
|
1358
|
+
*/
|
|
1359
|
+
removeProcessor(): Promise<void>;
|
|
1326
1360
|
setMediaStreamTrack(mediaStreamTrack?: MediaStreamTrack): void;
|
|
1327
1361
|
/**
|
|
1328
1362
|
* 获取联播轨道(小流)
|
|
@@ -1380,6 +1414,23 @@ export declare class LocalVideoTrack extends BaseWebrtcTrack {
|
|
|
1380
1414
|
*/
|
|
1381
1415
|
isPopOut(container: HTMLElement): boolean;
|
|
1382
1416
|
}
|
|
1417
|
+
/**
|
|
1418
|
+
* 处理器串联组合器:把多个 TrackProcessor 收敛成一个。
|
|
1419
|
+
* 第一性原理——每个处理器都是 track→track 的变换,可逐级串联:
|
|
1420
|
+
* 源 → P1 → P2 → ... → processedTrack。
|
|
1421
|
+
*
|
|
1422
|
+
* 音频链共享一个 AudioContext,避免每级单独创建上下文(浏览器对 AudioContext 数量有限制)。
|
|
1423
|
+
*/
|
|
1424
|
+
export declare class ProcessorPipeline implements TrackProcessor {
|
|
1425
|
+
readonly name: string;
|
|
1426
|
+
processedTrack?: MediaStreamTrack;
|
|
1427
|
+
private processors;
|
|
1428
|
+
/** 仅当本组合器自建共享上下文时持有,destroy 时负责关闭 */
|
|
1429
|
+
private ownedAudioContext?;
|
|
1430
|
+
constructor(processors: TrackProcessor[]);
|
|
1431
|
+
init(options: ProcessorOptions): Promise<void>;
|
|
1432
|
+
destroy(): Promise<void>;
|
|
1433
|
+
}
|
|
1383
1434
|
/**
|
|
1384
1435
|
* 远端混音流
|
|
1385
1436
|
*/
|
|
@@ -2788,6 +2839,21 @@ export interface PopOutOptions {
|
|
|
2788
2839
|
/** 是否隐藏原始播放视图,默认true */
|
|
2789
2840
|
hideOriginView?: boolean;
|
|
2790
2841
|
}
|
|
2842
|
+
/**
|
|
2843
|
+
* 处理器初始化参数
|
|
2844
|
+
*/
|
|
2845
|
+
export interface ProcessorOptions {
|
|
2846
|
+
/** 源 MediaStreamTrack(采集得到的原始轨道) */
|
|
2847
|
+
track: MediaStreamTrack;
|
|
2848
|
+
/** 轨道类型 audio / video */
|
|
2849
|
+
kind: TrackKind;
|
|
2850
|
+
/**
|
|
2851
|
+
* 可选共享 AudioContext。
|
|
2852
|
+
* 串联多个音频处理器时由 ProcessorPipeline 传入同一个上下文,
|
|
2853
|
+
* 减少多级 destination→source 往返及重复创建 AudioContext 的开销。
|
|
2854
|
+
*/
|
|
2855
|
+
audioContext?: AudioContext;
|
|
2856
|
+
}
|
|
2791
2857
|
/**
|
|
2792
2858
|
* 属性更改项
|
|
2793
2859
|
*/
|
|
@@ -3024,6 +3090,20 @@ export interface TrackMetric {
|
|
|
3024
3090
|
/** 其他由 track.getInfo() 展开的字段 */
|
|
3025
3091
|
[key: string]: any;
|
|
3026
3092
|
}
|
|
3093
|
+
/**
|
|
3094
|
+
* 轨道处理器接口。
|
|
3095
|
+
* 插件作者实现此接口即可接入 SDK:输入一条轨道,产出一条处理后的轨道。
|
|
3096
|
+
*/
|
|
3097
|
+
export interface TrackProcessor {
|
|
3098
|
+
/** 处理器名称,用于日志与串联展示 */
|
|
3099
|
+
readonly name: string;
|
|
3100
|
+
/** 处理后的输出轨道;init 成功后必须可用 */
|
|
3101
|
+
readonly processedTrack?: MediaStreamTrack;
|
|
3102
|
+
/** 初始化:建立内部处理管线,并产出 processedTrack */
|
|
3103
|
+
init(options: ProcessorOptions): Promise<void>;
|
|
3104
|
+
/** 释放资源:断开音频节点、关闭自建的 AudioContext 等 */
|
|
3105
|
+
destroy(): Promise<void>;
|
|
3106
|
+
}
|
|
3027
3107
|
/**
|
|
3028
3108
|
* 程博流媒体服务连接信息
|
|
3029
3109
|
*/
|