原始视频数据
registerVideoFrameObserver
注册原始视频观测器对象。
Dart
void registerVideoFrameObserver(VideoFrameObserver observer);
详情
如果你想要观测原始视频帧 (如 YUV 或 RGBA 格式),声网推荐你通过该方法注册一个 VideoFrameObserver 类。
调用该方法注册视频观测器时,你可以根据需要注册 VideoFrameObserver 类中的回调。在成功注册视频观测器后,SDK 会在捕捉到每个视频帧时,触发你所注册的上述回调。
如果你想获取一部分远端用户的原始视频数据 (简称为 A 组)、获取另一部分远端用户的编码后视频数据 (简称为 B 组),可参考以下步骤:
- 在加入频道前调用 registerVideoFrameObserver 注册原始视频帧观测器。
- 在加入频道前调用 registerVideoEncodedFrameObserver 注册编码后的视频帧观测器。
- 加入频道后通过 onUserJoined 获取 B 组用户的 ID,然后调用 setRemoteVideoSubscriptionOptions 设置该组用户的 encodedFrameOnly 为
true
。 - 调用 muteAllRemoteVideoStreams
(false)
,开始接收所有远端用户的视频流。此时:- 可通过 VideoFrameObserver 中的回调获取 A 组用户的原始视频数据,SDK 默认对该数据进行渲染。
- 可通过 VideoEncodedFrameObserver 中的回调获取 B 组用户的已编码视频数据。
注意
- 该方法需要在加入频道前调用。
- 在处理回调时,你需要考虑视频帧中 width 和 height 参数的变化,因为观测得到的视频帧可能会随以下情况变化:
- 当网络状况差时,分辨率会阶梯式下降。
- 当用户自行调整分辨率时,回调中报告的分辨率也会变化。
参数
- observer
- 接口对象实例。详见 VideoFrameObserver。
返回值
方法成功调用时,无返回值;方法调用失败时,会抛出 AgoraRtcException 异常,你需要捕获异常并进行处理。详见错误码了解详情和解决建议。
- < 0:方法调用失败。详见错误码了解详情和解决建议。
unregisterVideoFrameObserver
取消注册视频帧观测器。
Dart
void unregisterVideoFrameObserver(VideoFrameObserver observer);
参数
- observer
- 视频帧观测器,观测每帧视频的接收, 详见 VideoFrameObserver。
返回值
方法成功调用时,无返回值;方法调用失败时,会抛出 AgoraRtcException 异常,你需要捕获异常并进行处理。详见错误码了解详情和解决建议。
onCaptureVideoFrame
获取本地设备采集到的视频数据。
Dart
final void Function(VideoSourceType sourceType, VideoFrame videoFrame)?
onCaptureVideoFrame;
你可以在回调中获取本地设备采集到的原始视频数据。
适用场景
- 获取本地采集的视频数据被 SDK 处理之前的信息。例如:视频帧的原始宽度、高度、帧率等。
触发时机
成功注册视频数据观测器后,SDK 捕捉到每个视频帧时。
使用限制
- 此处获取的视频数据为原始视频数据,即:未经过水印、裁剪和旋转等前处理的视频数据。
- 如果你获取到的视频数据类型为 RGBA,SDK 不支持对 alpha 通道的值进行处理。
- 由于框架的限制,该回调不支持将处理后的视频数据发送回 SDK。
参数
- sourceType
- 视频源类型,可能的视频源包括:摄像头、屏幕或媒体播放器。详见 VideoSourceType 。
- videoFrame
- 视频帧数据。详见 VideoFrame。信息通过该回调获取的视频帧数据格式默认值如下:
- Android:I420
- iOS:I420
- macOS:I420
- Windows:YUV420
onFrame
已获取视频帧回调。
Dart
final void Function(VideoFrame frame)? onFrame;
详情
注册视频观测器后,每次接收到一帧视频时,都会触发该回调,报告视频帧信息。
参数
- frame
- 视频帧信息,详见 VideoFrame。
onPreEncodeVideoFrame
获取本地视频编码前的视频数据。
Dart
final void Function(VideoFrame videoFrame)? onPreEncodeVideoFrame;
详情
成功注册视频数据观测器后,SDK 会在捕捉到每个视频帧时触发该回调。你可以在回调中获取编码前的视频数据,然后根据场景需要,对视频数据进行处理。
注意
- 由于框架的限制,该回调不支持将处理后的视频数据发送回 SDK。
- 此处获取的视频数据已经过前处理,如裁剪、旋转和美颜等。
参数
- sourceType
视频源的类型。详见 VideoSourceType。
- videoFrame
- 视频帧数据。详见 VideoFrame。信息通过该回调获取的视频帧数据格式默认值如下:
- Android:I420
- iOS:I420
- macOS:I420
- Windows:YUV420
onRenderVideoFrame
获取远端发送的视频数据。
Dart
final void Function(String channelId, int remoteUid, VideoFrame videoFrame)?
onRenderVideoFrame;
详情
成功注册视频数据观测器后,SDK 会在捕捉到每个视频帧时触发该回调。你可以在回调中获取远端发送的渲染前的视频数据,然后根据场景需要,对视频数据进行处理。
注意
- 如果你获取到的视频数据类型为 RGBA,SDK 不支持对 alpha 通道的值进行处理。
- 由于框架的限制,该回调不支持将处理后的视频数据发送回 SDK。
参数
- remoteUid
- 发送该帧视频的远端用户 ID。
- videoFrame
- 视频帧数据。详见 VideoFrame。信息通过该回调获取的视频帧数据格式默认值如下:
- Android:I420
- iOS:I420
- macOS:I420
- Windows:YUV420
- channelId
- 频道 ID。