原始视频数据
RegisterVideoFrameObserver
注册原始视频观测器对象。
C#
public abstract int RegisterVideoFrameObserver(IVideoFrameObserver videoFrameObserver, VIDEO_OBSERVER_FRAME_TYPE formatPreference, VIDEO_OBSERVER_POSITION position, OBSERVER_MODE mode = OBSERVER_MODE.INTPTR);
如果你想要观测原始视频帧 (如 YUV 或 RGBA 格式)，声网推荐你通过该方法注册一个 IVideoFrameObserver 类。
调用该方法注册视频观测器时，你可以根据需要注册 IVideoFrameObserver 类中的回调。在成功注册视频观测器后，SDK 会在捕捉到每个视频帧时，触发你所注册的上述回调。
如果你想获取一部分远端用户的原始视频数据 (简称为 A 组)、获取另一部分远端用户的编码后视频数据 (简称为 B 组)，可参考以下步骤：
- 在加入频道前调用 RegisterVideoFrameObserver 注册原始视频帧观测器。
- 在加入频道前调用 RegisterVideoEncodedFrameObserver 注册编码后的视频帧观测器。
- 加入频道后通过 OnUserJoined 获取 B 组用户的 ID，然后调用 SetRemoteVideoSubscriptionOptions 设置该组用户的 encodedFrameOnly 为
true。 - 调用 MuteAllRemoteVideoStreams
(false)，开始接收所有远端用户的视频流。此时：- 可通过 IVideoFrameObserver 中的回调获取 A 组用户的原始视频数据，SDK 默认对该数据进行渲染。
- 可通过 IVideoEncodedFrameObserver 中的回调获取 B 组用户的已编码视频数据。
适用场景
注册原始视频观测器后，你可以将获取到的原始视频数据应用于各种视频前处理场景，例如自行实现虚拟背景、美颜等场景。
调用时机
该方法需要在加入频道前调用。
调用限制
在处理回调时，你需要考虑视频帧中 width 和 height 参数的变化，因为观测得到的视频帧可能会随以下情况变化：
- 当网络状况差时，分辨率会阶梯式下降。
- 当用户自行调整分辨率时，回调中报告的分辨率也会变化。
参数
- videoFrameObserver
- 接口对象实例。详见 IVideoFrameObserver。如果传入 NULL，则取消注册。
- mode
- 视频数据回调模式，详见 OBSERVER_MODE。
返回值
- 0：方法调用成功。
- < 0：方法调用失败。详见错误码了解详情和解决建议。
UnregisterVideoEncodedFrameObserver
UnregisterVideoFrameObserver
OnCaptureVideoFrame
获取本地设备采集到的视频数据。
C#
public virtual bool OnCaptureVideoFrame(VIDEO_SOURCE_TYPE sourceType, VideoFrame videoFrame)
你可以在回调中获取本地设备采集到的原始视频数据，并可根据需要进行前处理。完成前处理后，你可以在该回调中直接修改 videoFrame，并将返回值设置为 true，即可将修改后的视频数据发送给 SDK。
适用场景
- 在本地采集的视频数据被 SDK 处理之前对其进行前处理。例如：通过该回调中获取视频数据，并对其进行滤镜、水印、裁剪、旋转等处理。
- 获取本地采集的视频数据被 SDK 处理之前的信息。例如：视频帧的原始宽度、高度、帧率等。
触发时机
成功注册视频数据观测器后，SDK 捕捉到每个视频帧时。
使用限制
- 此处获取的视频数据为原始视频数据，即：未经过水印、裁剪和旋转等前处理的视频数据。
- 如果你获取到的视频数据类型为 RGBA，SDK 不支持对 Alpha 通道的值进行处理。
- 建议你在修改 videoFrame 中的参数时，需确保修改后的参数跟视频帧缓冲区中的视频帧实际情况保持一致，否则可能导致本地预览画面和对端的视频画面出现非预期的旋转、失真等问题。
参数
- sourceType
- 视频源类型，可能的视频源包括：摄像头、屏幕或媒体播放器。详见 VIDEO_SOURCE_TYPE 。
- videoFrame
- 视频帧数据。详见 VideoFrame。信息通过该回调获取的视频帧数据格式默认值如下：
- Windows：YUV420
返回值
true：设置 SDK 接收视频帧。false：设置 SDK 丢弃视频帧。
OnPreEncodeVideoFrame
获取本地视频编码前的视频数据。
C#
public virtual bool OnPreEncodeVideoFrame(VIDEO_SOURCE_TYPE sourceType, VideoFrame videoFrame)
详情
成功注册视频数据观测器后，SDK 会在捕捉到每个视频帧时触发该回调。你可以在回调中获取编码前的视频数据，然后根据场景需要，对视频数据进行处理。
完成处理后，你可以在该回调中，传入处理后的视频数据将其发送回 SDK。
注意
- 你需要通过 设置观测 POSITION_PRE_ENCODER(1 << 2) 后，才能使用该回调获取本地视频编码前的视频数据。
- 此处获取的视频数据已经过前处理，如裁剪、旋转和美颜等。
- 建议你在修改 videoFrame 中的参数时，需确保修改后的参数跟视频帧缓冲区中的视频帧实际情况保持一致，否则可能导致本地预览画面和对端的视频画面出现非预期的旋转、失真等问题。
参数
- sourceType
视频源的类型。详见 VIDEO_SOURCE_TYPE。
- videoFrame
- 视频帧数据。详见 VideoFrame。信息通过该回调获取的视频帧数据格式默认值如下：
- Windows：YUV420
返回值
true：设置 SDK 接收视频帧。false：设置 SDK 丢弃视频帧。
OnRenderVideoFrame
获取远端发送的视频数据。
C#
public virtual bool OnRenderVideoFrame(string channelId, uint remoteUid, VideoFrame videoFrame)
详情
成功注册视频数据观测器后，SDK 会在捕捉到每个视频帧时触发该回调。你可以在回调中获取远端发送的渲染前的视频数据，然后根据场景需要，对视频数据进行处理。
信息
参数
- remoteUid
- 发送该帧视频的远端用户 ID。
- videoFrame
- 视频帧数据。详见 VideoFrame。信息通过该回调获取的视频帧数据格式默认值如下：
- Windows：YUV420
- channelId
- 频道 ID。
返回值
true：设置 SDK 接收视频帧。false：设置 SDK 丢弃视频帧。