原始视频数据
getMirrorApplied
设置视频数据镜像。
- (BOOL)getMirrorApplied;
详情
如果你希望获取的视频数据为原始视频的镜像,需要在调用 setVideoFrameDelegate: 方法时注册该回调。成功注册视频数据观测器后,SDK 会在捕捉到每个视频帧时触发该回调,你需要在该回调的返回值中设置是否对原始视频数据作镜像处理。
- 在 macOS 平台上,该回调支持的视频数据格式有:I420 和 RGBA。
- 该方法和 setVideoEncoderConfiguration: 方法均支持设置镜像效果,声网建议你仅选择一种方法进行设置,同时使用两种方法会导致镜像效果叠加从而造成设置镜像失败。
返回值
YES
: 镜像。NO
: (默认)不镜像。
getObservedFramePosition
设置视频观测位置。
- (unsigned int)getObservedFramePosition;
详情
成功注册视频数据观测器后,SDK 会在每个特定的视频帧处理节点通过该回调来判断是否触发 onCaptureVideoFrame:sourceType:、 onRenderVideoFrame:uid:channelId: 和 onPreEncodeVideoFrame:sourceType: 回调,供你观测本地采集视频数据、远端发送的视频数据以及编码前的视频数据。你可以根据场景需求,通过修改该方法的返回值,设置你需要观测的某个或多个位置:
- AgoraVideoModulePositionPostCapture(1 << 0),本地采集视频数据后的位置,对应 onCaptureVideoFrame:sourceType: 回调。
- AgoraVideoModulePositionPreRenderer(1 << 1),接收远端发送的视频在渲染前的位置,对应 onRenderVideoFrame:uid:channelId: 回调。
- AgoraVideoModulePositionPreEncoder(1 << 2),本地视频编码前的位置,对应 onPreEncodeVideoFrame:sourceType: 回调。
- 观测多个位置时,需要使用 '|' (或)运算符。
- 该回调默认观测 AgoraVideoModulePositionPostCapture(1 << 0)和 AgoraVideoModulePositionPreRenderer(1 << 1)。
- 为降低设备耗能,你可以根据实际需求适当减少观测位置。
- 当视频处理模式为 AgoraVideoFrameProcessModeReadWrite、并且设置观测点为 AgoraVideoModulePositionPreEncoder | AgoraVideoModulePositionPostCapture 时,会造成 getMirrorApplied 不生效,需要修改视频处理模式或观测点的位置。
返回值
设置观测位置的 bit mask。详见 AgoraVideoModulePosition。
所属接口类getRotationApplied
设置视频数据旋转。
- (BOOL)getRotationApplied;
详情
如果你在采集端已经根据 AgoraOutputVideoFrame 中的旋转信息 rotation 进行旋转,就无需调用该方法设置视频数据旋转。
- 在 macOS 平台上,该回调支持的视频数据格式有:I420 和 RGBA。
返回值
YES
: 旋转。NO
: (默认)不旋转。
getVideoFormatPreference
设置 SDK 输出的原始视频数据格式。
- (AgoraVideoFormat)getVideoFormatPreference;
详情
你需要在调用 setVideoFrameDelegate: 方法时注册该回调。成功注册视频数据观测器后,SDK 会在捕捉到每个视频帧时触发该回调,你需要在该回调的返回值中设置期望的视频数据格式。
- 默认的视频帧类型可能为 I420 或 CVPixelBufferRef。
返回值
设置 SDK 输出的原始数据格式。详见 AgoraVideoFormat。
所属接口类getVideoFrameProcessMode
setVideoFrameDelegate:
注册原始视频观测器对象。
- (BOOL)setVideoFrameDelegate:(id<AgoraVideoFrameDelegate> _Nullable)delegate;
如果你想要观测原始视频帧 (如 YUV 或 RGBA 格式),声网推荐你通过该方法注册一个 AgoraVideoFrameDelegate 类。
调用该方法注册视频观测器时,你可以根据需要注册 AgoraVideoFrameDelegate 类中的回调。在成功注册视频观测器后,SDK 会在捕捉到每个视频帧时,触发你所注册的上述回调。
适用场景
注册原始视频观测器后,你可以将获取到的原始视频数据应用于各种视频前处理场景,例如自行实现虚拟背景、美颜等场景。有关详细的实现步骤,详见自定义视频数据处理。
调用时机
该方法需要在加入频道前调用。
调用限制
- 当网络状况差时,分辨率会阶梯式下降。
- 当用户自行调整分辨率时,回调中报告的分辨率也会变化。
参数
- delegate
- 接口对象实例。详见 AgoraVideoFrameDelegate。如果传入 nil,则取消注册。
返回值
所属接口类onCaptureVideoFrame:sourceType:
获取本地设备采集到的视频数据。
- (BOOL)onCaptureVideoFrame:(AgoraOutputVideoFrame * _Nonnull)videoFrame sourceType:(AgoraVideoSourceType)sourceType;
你可以在回调中获取本地设备采集到的原始视频数据,并可根据需要进行前处理。完成前处理后,你可以在该回调中直接修改 videoFrame,并将返回值设置为 YES
,即可将修改后的视频数据发送给 SDK。
如果你需要将处理后的数据发送给 SDK,需要先调用 getVideoFrameProcessMode 方法,将视频处理模式设置为读写模式(AgoraVideoFrameProcessModeReadWrite)。
该回调默认提供的视频数据格式为 I420 或 CVPixelBufferRef,如果你需要其他格式的视频数据,可在 getVideoFormatPreference 回调中返回预期的数据格式。
适用场景
- 在本地采集的视频数据被 SDK 处理之前对其进行前处理。例如:通过该回调中获取视频数据,并对其进行滤镜、水印、裁剪、旋转等处理。
- 获取本地采集的视频数据被 SDK 处理之前的信息。例如:视频帧的原始宽度、高度、帧率等。
触发时机
成功注册视频数据观测器后,SDK 捕捉到每个视频帧时。
使用限制
- 如果你获取到的视频数据类型为 RGBA,SDK 不支持对 Alpha 通道的值进行处理。
- 建议你在修改 videoFrame 中的参数时,需确保修改后的参数跟视频帧缓冲区中的视频帧实际情况保持一致,否则可能导致本地预览画面和对端的视频画面出现非预期的旋转、失真等问题。
参数
- sourceType
- 视频源类型,可能的视频源包括:摄像头、屏幕或媒体播放器。详见 AgoraVideoSourceType。
- videoFrame
- 视频帧数据。详见 AgoraOutputVideoFrame。信息通过该回调获取的视频帧数据格式默认值如下:
- macOS:I420 或 CVPixelBufferRef
返回值
- 当视频处理模式为 AgoraVideoFrameProcessModeReadOnly 时:
YES
:无实际含义。NO
:无实际含义。
- 当视频处理模式为 AgoraVideoFrameProcessModeReadWrite 时:
YES
:设置 SDK 接收视频帧。NO
:设置 SDK 丢弃视频帧。
onPreEncodeVideoFrame:sourceType:
获取本地视频编码前的视频数据。
- (BOOL)onPreEncodeVideoFrame:(AgoraOutputVideoFrame * _Nonnull)videoFrame sourceType:(AgoraVideoSourceType)sourceType;
详情
成功注册视频数据观测器后,SDK 会在捕捉到每个视频帧时触发该回调。你可以在回调中获取编码前的视频数据,然后根据场景需要,对视频数据进行处理。
完成处理后,你可以在该回调中,传入处理后的视频数据将其发送回 SDK。
- 如果你需要将处理后的数据发送给 SDK,需要先调用 getVideoFrameProcessMode 方法,将视频处理模式设置为读写模式(AgoraVideoFrameProcessModeReadWrite)。
- 你需要通过 getObservedFramePosition 设置观测 AgoraVideoModulePositionPreEncoder(1 << 2) 后,才能使用该回调获取本地视频编码前的视频数据。
- 此处获取的视频数据已经过前处理,如裁剪、旋转和美颜等。
- 建议你在修改 videoFrame 中的参数时,需确保修改后的参数跟视频帧缓冲区中的视频帧实际情况保持一致,否则可能导致本地预览画面和对端的视频画面出现非预期的旋转、失真等问题。
参数
- sourceType
视频源的类型。详见 AgoraVideoSourceType。
- videoFrame
- 视频帧数据。详见 AgoraOutputVideoFrame。信息通过该回调获取的视频帧数据格式默认值如下:
- macOS:I420 或 CVPixelBufferRef
返回值
- 当视频处理模式为 AgoraVideoFrameProcessModeReadOnly 时:
YES
:无实际含义。NO
:无实际含义。
- 当视频处理模式为 AgoraVideoFrameProcessModeReadWrite 时:
YES
:设置 SDK 接收视频帧。NO
:设置 SDK 丢弃视频帧。
onRenderVideoFrame:uid:channelId:
获取远端发送的视频数据。
- (BOOL)onRenderVideoFrame:(AgoraOutputVideoFrame * _Nonnull)videoFrame
uid:(NSUInteger)uid
channelId:(NSString * _Nonnull)channelId;
详情
成功注册视频数据观测器后,SDK 会在捕捉到每个视频帧时触发该回调。你可以在回调中获取远端发送的渲染前的视频数据,然后根据场景需要,对视频数据进行处理。
该回调默认提供的视频数据格式为 I420 或 CVPixelBufferRef,如果你需要其他格式的视频数据,可在 getVideoFormatPreference 回调中返回预期的数据格式。
- 如果你需要将处理后的数据发送给 SDK,需要先调用 getVideoFrameProcessMode 方法,将视频处理模式设置为读写模式(AgoraVideoFrameProcessModeReadWrite)。
- 如果你获取到的视频数据类型为 RGBA,SDK 不支持对 Alpha 通道的值进行处理。
- 建议你在修改 videoFrame 中的参数时,需确保修改后的参数跟视频帧缓冲区中的视频帧实际情况保持一致,否则可能导致本地预览画面和对端的视频画面出现非预期的旋转、失真等问题。
参数
- uid
- 发送该帧视频的远端用户 ID。
- videoFrame
- 视频帧数据。详见 AgoraOutputVideoFrame。信息通过该回调获取的视频帧数据格式默认值如下:
- macOS:I420 或 CVPixelBufferRef
- channelId
- 频道 ID。
返回值
- 当视频处理模式为 AgoraVideoFrameProcessModeReadOnly 时:
YES
:无实际含义。NO
:无实际含义。
- 当视频处理模式为 AgoraVideoFrameProcessModeReadWrite 时:
YES
:设置 SDK 接收视频帧。NO
:设置 SDK 丢弃视频帧。