原始视频数据

getMirrorApplied

设置视频数据镜像。

Objective-C

- (BOOL)getMirrorApplied;

详情

如果你希望获取的视频数据为原始视频的镜像，需要在调用 setVideoFrameDelegate: 方法时注册该回调。成功注册视频数据观测器后，SDK 会在捕捉到每个视频帧时触发该回调，你需要在该回调的返回值中设置是否对原始视频数据作镜像处理。

注意

• 在 iOS 平台上，该回调支持的视频数据格式有：I420、RGBA 和 CVPixelBuffer。
• 该方法和 setVideoEncoderConfiguration: 方法均支持设置镜像效果，声网建议你仅选择一种方法进行设置，同时使用两种方法会导致镜像效果叠加从而造成设置镜像失败。

返回值

设置 SDK 输出视频数据时是否作镜像处理：

• YES: 镜像。
• NO: （默认）不镜像。

所属接口类

• AgoraVideoFrameDelegate

getObservedFramePosition

设置视频观测位置。

Objective-C

- (unsigned int)getObservedFramePosition;

详情

成功注册视频数据观测器后，SDK 会在每个特定的视频帧处理节点通过该回调来判断是否触发 onCaptureVideoFrame:sourceType:、 onRenderVideoFrame:uid:channelId: 和 onPreEncodeVideoFrame:sourceType: 回调，供你观测本地采集视频数据、远端发送的视频数据以及编码前的视频数据。你可以根据场景需求，通过修改该方法的返回值，设置你需要观测的某个或多个位置：

• AgoraVideoModulePositionPostCapture(1 << 0)，本地采集视频数据后的位置，对应 onCaptureVideoFrame:sourceType: 回调。
• AgoraVideoModulePositionPreRenderer(1 << 1)，接收远端发送的视频在渲染前的位置，对应 onRenderVideoFrame:uid:channelId: 回调。
• AgoraVideoModulePositionPreEncoder(1 << 2)，本地视频编码前的位置，对应 onPreEncodeVideoFrame:sourceType: 回调。

注意

• 观测多个位置时，需要使用 '|' （或）运算符。
• 该回调默认观测 AgoraVideoModulePositionPostCapture(1 << 0)和 AgoraVideoModulePositionPreRenderer(1 << 1)。
• 为降低设备耗能，你可以根据实际需求适当减少观测位置。
• 当视频处理模式为 AgoraVideoFrameProcessModeReadWrite、并且设置观测点为 AgoraVideoModulePositionPreEncoder | AgoraVideoModulePositionPostCapture 时，会造成 getMirrorApplied 不生效，需要修改视频处理模式或观测点的位置。

返回值

设置观测位置的 bit mask。详见 AgoraVideoModulePosition。

所属接口类

• AgoraVideoFrameDelegate

getRotationApplied

设置视频数据旋转。

Objective-C

- (BOOL)getRotationApplied;

详情

如果你在采集端已经根据 AgoraOutputVideoFrame 中的旋转信息 rotation 进行旋转，就无需调用该方法设置视频数据旋转。

注意

• 在 iOS 平台上，该回调支持的视频数据格式有：I420、RGBA 和 CVPixelBuffer。

返回值

设置 SDK 输出视频数据时是否作旋转处理：

• YES: 旋转。
• NO: （默认）不旋转。

所属接口类

• AgoraVideoFrameDelegate

getVideoFormatPreference

设置 SDK 输出的原始视频数据格式。

Objective-C

- (AgoraVideoFormat)getVideoFormatPreference;

详情

你需要在调用 setVideoFrameDelegate: 方法时注册该回调。成功注册视频数据观测器后，SDK 会在捕捉到每个视频帧时触发该回调，你需要在该回调的返回值中设置期望的视频数据格式。

信息

在默认情况下，原始视频像素格式 (AgoraVideoFormatDefault) 存在以下类型：

• 默认的视频帧类型可能为 I420 或 CVPixelBufferRef。

返回值

设置 SDK 输出的原始数据格式。详见 AgoraVideoFormat。

所属接口类

• AgoraVideoFrameDelegate

getVideoFrameProcessMode

设置视频处理模式。

Objective-C

- (AgoraVideoFrameProcessMode)getVideoFrameProcessMode;

详情

成功注册视频观测器后，SDK 会触发一次该回调。你需要在该回调的返回值中设置期望的视频处理模式。

返回值

详见 AgoraVideoFrameProcessMode。

所属接口类

• AgoraVideoFrameDelegate

setVideoFrameDelegate:

注册原始视频观测器对象。

Objective-C

- (BOOL)setVideoFrameDelegate:(id<AgoraVideoFrameDelegate> _Nullable)delegate;

如果你想要观测原始视频帧 (如 YUV 或 RGBA 格式)，声网推荐你通过该方法注册一个 AgoraVideoFrameDelegate 类。

调用该方法注册视频观测器时，你可以根据需要注册 AgoraVideoFrameDelegate 类中的回调。在成功注册视频观测器后，SDK 会在捕捉到每个视频帧时，触发你所注册的上述回调。

适用场景

注册原始视频观测器后，你可以将获取到的原始视频数据应用于各种视频前处理场景，例如自行实现虚拟背景、美颜等场景。有关详细的实现步骤，详见自定义视频数据处理。

声网在 GitHub 上提供了开源的示例项目 BeautyAPI 供你参考。

调用时机

该方法需要在加入频道前调用。

调用限制

在处理回调时，你需要考虑视频帧中 width 和 height 参数的变化，因为观测得到的视频帧可能会随以下情况变化：

• 当网络状况差时，分辨率会阶梯式下降。
• 当用户自行调整分辨率时，回调中报告的分辨率也会变化。

参数

delegate

接口对象实例。详见 AgoraVideoFrameDelegate。如果传入 nil，则取消注册。

返回值

• < 0：方法调用失败。详见错误码了解详情和解决建议。

• YES：方法调用成功。
• NO：方法调用失败。详见错误码了解详情和解决建议。

所属接口类

• AgoraRtcEngineKit

onCaptureVideoFrame:sourceType:

获取本地设备采集到的视频数据。

Objective-C

- (BOOL)onCaptureVideoFrame:(AgoraOutputVideoFrame * _Nonnull)videoFrame sourceType:(AgoraVideoSourceType)sourceType;

你可以在回调中获取本地设备采集到的原始视频数据，并可根据需要进行前处理。完成前处理后，你可以在该回调中直接修改 videoFrame，并将返回值设置为 YES，即可将修改后的视频数据发送给 SDK。

如果你需要将处理后的数据发送给 SDK，需要先调用 getVideoFrameProcessMode 方法，将视频处理模式设置为读写模式（AgoraVideoFrameProcessModeReadWrite）。

适用场景

• 在本地采集的视频数据被 SDK 处理之前对其进行前处理。例如：通过该回调中获取视频数据，并对其进行滤镜、水印、裁剪、旋转等处理。
• 获取本地采集的视频数据被 SDK 处理之前的信息。例如：视频帧的原始宽度、高度、帧率等。

触发时机

成功注册视频数据观测器后，SDK 捕捉到每个视频帧时。

使用限制

• 如果你获取到的视频数据类型为 RGBA，SDK 不支持对 Alpha 通道的值进行处理。
• 建议你在修改 videoFrame 中的参数时，需确保修改后的参数跟视频帧缓冲区中的视频帧实际情况保持一致，否则可能导致本地预览画面和对端的视频画面出现非预期的旋转、失真等问题。

参数

sourceType

视频源类型，可能的视频源包括：摄像头、屏幕或媒体播放器。详见 AgoraVideoSourceType。

videoFrame

视频帧数据。详见 AgoraOutputVideoFrame。

信息

通过该回调获取的视频帧数据格式默认值如下：

• iOS：I420 或 CVPixelBufferRef

返回值

• 当视频处理模式为 AgoraVideoFrameProcessModeReadOnly 时：
  • YES：无实际含义。
  • NO：无实际含义。
• 当视频处理模式为 AgoraVideoFrameProcessModeReadWrite 时：
  • YES：设置 SDK 接收视频帧。
  • NO：设置 SDK 丢弃视频帧。

所属接口类

• AgoraVideoFrameDelegate

onPreEncodeVideoFrame:sourceType:

获取本地视频编码前的视频数据。

Objective-C

- (BOOL)onPreEncodeVideoFrame:(AgoraOutputVideoFrame * _Nonnull)videoFrame sourceType:(AgoraVideoSourceType)sourceType;

详情

成功注册视频数据观测器后，SDK 会在捕捉到每个视频帧时触发该回调。你可以在回调中获取编码前的视频数据，然后根据场景需要，对视频数据进行处理。

完成处理后，你可以在该回调中，传入处理后的视频数据将其发送回 SDK。

注意

• 如果你需要将处理后的数据发送给 SDK，需要先调用 getVideoFrameProcessMode 方法，将视频处理模式设置为读写模式（AgoraVideoFrameProcessModeReadWrite）。
• 你需要通过 getObservedFramePosition 设置观测 AgoraVideoModulePositionPreEncoder(1 << 2) 后，才能使用该回调获取本地视频编码前的视频数据。
• 此处获取的视频数据已经过前处理，如裁剪、旋转和美颜等。
• 建议你在修改 videoFrame 中的参数时，需确保修改后的参数跟视频帧缓冲区中的视频帧实际情况保持一致，否则可能导致本地预览画面和对端的视频画面出现非预期的旋转、失真等问题。

参数

sourceType

视频源的类型。详见 AgoraVideoSourceType。

videoFrame

视频帧数据。详见 AgoraOutputVideoFrame。

信息

通过该回调获取的视频帧数据格式默认值如下：

• iOS：I420 或 CVPixelBufferRef

返回值

• 当视频处理模式为 AgoraVideoFrameProcessModeReadOnly 时：
  • YES：无实际含义。
  • NO：无实际含义。
• 当视频处理模式为 AgoraVideoFrameProcessModeReadWrite 时：
  • YES：设置 SDK 接收视频帧。
  • NO：设置 SDK 丢弃视频帧。

所属接口类

• AgoraVideoFrameDelegate

onRenderVideoFrame:uid:channelId:

获取远端发送的视频数据。

Objective-C

- (BOOL)onRenderVideoFrame:(AgoraOutputVideoFrame * _Nonnull)videoFrame
    uid:(NSUInteger)uid
    channelId:(NSString * _Nonnull)channelId;

详情

成功注册视频数据观测器后，SDK 会在捕捉到每个视频帧时触发该回调。你可以在回调中获取远端发送的渲染前的视频数据，然后根据场景需要，对视频数据进行处理。

注意

• 如果你需要将处理后的数据发送给 SDK，需要先调用 getVideoFrameProcessMode 方法，将视频处理模式设置为读写模式（AgoraVideoFrameProcessModeReadWrite）。
• 如果你获取到的视频数据类型为 RGBA，SDK 不支持对 Alpha 通道的值进行处理。
• 建议你在修改 videoFrame 中的参数时，需确保修改后的参数跟视频帧缓冲区中的视频帧实际情况保持一致，否则可能导致本地预览画面和对端的视频画面出现非预期的旋转、失真等问题。

参数

uid

发送该帧视频的远端用户 ID。

videoFrame

视频帧数据。详见 AgoraOutputVideoFrame。

信息

通过该回调获取的视频帧数据格式默认值如下：

• iOS：I420 或 CVPixelBufferRef

channelId

频道 ID。

返回值

• 当视频处理模式为 AgoraVideoFrameProcessModeReadOnly 时：
  • YES：无实际含义。
  • NO：无实际含义。
• 当视频处理模式为 AgoraVideoFrameProcessModeReadWrite 时：
  • YES：设置 SDK 接收视频帧。
  • NO：设置 SDK 丢弃视频帧。

所属接口类

• AgoraVideoFrameDelegate