自定义视频采集和渲染
createCustomVideoTrack
创建一个自定义的视频轨道。
C++
virtual video_track_id_t createCustomVideoTrack() = 0;
详情
当你需要在频道中发布自定义采集视频时,可参考以下步骤:
- 调用该方法创建视频轨道并获得视频轨道 ID。
- 调用 joinChannel [2/2] 加入频道时,将 ChannelMediaOptions 中的 customVideoTrackId 设置为你想要发布的视频轨道 ID,并将 publishCustomVideoTrack 设置为
true
。 - 调用 pushVideoFrame 将 videoTrackId 指定为步骤 2 中指定的视频轨道 ID,即可实现在频道内发布对应的自定义视频源。
返回值
- 方法调用成功,返回视频轨道 ID 作为该视频轨道的唯一标识。
- 方法调用失败,返回 0xffffffff。详见错误码了解详情和解决建议。
destroyCustomVideoTrack
销毁指定的视频轨道。
C++
virtual int destroyCustomVideoTrack(video_track_id_t video_track_id) = 0;
参数
- video_track_id
- 调用 createCustomVideoTrack 方法返回的视频轨道 ID。
返回值
- 0: 方法调用成功。
- < 0: 方法调用失败。详见错误码了解详情和解决建议。
pushVideoFrame
将外部原始视频帧通过自定义视频轨道发布到频道中。
C++
virtual int pushVideoFrame(base::ExternalVideoFrame* frame, unsigned int videoTrackId = 0) = 0;
详情
当你需要在频道中发布自定义采集视频时,可参考以下步骤:
- 调用 createCustomVideoTrack 方法创建视频轨道并获得视频轨道 ID。
- 调用 joinChannel [2/2] 加入频道时,将 ChannelMediaOptions 中的 customVideoTrackId 设置为你想要发布的视频轨道 ID,并将 publishCustomVideoTrack 设置为
true
。 - 调用该方法将 videoTrackId 指定为步骤 2 中指定的视频轨道 ID,即可实现在频道内发布对应的自定义视频源。
警告
调用该方法后,即使你停止推送外部视频帧到 SDK,自定义采集的视频流仍然会被计入视频时长用量并产生费用,声网建议你根据实际情况采取相应措施避免此类视频计费:
- 如果你不再需要采集外部视频数据,可以调用 destroyCustomVideoTrack 销毁自定义采集的视频轨道。
- 如果你只想将采集到的外部视频数据用于本地预览、而不在频道内发布,可以调用 muteLocalVideoStream 取消发送视频流,或调用 updateChannelMediaOptions 将 publishCustomVideoTrack 设置为
false
。
适用场景
SDK 自 v4.2.3 起支持 ID3D11Texture2D 类型的视频格式,该类型在游戏场景下应用较为广泛。当你需要将该类型的视频帧推送的 SDK 时,需要调用该方法,并设置 frame 中的 format 为 VIDEO_TEXTURE_ID3D11TEXTURE2D
、设置 d3d11_texture_2d 和 texture_slice_index 成员,将视频帧的格式设置为 ID3D11Texture2D。
参数
- frame
待推送的视频帧。详见 ExternalVideoFrame。
- videoTrackId
- 调用 createCustomVideoTrack 方法返回的视频轨道 ID。默认值为 0。
返回值
- 0:方法调用成功。
- < 0:方法调用失败。详见错误码了解详情和解决建议。
setExternalVideoSource
设置外部视频源。
C++
virtual int setExternalVideoSource(
bool enabled, bool useTexture, EXTERNAL_VIDEO_SOURCE_TYPE sourceType = VIDEO_FRAME,
rtc::SenderOptions encodedVideoOption = rtc::SenderOptions()) = 0;
调用该方法启用外部视频源后,你可以调用 pushVideoFrame 向 SDK 推送外部视频数据。
调用时机
该方法需要在加入频道前调用。
调用限制
不支持在频道内动态切换视频源。如果已调用该方法启用外部视频源并加入频道,若想切换为内部视频源,必须先退出频道,然后调用该方法关闭外部视频源,再重新加入频道。
参数
- enabled
- 是否启用外部视频源:
true
: 启用外部视频源。SDK 准备接收外部视频帧。false
:(默认)不启用外部视频源。
- useTexture
- 是否使用 Texture 格式的外部视频帧:
true
: 使用 Texture 格式的外部视频帧。false
: 不使用 Texture 格式的外部视频帧。
- sourceType
- 外部视频帧是否编码,详见 EXTERNAL_VIDEO_SOURCE_TYPE。
- encodedVideoOption
返回值
- 0:方法调用成功。
- < 0: 方法调用失败。详见错误码了解详情和解决建议。