视频渲染

EnableInstantMediaRendering

开启音视频帧加速渲染。

C#
public abstract int EnableInstantMediaRendering();

成功调用该方法后，SDK 会开启加速出图和出声模式，可加快用户加入频道后的首帧出图与出声速度。

适用场景

声网推荐在直播场景下，对观众开启该模式。

调用时机

该方法需要在加入频道前调用。

调用限制

一旦成功调用该方法，只能通过调用 Dispose 方法销毁 IRtcEngine 对象来取消加速渲染。

返回值

0: 方法调用成功。
< 0: 方法调用失败。详见错误码了解详情和解决建议。
- -7: IRtcEngine 尚未初始化就调用方法。

所属接口类

IRtcEngine

SetEnable

开始/停止视频渲染。

C#
public void SetEnable(bool enable)
        {
            Enable = enable;
        }

参数

enable

是否开始视频渲染。

true：（默认）开启
false：不开启

所属接口类

VideoSurface

SetForUser

设置本地/远端视频显示。

C#
public void SetForUser(uint uid = 0, string channelId = "",
            VIDEO_SOURCE_TYPE source_type = VIDEO_SOURCE_TYPE.VIDEO_SOURCE_CAMERA_PRIMARY)
        {
            Uid = uid;
            ChannelId = channelId;
            SourceType = source_type;
        }

详情

注意

确保在主线程中调用此方法。
确保在绑定 VideoSurface.cs 前调用此方法。

参数

uid: 远端用户的 ID，通过 OnUserJoined 获得。默认值为 0，表示可以看到本地视频。
channelId: 频道 ID。
source_type: 视频流类型，详见VIDEO_SOURCE_TYPE。

所属接口类

VideoSurface

SetLocalVideoDataSourcePosition

设置本地视频帧的观测位置。

C#
public abstract int SetLocalVideoDataSourcePosition(VIDEO_MODULE_POSITION position);

调用时机

该方法需要在创建第一个 VideoSurface 视图之前调用。

调用限制

该方法仅支持观测通过 VideoSurface 及其子类渲染的本地视频数据。

参数

position

视频帧的观测位置，详见 VIDEO_MODULE_POSITION。

注意

该方法目前仅支持将观测位置设为 POSITION_POST_CAPTURER 或 POSITION_PRE_ENCODER。
在 POSITION_POST_CAPTURER 处获取的视频帧未经裁剪且帧率较高，POSITION_PRE_ENCODER 位置获取的视频帧经过发送前的裁剪，帧率小于或等于摄像头采集的帧率。

返回值

0: 方法调用成功。
< 0: 方法调用失败。详见错误码了解详情和解决建议。

所属接口类

IRtcEngine

SetLocalRenderMode [1/2]

设置本地视图显示模式。

C#
public abstract int SetLocalRenderMode(RENDER_MODE_TYPE renderMode);

详情

废弃

该方法已废弃，请使用 SetLocalRenderMode [2/2] 作为替代。

该方法设置本地视图显示模式。 App 可以多次调用此方法更改显示模式。

参数

renderMode: 本地视图显示模式。详见 RENDER_MODE_TYPE。

返回值

0: 方法调用成功。
< 0: 方法调用失败。详见错误码了解详情和解决建议。

所属接口类

IRtcEngine

SetLocalRenderMode [2/2]

更新本地视图显示模式。

C#
public abstract int SetLocalRenderMode(RENDER_MODE_TYPE renderMode, VIDEO_MIRROR_MODE_TYPE mirrorMode);

初始化本地用户视图后，你可以调用该方法更新本地用户视图的渲染和镜像模式。该方法只影响本地用户看到的视频画面，不影响本地视频的发布。

调用时机

请在调用 SetupLocalVideo 方法初始化本地视图后，调用该方法。
你可以在通话中多次调用该方法，多次更新本地用户视图的显示模式。

参数

renderMode: 本地视图显示模式。详见 RENDER_MODE_TYPE。
mirrorMode: 本地视图的镜像模式，详见 VIDEO_MIRROR_MODE_TYPE。
注意
该参数仅对 SDK 自渲染生效，如果你想要设置视图镜像，可以将 GameObject 的 scaleX 设为 -1 或 +1。

注意
如果你使用前置摄像头，默认启动本地用户视图镜像模式；如果你使用后置摄像头，默认关闭本地视图镜像模式。

返回值

0: 方法调用成功。
< 0: 方法调用失败。详见错误码了解详情和解决建议。

所属接口类

IRtcEngine

SetLocalVideoMirrorMode

设置本地视频镜像。

C#
public abstract int SetLocalVideoMirrorMode(VIDEO_MIRROR_MODE_TYPE mirrorMode);

详情

废弃

该方法已废弃。

请改用 SetLocalRenderMode [2/2]。

参数

mirrorMode: 本地视频镜像模式。详见 VIDEO_MIRROR_MODE_TYPE。

返回值

0: 方法调用成功。
< 0: 方法调用失败。详见错误码了解详情和解决建议。

所属接口类

IRtcEngine

SetRemoteRenderMode

更新远端视图显示模式。

C#
public abstract int SetRemoteRenderMode(uint uid, RENDER_MODE_TYPE renderMode, VIDEO_MIRROR_MODE_TYPE mirrorMode);

详情

初始化远端用户视图后，你可以调用该方法更新远端用户视图在本地显示时的渲染和镜像模式。该方法只影响本地用户看到的视频画面。

注意

你可以在通话中多次调用该方法，多次更新远端用户视图的显示模式。

参数

uid: 远端用户 ID。
renderMode: 远端用户视图的渲染模式，详见 RENDER_MODE_TYPE。
mirrorMode: 远端用户视图的镜像模式，详见 VIDEO_MIRROR_MODE_TYPE。

返回值

0：方法调用成功。
< 0：方法调用失败。详见错误码了解详情和解决建议。

所属接口类

IRtcEngine

SetRemoteRenderModeEx

设置远端视图显示模式。

C#
public abstract int SetRemoteRenderModeEx(uint uid, RENDER_MODE_TYPE renderMode, VIDEO_MIRROR_MODE_TYPE mirrorMode, RtcConnection connection);

详情

初始化远端用户视图后，你可以调用该方法更新远端用户视图在本地显示时的渲染和镜像模式。该方法只影响本地用户看到的视频画面。

注意

你可以在通话中多次调用该方法，多次更新远端用户视图的显示模式。

参数

uid: 远端用户 ID。
renderMode: 远端视图显示模式，详见 RENDER_MODE_TYPE。
mirrorMode: 远端用户视图的镜像模式，详见 VIDEO_MIRROR_MODE_TYPE。
connection: Connection 信息。详见 RtcConnection。

返回值

0：方法调用成功。
< 0：方法调用失败。详见错误码了解详情和解决建议。

所属接口类

IRtcEngineEx

SetRenderMode

设置播放器视图的渲染模式。

C#
public abstract int SetRenderMode(RENDER_MODE_TYPE renderMode);

参数

renderMode: 播放器视图的渲染模式。详见 RENDER_MODE_TYPE。

返回值

0: 方法调用成功。
< 0: 方法调用失败。详见错误码了解详情和解决建议。

所属接口类

IMediaPlayer

SetupLocalVideo

初始化本地视图。

C#
public abstract int SetupLocalVideo(VideoCanvas canvas);

该方法初始化本地视图并设置本地用户视频显示属性，只影响本地用户看到的视频画面，不影响本地视频的发布。调用该方法绑定本地视频流的显示视窗 (view)，并设置本地用户视图的渲染模式和镜像模式。

退出频道后绑定仍然有效。如果需要停止渲染或解除绑定，可以调用该方法将参数 view 设为 NULL，以停止渲染并清理渲染缓存。

注意

如果你想要在原生窗口上渲染图像，请调用此方法；如果你仅需在 Unity 项目内渲染图像，可直接通过 VideoSurface 类来实现。
如果你希望在通话中仅更新本地用户视图的渲染或镜像模式，请使用 SetLocalRenderMode [2/2] 方法。

适用场景

在 App 开发中，通常在初始化后调用该方法进行本地视频设置，然后再加入频道。

如果你需要在本地视频预览的画面中同时看到多个预览画面、且不同画面分别处于视频链路上不同观测点，可以重复调用该方法设置不同的 view，并针对每个 view 设置不同的观测位置。例如：将视频源设置为摄像头，然后对应两个 view 分别设置 position 为 POSITION_POST_CAPTURER_ORIGIN 和 POSITION_POST_CAPTURER，即可在本地视频预览中同时看到没有经过视频前处理的原始画面和已经过视频前处理（美颜、虚拟背景、水印本地预览）的画面。

调用时机

该方法在加入频道前后均可调用。

调用限制

无。

参数

canvas: 本地视频显示属性。详见 VideoCanvas。

返回值

0：方法调用成功。
< 0：方法调用失败。详见错误码了解详情和解决建议。

所属接口类

IRtcEngine

SetupRemoteVideo

初始化远端用户视图。

C#
public abstract int SetupRemoteVideo(VideoCanvas canvas);

详情

该方法绑定远端用户和显示视图，并设置远端用户视图在本地显示时的渲染模式和镜像模式，只影响本地用户看到的视频画面。

调用该方法时需要指定远端视频的用户 ID，一般可以在进频道前提前设置好。如果无法在加入频道前得到远端用户的 ID，可以在收到 OnUserJoined 回调时调用该方法。

如需解除某个远端用户的绑定视图，可以调用该方法并将 view 设置为空。

离开频道后，SDK 会清除远端用户视图的绑定关系。

在移动端自定义合图布局场景下，你可以调用该方法并针对合图视频流的每一路子视频流设置一个单独的 view 进行渲染。

注意

如果你想要在原生窗口上渲染图像，请调用此方法；如果你仅需在 Unity 项目内渲染图像，可直接通过 VideoSurface 类来实现。
如果你希望在通话中更新远端用户视图的渲染或镜像模式，请使用 SetRemoteRenderMode 方法。
当使用录制服务时，由于它不会发送视频流，App 无需为它绑定视图。如果 App 无法识别录制服务，可以在收到 OnFirstRemoteVideoDecoded 回调时再绑定远端用户视图。

参数

canvas: 远端视频显示属性。详见 VideoCanvas。

返回值

0：方法调用成功。
< 0：方法调用失败。详见错误码了解详情和解决建议。

所属接口类

IRtcEngine

SetupRemoteVideoEx

初始化远端用户视图。

C#
public abstract int SetupRemoteVideoEx(VideoCanvas canvas, RtcConnection connection);

详情

该方法绑定远端用户和显示视图，并设置远端用户视图在本地显示时的渲染模式和镜像模式，只影响本地用户看到的视频画面。

调用该方法时需要在 VideoCanvas 中指定远端视频的用户 ID，一般可以在进频道前提前设置好。

如果无法在加入频道前得到远端用户的 uid，可以在收到 OnUserJoined 回调时调用该方法。如果启用了视频录制功能，视频录制服务会做为一个哑客户端加入频道，因此其他客户端也会收到它的 onUserJoined 事件， App 不应给它绑定视图（因为它不会发送视频流）。

如需解除某个远端用户的绑定视图，可以调用该方法并将 view 设置为空。

离开频道后，SDK 会清除远端用户视图的绑定关系。

注意

如果你希望在通话中更新远端用户视图的渲染或镜像模式，请使用 SetRemoteRenderModeEx 方法。

参数

canvas: 视频画布信息。详见 VideoCanvas。
connection: Connection 信息。详见 RtcConnection。

返回值

0：方法调用成功。
< 0：方法调用失败。详见错误码了解详情和解决建议。

所属接口类

IRtcEngineEx

StartMediaRenderingTracing

开启视频帧渲染数据打点。

C#
public abstract int StartMediaRenderingTracing();

详情

成功调用该方法后，SDK 会以调用该方法的时刻作为起点，并通过 OnVideoRenderingTracingResult 回调报告视频帧渲染的相关信息。

信息

SDK 默认在成功加入频道的时刻起打点，自动开始跟踪视频频的渲染事件。你可以根据实际业务场景，在合适的时机调用该方法，进行自定义打点。
离开当前频道后，SDK 会自动重置该时间点为下一次成功加入频道的时刻。

适用场景

声网推荐你将该方法和 App 中的 UI 设置（按钮、滑动条等）结合使用，用于针对终端用户的体验改进。例如：在终端用户在点击加入频道按钮的时刻调用该方法进行打点，然后通过 OnVideoRenderingTracingResult 回调获取视频帧渲染过程中的指标，从而针对指标进行专项优化。

返回值

0: 方法调用成功。
< 0: 方法调用失败。详见错误码了解详情和解决建议。
- -7: IRtcEngine 尚未初始化就调用方法。

所属接口类

IRtcEngine

StartMediaRenderingTracingEx

开启视频帧渲染数据打点。

C#
public abstract int StartMediaRenderingTracingEx(RtcConnection connection);

详情

成功调用该方法后，SDK 会以调用该方法的时刻作为起点，并通过 OnVideoRenderingTracingResult 回调报告视频帧渲染的相关信息。

信息

SDK 默认在成功加入频道的时刻起打点，自动开始跟踪视频频的渲染事件。你可以根据实际业务场景，在合适的时机调用该方法，进行自定义打点。
离开当前频道后，SDK 会自动重置该时间点为下一次成功加入频道的时刻。

适用场景

参数

connection: Connection 信息。详见 RtcConnection。

返回值

0: 方法调用成功。
< 0: 方法调用失败。详见错误码了解详情和解决建议。

所属接口类

IRtcEngineEx

OnTextureSizeModify

Texture 的宽高发生改变回调。

C#
public event OnTextureSizeModifyHandler OnTextureSizeModify;

详情

该回调在 Texture 的宽高发生变化时被触发。

所属接口类

VideoSurface

OnTranscodedStreamLayoutInfo

已接收携带布局信息的合图视频流回调。

C#
public virtual void OnTranscodedStreamLayoutInfo(RtcConnection connection, uint uid, int width, int height, int layoutCount, VideoLayout[] layoutlist)

详情

当本地第一次接收到合图服务器发送的合图视频流，或者合图流的布局信息有变化时，SDK 会触发该回调，报告合图视频流中每一路子视频流的布局信息。

信息

该回调仅适用于 Android 和 iOS。

参数

connection: Connection 信息。详见 RtcConnection。
uid: 发布合图视频流的用户 ID。
width: 合图视频流的宽度 (px)。
height: 合图视频流的高度 (px)。
layoutCount: 合图视频流中布局信息的数量。
layoutlist: 某一路合图视频流的详细布局信息。详见 VideoLayout。

所属接口类

IRtcEngineEventHandler

OnVideoRenderingTracingResult

视频帧渲染事件回调。

C#
public virtual void OnVideoRenderingTracingResult(RtcConnection connection, uint uid, MEDIA_TRACE_EVENT currentEvent, VideoRenderingTracingInfo tracingInfo) { }

详情

调用 StartMediaRenderingTracing 方法或加入频道后，SDK 会触发该回调，报告视频帧渲染的事件和渲染过程中的指标。开发者可以针对指标进行专项优化，以提高出图效率。

参数

connection: Connection 信息。详见 RtcConnection。
uid: 用户 ID。
currentEvent: 当前视频帧渲染事件。详见 MEDIA_TRACE_EVENT。
tracingInfo: 视频帧渲染过程中的指标。开发者需要尽可能降低指标值，以提高出图效率。详见 VideoRenderingTracingInfo。

所属接口类

IRtcEngineEventHandler

EnableInstantMediaRendering

适用场景

调用时机

调用限制

返回值​

SetEnable

参数​

SetForUser

详情​

参数​

SetLocalVideoDataSourcePosition

调用时机

调用限制

参数​

返回值​

SetLocalRenderMode [1/2]

详情​

参数​

返回值​

SetLocalRenderMode [2/2]

调用时机

参数​

返回值​

SetLocalVideoMirrorMode

详情​

参数​

返回值​

SetRemoteRenderMode

详情​

参数​

返回值​

SetRemoteRenderModeEx

详情​

参数​

返回值​

SetRenderMode

参数​

返回值​

SetupLocalVideo

适用场景

调用时机

调用限制

参数​

返回值​

SetupRemoteVideo

详情​

参数​

返回值​

SetupRemoteVideoEx

详情​

参数​

返回值​

StartMediaRenderingTracing

详情​

适用场景

返回值​

StartMediaRenderingTracingEx

详情​

适用场景

参数​

返回值​

OnTextureSizeModify

详情​

OnTranscodedStreamLayoutInfo

详情​

参数​

OnVideoRenderingTracingResult

详情​

参数​

返回值

参数

详情

参数

参数

返回值

详情

参数

返回值

参数

返回值

详情

参数

返回值

详情

参数

返回值

详情

参数

返回值

参数

返回值

参数

返回值

详情

参数

返回值

详情

参数

返回值

详情

返回值

详情

参数

返回值

详情

详情

参数

详情

参数