通话中质量监测
在通话过程中,RTC SDK 会触发与通话和直播质量相关的回调。从这些回调中,你可以了解用户的互动体验,进行问题排查和优化用户体验。
本文介绍这些回调的详细信息以及回调的使用方法。
技术原理
用户加入频道后,SDK 会每隔 2 秒触发一系列回调,上报以下信息:实时互动统计信息、本地和远端音视频流的统计信息。
当用户的音频或视频状态发生变化时,SDK 会触发回调,上报最新的音频或视频状态,以及状态变化的原因。
统计信息报告
reportRtcStats
回调每 2 秒触发一次,上报本地通话统计信息。你可以了解到通话时长、当前通话频道中的人数、当前系统的 CPU 使用率、当前 App 的 CPU 使用率等重要参数。
音频质量报告
音频质量报告包括本地音频流统计信息报告、本地音频流状态监控、远端音频流统计信息报告和远端音频流状态监控。
本地音频流统计信息报告
localAudioStats
回调每 2 秒触发一次,上报本地设备发送音频流的统计信息。你可以了解到以下重要统计信息:
- 当前通话声道数
- 发送音频的采样率
- 发送音频码率的平均值
本地音频流状态监控
本地音频的状态发生改变时,如音频录制状态和音频编码状态发生改变,SDK 会触发 localAudioStateChanged
回调上报当前本地音频状态。当本地音频出现故障时,你可以通过错误码排查问题。
远端音频流统计信息报告
remoteAudioStats
回调每 2 秒触发一次,上报当前通话中每个远端用户(Communication
场景)或远端主播(LiveBroadcasting
场景)音频流的统计信息,包括远端发送的音频流质量(详见质量打分)、声道数等重要参数信息。
remoteAudioStats
侧重报告远端音频流的全链路音频质量,更贴近你的主观感受。即使网络发生丢包,但由于 FEC(Forward Error Correction)、重传恢复和带宽估计等抗丢包和拥塞控制技术,最终在接收端的音频丢帧率也可能不高,所以你感知到的音频质量也可能较好。
远端音频流状态监控
远端用户(Communication
场景)或远端主播(LiveBroadcasting
场景)的音频流状态改变时,SDK 会触发 remoteAudioStateChangedOfUid
回调上报远端音频流当前状态和状态改变的原因。
视频质量报告
视频质量报告包括本地视频流统计信息报告、本地视频流状态监控、远端视频流统计信息报告和远端视频流状态监控。
本地视频流统计信息报告
localVideoStats
回调上报本地设备发送视频流的统计信息,包括视频编码宽/高、目标编码率、发送视频的码率等重要参数信息。
如果你此前调用 enableDualStreamMode
方法开启了双流模式,则本回调描述本地设备发送的视频大流的统计信息。
本地视频流状态监控
本地视频的状态发生改变时,SDK 会触发 localVideoStateChangedOfState
回调,上报当前本地视频状态。 当本地视频出现故障时,你可以通过错误码排查问题。
远端视频流统计信息报告
remoteVideoStats
回调上报当前通话中每个远端用户(Communication
场景)或远端主播(LiveBroadcasting
场景)视频流的统计信息,包括每个远端用户或远端主播的视频宽/高、接收视频的码率等重要参数信息。
从 v4.6.0 起,SDK 在 AgoraRtcRemoteVideoStats
中新增 mosValue
成员,用来对接收到的远端视频流的质量进行评分。该评分机制是声网自研、基于深度学习实现的实时视频 MOS(平均主观意见分)评估系统,可以模拟人眼主观感受到的各类画质问题,如轮廓不清晰、动态画面模糊、马赛克、黑屏、绿屏等。通过该参数返回的评分,你可以实时观测用户对接收到的远端视频画质的主观感受,并根据需要动态调整视频参数、实现问题调查、告警等业务逻辑。
SDK 支持返回的 mosValue
值和对应的主观感受描述、视频示例,以及可能的原因详见 MOS 视频质量主观打分。
该功能默认不开启。如需启用,可以联系技术支持。
远端视频流状态监控
远端用户(Communication
场景)或远端主播(LiveBroadcasting
场景)的视频流状态改变时,SDK 会触发 remoteVideoStateChangedOfUid
回调上报远端视频流当前状态和状态改变的原因。
前提条件
请确保你的项目中已实现了基本的实时音视频功能。详见实现音视频互动。
实现方法
在 AgoraRtcEngineDelegate
中,实现以下实时互动质量统计信息回调和音频或视频状态监控回调,从而了解用户互动体验:
networkQuality
:报告上下行 last mile 网络质量。reportRtcStats
:报告实时互动统计信息。localAudioStats
:报告发送的音频流的统计信息。localAudioStateChange
:报告本地音频流状态监控。remoteAudioStats
:报告接收的远端音频流统计信息。remoteAudioStateChangedOfUid
:报告远端音频流状态监控。localVideoStats
:报告发送的视频流统计信息。localVideoStateChangedOfState
:报告本地视频流状态监控。remoteVideoStats
:报告接收的远端视频流统计信息。remoteVideoStateChangedOfUid
:报告远端视频流状态监控。
extension JoinChannelVideoMain: AgoraRtcEngineDelegate {
func rtcEngine(_ engine: AgoraRtcEngineKit, reportRtcStats stats: AgoraChannelStats) {
localVideo.statsInfo?.updateChannelStats(stats)
}
func rtcEngine(_ engine: AgoraRtcEngineKit, localVideoStats stats: AgoraRtcLocalVideoStats) {
localVideo.statsInfo?.updateChannelStats(stats)
}
func rtcEngine(_ engine: AgoraRtcEngineKit, localAudioStats stats: AgoraRtcLocalAudioStats) {
localVideo.statsInfo?.updateLocalAudioStats(stats)
}
func rtcEngine(_ engine: AgoraRtcEngineKit, remoteVideoStats stats: AgoraRtcRemoteVideoStats) {
remoteVideo.statsInfo?.updateVideoStats(stats)
}
func rtcEngine(_ engine: AgoraRtcEngineKit, remoteAudioStats stats: AgoraRtcRemoteAudioStats) {
remoteVideo.statsInfo?.updateAudioStats(stats)
}
}
参考信息
API 参考
networkQuality
reportRtcStats
localAudioStats
localAudioStateChanged
remoteAudioStats
remoteAudioStateChangedOfUid
localVideoStats
localVideoStateChangedOfState
remoteVideoStats
remoteVideoStateChangedOfUid
质量打分
代码 | 描述 |
---|---|
AgoraNetworkQualityUnknown (0) | 网络质量未知。 |
AgoraNetworkQualityExcellent (1) | 网络质量极好。 |
AgoraNetworkQualityGood (2) | 用户主观感觉和 AgoraNetworkQualityExcellent (1) 差不多,但码率可能略低于 AgoraNetworkQualityExcellent (1)。 |
AgoraNetworkQualityPoor (3) | 用户主观感受有瑕疵但不影响沟通。 |
AgoraNetworkQualityBad (4) | 勉强能沟通但不顺畅。 |
AgoraNetworkQualityVBad (5) | 网络质量非常差,基本不能沟通。 |
AgoraNetworkQualityDown (6) | 完全无法沟通。 |
MOS 视频质量主观打分
mosValue
的值在为 1 - 5 分,对应不同档位的主观感受:
分值 | 体验等级 | 主观感受 | 视频示例 |
---|---|---|---|
5 | 优秀,接近真实画面 | 画面极致清晰无噪点,细节完美保留 | |
4 | 良好,优质画面体验 | 画面清晰锐利,边缘平滑无锯齿,噪点极少,细节大部分保留 | |
3 | 一般,可以接受 | 画面清晰度一般,噪点可控,细节可见但不够锐利 | |
2 | 差,勉强可用 | 画面模糊,边缘有锯齿,噪点明显,但能勉强识别主体内容 | |
1 | 极差,无法接受 | 画面严重模糊、马赛克明显,完全无法辨认主体内容 |
该指标反应的画质问题可能由以下原因造成:
- 用户所处环境光线差,或摄像头感光度差,导致采集视频质量不好
- 由于网络波动或设备兼容性问题,系统模块如编码、解码、渲染、前后处理等引入的画质损失
- 由于屏幕尺寸与分辨率不匹配导致的画面不清晰