原始音频数据

getEarMonitoringAudioParams

onEarMonitoringAudioFrame 回调的音频格式设置回调。

C++

virtual AudioParams getEarMonitoringAudioParams() = 0;

调用 registerAudioFrameObserver 注册音频帧观察者时，需要实现该回调。注册成功后，SDK 会触发该回调，你可以在返回值中设置音频格式。

信息

SDK 会根据你在返回值中设置的采样间隔计算公式触发 onEarMonitoringAudioFrame 回调。计算公式为：采样间隔（秒） = samplePerCall / (sampleRate × channel)。请确保采样间隔 ≥ 0.01 秒。

返回值

方法调用成功时，返回一个 AudioParams 对象，表示耳返音频数据格式，详见 AudioParams。

所属接口类

• IAudioFrameObserverBase

getMixedAudioParams

onMixedAudioFrame 回调的音频格式设置回调。

C++

virtual AudioParams getMixedAudioParams() = 0;

调用 registerAudioFrameObserver 方法注册音频帧观察器时，你需要实现该回调。在成功注册音频帧观察器后，SDK 会触发该回调，你可以通过该回调的返回值设置音频格式。

信息

SDK 会根据你在返回值中设置的 AudioParams 计算采样间隔，并以此触发 onMixedAudioFrame 回调。采样间隔的计算公式为：采样间隔（秒） = samplePerCall /（sampleRate × channel）。请确保采样间隔 ≥ 0.01 秒。

返回值

方法调用成功时，返回一个 AudioParams 实例，表示混合后的采集和播放音频数据，详见 AudioParams。

所属接口类

• IAudioFrameObserverBase

getObservedAudioFramePosition

设置音频数据观察位置。

C++

virtual int getObservedAudioFramePosition() = 0;

成功注册音频数据观察器后，SDK 会在每个特定的音频帧处理节点调用该回调，以判断是否触发以下回调：

• onRecordAudioFrame
• onPlaybackAudioFrame
• onPlaybackAudioFrameBeforeMixing
• onMixedAudioFrame
• onEarMonitoringAudioFrame

你可以根据实际场景，通过修改 getObservedAudioFramePosition 的返回值设置需要观察的一个或多个位置。如果需要同时观察多个位置，需使用按位或运算符（|）。为节省系统资源，建议只设置必要的观察位置。

返回值

一个位掩码，用于设置观察位置，具体取值如下：

• AUDIO_FRAME_POSITION_PLAYBACK（0x0001）：可观察所有远端用户混音后的播放音频。对应回调为 onPlaybackAudioFrame。
• AUDIO_FRAME_POSITION_RECORD（0x0002）：可观察本地用户采集的音频。对应回调为 onRecordAudioFrame。
• AUDIO_FRAME_POSITION_MIXED（0x0004）：可观察本地用户与所有远端用户混音后的播放音频。对应回调为 onMixedAudioFrame。
• AUDIO_FRAME_POSITION_BEFORE_MIXING（0x0008）：可观察单个远端用户混音前的音频。对应回调为 onPlaybackAudioFrameBeforeMixing。
• AUDIO_FRAME_POSITION_EAR_MONITORING（0x0010）：可观察本地用户的耳返音频。对应回调为 onEarMonitoringAudioFrame。

所属接口类

• IAudioFrameObserverBase

getPlaybackAudioParams

设置 onPlaybackAudioFrame 回调的音频格式。

C++

virtual AudioParams getPlaybackAudioParams() = 0;

你需要在调用 registerAudioFrameObserver 方法时注册回调。注册成功后，SDK 会触发该回调，你可以在该回调的返回值中设置音频格式。

信息

SDK 会根据你在返回值中设置的 AudioParams 计算采样间隔，并以此触发 onPlaybackAudioFrame 回调。采样间隔的计算公式为：采样间隔（秒） = samplePerCall /（sampleRate × channel）。请确保采样间隔 ≥ 0.01 秒。

返回值

方法调用成功时，返回一个用于播放的音频参数，详见 AudioParams。

所属接口类

• IAudioFrameObserverBase

getRecordAudioParams

onRecordAudioFrame 回调的音频格式设置回调。

C++

virtual AudioParams getRecordAudioParams() = 0;

调用 registerAudioFrameObserver 注册音频帧观察者后，SDK 会触发该回调。你可以在该回调的返回值中设置音频格式。

信息

SDK 会根据你在返回值中设置的 AudioParams 计算采样间隔，并以此触发 onRecordAudioFrame 回调。采样间隔的计算公式为：采样间隔（秒） = samplePerCall /（sampleRate × channel）。请确保采样间隔 ≥ 0.01 秒。

返回值

方法调用成功时，返回一个 AudioParams 实例，详见 AudioParams。

所属接口类

• IAudioFrameObserverBase

registerAudioFrameObserver

注册音频帧观测器对象。

C++

virtual int registerAudioFrameObserver(IAudioFrameObserver* observer) = 0;

调用该方法可注册音频帧观测器对象。当你需要 SDK 触发 onMixedAudioFrame、onRecordAudioFrame、onPlaybackAudioFrame、onPlaybackAudioFrameBeforeMixing 或 onEarMonitoringAudioFrame 回调时，需调用该方法进行注册。

调用时机

在加入频道前调用该方法。

参数

observer

音频帧观测器实例。设置为 NULL 可释放该实例。建议在收到 onLeaveChannel 回调后调用该方法释放音频帧观测器对象。详见 IAudioFrameObserver。

返回值

• 0：方法调用成功。
• < 0：方法调用失败。详见错误码了解详情和解决建议。

所属接口类

• IMediaEngine

setEarMonitoringAudioFrameParameters

设置耳返音频数据的格式。

C++

virtual int setEarMonitoringAudioFrameParameters(int sampleRate, int channel, RAW_AUDIO_FRAME_OP_MODE_TYPE mode, int samplesPerCall) = 0;

该方法用于设置 onEarMonitoringAudioFrame 回调中报告的耳返音频数据格式。

信息

• 在调用该方法前，需先调用 enableInEarMonitoring，并将 includeAudioFilters 设置为 EAR_MONITORING_FILTER_BUILT_IN_AUDIO_FILTERS 或 EAR_MONITORING_FILTER_NOISE_SUPPRESSION。
• SDK 会根据该方法中设置的 samplesPerCall、sampleRate 和 channel 参数计算采样间隔。采样间隔（秒）= samplesPerCall /（sampleRate × channel）。请确保采样间隔 ≥ 0.01 秒。SDK 会根据采样间隔触发 onEarMonitoringAudioFrame 回调。

参数

sampleRate

onEarMonitoringAudioFrame 回调中报告的音频采样率。可设置为 8000、16000、32000、44100 或 48000 Hz。

channel

onEarMonitoringAudioFrame 回调中报告的音频通道数。

• 1：单声道。
• 2：立体声。

mode

音频帧的使用模式，详见 RAW_AUDIO_FRAME_OP_MODE_TYPE。

samplesPerCall

onEarMonitoringAudioFrame 回调中每次报告的采样点数量，例如媒体推流时为 1024。

返回值

• 0：方法调用成功。
• < 0：方法调用失败。详见错误码了解详情和解决建议。

所属接口类

• IRtcEngine

setMixedAudioFrameParameters

设置混音后用于音频采集和播放的原始音频数据格式。

C++

virtual int setMixedAudioFrameParameters(int sampleRate, int channel, int samplesPerCall) = 0;

setMixedAudioFrameParameters 会根据设置的 samplesPerCall、sampleRate 和 channel 参数计算采样间隔。采样间隔（秒） = samplesPerCall /（sampleRate × channel）。请确保采样间隔 ≥ 0.01 秒。SDK 会根据采样间隔触发 onMixedAudioFrame 回调。

调用时机

请在加入频道前调用该方法。

参数

sampleRate

回调中返回的采样率，可设置为 8000、16000、32000、44100 或 48000 Hz。

channel

音频声道数，可设置为：

• 1：单声道。
• 2：立体声。

samplesPerCall

每次调用的数据采样数，例如媒体推流时为 1024。

返回值

• 0：方法调用成功。
• < 0：方法调用失败。详见错误码了解详情和解决建议。

所属接口类

• IRtcEngine

setPlaybackAudioFrameBeforeMixingParameters [1/2]

设置混音前的原始音频播放数据格式。

C++

virtual int setPlaybackAudioFrameBeforeMixingParameters(int sampleRate, int channel) = 0;

SDK 会根据采样间隔触发 onPlaybackAudioFrameBeforeMixing 回调。请在加入频道前调用该方法。

调用时机

请在加入频道前调用此方法。

参数

sampleRate

回调中返回的采样率。可设置为 8000、16000、32000、44100 或 48000 Hz。

channel

音频声道数，可设置为：

• 1：单声道。
• 2：立体声。

返回值

• 0：方法调用成功。
• < 0：方法调用失败。详见错误码了解详情和解决建议。

所属接口类

• IRtcEngine

setPlaybackAudioFrameBeforeMixingParameters [2/2]

设置 onPlaybackAudioFrameBeforeMixing 回调中返回音频数据的格式。

C++

virtual int setPlaybackAudioFrameBeforeMixingParameters(int sampleRate, int channel, int samplesPerCall) = 0;

设置 onPlaybackAudioFrameBeforeMixing 回调中返回音频数据的采样率、声道数和每次回调的采样点数。

调用时机

请在加入频道前调用此方法。

参数

sampleRate

设置 onPlaybackAudioFrameBeforeMixing 回调中返回音频数据的采样率。可设置为以下值：8000、16000、32000、44100 或 48000。

channel

设置 onPlaybackAudioFrameBeforeMixing 回调中返回音频数据的声道数。

• 1：单声道。
• 2：立体声。

samplesPerCall

设置 onPlaybackAudioFrameBeforeMixing 回调中返回音频数据的采样点数。在 RTMP 推流场景中，建议设置为 1024。

返回值

• 0：方法调用成功。
• < 0：方法调用失败。详见错误码了解详情和解决建议。

所属接口类

• IRtcEngine

setPlaybackAudioFrameParameters

设置原始音频播放数据的格式。

C++

virtual int setPlaybackAudioFrameParameters(int sampleRate, int channel, RAW_AUDIO_FRAME_OP_MODE_TYPE mode, int samplesPerCall) = 0;

SDK 会根据该方法中设置的 samplesPerCall、sampleRate 和 channel 参数计算采样间隔：采样间隔（秒） = samplesPerCall / (sampleRate × channel)。请确保采样间隔 ≥ 0.01 秒。SDK 会根据采样间隔触发 onPlaybackAudioFrame 回调。

调用时机

请在加入频道前调用该方法。

参数

sampleRate

回调中返回的采样率。可设置为 8000、16000、32000、44100 或 48000 Hz。

channel

音频声道数。可设置为：

• 1：单声道。
• 2：立体声。

mode

音频帧的使用模式，详见 RAW_AUDIO_FRAME_OP_MODE_TYPE。

samplesPerCall

每次调用返回的数据采样数，例如媒体推流时为 1024。

返回值

• 0：方法调用成功。
• < 0：方法调用失败。详见错误码了解详情和解决建议。

所属接口类

• IRtcEngine

setRecordingAudioFrameParameters

设置采集的原始音频数据格式。

C++

virtual int setRecordingAudioFrameParameters(int sampleRate, int channel, RAW_AUDIO_FRAME_OP_MODE_TYPE mode, int samplesPerCall) = 0;

setRecordingAudioFrameParameters 会根据 samplesPerCall、sampleRate 和 channel 参数计算采样间隔。采样间隔（单位：秒） = samplesPerCall /（sampleRate × channel）。请确保采样间隔 ≥ 0.01 秒。SDK 会根据采样间隔触发 onRecordAudioFrame 回调。

调用时机

请在加入频道前调用该方法。

参数

sampleRate

回调中返回的采样率。可设置为 8000、16000、32000、44100 或 48000（Hz）。

channel

音频声道数。可设置为：

• 1：单声道。
• 2：立体声。

mode

音频帧的使用模式，详见 RAW_AUDIO_FRAME_OP_MODE_TYPE。

samplesPerCall

每次回调的数据采样数，例如媒体推流时为 1024。

返回值

• 0：方法调用成功。
• < 0：方法调用失败。详见错误码了解详情和解决建议。

所属接口类

• IRtcEngine

onEarMonitoringAudioFrame

耳返音频帧回调。

C++

virtual bool onEarMonitoringAudioFrame(AudioFrame& audioFrame) = 0;

为了确保获取的耳返音频数据符合预期，声网建议你通过以下两种方法之一设置耳返音频数据格式：

• 方法一：调用 setEarMonitoringAudioFrameParameters 设置音频数据格式，并调用 registerAudioFrameObserver 注册音频帧观察者对象。SDK 会根据设置的参数计算采样间隔，并按照该间隔触发该回调。
• 方法二：调用 registerAudioFrameObserver 注册音频帧观察者对象，在 getObservedAudioFramePosition 回调的返回值中设置音频数据格式。SDK 会根据 getEarMonitoringAudioParams 回调的返回值计算采样间隔，并按照该间隔触发该回调。

信息

setEarMonitoringAudioFrameParameters 的优先级高于 getObservedAudioFramePosition。如果使用方法一设置音频数据格式，则方法二的设置无效。

参数

audioFrame

原始音频数据。详见 AudioFrame。

返回值

• true：回调处理成功。
• false：回调处理失败。

所属接口类

• IAudioFrameObserverBase

onMixedAudioFrame

混合采集和播放音频帧的回调。

C++

virtual bool onMixedAudioFrame(const char* channelId, AudioFrame& audioFrame) = 0;

为了确保混合采集和播放音频帧的数据格式符合预期，声网建议通过以下两种方式之一设置音频数据格式：

• 方法一：调用 setMixedAudioFrameParameters 设置音频数据格式，并调用 registerAudioFrameObserver 注册音频帧观察者对象。SDK 会根据设置的参数计算采样间隔，并按该间隔触发该回调。
• 方法二：调用 registerAudioFrameObserver 注册音频帧观察者对象后，在 getObservedAudioFramePosition 回调的返回值中设置音频数据格式。SDK 会根据 getMixedAudioParams 回调的返回值计算采样间隔，并按该间隔触发该回调。

方法一的优先级高于方法二。如果使用方法一设置音频数据格式，则方法二的设置无效。

参数

channelId

频道 ID。

audioFrame

输出参数，原始音频数据。详见 AudioFrame。

返回值

• true：回调处理成功。
• false：回调处理失败。

所属接口类

• IAudioFrameObserverBase

onPlaybackAudioFrame

onPlaybackAudioFrame 回调：获取用于播放的原始音频帧。

C++

virtual bool onPlaybackAudioFrame(const char* channelId, AudioFrame& audioFrame) = 0;

为了确保播放音频帧的数据格式符合预期，声网建议你通过以下两种方式之一设置音频数据格式：

• 方法一：调用 setPlaybackAudioFrameParameters 设置音频数据格式，并调用 registerAudioFrameObserver 注册音频帧观察者对象。SDK 会根据设置的参数计算采样间隔，并按该间隔触发该回调。
• 方法二：调用 registerAudioFrameObserver 注册音频帧观察者对象后，在 getObservedAudioFramePosition 回调的返回值中设置音频数据格式。SDK 会根据 getPlaybackAudioParams 回调的返回值计算采样间隔，并按该间隔触发该回调。

方法一的优先级高于方法二。如果使用方法一设置音频数据格式，则方法二的设置无效。

参数

channelId

频道 ID。

audioFrame

输出参数，原始音频数据，详见 AudioFrame。

返回值

• true：回调处理成功。
• false：回调处理失败。

所属接口类

• IAudioFrameObserverBase

onPlaybackAudioFrameBeforeMixing

获取订阅远端用户混音前的音频帧回调。

C++

virtual bool onPlaybackAudioFrameBeforeMixing(const char* channelId, base::user_id_t userId, AudioFrame& audioFrame)

参数

channelId

频道 ID。

userId

订阅远端用户的用户 ID。

audioFrame

输出参数，原始音频数据。详见 AudioFrame。

返回值

• true：回调处理成功。
• false：回调处理失败。

所属接口类

• IAudioFrameObserverBase

onRecordAudioFrame

采集到音频帧时触发的回调。

C++

virtual bool onRecordAudioFrame(const char* channelId, AudioFrame& audioFrame) = 0;

为了确保采集到的音频帧格式符合预期，你可以通过以下两种方式之一设置音频数据格式：

• 方法一：调用 setRecordingAudioFrameParameters 设置音频数据格式，并调用 registerAudioFrameObserver 注册音频帧观察者对象后，SDK 会根据设置的参数计算采样间隔，并按该间隔触发该回调。
• 方法二：调用 registerAudioFrameObserver 注册音频帧观察者对象后，在 getObservedAudioFramePosition 的返回值中设置音频数据格式。然后 SDK 会根据 getRecordAudioParams 的返回值计算采样间隔，并按该间隔触发该回调。

方法一的优先级高于方法二。如果使用方法一设置音频数据格式，则方法二的设置无效。

触发时机

SDK 根据采样间隔触发该回调。

参数

channelId

频道 ID。

audioFrame

输出参数，原始音频数据。详见 AudioFrame。

返回值

• true：回调处理成功。
• false：回调处理失败。

所属接口类

• IAudioFrameObserverBase