原始视频数据
本文介绍如何对采集到的原始视频数据进行前处理和后处理。
技术原理
视频传输过程中，你可以对采集到的视频数据进行前处理和后处理，获取想要的播放效果。
对于有自行处理视频数据需求的场景，声网提供原始数据功能。你可以在将数据发送给编码器前进行前处理，对捕捉到的视频帧进行修改；也可以在将数据发送给解码器后进行后处理，对接收到的视频帧进行修改。
前提条件
在进行操作之前，请确保你已经在项目中实现了基本的实时音视频功能。详见实现音视频互动。
实现方法
参考如下步骤，在你的项目中实现原始视频数据功能：
-
加入频道前，创建一个
IVideoFrameObserver对象，并调用registerVideoFrameObserver方法注册视频观测器。C++// 注册或取消视频观测器
BOOL CAgoraOriginalVideoDlg::RegisterVideoFrameObserver(BOOL bEnable, IVideoFrameObserver *videoFrameObserver)
{
// 创建使用 IMediaEngine 类为 template 的 AutoPtr 实例
agora::util::AutoPtr<agora::media::IMediaEngine> mediaEngine;
// AutoPtr 实例调用 queryInterface 方法，通过 IID 获取 IMediaEngine 实例的指针
// AutoPtr 实例会通过箭头操作符访问 IMediaEngine 实例的指针并通过 IMediaEngine 实例调用 registerVideoFrameObserver
mediaEngine.queryInterface(m_rtcEngine, AGORA_IID_MEDIA_ENGINE);
int nRet = 0;
agora::base::AParameter apm(*m_rtcEngine);
if (mediaEngine.get() == NULL)
return FALSE;
if (bEnable)
{
// 注册视频观测器
nRet = mediaEngine->registerVideoFrameObserver(videoFrameObserver);
}
else
{
// 取消注册视频观测器
nRet = mediaEngine->registerVideoFrameObserver(nullptr);
}
return nRet == 0 ? TRUE : FALSE;
} -
通过
onCaptureVideoFrame，onRenderVideoFrame和onScreenCaptureVideoFrame回调获取视频数据后，你可以根据场景需要自行进行处理。C++// 通过 onCaptureVideoFrame 回调获取本地摄像头采集的原始视频数据，进行灰度处理，再发送回 SDK
bool CGrayVideoProcFrameObserver::onCaptureVideoFrame(VideoFrame &videoFrame)
{
int nSize = videoFrame.height * videoFrame.width;
memset(videoFrame.uBuffer, 128, nSize / 4);
memset(videoFrame.vBuffer, 128, nSize / 4);
return true;
}
// 通过 onRenderVideoFrame 回调获取获取远端发送的视频数据
bool CGrayVideoProcFrameObserver::onRenderVideoFrame(const char *channelId, rtc::uid_t remoteUid, VideoFrame &videoFrame)
{
return true;
}
bool CAverageFilterVideoProcFrameObserver::onCaptureVideoFrame(VideoFrame &videoFrame)
{
static int step = 1;
static bool flag = true;
if (flag)
{
step += 2;
}
else
{
step -= 2;
}
if (step >= 151)
{
flag = false;
step -= 4;
}
else if (step <= 0)
{
flag = true;
step += 4;
}
AverageFiltering((unsigned char *)videoFrame.yBuffer, videoFrame.width, videoFrame.height, step);
AverageFiltering((unsigned char *)videoFrame.uBuffer, videoFrame.width / 2, videoFrame.height / 2, step);
AverageFiltering((unsigned char *)videoFrame.vBuffer, videoFrame.width / 2, videoFrame.height / 2, step);
return true;
}
// 通过 onScreenCaptureVideoFrame 回调获取从屏幕采集到的视频数据
bool CGrayVideoProcFrameObserver::onScreenCaptureVideoFrame(VideoFrame &videoFrame)
{
return true;
}
参考信息
本节介绍本文中使用方法的更多信息以及相关页面的链接。
示例项目
声网在 GitHub 上提供一个开源的示例项目 OriginalVideo，你可以前往下载，或查看其中的源代码。