原始视频数据

本文介绍如何对采集到的原始视频数据进行前处理和后处理。

技术原理

视频传输过程中，你可以对采集到的视频数据进行前处理和后处理，获取想要的播放效果。

对于有自行处理视频数据需求的场景，声网提供原始数据功能。你可以在将数据发送给编码器前进行前处理，对捕捉到的视频帧进行修改；也可以在将数据发送给解码器后进行后处理，对接收到的视频帧进行修改。

前提条件

在进行操作之前，请确保你已经在项目中实现了基本的实时音视频功能。详见实现音视频互动。

实现方法

参考如下步骤，在你的项目中实现原始视频数据功能：

1. 加入频道前，创建一个 IVideoFrameObserver 对象，并调用 registerVideoFrameObserver 方法注册视频观测器。

   C++

   // 注册或取消视频观测器
   BOOL CAgoraOriginalVideoDlg::RegisterVideoFrameObserver(BOOL bEnable, IVideoFrameObserver *videoFrameObserver)
   {
   	// 创建使用 IMediaEngine 类为 template 的 AutoPtr 实例
   	agora::util::AutoPtr<agora::media::IMediaEngine> mediaEngine;
   	// AutoPtr 实例调用 queryInterface 方法，通过 IID 获取 IMediaEngine 实例的指针
   	// AutoPtr 实例会通过箭头操作符访问 IMediaEngine 实例的指针并通过 IMediaEngine 实例调用 registerVideoFrameObserver
   	mediaEngine.queryInterface(m_rtcEngine, AGORA_IID_MEDIA_ENGINE);
   	int nRet = 0;
   
   	agora::base::AParameter apm(*m_rtcEngine);
   	if (mediaEngine.get() == NULL)
   		return FALSE;
   	if (bEnable)
   	{
   		// 注册视频观测器
   		nRet = mediaEngine->registerVideoFrameObserver(videoFrameObserver);
   	}
   	else
   	{

   展开全部 25 行

2. 通过 onCaptureVideoFrame，onRenderVideoFrame 和 onScreenCaptureVideoFrame 回调获取视频数据后，你可以根据场景需要自行进行处理。

   C++

   // 通过 onCaptureVideoFrame 回调获取本地摄像头采集的原始视频数据，进行灰度处理，再发送回 SDK
   bool CGrayVideoProcFrameObserver::onCaptureVideoFrame(VideoFrame &videoFrame)
   {
   	int nSize = videoFrame.height * videoFrame.width;
   	memset(videoFrame.uBuffer, 128, nSize / 4);
   	memset(videoFrame.vBuffer, 128, nSize / 4);
   	return true;
   }
   
   // 通过 onRenderVideoFrame 回调获取获取远端发送的视频数据
   bool CGrayVideoProcFrameObserver::onRenderVideoFrame(const char *channelId, rtc::uid_t remoteUid, VideoFrame &videoFrame)
   {
   	return true;
   }
   
   bool CAverageFilterVideoProcFrameObserver::onCaptureVideoFrame(VideoFrame &videoFrame)
   {
   	static int step = 1;
   	static bool flag = true;
   	if (flag)

   展开全部 48 行

参考信息

本节介绍本文中使用方法的更多信息以及相关页面的链接。

示例项目

声网在 GitHub 上提供一个开源的示例项目 OriginalVideo，你可以前往下载，或查看其中的源代码。

API 参考

• registerVideoFrameObserver
• registerVideoEncodedFrameObserver
• onCaptureVideoFrame
• onRenderVideoFrame
• getVideoFrameProcessMode
• onEncodedVideoFrameReceived