ExternalVideoFrame

外部视频帧。

C++

struct ExternalVideoFrame {
  ExternalVideoFrame()
      : type(VIDEO_BUFFER_RAW_DATA),
        format(VIDEO_PIXEL_DEFAULT),
        buffer(NULL),
        stride(0),
        height(0),
        cropLeft(0),
        cropTop(0),
        cropRight(0),
        cropBottom(0),
        rotation(0),
        timestamp(0),
        eglContext(NULL),
        eglType(EGL_CONTEXT10),
        textureId(0),
        metadataBuffer(NULL),
        metadataSize(0),
        alphaBuffer(NULL),
        fillAlphaBuffer(false),
        alphaStitchMode(0),
        d3d11Texture2d(NULL),
        textureSliceIndex(0){}
  enum EGL_CONTEXT_TYPE {
    EGL_CONTEXT10 = 0,
    EGL_CONTEXT14 = 1,
  };
  enum VIDEO_BUFFER_TYPE {
    VIDEO_BUFFER_RAW_DATA = 1,
    VIDEO_BUFFER_ARRAY = 2,
    VIDEO_BUFFER_TEXTURE = 3,
  };
  VIDEO_BUFFER_TYPE type;
  VIDEO_PIXEL_FORMAT format;
  void* buffer;
  int stride;
  int height;
  int cropLeft;
  int cropTop;
  int cropRight;
  int cropBottom;
  int rotation;
  long long timestamp;
  void *eglContext;
  EGL_CONTEXT_TYPE eglType;
  int textureId;
  float matrix[16];
  uint8_t* metadataBuffer;
  int metadataSize;
  uint8_t* alphaBuffer;
  bool fillAlphaBuffer;
  int alphaStitchMode;
  void *d3d11Texture2d;
  int textureSliceIndex;
};

type

视频类型。详见 VIDEO_BUFFER_TYPE。

format

像素格式。详见 VIDEO_PIXEL_FORMAT。

buffer

视频缓冲区。

stride

传入视频帧的行间距，单位为像素而不是字节。对于 Texture，该值指的是 Texture 的宽度。

height

传入视频帧的高度。

eglContext

该参数仅适用于 Texture 格式的视频数据。

• 当使用 Khronos 定义的 OpenGL 接口 (javax.microedition.khronos.egl.*)时，需要将 eglContext 设置给这个字段。
• 当使用 Android 定义的 OpenGL 接口 (android.opengl.*)时，需要将 eglContext 设置给这个字段。

eglType

该参数仅适用于 Texture 格式的视频数据。指该视频帧的 Texture ID。

textureId

该参数仅适用于 Texture 格式的视频数据。为一个输入的 4x4 变换矩阵，典型值为一个单位矩阵。

metadataBuffer

该参数仅适用于 Texture 格式的视频数据。指 MetaData 的数据缓冲区，默认值为 NULL。

metadataSize

该参数仅适用于 Texture 格式的视频数据。指 MetaData 的大小，默认值为 0。

d3d11Texture2d

该参数仅适用于 Windows Texture 格式的视频数据。表示一个指向 ID3D11Texture2D 类型对象的指针，该类型对象被视频帧所使用。

alphaBuffer

采用人像分割算法输出的 Alpha 通道数据。该数据跟视频帧的尺寸一致，每个像素点的取值范围为 [0,255]，其中 0 代表背景；255 代表前景（人像）。

你可以通过设置该参数，实现将视频背景自渲染为各种效果，例如：透明、纯色、图片、视频等。

注意

在自定义视频渲染场景下，需确保传入的视频帧和 alphaBuffer 均为 Full Range 类型；其他类型可能导致 Alpha 数据渲染不正常。

fillAlphaBuffer

该参数仅适用于 BGRA 或 RGBA 格式的视频数据。设置是否提取视频帧中的 Alpha 通道数据并自动填入到 alphaBuffer 中：

• true：提取并填充 Alpha 通道数据。
• false：（默认）不提取填充 Alpha 通道数据。

信息

对于 BGRA 或 RGBA 格式的视频数据，你可以任选一种方式设置 Alpha 通道数据：

• 通过将该参数设置为 true 自动填写。
• 通过 alphaBuffer 参数设置。

alphaStitchMode

当视频帧中包含 Alpha 通道数据时，设置 alphaBuffer 和视频帧的相对位置。详见 ALPHA_STITCH_MODE。

textureSliceIndex

该参数仅适用于 Windows Texture 格式的视频数据。表示在 ID3D11Texture2D 数组中，被视频帧使用的某一个 ID3D11Texture2D 纹理对象的索引。

cropLeft

原始数据相关字段。指定左边裁剪掉的像素数量。默认为 0。

该参数仅适用于原始视频数据。

cropTop

原始数据相关字段。指定顶边裁剪掉的像素数量。默认为 0。

该参数仅适用于原始视频数据。

cropRight

原始数据相关字段。指定右边裁剪掉的像素数量。默认为 0。

该参数仅适用于原始视频数据。

cropBottom

原始数据相关字段。指定底边裁剪掉的像素数量。默认为 0。

该参数仅适用于原始视频数据。

rotation

原始数据相关字段。指定是否对传入的视频组做顺时针旋转操作，可选值为 0， 90， 180， 270。默认为 0。

timestamp

传入的视频帧的时间戳，以毫秒为单位。不正确的时间戳会导致丢帧或者音视频不同步。