2023/12/12 13:59:40
场景概述
MetaWorld 是声网为元宇宙社交场景打造的一站式解决方案,旨在提供多元化虚拟形象和高保真的空间音效,同时支持实时面部捕捉,以提升语音互动的趣味性和沉浸感,有效提高平台用户的停留时长。
该解决方案不需要开发者具备 3D 游戏引擎的开发能力,只需在原生项目的基础上搭建元宇宙社交场景,即可实现以下功能:
- 房间内同步展示 3D 场景和虚拟形象。
- 支持虚拟形象捏脸换装,并导入符合 Unity 规范的任意模型素材。
- 允许语聊者操控自己的虚拟形象在房间内移动,并支持自定义动作脚本。
- 实现虚拟形象之间的实时互动,包括聊天、一起看电影、一起 K 歌等。
- 为用户的语音、背景音乐、伴奏增加空间感,还原现实听声辨位的效果。
- 允许用户打开摄像头进行实时面部捕捉,实现 3D 场景互动与视频面部捕捉聊天的结合。
在该解决方案中,元宇宙社交房间默认提供玩家和游客两种角色:
- 玩家:进入房间后可以上麦,拥有自己的虚拟形象并对其他人可见,可以与其他玩家进行多人连麦互动。玩家还可以打开摄像头,并选择进行虚拟面部捕捉视频聊天或真人视频聊天,同时也能收到其他玩家的视频流。
- 游客:可以在 3D 场景中自由移动,有自己的虚拟形象,但对其他人不可见,不能上麦。
此外,你可以根据需要开发自定义角色,例如超级管理员、房管等。
方案优势
MetaWorld 解决方案有如下优势:
优势概述 | 详情 |
---|---|
轻量化接入 | 场景等素材在后台静默下载,支持热更新。千元机也可流畅运行。 |
无需游戏引擎开发能力 | MetaWorld 整合了声网 SDK 和 Unity 游戏引擎能力,开发者无需单独开发游戏引擎,可在现有原生项目的基础上搭建元宇宙社交场景。 |
场景玩法丰富 | 基于 MetaWorld 提供的虚拟形象捏脸换装、实时面部捕捉、3D KTV 等功能,开发者还可以进行灵活的自定义开发,实现 3D 场景中的各类玩法。 |
内容素材丰富 | 声网内容中心目前提供 3D 场景和虚拟形象,后续将增加虚拟道具、音乐、游戏脚本等内容。开发者无需单独对接内容厂商,直接从声网内容中心获取素材。 |
高音质沉浸式体验 | 根据虚拟形象的面部朝向、音源朝向以及空间位置渲染音效,支持 48kHz 全频带采样,还原声音高保真度。 |
支持功能
MetaWorld 解决方案提供如下核心功能:
功能 | 描述 |
---|---|
实时音视频互动 | 玩家和游客可以在超低延迟下进行音视频互动。 |
虚拟形象捏脸换装 | 玩家和游客在创建角色时可以进行虚拟形象的换装和捏脸,以打造独特的 Avatar。虚拟形象包括用于 3D 场景互动的全身模型和用于面部捕捉视频聊天的高精度脸部模型细节。 |
虚拟形象同步渲染 | 玩家和游客可以在 3D 场景中操控自己的虚拟形象,进行各种动作,如行走、喝咖啡、跳舞、蹦迪等,同时还能使用炫光、开车等进场特效。房间内的画面会根据用户的操作进行同步渲染。 |
虚拟面部捕捉视频聊天 | 玩家可以开启摄像头进行虚拟面部捕捉视频聊天或真人视频聊天,同时还能收到其他玩家的视频流。在实时面部捕捉时,使用高精度模型,无需穿戴设备即可精准识别表情。 |
媒体播放器 | 支持播放本地和在线音视频文件,覆盖主流音视频文件格式。 |
3D KTV | 玩家可以在 3D 场景中使用在线 K 歌房的完整功能,实现点歌、唱歌等 3D KTV 玩法,曲库涵盖海量正版数字音乐。 |
空间音效 |
|
支持平台
MetaWorld 解决方案支持如下平台:
- Android(5.1 及以上版本)
- iOS(11.0 及以上版本)
技术架构
搭建 MetaWorld 场景需要使用声网 Meta SDK、声网 3D 渲染插件、声网内容中心:
- 声网 Meta SDK:提供实时音频互动能力和空间音效等功能。
- 声网 3D 渲染插件:渲染房间内的 3D 场景和虚拟形象,实现虚拟形象之间的互动。
- 声网内容中心:提供元宇宙场景所需的素材,包括 3D 场景、虚拟形象、动作脚本等。
各部分交互的技术架构图如下:
计费
联系 sales@shengwang.cn 了解计费详情。