随着科技发展，元宇宙（Metaverse）正从一个科幻概念变成可憧憬的未来：人们生活在物理世界里，同时也可以创造无数个不同的数字世界。这些世界互联、开放、叠加、且都提供非凡的如同真实世界的沉浸式感受。任何人都可以创造数字世界或者数字世界的一部分，或用于游戏、或用于社交、或用于科研、或用于商业。本项目基于光学、软件、硬件多领域创新，打造一个高质量可实时直播视讯的全息数字化采集（体积视频）平台，旨在将物理世界快速、简易数字化建模；不但能服务于当前应用（如ARVR、基于3D数据的人工智能），同时其简易性、开放性和高质量沉浸式体验也正在成为实现元宇宙的核心技术平台之一。

成果名称：体积视频技术平台，从物理世界到元宇宙(Metaverse)映射

成果单位：螳螂慧视科技有限公司

整个技术平台包含光学创新、软件和算法创新、以及出色的硬件及整体产品设计。

传统的2D照相技术无法提供沉浸式内容。虽然也诞生了通过多组平面照片还原全息3D影像的算法，但是，实时性和稳定性给相关应用推广带来了较大困扰。螳螂慧视从3D成像镜头开始研发，发明了掩膜编码结构光并拥有相关专利。和2D照相机相比，不但能全角度进行拍摄，同时也能对被拍摄物体精确建模和实现数字化，尺寸误差在1mm以内。优秀的深度相机光学设计是整个体积视频系统的基础，也是相对传统2D算法性能大幅提升的关键。

除了优异的光学设计外，螳螂慧视有完整的3D图形图像算法积累，包括高效率编解码、多镜头拼接、智能贴图和渲染等。AI算法不但解决了由于姿态导致的深度信息缺失带来的局部成像质量下降，同时完成了自动对齐、智能校准等功能，大幅降低了用户的应用门槛和维护成本。

AI算法不仅应用于体积视频内容生成，同时也是体积视频智能化应用的关键。为了推广平台，螳螂慧视为多个行业和应用场景提供了AI方案，核心思想就是通过平台技术数字化物理世界的场景和业务对象，相对于2D图像分析，全息3D数字化信息带来更好的训练性能。

体积视频影棚通常需要搭载30-50个镜头同时拍摄并实时进入数据处理管线，为了做到直播应用，算法效率尤为重要。并且原始数据量大，不进行压缩很难满足应用需要。螳螂慧视自研了全球领先的实时压缩体积视频算法，同时兼顾压缩效率和压缩实时性。不仅可以在4G带宽下完成实时流传输，仅从延迟来说，螳螂慧视体积视频的整体延迟已经和2D视频应用相近。

多领域的技术突破，最终打造了全球领先的体积视频平台。目前，该平台技术已经被多个行业头部客户率先应用和合作开发（华纳兄弟、NTT Docomo、 AT&T、NBA、亚利桑那州立大学以及互联网企业）。