文化元宇宙四大共性技术打造沉浸式虚拟场景

本文转自：中国电子报

中央广播电视总台编务会议成员、超高清视音频制播呈现

国家重点实验室主任姜文波：

文化元宇宙四大共性技术

打造沉浸式虚拟场景

本报记者 吴丽琳

10月19日至20日，由工业和信息化部、江西省人民政府共同主办的2023世界VR产业大会在江西南昌召开。中央广播电视总台编务会议成员、超高清视音频制播呈现国家重点实验室主任姜文波出席本次大会，并在10月19日上午举行的开幕演讲中表示，将XR技术应用于视听文化节目创作，是“科技+艺术”的融合创新，为以VR虚拟显示为基底的虚实融合视音频技术应用提供了新的应用前景。

XR技术为打造沉浸式

虚拟空间提供了可能

文化元宇宙采用视听技术构建历史文化场景和历史文化人物，同时让当代人走进这个虚拟场景与虚拟人对话，通过XR虚实融合的方式讲述历史文化故事。

姜文波表示，随着超高清视频和音频、互联网、人工智能、5G、大数据等技术的快速发展，为视听媒体虚拟制作提供强有力的支持，VR/AR/XR/VP等技术应用越来越普遍，不仅提升了视听媒体的视频及音频质量，同时还增强了视听媒体多维性、智能化和交互性，为视听媒体打造沉浸式虚拟空间提供可能。

姜文波介绍，文化元宇宙共性技术主要涉及超写实数字人制作技术、大场景三维扫描与重建技术、三维菁彩声技术和XR虚实融合超高清制作技术。

“超写实数字人制作技术是文化元宇宙涉及的一个重要技术。”姜文波在演讲中强调，根据人物形象特征，通过三维数字技术和自然语言大模型技术，创作出超写实数字人，这个数字人不仅可以像真人一样跑步、跳舞，还能说话、唱歌。他将数字人的发展归纳为三个演进阶段：1.0阶段提供2D动画生成数字人，2.0阶段通过3D+真人动捕驱动建模生成，3.0阶段通过生成式人工智能（AIGC）建模生成。

具体而言，制作超写实数字人，是基于3D+光场的超写实数字人建模。就是研发集空间、角度、光谱、时间等多维度光场的数字人采集重建系统，开发基于多视点三维重建与光度立体材质贴图解算算法，建设超写实数字人资产数据，以及数字人动作表情数据，构建多模态大模型学习的数据库。此外，制作超写实数字人还需要自然语言对话系统和多模态数字人实时驱动与交互呈现系统。

在姜文波看来，大场景3D扫描与重建是构建虚拟场景的关键技术，包括三个方面：

一是超大规模场景轻量化智能扫描，通过无人机快速地形勘测，采用VISlam、多源异构、合成孔径等技术，实现对超大范围场景的高效智能采集，获得自然景观及文化建筑的三维超高清光场数据库。

二是采用三维网格技术构建百亿像素级的精细三维场景模型，并利用AI神经辐射场技术对场景内容元素进行渲染，建立大场景三维模型。

三是采用AI光影渲染技术对三维场景模型进行渲染，实现不同光照下的三维或二维大场景的景象。

XR技术促进了现实世界和

虚拟世界的融合创新

在谈及三维菁彩声技术时，姜文波指出，该技术通过声床、对象和HOA高保真技术构建三维声场，运用混合AI技术完成三维音频的编解码，通过5.1.4音箱或耳机渲染呈现，完美展现了真实场景的沉浸式炫酷的音效，是提升沉浸式体验的关键技术。

XR虚实融合超高清制作技术采用LED、投影、全息等方式构建虚拟空间，通过三维渲染引擎在LED屏幕上实时呈现动态虚拟场景，数字人和景在这虚拟空间生存，人们可以走进这个虚拟空间，并与数字人互动。

“XR虚实融合超高清制作技术为影视制作、短视频生成、文旅演艺、直播电商和教育培训等视听文化创新提供了新手段，给创作者和受众带来新体验。”姜文波表示，“运用XR虚实融合超高清制作技术，打造实时在线的虚拟场景和高仿真数字人，构建现实世界和虚拟世界共存的沉浸式视听体验空间，这是典型的文化元宇宙应用场景。”

姜文波以央视春晚为例分享了“XR虚实融合+VR影像绘画”超高清制作技术。他说，为提升2023年央视春晚节目的表演效果，中央广播电视总台整合了XR虚实融合渲染系统和VR影像渲染系统，让演员穿戴VR眼镜在舞台上表演三维影像绘画，并将演员绘制的影像在电视画面中呈现出来，在春晚舞台上再现中国古代传说中的“神笔马良”。

姜文波在演讲中表示，将XR技术应用于视听文化节目创作，是“科技+艺术”的融合创新，为以XR虚拟显示为基底的虚实融合视音频技术应用提供了新的应用前景，进一步拓展了现实世界和虚拟世界的融合创新。