“本次开幕式的理念是用科技让开幕式‘人少而不空,空灵而浪漫’。节目设计将展现自然之美、人文之美和运动之美,向全世界传递战胜疫情的信心。”北京2022年冬奥会和冬残奥会开闭幕式总导演张艺谋高度肯定了高科技在助力北京冬奥会实现科技美学上的巨大作用。
记者了解到,人与艺术效果的这种“默契配合”并非精准排练的结果,它来自于英特尔3DAT三维运动员追踪技术,是它带来了可以让地面的屏幕瞬间对演员位移做出实时反馈并呈现艺术效果的技术方案。英特尔联合北京电影学院专业团队基于英特尔的3DAT技术针对冬奥开幕式场景定制开发的 “基于AI的大型演出实时特效系统” 是实现整个节目创意的关键技术。
英特尔北京奥林匹克项目办公室总经理赵宏向记者介绍,英特尔3DAT三维运动员追踪技术是一套复杂的系统,它由摄像机信息采集、数据分析、艺术效果渲染三大子系统构成,其核心算法是基于计算机视觉、AI的实时人体检测和位置追踪技术。正是因为这套系统运行在第三代英特尔至强可扩展处理器上,其强大的算力加上先进的AI和计算机视觉算法,让国家体育场地面上铺设的这块巨大的LED屏幕有了 “可交互” 的可能。
然而,演员与系统的“互动”并非那样简单,其中有两个核心问题需要解决:第一,要精准地识别出舞台上的演员并定位他们的位置。其次,演员与系统的互动必须是“实时”的,要能够呈现出“默契配合”的艺术效果。
举个例子,通过《雪花》节目的演绎,可以看出这两个难题的解决方案。
“在《雪花》节目中,总共有五百多个孩子在场地上表演,我们的任务是尽可能准确识别每个孩子并精确计算他们在场上的真实位置。”英特尔现场技术人员介绍,他们在距离场地最远的6层看台处放置4台专业摄像设备,用于捕捉覆盖全场的视频信息。针对节目表演特点及摄像机视频数据特性,凭借丰厚的AI技术储备,精心设计开发了多个深度神经网络模型,能够高效检测识别这么多的演员并实时输出他们的运动轨迹数据。
在实时性上,英特尔依靠的是来自边缘计算系统的强大算力。摄像机将采集到的数据信号通过光纤传输到英特尔在国家体育场内搭载的第三代英特尔至强可扩展处理器的边缘计算系统。第三代英特尔至强可扩展处理器,支持8通道DDR4,64条PCI EXPRESS 4.0通道,全面增强I/O吞吐量,为实时、大量、精准度要求高的图形、影像处理和3D建模、数据分析,提供坚实基础。
最终,由北京电影学院的艺术效果团队基于每个孩子的位置在地面实时渲染出艺术特效,同时迅速反馈给LED控制器,有了这种巧妙的配合,观众就看到了孩子们脚下的屏幕与他们默契交互的惊艳效果。
据悉,英特尔和北京电影学院的联合项目组从2021年6月份开始进行项目预研,在7月中旬第一次给张艺谋导演及北京冬奥组委开闭幕式工作部部长常宇展示了英特尔3DAT实时互动的技术解决方案,10月份开始进入国家体育场部署演练,团队成员奋战100多天,最终给全球观众呈现了这场无与伦比的表演。
“3DAT技术通过人工智能和计算机视觉算法,对采集到的视频数据进行智能分析和处理,能够高质量重建人体骨骼关节在真实空间的三维运动信息,基于此信息可以进行生物力学特性及运动表现分析,帮助教练员制定科学正确的训练方法,为运动员的日常训练提供切实有用的技术支持。“赵宏表示,3DAT技术将被广泛应用于很多领域,特别是在赛场之外为运动员训练提供专业洞察的领域。在未来还将落地至健康、理疗、动画、游戏等更多场景,革新人们生活的方方面面,创造各种新的应用。
(责任编辑:韩梦晨)