datasheet

NVIDIA 英伟达

文章数:293 被阅读:244509

账号入驻

借助超现实VR探索埃及纳菲尔塔莉墓

2018-12-04
    阅读数:

借助摄影测量方法以及GPU赋力的深度学习,以虚拟形式探访陵墓的细节。



现在,游客无需越洋飞行就能探索纳菲尔塔莉墓的精致细节。


纳菲尔塔莉墓被誉为埃及最好的墓穴之一。主人纳菲尔塔莉被认为是拉美西斯二世五位妻子中最美丽的一位。拉美西斯二世为其建造的陵墓是纪念其美貌的圣地,陵墓中三间墓室和走廊墙壁都用彩饰进行装饰。


纳菲尔塔莉墓与王后谷中的大多数陵墓一样,在考古学家发现之前也曾遭到过盗墓。虽然已采取相应的保护措施,但景点仍然非常脆弱。


Simon Che de Boer及其位于新西兰的视觉特效研发公司realityvirtual.co找到了一种数字方式来保护纳菲尔塔莉墓,为无数人参观墓中景象提供了机会。


纳菲尔塔莉:永恒之旅(Nefertari: A Journey to Eternity)提供VR体验,通过高端摄影测量、视觉效果技术和AI,打造令人震撼的细节体验,使纳菲尔塔莉墓重现昔日辉煌。游客可以采用数字方式四处行走,从不同视角进行参观,还可以进行放大以近距离观察


对于需要跨越半个地球才能目睹这一景观的游客来说,这是一个效果逼真的替代选择。


使用NVIDIA Quadro GPU处理海量数据


为了复制陵墓精致的细节,Che de Boer拍摄了近4000张4200万像素的景点照片,然后将摄影测量(在照片中进行测量的科学)与深度学习方法结合,对其进行处理和可视化。


NVIDIA GPU在处理现场采集的大量摄影测量数据上发挥了关键作用,其处理速度比CPU快很多倍。


GPU也是进行3D重建和呈现细节纹理不可或缺的部分。通过借助部署高端NVIDIA Quadro GPU的强大HP工作站,realityvirtual.co使用CapturingReality将数据转换为密集的240亿3D点云,以进行初始创建。


初始清理工作则使用Autodesk MeshMixer和Maya完成。然后,他们使用内部专用流程完成改良工作并提高效率,包括填充孔、推断材料特性、去除噪点和清理人工痕迹。


Che de Boer 在陵墓内部拍摄图像


接下来,他们对这些庞大的数据集进行优化,以便在Unreal Engine中以每秒90帧的稳定速度进行实时渲染,利用Granite的纹理流保留全部240亿个细节点。


Che de Boer说:“由于数据集非常庞大,处理和播放速度是关键。NVIDIA的新架构与Unreal Engine相结合,加快了处理速度,并为处理庞大的数据量提供支持。”


AI助力创建更为逼真的VR


如果不去除陵墓中的现代人工痕迹,就不可能参观到“真正”的古墓。为了实现这一目标,realityvirtual.co收集了陵墓的所有压缩数据,并且使用可编程Tensor Core和单个高端NVIDIA Quadro GPU提供的24Gb VRAM容量训练其超级采样集。


通过训练计算机使其理解所看到的事物,计算机可以修改图像以清除现代人工痕迹。例如,通过图像修复方法去除出口标志、牌匾、扶手、地板和卤素灯,并使用与周边环境相关的元素取代这些区域。


为了覆盖图像中的缺口、清除不需要的元素或修复源摄影测量图像中的重叠区域,realityvirtual.co利用一种新的基于AI的图像修复方法(此方法由NVIDIA Research开发,并且即将通过NVIDIA NGX技术堆栈提供给软件开发者),使用周边环境的元素填充这些区域。


Che de Boer说:“如果没有高端NVIDIA Quadro提供的内存,处理4200万像素图像的数据是不可能的。我们在摄影测量和AI处理过程中广泛使用了NVIDIA CUDA cuDNN,且贯穿到我们创作的各个环节,以实现最为逼真的效果。这看起来非常震撼,您可以获得一种身临其境的感觉,如果我们将NVIDIA RTX实时光线追踪整合到未来的版本中,这种体验只会变得更好。”


更新的内部版本已通过realityvirtual.co的超级采样法运行。这是在他们自己的数据集上进行超级采样训练,进一步提高了最终纹理映射的细节水平。


无论参观者距离陵墓的现代人工痕迹有多近,都无法分辨得出它们。除此之外,最近越来越多的项目开始使用realityvirtual.co的deepPBR方法,以消除图像扩散、粗糙和位移。这对使用基于物理渲染的引擎(例如Unreal Engine)而言非常重要。


所有这些数据都是自行进行训练的,这是一个AI使用自身数据进行自我改进的好例子。此结果可用作教学模拟,并可在STEAM游戏平台免费获得,但是需要Vive、Rift或Windows VR头盔。


为了继续记录遗产并在未来对其进行数字保护,最近Che de Boer与来自洛桑联邦理工学院(EPFL,瑞士洛桑的一所著名的研究大学)的Sarah Kenderdine教授达成了战略合作关系。他们希望通过合作以虚拟形式重建新西兰的克赖斯特彻奇大教堂,重现它2011年遭到地震破坏之前的样子。此外,他们也在其他一些尚未公布但非常著名的自然景观上进行合作。


Che de Boer 表示:“这些都是知之者众而见之者寡的地方,我们的目标是让全世界的人都能参观这些景点,否则他们可能在有生之年都没有机会感受这些景点。”



About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版

站点相关: TI培训

北京市海淀区知春路23号集成电路设计园量子银座1305 电话:(010)82350740 邮编:100191

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2018 EEWORLD.com.cn, Inc. All rights reserved