大卫复活！英伟达再造「神经朗基罗」，3D重建肌肉纹理肉眼可见

来自：更新日期：早些时候

编辑：桃子好困

【新智元导读】16世纪的米开朗基罗重生了！英伟达团队提出Neuralangelo，从2D视频重建3D大规模场景，将5.5米大卫雕像完美复刻。

英伟达再造了16世纪的米开朗基罗「Neuralangelo」，实现3D版大卫雕像的完美复刻，大理石细节栩栩如生。

它甚至可以重建建筑物内外结构，从屋顶瓦片到玻璃窗格，各种细节一一再现。

Neuralangelo由英伟达和约翰霍普金斯大学的研究人员提出，使用新型AI模型利用神经网络重建3D物体，这项研究已被CVPR 2023录用。

Neuralangelo能够从手机视频或无人机拍摄的视频重建「高保真大规模场景」，未来可能将城市乃至外太空视频转化为沉浸式世界，融入游戏中。

重建技术让收藏在佛罗伦萨美术学院的大卫雕像，无论是细节还是纹理都得到完美再现，引人惊叹。

Neuralangelo基于多分辨率3D哈希网格表征能力和神经表面渲染相结合，捕捉到重复纹理、均匀颜色和强烈色彩变化。

去年，英伟达曾推出3D MoMa，能将照片转换为3D物体，Neuralangelo在此基础上实现更大、更详细空间和对象的重建。

它特别之处在于精准捕捉重复纹理、同质颜色和强烈色彩变化，采用「即时神经图形基元」，即NVIDIA Instant NeRF技术核心，捕捉细微细节。

团队通过计算高阶导数和在不同细节级别哈希网格上进行优化，实现从多视图图像中恢复密集3D表面结构，重建精度显著超越以往。

NeuralAngelo模型构建于多分辨率哈希编码和基于SDF的体积渲染之上，采用数值梯度、逐步细化和优化策略。

模型首先从2D视频中选择画面，「看到」深度、大小和形状，创建粗糙3D表征，最后优化渲染提高细节清晰度。

在DTU数据集上的定量结果表明，Neuralangelo在重建精度和图像合成质量方面表现优秀。

相比使用分析梯度的方案，当使用数字梯度时，能够生成光滑表面及精细细节，最终结果可用于虚拟现实应用、数字孪生或机器人开发。

英伟达表示，Neuralangelo在复杂材料纹理方面的能力超越以往，显著提升2D视频转化为3D物体的精准度。

Neuralangelo为数字世界中的真实世界重建提供强大工具，将帮助创意人士在设计应用中导入精细3D对象，供艺术、电子游戏开发、机器人技术和工业数字孪生等领域使用。

李赵硕和Chen-Hsuan Lin是论文的主要作者，他们对计算机视觉、计算机图形学和深度学习有深厚兴趣，专注于从图像中重现运动和结构。

Neuralangelo技术引发网友热烈讨论，有人惊叹其对现实世界重建的精确度，也有人好奇其成本与应用潜力。

这项研究为3D重建领域带来突破，预示着将现实世界数字化进入新阶段。