生成式AI结合3D、XR怎么玩？NVIDIA、Niantic等公司已入局

来源：青亭网

编辑：Esther

图片来源：由无界版图AI工具生成

最近生成式AI风头有点大，这种技术只需要用文字就能作画，而且效果惊艳，堪比专业画师的作品。其中一些热门的方案包括DALL-E 2、Midjourney、BariumAI、D-ID AI、Stable Diffusion等等，这些工具简单、好玩，已经被无数网友所应用，创造出大量有意思、搞怪的艺术作品。

实际上，这种生成式AI不仅可以用来创作平面图像，也可以快速生成具有纹理的3D模型。目前，NVIDIA、谷歌已经在相关领域进行探索，比如利用文本、2D图像来生成3D模型。而Meta则采取不同的路径，训练AI将文本转化成视频，未来有望在VR中用语音生成3D场景或3D模型。这意味着，未来AR/VR场景也可以由AI生成，而这将大幅提升AR/VR生态的规模。

此前青亭网也曾报道过多款根据文字、语音生成3D场景和动画的方案，比如Anything World、Promethean AI等等。今年2月，Meta也曾预告一种根据语音描述来实时合成3D VR世界的方案：Builder Bot，你只需要对它说“沙滩”、“树”、“野餐布”等语音指令，就能将不同的场景元素召集到你周围。

Meta Builder Bot

Meta CEO马克·扎克伯格表示：Builder Bot将有望改变人们在VR中编程的方式，让计算变得更自然，未来有望用于Horizon屁股那太上，帮助用户快速创建场景和内容。

目前，Meta的Builder Bot还在测试阶段，与此同时，NVIDIA、谷歌等公司也陆续公布了一些用文本生成3D模型、3D场景的方案。

谷歌AIGC方案

去年12月，谷歌科研人员发布了一款基于NeRF 3D场景技术，以及OpenAI文本生成模型DALL·E、CLIP的3D生成系统：Dream Fields。该系统的点是无需照片样本就能生成3D图像，通过自然语言描述就可以合成全新的3D视角，重建3D立体图像，还可以生成多种物品组合成的复合结构。谷歌科研人员称，Dream Fields效果媲美3D数字背景，或是ArtStation平台的内容。

Dream Fields仅生成3D模型本身，而背景则采用随机合成图像。目前，Dream Fields可合成的物体包括船、花瓶、公共汽车、食物、家具等等。或是将牛油果和椅子合成，用大蒜扮演且，用皮卡丘做成牛油果椅子、茶壶等有趣的3D效果。

谷歌表示：随着3D渲染技术发展，越来越多的媒体内容开始采用3D形式。在游戏、VR应用、电影中，开发者们需要手动创作数千个3D模型，耗费大量时间和精力，成本相当高。

此前，开发者利用3D数据来合成点云、立体像素网格、三角形网格，以及基于GAN模型的隐函数。不过，由于有标记的3D形状数据有限，所以3D数据仅能合成少数的物体类型。相比之下，Dream 使用自然语言和简洁的创作界面即可合成3D图形，而且经过NeRF平滑插帧效果，3D图形具有足够高的空间分辨率，效果比立体像素、点云更好。

另外，Dream Fields通过预先训练的图像文本模型来生成3D图像，训练采用的数据来自于网络。

值得注意的是，谷歌还推出了类似的AI模型：DreamFusion，这个模型的特点是将AI图像分析模型Imagen与NeRF（神经辐射场）结合，也可以通过文本来合成带有网格的3D模型，兼容常见的3D渲染引擎、建模软件。

Imagen的优势在于使用2D文本图像即可训练，更容易规模化。DreamFusion会使用Imagen生成的多视角2D图像来学习3D渲染，实现用文本来合成3D模型。此外相比于Dream Fields，DreamFusion可合成更高质量、具有深度和法线的、可重新照明的3D模型，因此整体效果更逼真。而且，Dreamfision生成的多个3D模型可缝合到同一个场景中。

NVIDIA AIGC方案

近期，NVIDIA还推出了一个低门槛文本生成3D模型：Magic3D，号称适合任何人使用，无需建模经验、无需特殊培训。只需要40分钟左右，该模型就能生成一个带有色彩纹理的3D网格模型，经过调整后，可用于开发游戏或CGI艺术场景。

Magic3D 还可以执行基于提示的3D网格编辑。给定低分辨率3D模型和基本提示，可以更改文本以更改生成的模型。此外，Magic3D的作者展示了在几代人中保留同一主题（通常称为连贯性的概念）并将 2D 图像的样式（例如立体派绘画）应用于3D模型。