NVIDIA研究团队构建AI模型，为虚拟世界填充3D物体和人物
得益于NVIDIAResearch新的AI模型，越来越多的公司和创作者创建的大型虚拟世界可以更轻松地填充一系列多种多样的3D建筑、车辆、人物等内容。
NVIDIAGET3D仅使用2D图像进行训练，可生成具有高保真纹理和复杂几何细节的三维图形。这些3D对象的创建格式与热门图形软件应用所用的格式相同，允许用户立即将其形体导入3D渲染器和游戏引擎，以便进行后续编辑。
其所生成的对象可用于建筑、户外空间或整个城市的3D表现，为游戏、机器人开发、建筑和社交媒体等行业量身打造。
GET3D可以根据受训练时使用的数据生成几乎无限量的三维图形。就像一位艺术家将一块粘土制成精细的雕塑一样，该模型会将数字转换为复杂的三维图形。
例如，借助2D汽车图像的训练数据集，它创建了轿车、卡车、赛车和面包车等系列集。当在动物图像上训练后，它会生成狐狸、犀牛、马和熊等生物。如果输入椅子时，模型会生成各种旋转椅、餐椅和舒适的躺椅。
NVIDIAAI研究副总裁SanjaFidler负责领导创建此工具的多伦多AI实验室，她表示：“GET3D让我们离普及AI驱动的3D内容创作更近了一步。它能够即时生成纹理化的三维图形，这可能会为开发者带来颠覆性的变化，有助于他们迅速填充包含各种有趣对象的虚拟世界。”
在11月26日至12月4日于新奥尔良（以及在线）举办的NeurIPSAI大会上，NVIDIA有20多篇论文、专题研讨会，GET3D就是其中之一。
打造虚拟世界需要多种AI类型
现实世界充满了多样性：街道上的建筑各有特点，各有不同的车辆则在其间呼啸而过，川流不息的人群更是异彩纷呈。为反映这一情景的3D虚拟世界进行手动建模非常耗时，因此难以填入详细的数字环境。
以前的3D生成式AI模型，虽然比人工方法更快，但在所能生成的细节水平上也被限制了。即使是最近的反向渲染方法也只能根据从多个角度拍摄的2D图像生成3D物体，这就需要开发者一次构建一个三维图形。
相反，在单个NVIDIAGPU上运行推理时，GET3D每秒可生成大约20个形体，就像处理2D图像的生成式对抗网络一样，只是生成的是3D对象。作为学习来源的训练数据集更大、更多样化，输出也会更多样化，并且更详细。
NVIDIA研究人员使用合成数据训练GET3D，数据中包含使用不同摄像头角度拍摄的三维图形2D图像。该团队仅用了两天时间，就使用NVIDIAA100TensorCoreGPU，对模型进行了100万张图像的训练。
让创作者能够修改形状、纹理、材质
GET3D的名称源于其能够生成显式纹理3D(GenerateExplicitTextured3D)网格，这意味着它会以三角形网格的形式创建形体并使用纹理材质覆盖，就像papier-mché模型一样。这使得用户能够轻松地将对象导入游戏引擎、3D建模软件和电影渲染器，并进行编辑。
在创作者将GET3D生成的形体导出到图形应用后，当这些物体移动或旋转时，就能使用逼真的照明效果。通过整合NVIDIAResearch提供的另一种AI工具StyleGAN-NADA，开发者可以使用文本提示将特定风格添加到图像中，例如将渲染出的汽车调整为被烧毁的汽车或出租车，或将普通房屋设置成鬼屋。
研究人员指出，未来版本的GET3D可以使用摄像头姿态预估技术，让开发者能够使用真实世界的数据（而不是合成数据集）来训练模型。还可以对其进行改进以支持通用生成，这意味着开发者可以一次性训练用于各种三维图形的GET3D，而不必每一次在一个对象类别上进行训练。
查看全文
作者最近更新
-
石墨烯传感器助力“意念控制”机器人中国机器人网
2024-07-15 -
江南大学团队让微型机器人实现精确路径跟踪控制中国机器人网2022-10-20
-
视比特机器人CEO邓文平博士：3D视觉行业拐点已至中国机器人网2022-10-20
评论0条评论