为优化AR/VR体验 Meta将开发基于AI的空间音频工具
近期，metaAI部门宣布将为AR/VR开发全新的空间音频工具：AcousticSythesis，以增强虚拟内容的视听体验。据悉，该空间音频工具可对不同的视觉环境做出相应的声音反馈，从而提升环境/场景模拟的保真性和沉浸感。
meta表示：我们一直在研究人们与周围声音的互动感知，发现人们通常会根据声音的位置去预判听到的音效。比如，如果你站在洞穴里，可能会期待听到回声，而远处的声源可能会听的不清楚。也就是说，环境特征会影响声音，包括空间的结构、空间中物品的材质、麦克风和声源之间的距离。
目前，AI模型已经可以理解视频中的图像场景，因此metaAI希望在此基础上，开发一个多模态的AI环境理解模型，也就是说AI将不止能够视觉分析场景，还能理解不同场景中的声音。简单来讲，就是通过视觉提示来匹配目标场景坐标的声音，还可以融合虚拟和现实场景音，去除混响和噪音，强化虚拟音效，从而提升AR/VR观影、社交体验的沉浸感。
同时，为了推动沉浸式空间音频内容生态，meta将向开发者开放三个支持视听理解的AI模型，这些模型专注于分析视频中的人类语言和声音，可让视频体验更加身临其境。未来，meta计划将这种技术与音频翻译技术结合，以推动全新的应用场景。
查看全文
作者最近更新
-
石墨烯传感器助力“意念控制”机器人中国机器人网
2024-07-15 -
江南大学团队让微型机器人实现精确路径跟踪控制中国机器人网2022-10-20
-
视比特机器人CEO邓文平博士：3D视觉行业拐点已至中国机器人网2022-10-20
评论0条评论