BEV在自动驾驶中起到什么作用？近几年有哪些实践？

BEV在自动驾驶中起到什么作用？近几年有哪些实践？

在自动驾驶系统中，不同类型的传感器所获取的环境信息各不相同。前视摄像头能够识别前方的交通信号灯和车道线，环视摄像头则用于识别车身周围的盲区。激光雷达通过三维点云描绘障碍物的形状，而毫米波雷达则专注于追踪物体的运动速度。这些来自不同坐标系、不同数据格式的信息，若要实现协同工作，必须首先统一到一个通用的表达体系中。

BEV感知正是承担这一任务的关键技术。

BEV解决了什么问题？

BEV的核心作用在于为车辆提供一个类似“上帝视角”的俯视图，将车辆周围的环境统一投影到一个以车辆为中心的俯视坐标系中，从而构建出一张全局的环境地图。传统前视视角下，物体因透视关系呈现出近大远小的视觉效果，这不仅影响了尺度判断，也增加了多视角传感器数据对齐的难度。而BEV视角则消除了这种透视失真，使所有物体在空间中保持一致的尺度。

图片源自：网络

此外，BEV还为多传感器数据提供了一个共享的空间框架。摄像头图像可提供如交通信号灯颜色、行人姿态等语义信息；激光雷达点云则提供高精度的几何结构；毫米波雷达则提供运动速度信息。在BEV统一坐标体系下，这些异构信息得以整合，形成一张包含位置、属性和动态信息的完整环境地图。

从技术演进的角度看，BEV感知经历了从基于几何变换到端到端学习的转变。早期的BEV方法依赖于逆透视映射，将图像手动投影到地面，但这种方法在坡道或颠簸路面中误差较大。近年来，研究者开始采用Transformer等架构，让模型自行学习图像与BEV之间的映射关系，从而提升鲁棒性。

BEV几个标志性的技术突破

2022年提出的BEVFormer是纯视觉路线的重要里程碑，由南京大学、上海人工智能实验室和香港大学联合研发。该模型引入Transformer架构，构建了统一的BEV特征表示，融合了多视角空间信息与时间序列信息。

在BEVFormer中，每个预定义的BEV网格位置都对应一个查询向量，该向量通过空间交叉注意力机制从多摄像头图像中提取特征，并通过时间自注意力机制与前一帧的BEV特征交互，实现历史信息融合。该方法在nuScenes测试集上取得了56.9%的NDS得分，超越了当时的纯视觉方案，接近激光雷达基线性能，展示了纯视觉方案的潜力。

BEVFormer在工业界也得到了广泛应用。地平线在其征程J6芯片上针对该模型推出了多视图融合优化方案，提升了推理效率。SiFive在2025年7月宣布，其基于RISC-V架构的Intelligence XM平台已成功部署BEVFormer模型，并在QEMU仿真环境中实现了与PyTorch基线一致的准确率，验证了开源硬件架构在自动驾驶感知中的可行性。

图片源自：网络

与此同时，稀疏化感知路线也在快速发展。BEV方法的一个挑战在于，从图像空间到BEV空间的转换通常涉及稠密特征的重新排列，计算量与图像和BEV特征图的尺寸密切相关。地平线推出的Sparse4D系列算法正是为解决这一问题而设计。该方法不再学习显式的稠密BEV特征，而是基于查询向量和锚点进行稀疏感知。

Sparse4D V2在nuScenes 3D检测排行榜上达到了当时最优的性能，超越了BEVFormer v2等主流方法，同时在推理效率方面也表现出显著优势。目前，Sparse4D系列算法已全面开源。

图片源自：网络

在多模态融合领域，BEVFusion具有代表性。该方法不强制将一种模态的数据转换到另一种模态的空间，而是为所有传感器建立统一的BEV空间作为共享基础。摄像头图像和激光雷达点云分别通过各自的骨干网络提取特征，再映射到同一个BEV网格中，通过注意力机制实现特征级融合。

这种方式有效结合了视觉的语义识别能力和激光雷达的几何测量能力。阿里云推出的自动驾驶模型训练加速框架PAI-TurboX，在BEVFusion训练任务中可将训练时间缩短58.5%，反映出融合感知模型训练的高计算需求。

从纯感知走向工程部署

尽管学术论文中的模型表现优异，但在车端算力受限、延迟要求严格的现实环境中，工程化部署仍是关键挑战。多家企业已在这方面取得显著成果。

图片源自：网络

地平线与博世的合作是一个典型案例。博世基于地平线征程6E/M芯片开发的辅助驾驶系统，算力可达80TOPS或128TOPS，深度融合了BEV Transformer与占用网络感知算法，已获得多家车企的多个车型定点。征程6系列芯片覆盖18TOPS至560TOPS的算力范围，标志着BEV算法正逐步实现规模化落地。

MAXIEYE的量产数据也值得关注。截至2025年6月，其累计出货量已超过100万套，背后是一套经过亿级公里验证的算法体系，包括自研的青云BEV感知网络和端到端路径决策技术。

知行科技则选择了更轻量化的路径。其获得国内某头部自主品牌五个泊车系统项目的定点，其中四个为海外项目，面向欧盟及东亚市场。该方案仅需8TOPS算力即可实现BEV感知功能的量产落地，成为业内首个真正实现该能力并进入规模化应用的技术方案。

为满足全球市场的需求，知行科技在德国慕尼黑设立了独立研发中心，系统性采集当地数据，累计构建了超过20万公里的行驶数据和550万张图像样本，覆盖25个国家和地区。

在轻量化方面，Nullmax也提供了创新方案。其基于高通SA8775芯片的系统在48TOPS算力下，通过预计算投影索引固化2D-3D映射关系，显著降低了视图变换的计算量。在精度损失小于0.5%的前提下，实现了低算力平台上的高效推理。

FastBEV++则展示了纯视觉BEV在部署效率上的提升。该模型在车规级硬件（如NVIDIA Tesla T4）上实现了超过134 FPS的实时性能，在nuScenes基准上取得了0.359 NDS的当时最优成绩，并且完全基于标准算子实现，无需定制化CUDA内核。

BEV之后，新的方向正在形成

BEV技术仍在持续演进，其中占用网络（Occupancy Network）是一个重要的发展方向。与BEV的3D目标检测不同，占用网络不以物体为中心，而是将车辆周围环境划分为密集的3D体素网格，通过深度学习模型判断每个体素是否被占据。这种方式在应对不规则障碍物和未知物体时更具鲁棒性。

特斯拉自2022年起在其FSD方案中引入占用网络，该技术目前已在HW4.0平台上全面部署，并在HW3.0硬件上进行适配优化。

图片源自：网络

BEV感知与大语言模型的融合也是一个值得关注的趋势。部分研究机构正在探索将BEV感知与大语言模型端到端融合的方案，以增强系统对复杂场景的语义理解和推理能力。

长安汽车与重庆邮电大学联合团队在2024年CVPR自动驾驶国际挑战赛中提出的BeVLM算法，是首个将BEV感知与大语言模型融合的方案。该方法实现了BEV特征与语言特征的对齐，使大语言模型能够理解车辆周围环境的空间关系，并通过思维图技术建立感知、预测、决策的逻辑链条，模拟人类驾驶的推理过程。该方案在公开数据集上取得了第二名的成绩。

学术界也在进行相关探索。例如，慕尼黑应用科学大学提出的BEV-LLM模型，将多模态BEV特征接入小型语言模型，用于驾驶场景的三维描述，提升自动驾驶系统的可解释性。此外，还有研究团队在CARLA仿真环境中提出了BEVDriver模型，利用BEV特征作为感知输入，让大语言模型直接预测车辆的行驶轨迹。目前，这些研究仍处于学术竞赛和仿真验证阶段，尚未实现量产。

图片源自：网络

此外，BEV技术的应用正在向自动驾驶以外的领域扩展。跨维智能与香港中文大学（深圳）联合团队在2026年6月提出的Dexterity-BEV框架，将视觉输入、机器人状态和目标动作对齐到统一参考系中。该框架通过引入顶点图表示、构建规范化的BEV对齐坐标系，以及建立跨本体、跨相机、跨数据集的时空数据对齐流程，使原本难以互通的机器人数据具备了规模化训练的基础。

该框架在仿真环境和四种真实机器人平台上进行了测试，针对叠纸盒、叠衣服、舀爆米花、递书等多个长程任务，平均成功率达到89.9%。这表明，BEV作为统一空间表征的方法论，其价值已超越自动驾驶本身。

BEV存在哪些挑战？

尽管BEV技术在过去几年取得了显著进展，但在复杂开放场景中的实际部署仍面临诸多挑战。

纯视觉BEV方案中的深度估计仍是一个瓶颈。摄像头本身不提供深度信息，从2D图像到3D BEV空间的转换依赖于深度预测。虽然端到端深度学习方法在驾驶数据集上表现良好，但在雨雾天气等光学成像质量下降的情况下，误差会进一步放大。

图片源自：网络

BEV感知模型的数据标注成本也较高。该类模型需要大规模、高质量的三维标注数据，包括物体的三维边界框、速度、属性等信息，其标注成本远高于二维图像标注。极端天气下的长尾场景数据更难获取，这限制了BEV模型在复杂环境中的泛化能力。

多传感器的时间同步和空间标定在工程实践中同样具有挑战性。不同传感器的采样频率不同，数据帧之间可能存在毫秒级的时间偏差，在高动态场景下会直接导致融合误差。

最后的话

从BEVFormer到Sparse4D，从纯视觉BEV到多模态融合，从占用网络到大语言模型的协同，BEV感知在短短几年内已从一个概念演变为自动驾驶技术栈的核心。它不仅解决了多传感器坐标对齐的工程难题，更重要的是重塑了机器对空间的理解方式。

当BEV开始赋能机器人操作、端到端规划乃至具身智能时，以自车或自主体为中心的俯视表征，正在成为连接物理世界与数字决策的统一语言。

-- END --

       原文标题 : BEV在自动驾驶中起到什么作用？近几年有哪些实践？