由于基础设施的（infrastructure-based）传感器安装位置和姿势的灵活性，基于基础设施的目标检测和跟踪系统可以增强联网车辆的感知能力。
一、基于基础设施的感知系统
基于基础设施的目标感知系统包含四个典型阶段：1）信息收集； 2）边缘处理； 3）云计算； 4) 信息分发。
1.信息收集：安装在路边的基础设施上的传感器感知环境，收集到的数据通过通信集线器传输到路边服务器进行进一步处理。
2.边缘处理：从路边传感器收集的信息在路边服务器上进行处理。(在一些配备高速互联网以允许大容量低延迟数据传输的系统中，原始数据也可以传输到云端进行处理。 )
3.云计算：感知数据通过无线通信传输到云端。 对于多节点感知系统（同时从不同位置感知环境），需要考虑时间对齐（延迟补偿）和对象关联，以实现时空信息同步。
4.信息分发：1）对于没有无线连接的传统道路使用者，感知信息可以传送到路边的终端设备，例如通过交通管理中心 (TMC) 作为动态消息标志或交通信号灯的信号头显示；2）对于通过无线通信连接的道路用户，可以通过无线通信接收感知信息。
三、路边传感器
用于基于基础设施的感知的不同传感器的性能对比：
操作流程Operational Pipeline
基于路边传感器的目标检测流程分为单传感器和多传感器两大类：
从传感器收集的数据首先经过预处理，然后使用数学模型（基于传统方法）或通过神经网络（基于深度学习）进行特征提取，然后由感知模块生成目标检测和跟踪结果，最后将结果传给后处理模块以进一步清理感知输出（过滤重叠的边界框和分数低于阈值的预测）。
基于传感器融合的阶段，多传感器感知系统分为三类：
- Early Fusion——在预处理阶段融合原始数据；
- Deep Fusion——在特征提取阶段融合特征；
- Late Fusion——在后处理阶段融合感知结果。
Early Fusion 和 Deep Fusion 具有融合精度的优势，但需要更多的计算能力和复杂的模型设计。Late Fusion可以实现更好的实时性能，但会牺牲准确性。
六、数据集和模拟器
6.1 通用数据集
几个广泛使用的自动驾驶数据集：
• KITTI：最流行的数据集之一，它包含数小时的交通场景，记录了移动机器人和自动驾驶的各种传感器模式。
• NuScenes：第一个携带完整自动驾驶车辆传感器套件的数据集：6 个摄像头、5 个雷达和 1 个 LiDAR，均具有完整的 360 度视野。
• Waymo 开放数据集：一个大规模、高质量、多样化的数据集，包含在一系列城市和郊区地理中捕获的 1150 个场景。
6.2 路边数据集
BAAI-VANJEE Roadside Dataset：由路边数据采集平台采集的 LiDAR 数据和 RGB 图像组成，包含 2500 帧 LiDAR 数据、5000 帧 RGB 图像，包括 12 类对象、74K 3D 对象注释和 105K 2D 对象注释.
6.3 模拟器
为了促进自动驾驶的发展，一些基于游戏引擎的模拟器被开发，以为算法设计和评估提供了一种经济有效的方式，例如 CARLA、SVL 和 AirSim。这些模拟器是开源的，带有详细的教程，并能够提供高分辨率、高保真传感器数据，例如各种相机和激光雷达。
七、讨论
7.1 挑战
- 很少有人提出基于多路边传感器的感知系统，关键挑战是多个传感器组合的融合方案和相关的高效融合方法。
- 数据采集和注释，以促进基于基础设施的感知系统的深度学习研究。
- 处理通信延迟引起的同步问题是大规模实施的关键问题。
7.2 未来趋势
- 多传感器融合：基于多传感器的感知系统可以通过互补传感器数据和适当的融合技术来提高感知性能。基于基础设施的感知系统对多传感器设备具有更灵活的条件，能够访问高计算边缘服务器。
- 协同感知：单节点感知无法解决物理遮挡问题，从多个节点感知环境能够减轻遮挡的限制。
- 轻量化车载单元：为每辆车配备高性能感知计算系统的成本可能非常高。由于高速无线通信技术的快速发展，为局部感知系统配备轻型车载设备，并从基于基础设施的高性能节点接收数据，可以实现更广泛的感知且成本更低。
