基于相机激光雷达融合的目标检测方法

基于相机激光雷达融合的目标检测方法

蒲春鹏

513721199408157399

摘要：现阶段，我国科学技术飞速发展。传感器作为能够获取车辆周围环境信息的设备，在智能驾驶领域有着重要的地位。激光雷达能探测三维环境中目标物的空间信息，具有测距精度高、测量范围大等优点，但无法提供被探目标的颜色和纹理信息；相机可获取被探目标的颜色和外观等较为丰富的语义特征，但探测精度受光照及其他自然条件的影响较大。为克服单传感器探测的局限性，智能驾驶系统通常采用相机和激光雷达等多传感设备实现对环境的感知，通过这些传感器数据的同步融合，发挥各个传感器的优势，提高目标识别的可靠性。其中传感器的外参数标定是数据同步融合的关键。

关键词：相机；激光雷达；融合目标；检测方法

引言

多传感器融合在移动机器人自主导航领域应用广泛。激光雷达和相机传感器是自动驾驶应用中最常见的感知传感器，相机可以提供丰富的色彩信息和其他特征，用于提取被检测物体的不同特征；激光雷达传感器可以准确检测物体的三维位置和结构。为了增强目标检测和分类，可以将这两个传感器的数据进行融合，以获得更详细和准确的目标信息。在使用传感器过程中，采集的图像数据和点云数据都是基于各自传感器的坐标系，数据融合的前提是将两个传感器的数据转换到同一坐标系中。

1激光雷达与相机的联合标定

1.1数据采集

由于传感器位于试验车车身的不同位置，每个传感器都有自身独立的坐标系。为获得相机图像检测结果与激光雷达点云检测结果的一致性描述，需利用联合标定的方法将每个传感器的独立坐标系转换为统一坐标系，以实现传感器数据间的相互关联与空间同步。联合标定通常采用标定物关联策略，利用标定物在不同传感器坐标系中的坐标值求解不同坐标系之间的转换参数。采用平面靶标定法，将一个平面靶（标定板）置于激光雷达和相机前，通过多次变换标定板位姿生成多组约束，然后对不同位姿的平面靶特征点进行匹配，以求得不同坐标系之间的旋转、平移矩阵。靶标定法的数据采集场地应选择在视野开阔、背景干扰物少、可在不同视野位置采样的地点。同时，应选择尺寸较大的标定板以方便数据采集者将身体隐藏在板后，避免标定板边缘的点云与被扫描到的采集者身体的点云在标定时发生混淆。

1.2联合标定

选用Ubuntu系统下的机器人操作系统（robotoperatingsystem，ROS）平台和Autoware工具进行图像数据与点云数据的联合标定。由于激光雷达与相机采集的同步视频数据中不仅包含联合标定所需要的位姿帧，还包含数据采集过程中因移动、停顿而产生的无用帧，因此须在数据标定前，利用ROS平台的数据播放工具对位姿帧进行人工提取与处理。利用Autoware工具标定、解算筛选后的图像、点云棋盘格信息，以统一相机坐标系与激光雷达坐标系。相机图像数据与激光雷达点云数据的联合标定涉及激光雷达坐标系、相机坐标系和像素坐标系。

2基于特征匹配的联合标定方法

将标定板置于激光雷达和相机的共同视野内，采集相应点云数据和图像数据；选取标定板挖空圆孔圆心作为特征点，提取点云数据特征点的3D坐标值和图像数据特征点的2D坐标值；建立对应特征点匹配约束方程组，采用非线性优化算法求解激光雷达和相机的最优外参数矩阵。

2.1点云数据球心特征提取算法

点云数据球心特征提取算法用于提取标定板圆心在激光雷达坐标系中的点云三维坐标。具体步骤如下：

（1）提取标定板平面。激光雷达产生的单帧点云数据稀疏，标定板轮廓不清晰，影响特征点提取的准确性。采用多帧点云叠加的方式获取稠密点云数据，并设计自适应直通滤波器，提取标定板平面。为加快点云处理速度，使用体素网格划分的方式对标定板平面进行点云滤波处理，达到降低点云密度的目的。

（2）平面拟合去噪。为减少点云数据噪点，对体素滤波后的点云数据进行平面拟合，并计算点云中各点到拟合平面的距离d，如果d≥0.01m，则将该点标记为异常点并删除，重新拟合平面，直到拟合平面中任意点云到平面的距离小于0.01m。

（3）图像增强。为有效提取标定板圆心特征点，将上述三维点云投影至二维图像平面，构成投影图像，由于图像中有点云映射的像素点较少，因此本文采用卷积的方式对图像进行平滑处理，达到增强图像目的。

（4）反投影求解三维坐标。以标定板圆孔内任意位置为起始点，通过向外搜索算法寻找圆孔边缘所在的像素坐标，并根据最小二乘法拟合圆，获取图像圆心坐标。基于投影平面和三维平面投影关系，反投影得到标定板圆心在激光雷达坐标系下的三维点云坐标。

2.2图像数据椭圆特征提取算法

图像数据椭圆特征提取算法用于提取标定板圆心在图像像素坐标系下的坐标值。具体步骤如下：

（1）自适应图像分割。根据标定板在图像中的像素值，设置二值化阈值将图像转为灰度图。由于光照造成标定板反光且图像中存在与标定板像素值相近的景物，采集图像存在噪点，因此将二值化图像进行腐蚀处理。腐蚀处理后的图像中，最大连通白色区域为标定板所在位置，据此，基于最大稳定极值区域轮廓算法提取标定板。

（2）提取图像椭圆圆心。标定板在实际摆放过程中存在倾斜，使得挖空的圆孔在投影图像中往往以椭圆的形式存在。为精准提取圆心位置，首先采用基于局部极值的分水岭算法拟合得到标准圆，接着向外拓展一定距离得到每个圆孔轮廓包裹范围。

3后融合方法

对相机激光雷达的检测结果进行融合，相机和激光雷达分别通过深度学习网络得到目标在图像数据和点云数据中的检测框。然后需要进行时间和空间同步将激光雷达的三维检测框投影到图像上，对同一帧图片中的不同传感器检测框利用交并比进行筛选，最终输出融合结果。

3.1时空匹配

时间同步因相机和激光雷达的采样频率不同，正常情况相机的采样频率为30Hz，激光雷达的采样频率为10~20Hz。相机完成3帧图像的采集，激光雷达才可以完成1帧的点云数据采集，所以同一时刻下相机和激光雷达的数据会出现不对应的现象，影响融合检测结果，所以需要进行时间同步。空间同步即相机和激光雷达联合标定过程，激光雷达坐标系的点云数据投影到相机二维坐标系下需要求取相机外部参数。相机坐标系到像素坐标系的转换需要求取相机的内部参数。

3.2边框融合

在完成传感器的时空同步后，融合激光雷达点云检测结果与相机检测结果。相机和激光雷达检测框显示在同一帧图片上，红色为激光雷达检测投影框，黄色为相机检测目标框。接着对激光雷达检测的投影边界框和相机检测的边界框通过IOU进行关联匹配，当重叠面积大于等于设定的阈值0.5时，会被认为匹配成功，输出融合激光雷达的距离信息与相机传感器的类别信息；当重叠面积小于设定的阈值0.5时，只输出相机检测到的目标信息。

由于在使用深度学习网络对图像和点云数据的目标进行检测时，设置的置信度概率阈值会过滤掉一部分置信度不高的目标。但在实际实验过程中，一部分被识别出的目标会因为设置的置信度阈值而被滤除，所以采用sigmoid函数对检测到的目标进行置信度修正。

结语

激光雷达点云与相机图像融合的目标检测可以使自动驾驶车辆实现更精确的环境感知，决策级融合策略可以有效减少原始数据模态以及自动驾驶平台自身计算性能导致的识别率低下的问题。精确稳定的外参数标定是感知系统信息融合的基础。针对激光雷达与相机特征点提取困难且精度低的问题，提出了一种基于特征匹配的激光雷达和相机的标定方法。由于车辆在运行过程产生的振动会使传感器安装位置发生改变，因此基于初始外参数标定需要实时修正，而这将是下一步的研究重点。

参考文献

［1］覃兴胜,李晓欢,唐欣,等.基于标定板关键点的激光雷达与相机外参标定方法[J].激光与光电子学进展,2022,59(4):392-399.

［2］陈俊英.互注意力融合图像和点云数据的3D目标检测［J］.光学精密工程，2021（9）：2247-2254.

［3］张青春.基于ROS机器人的相机与激光雷达融合技术研究［J］.中国测试，2021（12）：120-123.