网站数据分析表格,给自己企业怎么做网站,深圳科技有限公司 网站建设,艺术名画网站怎么建设基于三维激光点云的目标识别与跟踪研究
人工智能技术与咨询 来源#xff1a;《汽车工程》 #xff0c;作者徐国艳等
#xff3b;摘要#xff3d; 针对无人车环境感知中的障碍物检测问题#xff0c;设计了一套基于车载激光雷达的目标识别与跟踪方法。为降低计算量#…基于三维激光点云的目标识别与跟踪研究
人工智能技术与咨询 来源《汽车工程》 作者徐国艳等
摘要 针对无人车环境感知中的障碍物检测问题设计了一套基于车载激光雷达的目标识别与跟踪方法。为降低计算量提高处理速度引入了点云过滤与分割算法对原始激光点云数据进行缩减有效提高了检测的实时性。使用多特征复合判据基于SVM分类器改进了Adaboost算法对三维激光点云进行直接处理最大限度保留了感知信息提高了识别准确度。提出基于最大熵模糊聚类的数据关联方法和相应的粒子滤波器有效提高了复杂交通流中目标跟踪的稳定性和准确性。经百度Apollo平台数据集仿真、自主研发的无人驾驶平台实验验证和针对小目标交叠和遮挡情况的实车验证表明该套方法具有良好的实时性和鲁棒性。
关键词无人车环境感知激光雷达识别跟踪
前言
在无人驾驶汽车中环境感知系统是其行驶决策的信息来源对交通流中的车辆、非机动车、行人等目标进行识别并保持跟踪及时向决策系统输入环境障碍物信息是环境感知系统的重要任务也是无人车安全行驶的关键所在。
国内外在这一问题的研究上先后提出了将三维数据压缩到二维平面并进行聚类的栅格地图法1、将点云按帧截图并用视觉方法进行检测的特征图像法2等这些方法仅能获得某一二维平面上的目标信息。随着机器学习的兴起使用神经网络、随机森林、Adaboost等机器学习算法3对三维点云特征直接进行提取和分类逐渐发展起来。在目标跟踪上使用MHT和JPDA等数据关联算法4结合卡尔曼滤波器进行跟踪是较为常见的方法5。但这种方法在实际的复杂交通流中面临维度灾难和对交叉、遮挡目标无效的问题因此一系列基于非线性假设的跟踪方法被提出6-8。
本文中使用经过滤和分割的三维激光点云数据通过可变阈值筛选进行聚类。复合10个不同特征得出53维特征向量作为判据用SVM分类器改进的Adaboost机器学习算法对三维激光点云数据进行直接处理得到目标识别结果。提出基于最大熵模糊聚类的数据关联方法并设计相应的粒子滤波器解决了由复杂交通流造成的目标遮挡与错跟问题。仿真与实验结果表明该方法具有可靠性和鲁棒性。
1 激光点云数据获取与预处理
使用速腾聚创出品的RS-16线激光雷达作为点云数据的获取来源安装方式为车顶对心安装。安装示意图如图1所示。 图1 雷达安装示意图
1.1 激光点云数据过滤与分割
为减少计算量选取激光点云的z坐标值作为过滤与分割的依据对地面、建筑物等的点云进行滤除。将激光扫描的区域在x-y平面上划分为0.1 m×0.1 m的网格由于网格小于可能的目标所占有的面积因此每个网格都可以视为仅隶属于一类分类。可能的分类包括地面、建筑物、树木和目标。地面的特点是z坐标值小且为一近似平面网格内z坐标值相差不大。建筑物和树木的特点是z坐标值相差巨大且最大值远远超出目标。网格内点云数目过少则可判定为噪声。按表1进行激光点云数据的过滤与分割。该方法效果如图2和图3所示。
1.2 激光点云数据聚类
表1 点云过滤与分割算法 图2 点云数据过滤前图 图3 点云数据过滤后图
聚类是依据某种事先确定的标准例如密度、距离、层次等所产生的差异来将散乱的数据点聚合为相互独立的分类。聚类算法的关键在于标准及其阈值的选取。为充分利用激光雷达含有深度信息的三维点云数据以及减少由于目标远近不同造成的离散程度不同等的影响。本文中使用深度信息即距离值来对聚类阈值进行调整。提出一种基于距离值的可变阈值确定方法9-10如图4所示。设rn-1为相邻前点离激光雷达的直线距离Δφ为激光雷达的角分辨率σ为激光雷达零偏误差λ为可变阈值参数则聚类的可变阈值为 图4 阈值计算示意图
通过实验选取适宜的可变阈值参数本文取10°则由式1可以看出越远离激光雷达阈值不断增加良好地适应了远处激光点分布更为分散的趋势从而提高了远处离散点云的聚类效果。
2 目标识别
目标识别过程是从空间或时间分布数据信息中将属于目标的部分筛选出来并进行特征判断。机器学习是解决这类问题的有利工具。在机器学习过程中两个重点分别是设计适宜的算法与分类器以及选取合适的先验特征。
2.1 基于SVM分类器改进的Adaboost算法
Adaboost是一种基于统计的机器学习算法。其基本原理是不断对学习的样本进行迭代每一次迭代的结果都视为一个弱分类器。由于在每一次迭代时都对样本的权值进行更新因此这一过程最终会得到若干个弱分类器将这些弱分类器根据权值进行加权线性组合就能得到一个具有较高精度的强分类器。
Adaboost算法的关键在于弱分类器的训练这一过程直接影响最终分类器的精确程度。由于Adaboost为框架式的算法其中的弱分类器可以使用Adaboost分类器也可以使用其他的分类器。传统的Adaboost算法在高维数据中精度会有明显下降且受噪声影响极大容易在复杂交通流环境中出现错误率激增。因此使用SVM分类器作为弱分类器对传统Adaboost算法进行改进以提升在非线性和高维应用环境下的分类器性能。本文所设计的Adaboost算法的框架如表2所示。
表2 基于SVM的Adaboost算法流程 构建SVM分类器的基本原理是利用非线性映射把一个向量从二维函数向高维函数映射从而把非线性问题线性化。实现这一过程主要依赖于在低维空间中寻找一个核函数使该函数值等于两输入向量非线性变换到高维空间后的内积。设要构建的分类器输入量为xin输出量为yin映射函数为φx i选取性能优良的径向基函数作为核函数即 式中σ为基参量因子。此后在高维空间内可以看作一个线性的回归过程。高维空间的线性回归方程为 式中w为权重向量。引入参数松弛因子 和ξi精度因子ε以及惩罚因子c则所要求的目标函数为 其约束条件为 用拉格朗日定理求解这一问题可得 结合极值点处的KKT条件定理 2.2 目标特征设定
激光点云具有丰富的特征信息由于目标与无人车的相对位置不同以及目标有可能因遮挡、交叉等呈现出不完整的形态因此本文中综合激光点云的统计信息、空间位置信息以及反射强度信息3个方面给出一个复合特征向量作为上述SVM分类器的学习输入选取的复合特征如表3所示。
表3 本文中选取的复合特征 1统计信息 主要统计指标有聚类内所含点云数目、聚类内点云离散距离、聚类内点云的三维协方差及其特征值、惯性张量矩阵及其特征值。其中点云离散距离如式10所示该特征主要表征边缘点云偏离程度。 三维协方差如式11所示该特征主要表征点云在各方向上的相关性而特征值表征该方向的权重。 惯性张量矩阵如式12所示该特征主要表征点云整体分布的稳定性可用于消除噪声影响。 2空间位置信息 根据目标的几何特性寻找目标在某一方向上的几何特性代表特征。使用旋转卡壳法做出聚类在各个平面上的最小包围矩形形成一个长方体长方体的长、宽、高即可代表目标在不同方向的尺寸及形状特征。
3反射强度信息 由于不同物质反射特性不同因此打中同一目标上的激光点云应该具有接近的反射强度。对反射强度计算其平均值、方差并得到所有激光反射点的归一化直方图。归一化直方图是将所有聚类中的激光点云以反射强度值的大小为标准投影划分到20个强度差值相同的小区域内用类似于绘制马赛克的方法得到目标拟合轮廓。
通过对三维点云信息选取复合特征聚类后可以对目标特征进行识别及分类并给出对三维点云信息识别分类后的确信度最终的识别效果如图5所示。
3 目标跟踪
目标跟踪过程是通过跟踪器对识别出的目标在不同时刻激光点云中的连续位置进行确定。由于交通流中存在的干扰因素以及激光束的随机缺漏等该时刻t的观测量集合可能与状态量集合是双射的也可能是单射非满射的甚至是非满射非单射的。在算法设计上首先使用数据关联算法得出多目标的关联概率分布然后不断更新目标状态的估计值与观测值从而完成对多目标跟踪的实现如图6所示。 图5 识别效果图 图6 目标跟踪算法流程图
3.1 最大熵模糊聚类数据关联
要获得关联问题的最优解通常采用的方法是联合概率数据关联JPDA算法或多假设跟踪算法MHT。这两种方法可以求取最优但是在复杂城市道路中计算量过大。因此在关联过程中变寻求最优为寻求次优是一种较为可行的方案。通过对观测值模糊聚类将观测值归入以目标估计量为中心的类中然后结合信息熵极大时概率分布最接近真实的原理将数据关联问题转化为求解条件极值的聚类问题可以有效降低计算负荷。
假设t时刻所获得的激光点云帧中存在c个目标所有通过激光雷达得到的观测量总集合为z j。可以将寻优过程做如下描述此时由滤波器输出的目标的估计量作为聚类中心ci真值和估计值之间的差异代价函数为 其中 其可以表征观测量对于聚类中心ci的隶属程度。D是观测量对于聚类中心的欧式距离。根据信息熵理论熵值最大的分布即不确定性最大值的概率分布也即占优势的概率分布。引入熵值即 为求得熵值在上两式约束条件下的最大点采用拉格朗日函数法设 ηj和 λj是式13和式14拉格朗日乘数。当取到最大值时观测量zj和估计量ci之间的隶属程度为 此时某一观测量j来自目标i的概率pji可以用隶属程度uji来表示。至此只需给出观测量对多个目标隶属程度相同或相近的解决标准就可以得出目标关联概率矩阵β即可完成关联。具体的操作方法如表4所示。
3.2 粒子滤波多目标跟踪
传统的多目标跟踪系统通常采用卡尔曼滤波器进行滤波更新这一滤波器虽然简单成熟但目标在复杂交通流中的运动并非一个满足线性和高斯假设的场景。当目标被遮挡时预测位置的不确定噪声变为具有多个峰值的非高斯模型。为解决这一问题引入粒子滤波器对目标进行估计和更新。
粒子滤波是一种用一群粒子的密集程度来表示概率密度的时间序列蒙特卡洛方法。这种方法利用无参数的点来近似代替高斯模型。当点按概率密度分布后从中随机抽取采样点进行加权求和从而得到后验概率密度函数。
表4 相同隶属度修正算法 设该后验概率密度函数为 px0→tz1→t其一组有关联的随机观测样本为 xnn01…k表示从初始时刻到 t时刻的全部示状态集合对应的点集两者由关联确认权值所支持联系。由此可写出t时刻的近似后验概率密度为 式中 为关联确认权值即 q 为重要性采样密度函数取先验概率分布函数为重要性采样密度函数则关联确认权值的更新过程可以写作 由于各个时刻的观测值是相互独立且符合马尔可夫过程的因此概率密度函数就是观测量的似然函数。当不断迭代更新到下一时刻采样点不断增加近似式就会不断逼近真实的值。
值得注意的是在这一迭代更新的过程中粒子的多样性也在不断丢失。本文采用重新采样的方法构建的车载激光雷达滤波器如表5所示。
表5 粒子滤波跟踪器 4 实验验证
为验证上述方法在城市复杂交通流环境下的工作性能选取百度Apollo平台开放数据进行了验证同时在自主研发的“北航猛狮号”无人驾驶平台进行了真实城市道路实验。
验证评价指标采取ROCreceive operating characteristic曲线法。ROC曲线是将目标和非目标分开分别衡量所有目标中被正确检测为目标的比率TPR和所有非目标中被错误检测为目标的比率FPR。这种方法可以避免传统正确率评价标准中目标和非目标样本数不相等造成的问题。ROC曲线横纵坐标定义为
式中TP为被正确检测的正样本FN为漏检的正样本FP为误检的正样本TN为被正确判断的负样本。ROC曲线与横轴围成的面积越大则检测效果越好。 首先使用百度Apollo平台对200种虚拟场景进行了目标识别与跟踪的验证场景包括目标在本车正前方、正后方、侧前方、侧后方执行动作包括直行、转弯、掉头、超车、跟车、换道、会车目标数目包括单目标、双目标、多目标。然后使用百度Apollo平台在北京市海淀区采集的真实道路数据进行验证场景包含丁字路口、十字路口、快速路、高速路、拥堵等目标为各种实际交通参与者检测效果如图7所示。 图7 Apollo平台虚拟与真实场景检测效果图
具体评价结果如图8和图9所示。从图中可以看出在真实道路上检测效果有明显下降主要原因是实际道路上尤其是拥堵时车辆连接紧密点云分割难度增加。该ROC曲线与平台开源的标准Adaboost分类器检测算法和文献11所使用的栅格地图模型匹配法相比表现均更优异同时所有目标算法识别处理时间均小于10 ms因此该方法能够满足无人车鲁棒性与实时性要求。
此外使用真实无人驾驶车辆在实际道路上进行目标识别与跟踪实验。图10为目标跟踪效果图。图中右侧两辆目标车为跟踪研究对象速度为相对速度。前方标注为car的车辆为搭载有OBD数据记录装置的预设车辆后方标注为truck的车辆为测试数据关联稳定性的车辆。实验环境除真值车与干扰车外还存在大量随机的社会车辆。 图8 ROC指标评价曲线图 图9 识别算法耗时图
可以看出在近400帧的跟踪过程中目标ID号157、158号始终保持不变说明跟踪保持不断数据关联一直正确。证明本文方法在存在多个目标的复杂交通场景下能保持对目标的持续跟踪并正确关联。
图11为速度跟踪误差图。从图中可以发现当被测车辆处于超车过程中时测量误差较大当被测车辆完成超车过程回正直行时误差显著降低。主要原因是在超车过程中被测车辆航向变化较大激光点云形状处于较大变化最近追踪点不断变化第1帧、第101帧而从第224帧完成超越开始激光点云稳定为L型测量误差开始减小。到目标远离且有遮挡后误差又进一步增大。但最大误差不超过实际车速的10%平均误差在3.435 kmh能够满足无人车跟踪精度要求。
最后为检验算法对小目标交叠和遮挡时的识别跟踪情况选取行人远离车辆、行人靠近车辆、行人被车辆大面积遮挡、行人再次远离车辆这4个基本状态作为一个实验周期。图12为行人与车辆交叠、遮挡情况实景图分别对应实验周期内4个基本状态。图13为整个实验过程识别结果图。可以发现虽然当行人与车辆发生交叠和遮挡情况会导致行人的3D点云形状和密度发生了很大改变且当行人被车辆大面积遮挡时行人仅有头部露出车顶且高度不超过0.3 m置信概率明显下降但是通过对多特征的复合使用依然能够通过点云密度和反射率的突变捕捉到行人被车辆遮挡后的剩余信息且可以根据概率密度观测模型对行人轮廓进行补全绘制出最小包络矩形12且在整个实验过程中行人的跟踪ID号保持不变这说明在当行人与车辆目标发生交叠和遮挡时可以通过帧间运动信息进行预测估计整个过程中的识别算法和跟踪算法具有良好的可靠性。 图10 目标跟踪效果图 图11 跟踪速度误差图
5 结论
设计了一套基于三维激光点云数据的目标识别与跟踪方法。直接对三维激光点云数据进行处理为减小计算量先对点云过滤与分割。然后使用可变阈值进行聚类输入用SVM分类器改进的Adaboost算法进行识别得到三维拟合轮廓及分类。在目标跟踪阶段应用最大熵模糊聚类进行数据关联而后用粒子滤波器进行跟踪。设计的方法通过百度Apollo平台和自主开发的无人驾驶平台进行了验证同时对小目标交叠和遮挡情况的识别跟踪效果进行实车验证。结果表明该套方法实时性和鲁棒性均良好。 图12 行人与车辆交叠、遮挡情况实景图 图13 行人与车辆交叠、遮挡识别结果图 我们的服务类型
公开课程
人工智能、大数据、嵌入式
内训课程
普通内训、定制内训
项目咨询
技术路线设计、算法设计与实现图像处理、自然语言处理、语音识别
