计算机网站开发专业,做播放器电影网站需要多少钱6,网站建设服务代理,有人免费资源吗本文的主要内容#xff0c;是讨论如何将KITTI激光雷达的点云数据#xff0c;映射到图像中去。KITTI数据集是怎么采集的下面这幅图是车的俯视图#xff0c;可以看到#xff0c;用到了2个彩色相机#xff0c;2个灰度相机#xff0c;1个激光雷达。1个GPS/IMU。图1 KITTI车俯…本文的主要内容是讨论如何将KITTI激光雷达的点云数据映射到图像中去。KITTI数据集是怎么采集的 下面这幅图是车的俯视图可以看到用到了2个彩色相机2个灰度相机1个激光雷达。1个GPS/IMU。图1 KITTI车俯视图KITTI标系是怎么定义的比较值得注意的是蓝字部分标注的Velodyne激光雷达的坐标系中 X坐标是向前的。也就意味着激光雷达数据中的X数据给的是物体的距离信息。这点在我的代码中的时候会有体现。KITTI车传感器坐标定义KITTI怎么从点云映射到图像 我看了Kitti官方论文《Vision meets Robotics: The KITTI Dataset》要想把点云映射到图像核心的公式就是图2 点云坐标x映射到图像坐标y先说说映射流程流程。首先经过 矩阵映射。经过这一步点云坐标被映射到了0号相机坐标系里。然后经过 矩阵映射。这一步我也没太搞懂。比较奇怪的是不管像映射到哪个编号的相机似乎都需要左乘 矩阵。而且这个矩阵看上去仅仅是一个内参矩阵……最后经过 矩阵映射被变换到了i号相机所在的图像坐标系。再说说各部分长什么样。 是点云数据的齐次坐标形式一个4行1列的列向量 。 是4*4的矩阵。它并非是平移矩阵而是标定得到的激光雷达和相机的外参矩阵。包括了旋转矩阵 和平移矩阵 两部分, 如下 | | | | 是4*4的矩阵最后一行为 ,是从3*3矩阵扩展来的。 是3*4的矩阵。 是最终映射得到的图像坐标是一个3行1列的列向量 。为了变换成齐次坐标的形式需要做一个归一化除以 。KITTI怎么获取上述映射矩阵公式中为点云数据使用.bin二进制文件储存可以使用c读取。里面包括了三维坐标信息和反射率。对于几个转换矩阵KITTI提供了三类标定文件分别叫calib_cam_to_cam.txt 相机之间的坐标转换矩阵calib_imu_to_velo.txt IMU和激光雷达的坐标转换calib_velo_to_cam.txt 相机和激光雷达之间的坐标转换本文中要将激光雷达的点云数据映射到图像中去。因此用到的是calib_cam_to_cam.txt和calib_velo_to_cam.txt。就是calib_cam_to_cam.txt中的P_rect_0i。是由calib_cam_to_cam.txt的3*3的R_rect_00矩阵扩展一个维度而来。由calib_velo_to_cam.txt中的R和T扩展出来的。在这些标定txt文件中所有的数据都是按行存储的也就是P_rect的1-4个数据是矩阵的第一行。怎么显示出映射后融合效果通过上述公式我们已经可以把3维点云数据映射至图像坐标了。可以直接在图像上标记出这些点。但是为了更酷炫的显示这个效果我们可以根据点云的x坐标给这些点上色。用x坐标的原因也就是刚刚上面提到的因为激光雷达的坐标系x轴是朝前的实际上坐标x就是物体距离。一般使用各大编程语言的colormap里的JET色彩就能实现渐变效果距离远的点是蓝色的距离近的点是红色的。映射后的效果图如下Kitti官方提供了 MATLAB代码run_demoVelodyne.m。这份代码里为了显示融合效果用到了几个tricks把x5的点去掉了。物理意义就是距离小于5的范围可能处于相机的盲区拍不到。去掉这些点可以提高速度。点云中每5个点取一个点。也是为了提高计算速度。在实现远距离是蓝色近距离是红色时kitti官方代码将距离映射成0-63的整数每个整数对应一个颜色实现方式很有趣。col_idx round(64*5/velo(i,1));这里velo(i,1)就是距离。由于他把x5的点去掉了所以5/velo(i,1)范围在(0,1]之间。64*5/velo(i,1)就到了(0,64]之间。取整之后就变成了0-63的整数。c代码依据官方代码我实现了c版本的。https://gitee.com/cuiry/learn3D/tree/master/learnKittigitee.com里面有1张kitti彩色图像和对应的点云bin文件、标定txt文件。代码实现了bin文件和标定txt数据的读取、从点云坐标转换成图像坐标、以及融合效果的显示。代码运行在Ubuntu18.04需要opencv4.4.0和PCL库。参考资料kitti数据集坐标转换_冯子材的博客-CSDN博客blog.csdn.nethttps://github.com/ZouCheng321/fusion_kitti/blob/master/run_demoVelodyne.mgithub.com
