建站与备案的具体流程是什么,项目进度管理,怎样做seo网站推广,东莞常平新楼盘有哪些来源#xff1a;卢荣胜,史艳琼,胡海兵. 机器人视觉三维成像技术综述[J]链接#xff1a;http://www.opticsjournal.net/Articles/Abstract/lop/57/4/040001.cshtml原题#xff1a;机器人视觉三维成像技术综述摘要本文针对智能制造领域机器人视觉感知中的三维视觉成像技术进行… 来源卢荣胜,史艳琼,胡海兵. 机器人视觉三维成像技术综述[J]链接http://www.opticsjournal.net/Articles/Abstract/lop/57/4/040001.cshtml原题机器人视觉三维成像技术综述摘要本文针对智能制造领域机器人视觉感知中的三维视觉成像技术进行综述,系统地总结了一些有代表性的机器人视觉成像方法的特点和实际应用中的局限性,内容涉及飞行时间三维成像、点线扫描三维成像、色散共焦成像、结构光投影三维成像、光学偏折成像、单目与多目立体视觉三维成像和光场成像等。绘制了各种视觉成像的图谱,并探讨了机器人手眼系统最佳三维成像方法。在工业4.0时代国家智能制造高速发展传统的编程来执行某一动作的机器人已经难以满足现今的自动化需求。在很多应用场景下需要为工业机器人安装一双眼睛即机器人视觉成像感知系统使机器人具备识别、分析、处理等更高级的功能可以正确对目标场景的状态进行判断与分析做到灵活地自行解决发生的问题。一、机器视觉系统组成典型的机器视觉系统可以分为图像采集部分、图像处理部分和运动控制部分。基于PC的视觉系统具体由如图1所示的几部分组成图1 机器视觉系统组成①工业相机与工业镜头——这部分属于成像器件通常的视觉系统都是由一套或者多套这样的成像系统组成如果有多路相机可能由图像卡切换来获取图像数据也可能由同步控制同时获取多相机通道的数据。根据应用的需要相机可能是输出标准的单色视频RS-170/CCIR、复合信号Y/C、RGB信号也可能是非标准的逐行扫描信号、线扫描信号、高分辨率信号等。②光源——作为辅助成像器件对成像质量的好坏往往能起到至关重要的作用各种形状的LED灯、高频荧光灯、光纤卤素灯等都容易得到。③传感器——通常以光纤开关、接近开关等的形式出现用以判断被测对象的位置和状态告知图像传感器进行正确的采集。④图像采集卡——通常以插入卡的形式安装在PC中图像采集卡的主要工作是把相机输出的图像输送给电脑主机。它将来自相机的模拟或数字信号转换成一定格式的图像数据流同时它可以控制相机的一些参数比如触发信号曝光/积分时间快门速度等。图像采集卡通常有不同的硬件结构以针对不同类型的相机同时也有不同的总线形式比如PCI、PCI64、Compact PCIPC104ISA等。⑤PC平台——电脑是一个PC式视觉系统的核心在这里完成图像数据的处理和绝大部分的控制逻辑对于检测类型的应用通常都需要较高频率的CPU这样可以减少处理的时间。同时为了减少工业现场电磁、振动、灰尘、温度等的干扰必须选择工业级的电脑。⑥视觉处理软件——机器视觉软件用来完成输入的图像数据的处理然后通过一定的运算得出结果这个输出的结果可能是PASS/FAIL信号、坐标位置、字符串等。常见的机器视觉软件以C/C图像库ActiveX控件图形式编程环境等形式出现可以是专用功能的比如仅仅用于LCD检测BGA检测模版对准等也可以是通用目的的包括定位、测量、条码/字符识别、斑点检测等。⑦控制单元包含I/O、运动控制、电平转化单元等——一旦视觉软件完成图像分析除非仅用于监控紧接着需要和外部单元进行通信以完成对生产过程的控制。简单的控制可以直接利用部分图像采集卡自带的I/O相对复杂的逻辑/运动控制则必须依靠附加可编程逻辑控制单元/运动控制卡来实现必要的动作。二、机器人视觉成像的结构形式机器人视觉系统的主要功能是模拟人眼视觉成像与人脑智能判断和决策功能采用图像传感技术获取目标对象的信息通过对图像信息提取、处理并理解最终用于机器人系统对目标实施测量、检测、识别与定位等任务或用于机械人自身的伺服控制。在工业应用领域最具有代表性的机器人视觉系统就是机器人手眼系统。根据成像单元安装方式不同机器人手眼系统分为两大类固定成像眼看手系统Eye-to-Hand与随动成像眼在手系统(Eye-in-Hand, or Hand-eye)如下图2所示。图2 两种机器人手眼系统的结构形式a)眼在手机器人系统b眼看手机器人系统有些应用场合为了更好地发挥机器人手眼系统的性能充分利用固定成像眼看手系统全局视场和随动成像眼在手系统局部视场高分辨率和高精度的性能可采用两者混合协同模式如用固定成像眼看手系统负责机器人的定位使用随动成像眼在手系统负责机器人的定向或者利用固定成像眼看手系统估计机器人相对目标的方位利用随动成像眼在手系统负责目标姿态的高精度估计等如图3所示。图 3 机器人协同视觉系统原理图三、机器人视觉三维成像方法3D视觉成像可分为光学和非光学成像方法。目前应用最多的还是光学方法其包括飞行时间法、激光扫描法、激光投影成像、立体视觉成像等。飞行时间3D成像飞行时间TOF相机每个像素利用光飞行的时间差来获取物体的深度。目前已经有飞行时间面阵相机商业化产品如Mesa Imaging AG SR-4000 PMD Technologies Cam Cube 3.0微软Kinect V2等。TOF成像可用于大视野、远距离、低精度、低成本的3D图像采集其特点是检测速度快、视野范围较大、工作距离远、价格便宜但精度低易受环境光的干扰。例如Camcueb3.0具有可靠的深度精度3mm 4m)每个像素对应一个3D数据。扫描3D成像扫描3D成像方法可分为扫描测距、主动三角法、色散共焦法。扫描测距是利用一条准直光束通过1D测距扫描整个目标表面实现3D测量的。主动三角法是基于三角测量原理利用准直光束、一条或多条平面光束扫描目标表面完成3D成像如图4所示。色散共焦通过分析反射光束的光谱获得对应光谱光的聚集位置 如图5所示。图 4 线结构光扫描三维点云生成示意图图 5 色散共焦扫描三维成像示意图扫描3D成像的最大优点是测量精度高。其中色散共焦法还有其它方法难以比拟的优点如非常适合测量透明物体、高反与光滑表面的物体。但缺点是速度慢、效率低用于机械手臂末端时可实现高精度3D测量但不适合机械手臂实时3D引导与定位因此应用场合有限。另外主动三角扫描在测量复杂结构面形时容易产生遮挡需要通过合理规划末端路径与姿态来解决。结构光投影3D成像结构光投影三维成像目前是机器人3D视觉感知的主要方式。结构光成像系统是由若干个投影仪和相机组成常用的结构形式有单投影仪-单相机、单投影仪-双相机、单投影仪-多相机、单相机-双投影仪和单相机-多投影仪等。结构光投影三维成像的基本工作原理是投影仪向目标物体投射特定的结构光照明图案由相机摄取被目标调制后的图像再通过图像处理和视觉模型求出目标物体的三维信息。根据结构光投影次数划分结构光投影三维成像可以分成单次投影3D和多次投影3D方法。单次投影3D主要采用空间复用编码和频率复用编码形式实现。由于单次投影曝光和成像时间短抗振动性能好适合运动物体的3D成像如机器人实时运动引导手眼机器人对生产线上连续运动产品进行抓取等操作。但是深度垂直方向上的空间分辨率受到目标视场、镜头倍率和相机像素等因素的影响大视场情况下不容易提升。多次投影3D具有较高空间分辨率能有效地解决表面斜率阶跃变化和空洞等问题。不足之处在于1对于连续相移投影方法3D重构的精度容易受到投影仪、相机的非线性和环境变化的影响2抗振动性能差不合适测量连续运动的物体3在Eye-in-Hand视觉导引系统中机械臂不易在连续运动时进行3D成像和引导4实时性差不过随着投影仪投射频率和CCD/CMOS图像传感器采集速度的提高多次投影方法实时3D成像的性能也在逐步改进。对于粗糙表面结构光可以直接投射到物体表面进行视觉成像但对于大反射率光滑表面和镜面物体3D成像结构光投影不能直接投射到被成像表面需要借助镜面偏折法。偏折法对于复杂面型的测量通常需要借助多次投影方法因此具有多次投影方法相同的缺点。另外偏折法对曲率变化大的表面测量有一定的难度因为条纹偏折后反射角的变化率是被测表面曲率变化率的2倍因此对被测物体表面的曲率变化比较敏感很容易产生遮挡难题。立体视觉3D成像立体视觉字面意思是用一只眼睛或两只眼睛感知三维结构一般情况下是指从不同的视点获取两幅或多幅图像重构目标物体3D结构或深度信息如图6所示。图6 立体视觉三维成像示意图立体视觉可分为被动和主动两种形式。被动视觉成像只依赖相机接收到的由目标场景产生的光辐射信息该辐射信息通过2D图像像素灰度值进行度量。被动视觉常用于特定条件下的3D成像场合如室内、目标场景光辐射动态范围不大和无遮挡场景表面非光滑且纹理清晰容易通过立体匹配寻找匹配点或者像大多数工业零部件几何规则明显控制点比较容易确定等。主动立体视觉是利用光调制如编码结构光、激光调制等照射目标场景对目标场景表面的点进行编码标记然后对获取的场景图像进行解码以便可靠地求得图像之间的匹配点再通过三角法求解场景的3D结构。主动立体视觉的优点是抗干扰性能强、对环境要求不高如通过带通滤波消除环境光干扰3D测量精度、重复性和可靠性高缺点是对于结构复杂的场景容易产生遮挡问题。基于结构光测量技术和3D物体识别技术开发的机器人3D视觉引导系统可对较大测量深度范围内散乱堆放的零件进行全自由的定位和拾取。相比传统的2D视觉定位方式只能对固定深度零件进行识别且只能获取零件的部分自由度的位置信息具有更高的应用柔性和更大的检测范围。可为机床上下料、零件分拣、码垛堆叠等工业问题提供有效的自动化解决方案。机器视觉3D引导系统框架3D重建和识别技术通过自主开发的3D扫描仪可获准确并且快速地获取场景的点云图像通过3D识别算法可实现在对点云图中的多种目标物体进行识别和位姿估计。3D重建和识别效率多种材质识别效果测试 得益于健壮的重建算法和识别算法可对不同材质的零件进行稳定的重建和识别即便是反光比较严重的铝材料及黑色零件都能获得较好的重建和识别效果可适用于广泛的工业场景。机器人路径规划并不是获得零件的位姿信息后就能马上进行零件的拾取这仅仅只是第一步要成功拾取零件还需要完成以下几件事自主开发的机器人轨迹规划算法可轻松完成上述工作保证机器人拾取零件过程稳定可靠。快速切换拾取对象只需要四个简单的操作即可实现拾取对象的快速切换无需进行复杂的工装、产线的调整。四、性能比较1、类似于飞行时间相机、光场相机这类的相机可以归类为单相机3D成像范围它们体积小实时性好适合随动成像眼在手系统执行3D测量、定位和实时引导。但是飞行时间相机、光场相机短期内还难以用来构建普通的随动成像眼在手系统主要原因如下1飞行时间相机空间分辨率和3D精度低不适合高精度测量、定位与引导。2对于光场相机目前商业化的工业级产品只有为数不多的几家如德国Raytrix虽然性能较好空间分率和精度适中但价格贵使用成本太高。图 7 随动成像眼在手系统机器人3D视觉成像优选方案2、结构光投影3D系统精度和成本适中有相当好的应用市场前景。它由若干个相机-投影仪组成的如果把投影仪当作一个逆向的相机可以认为该系统是一个双目或多目3D三角测量系统。3、被动立体视觉3D成像目前在工业领域也得到较好应用但应用场合有限。因为单目立体视觉实现有难度双目和多目立体视觉要求目标物体纹理或几何特征清晰。4、结构光投影3D、双目立体视觉3D都存在下列缺点体积较大容易产生遮挡。针对这个问题虽然可以增加投影仪或相机覆盖被遮挡的区域但会增加成像系统的体积减少在Eye-in-Hand系统中应用的灵活性。五、总结虽然光学3D视觉成像测量方法种类繁多但能够安装在工业机器人上组成一种合适的随动成像眼在手系统对位置变动的目标执行3D成像测量、引导机器人手臂准确定位和实施精准操作的方法有限。因为从工业应用的角度来说我们更关心的是3D视觉传感器的精度、速度、体积与重量。鉴于机器人末端能够承受的端载荷有限允许传感器占用的空间有限传感器在满足成像精度的条件下重量越轻体积越小也就越实用。所以对于随动成像眼在手系统最佳3D成像方法是采用被动单目单相机3D成像方法这样不仅体积小、重量轻也解决了双目和多目多视图遮挡难题。未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市大脑研究计划构建互联网城市大脑技术和企业图谱为提升企业行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
