基于模式识别与机器视觉工件的识别及分拣

基于模式识别与机器视觉工件的识别及分拣

谢红俊

河南中烟工业有限责任公司驻马店卷烟厂   河南 驻马店  463000

摘要：

为了从输送带上杂乱工件中分拣出符合规格的目标工件, 提出了一种基于多帧工件图像聚合分割的检测识别方法。该方法首先通过工业高精度相机获取工件图像, 由改进的分水岭算法分割工件图像;然后基于工件外观形状特征, 利用分类回归树 (CART) 对分割出来的工件图像进行类型识别;进而应用直方图反投影和核密度估计, 将来自多个帧的同一个跟踪目标工件对象掩模组合成一个精细掩模, 便于精确测量出工件尺寸;最后再联合机器人手眼标定参数, 获取符合规格目标工件的位姿, 实现机器人分拣。

关键词：机器视觉;图像分割;工件检测定位;核密度估计;机器人分拣;

近年来, 机器人及其视觉技术在零件加工生产中发挥越来越重要的作用, 机器视觉不仅使工业机器人具有重要的外部感知能力, 而且使工业机器人可以处理一些随机任务, 如随机目标识别和定位、目标缺陷检测、运动控制及几何尺寸测量等, 将机器视觉技术应用于工业分拣系统, 能够显著提高生产效率, 增强机器人的环境适应能力, 因此零件加工生产线上采用机器人及其视觉技术是工业柔性自动化发展的必然趋势。

1 视觉分拣系统总体设计

1.1 硬件结构

视觉分拣系统主要由工业机器人、视觉系统和传送平台组成,其中工业机器人主要负责工件的抓取和放置;视觉系统组主要负责目标的识别和定位;传送平台主要负责目标的搬运和放置。

(1)工业机器人。工业机器人主要包括示教器、机器人控制器和机器人机械结构等部分。示教盒主要负责机器人运动坐标的初定和机器人程序的编写,机器人控制器主要负责机器人算法程序的执行,系统选择苏州汇博HR20-1700-C10型六轴工业机器人。(2)视觉系统。视觉系统主要由工业相机和光源组成,工业相机选择无锡信捷SV4-30ML型号智能相机,其内嵌数字图像处理(DSP)芯片,电源控制器选择型号为SIC-242,光源选择白色背光源。(3)传送平台。传送平台即流水线,选用SIMATICS7-1200系列PLC作为控制器,通过SIMATIC G120变频器对传送带三相电机进行控制。

1.2 总体工作流程

根据分拣任务需求,首先PLC控制传送带将工件运送到工作区进行图像采集,然后相机对采集图像进行处理分析,实现工件的识别定位,最后根据建立的目标图像坐标系和机器人坐标系之间的关系,引导机器人抓取不同种类的工件。

2 视觉系统关键技术

2.1 工件识别与定位

工件包含四种类型,针对四种类型工件的识别,采用无锡信捷X-SIGHT STUDIO软件完成算法的开发,具体步骤如下:

(1)离线模板建立与参数配置。利用“图案定位工具”对每种类型工件建立离线模板,模板区域在保证图像边缘特征的情况下尽可能缩小模板尺寸大小,以提高图相匹配速度。配置图案定位工具参数,其中“相似度阈值=90”,考虑到工件的对称性,“目标搜索角度”范围设置为-90—90,“目标搜索个数”为1。(2)脚本程序编写。首先将脚本变量初始化清零,然后调用图案定位工具结果将工件识别的位置和角度提取到脚本中的变量中。(3)Modbus通讯参数配置。将脚本中的变量连接到相应的Modbus地址中,实现工业相机与PLC和工业机器人的数据通讯。

2.2 机械手-摄像机标定

机器人通过视觉感知获取目标物的三维空间坐标,因此需要建立二维像素点与三维物点之间的映射关系,即机械手-摄像机标定,也称为“手眼标定”。机械手-摄像机标定过程就是确定像素坐标系与三维空间点之间的几何映射参数,标定过程如下:

(1)工具坐标系建立。工具坐标系即机器人末端工具坐标系,本系统末端工具包括三爪和双吸盘两种类型,呈垂直状态固定在机器人法兰盘上。定义法兰盘垂直方向为Z轴,利用“三点法”分别建立双吸盘和三爪工具坐标系。工具坐标系建立完成后,调用工具坐标系可以控制工具坐标末端按照三维方向运动。(2)工具坐标系与相机坐标系标定。为建立工具坐标系与相机坐标系的位置关系,以双吸盘为例,首先调用双吸盘工具坐标系控制双吸盘末端中心与托盘流水线的工件托盘中心位置对齐,并将角度调整为工件模版方向角,将此次位置的(x,y)与角度示教为工具坐标原点位置。为了便于实现中心位置的对齐,这里采用末端位置固定激光笔的方式完成。

3 基于视觉识别的工业机器人分拣系统应用

3.1 相机校准

基于视觉识别的工业机器人分拣系统在应用的过程当中要重视相机校准工作。根据分拣系统所处的状态做出具体的行动, 在分拣系统的运转过程当中, 对已经选定的工件或者是已经选定的材料对象完成相机层面的标定工作。分析这一环节发现, 相机校准属于分拣系统最为基础的内容, 尤其是流行的视觉识别的工业机器人而言, 相机校准这项工作非常重要。如果分拣系统缺少摄像机和相机的校准环节会直接影响视觉识别的结果, 导致工件分拣无法完成。相机标定需要建立具体的坐标系, 包括空间位置和图像2个方面的坐标系。2种坐标系都是在工件材料和基于视觉识别的机器人之间的。当工件材料被放到输送带上之后, 就要及时进行相机标定, 形成具体坐标系之后, 可以针对两者关系加以校准。

3.2 工件识别和定位

分拣系统具有工件识别和定位的作用。工件识别和定位的设计目的是提高机器人排序的精确性。工件的材料有很多种, 在确定识别和定位时要选择具体的匹配技术。研究基于视觉识别工业机器人分拣系统时会发现, 比较流行且在分拣过程中发挥良好作用的是区域、特征以及相位匹配3种。应用最为广泛地是特征匹配, 因为这种匹配方式能够更好地完成工件识别和定位, 具有很高的准确性。而区域和相位匹配因为仍然存在一些技术上的缺陷, 应用范围较窄。

分拣系统中的工件识别也称作图像识别, 主要设备是相机。相机会在识别工件之前录入明确的工件图像, 进入到分拣系统的运转环节时就会获得工件的图像并与已经录入的图像比对。能够更好地获得图像信息和参数, 对于确定工件的位置和方向具有明显的作用。预处理工业相机是最重要的设备, 要确保其质量以及运转状态达到标准, 经过图像处理技术会完成工件与背景分离的工作。将获得的工件图像转换成二进制码, 在工件的形状和特征等方面进行比较才算是完成了图像识别工作。

3.3 工业机器人的运动控制

利用工业机器人进行工件分拣能够保证分拣的效率, 需要对工业机器人的运动控制进行分析。预处理摄像机所拍摄到的图片经过分析才可以应用, 之后才会实现准确控制工业机器人运动的目标。在这些内容基础之上, 才可以获得工件的坐标, 其准确性也才会被保证。在这一环节中计算机的作用也会被发挥出来, 计算机借助内部系统和坐标参数对机器发出指令。放到输送带上的工件, 会在计算机指令的作用下送到确定的位置, 机器人才可以完成分拣工作。应用工业机器人可以保证分拣的效率和质量, 降低成本, 提高企业经济效益。

结论

基于视觉的目标识别和定位研究是智能机器人研究的热点, 本文提出了一种基于传送带视频对象跟踪的识别检测新框架, 通过利用形状特征如CSS, 训练分类回归树 (CART) 模型, 对分割出来的工件图像进行分类识别, 成功地检测和剔除了非目标工件;通过目标跟踪, 利用时间信息聚合来自多个帧的分割结果:直方图反投影生成分割图, 核密度估计将这些分割图聚合成一个精细分割, 得到工件的精确轮廓, 从而确定出符合尺寸规格的目标工件。实验结果表明, 该算法可用于研究工业中结构不对称、质量分布不均匀及重叠的工件智能识别和精确定位。但是, 由于工业中环境会更复杂,使得很难用本文提出的算法进行检测分割, 因此设计出更鲁棒更通用的算法是将来需要进一步研究的内容。

参考文献

[1]李胜利.基于双目立体视觉的工件识别与定位技术研究[硕士学位论文][D].哈尔滨:哈尔滨工业大学机电工程学院, 2016.

[2]王燕玲, 李广伦, 林晓.复杂动态环境下运动目标自动检测算法[J].系统仿真学报, 2015, 27 (4) :715-722

[3]郑晶怡, 李恩, 梁自泽.基于形状先验模型的平面型工件抓取位姿检测[J].机器人, 2017, 39 (1) :99-110