创维车载显示屏-清洗机视觉定位项目案例分享
项目基本情况介绍
清洗机工位视觉部分采用的是单相机分别拍摄底板和玻璃的对角,一共设置了四个拍照位,两个拍照位为一个对角,分别得出底板和玻璃的对角线中点坐标和角度;通过视觉和EPSON机械手的基坐标系标定,建立起像素坐标和物理坐标的关系,进而通过VM视觉算法平台软件的标定转换工具和图像处理模块,分别给出底板和玻璃的中心点坐标和角度的实际物理坐标的相当于机械手基座标的绝对坐标值;进而,机械手跟据物料的中心点和角度偏移建立清洗轨迹,实现视觉对实时来料的引导清洗。视觉定位精度为±0.15mm。
本经典案例分享主要为基于VM3.2.0版本,采用VM标准软件实现一般对位项目的实现程序和逻辑的讲解和阐述,对项目的实施和调试起到了一定的指导作用。
视觉实现基本原理和概念
像素基准
①底座和玻璃盖板的基准分别为底座基准流程和盖板基准流程通过计算而来;
② 点击启用之后,就可以开始计算物料的基准了。此步骤只需要在调试的时候,或者换其他物料的时候做一次。分别建立起底板基准和盖板基准,这个基准的概念也就是来料不偏的时候的标准位置。
③点击本地图像,加载用MVS保存下来的基准图片,通过VM的算法模块计算基准值。只需要执行一次程序即可,基准计算的数据会通过82发送数据模块发送给全局变量。(计算完成后,记得框选起所有流程点击禁用,避免影响基准数据的变动)
④同样的办法计算盖板的基准值。
⑤基准计算完毕,会在全局变量的基准常量中得到数据。此数据一般是固定不变的。除非换料才会需要重新建立基准,或者是机台相机重新拆卸了才需要。
物理基准
①物理基准是机械手通过示教物料的中心点给出,是机械手可以走点到达的实际机械手工件坐标系。在视觉计算中需要给出绝对坐标值时,需要用到此数据。
实时来料
实时来料是每一次做料的实时物料,建立基准的主要目的是需要跟据每一次图像处理得到的偏移量,相当于基准的偏移。进而给出实际物理坐标提供给机械手进行来料的纠偏和校准清洗轨迹。图中展示的就是每一次来料的界面显示的图像。
视觉标定和标定转换
①标定VM方案位于桌面所示的文件夹位置,打开VM的.SOL文件,即可进入标定步骤。此步骤也只需要在调试的时候做一次,后续只要不改变相机的高度,
都不需要进行再次标定。(此外,在工控机的这个路径下也有最终正确的标定文件备份D:\HIK\最终生产方案备份(重要勿删)\标定0909\OK的标定文件)
② 标定步骤的作用主要是建立起机械手坐标系和相机拍摄的像素坐标系关系,从而通过相机拍摄就可以给出机械手的实际物理走点坐标值。
③标定操作方法主要是跟据机械手轴和像素坐标系轴的关系,通过相机移动九个不同的拍照位和三个不同的角度,相机抓取工件平面上的唯一一个特征点,进行通过VM的N点标定模块进行计算,去得出物理坐标和像素坐标的关系和旋转中心。(具体的操作方法可以详细参见:D:\HIK\最终生产方案备份(重要勿删)的标定教学视频)
④通过标定步骤,我们可以得到四个拍照位的不同标定文件,我们需要借助VM的标定转换工具,进行将标定文件导入使用。跟据如下图方案,将四个拍照位的标定文件分别导入到对应的标定转换模块即可。导入后,就能将像素坐标转换为实际的物理坐标了。一定要注意的是与拍照位一一对应,不要顺序颠倒了。
视觉实施前的装机和环境设置
1、基本软件的安装和网口配置说明
① 在项目实施前,需要安装对应的软件。需要依次安装MVS,再安装VM算法平台软件即可。安装软件前,一定要先关闭防火墙和安全软件,最好以管理员权限去进行安装。安装完成后,记得重启电脑。
(所有需要安装的软件都备份在D:\HIK\装机软件这个路径下)
② 网口配置,由于相机当前采用的是MV-CA050-10GM相机,25mm镜头。相机传输的数据量较大,一般需要千兆网络的传输,并配置对应的网卡属性参数。记得开启巨型帧为最大值。否则会出现丢失数据和相机丢包的现象。
2、VM算法平台软件的启动和加密设置
①软件可以设置为开机自启动模式,记得需要至少延时30秒去方便电脑后台程序的就绪,否则会出现软件加载的一些故障。
②在软件的系统中下拉选项框找到通讯设置,可以自由配置视觉端的IP地址和端口号。修改时,记得先将黄色的按钮关闭后再修改,修改完毕后一定记得把加载方案和开启服务器的黄色按钮都点出来。
③在VM的设置中有权限设置选项,当前密码为:123456 该界面可以配置不同技术水平的人员对应的权限,防止误操作。一般生产时切换到操作员模式即可,就会默认上层显示界面,无法修改底层程序模块了。
④修改正确的步骤,需要通过保存方案按钮将程序保存。界面显示模块的入口是在界面上的F按钮,点击即可显示。
视觉程序框架说明
1、程序总体介绍
①VM生产流程方案的程序一共分为了四个分支模块,每一个分支模块对应一个拍照位,前两个拍照位,拍照位一和拍照位二执行完流程的分支1和分支2后,对应输出一组底板的坐标和角度数据;后两个拍照位,拍照位三和拍照四执行完分支3和分支4后,对应输出一组玻璃盖板的坐标和角度数据。
②通讯协议说明和四个分支执行说明。通过以下双方拟定的通信协议进行数据交互。
③在VM方案中,通过字符比较模块去比较接收机械手客户端发送过来的数据,通过不同的指令,控制不同分支的模块执行。(目前视觉端服务器IP地址为:192.168.0.100,端口号为5200)
二、程序计算流程和实现步骤。
①视觉端接收到T11指令时,执行分支1,将物料的拍照位一的边缘线查找结果,通过标定转换成实际物理坐标,并发送到全局变量里面进行存储。
②当接收到信号T12时,分支2的对应模块执行,并将上一步骤得到的拍照位一的数据通过接收数据模块拿过来进行合并计算,即可得出该物料的对角线的中点坐标和角度。
③偏移量的计算主要是实时物料的中点坐标和角度减去对应的基准坐标和角度值,得到相当于基准的坐标值。
④由于机械手需要视觉端直接给出绝对坐标。所以需要将偏移量加上机械手示教给出的物理基准,即是绝对坐标值。
⑤最后通过发送数据模块,将对应的数据,以符合通讯协议的方式返回给机械手。至此,底板的视觉流程已经结束。
⑥玻璃的盖板也是同样的方法,分别执行的是VM分支3和分支4的模块,得到对应的数据,并通过52发送数据模块将对应的数据发送给机械手。
异常处理和问题排查
1、软件正常的界面显示。
2、软件异常时,通常分为以下三种情况。
①视觉模块找线和抓边异常。
处理办法:
通过调试助手等信号工具,让机械手运动到对应的拍照位停止,然后通过调试助手不断地发送触发该分支流程地信号,顺着VM流程去检查每一个流程模块的执行情况,数据是在历史记录中寻找。
如果出现如上图所示的情况,说明是模板匹配出问题了,没有找到定位模板,导致后面的边缘查找模块也失效了。解决办法就是到达拍照位,依次去修改每一个模块的参数,修改一个模块,就要给一次触发信号让流程执行一次。避免上一模快的数据没有拿到数据。
② 通讯信号异常。
此异常一般表现为存图的图像模糊,没有聚焦的现象。
前面几张NG图片聚焦不清晰,一般就是机械手没有到拍照位就触发了的原因,也有可能是机械手给了信号,但是视觉软件卡顿在某一处了。
解决办法:
寻找此路径下的存图D:\HIK\存储图像0907;跟据图像的效果,是否为聚焦模糊,如果模糊,就排查机械手是否到了拍照位;否则重启视觉软件即可解决。
2、问题排查的途径
①软件主要通过界面显示和图像存储去追溯问题。
②通过点击每一个模块,进行查看图像和历史结果的数据。此外,历史结果的数据可以保存出来。
③此外,可以通过打开软件的安装位置,找到LOG文件夹的日志文件,去排查一些来自于软件端本身的报错和原因。
④寻找帮助和查阅资料。在软件的帮助文档下,有大量的中文版说明,详细介绍了每一个模块的使用和配置参数,以供参考。
⑤查阅软件的版本信息,方便追溯版本对应的问题和补丁包。