AGV小车视觉定位可乐抓取经典案例分享

案例分享背景介绍和前言：

常规机械手视觉定位抓取项目，一般建议相机安装在机械手的第六轴上，但是也有部分场景，由于机构和场景需求的限制，只能将相机装在机械手的第五轴上。由于标定时，六轴机械手的联动，会导致在相机标定过程中产生角度的偏移和变化。针对于此场景常规的9点标定和12点标定方法均不适用了。本经典案例以实际项目为例，完整地阐述了基于这种定位场景需求的示教标定方法，对于机械手抓取定位项目的实施调试起到了一定的指导作用。

一. 视觉定位抓取的配置连接

1.1 场景描述

现场使用用遨博六轴机械手，底座与遨博AGV连接成移动操作机器人，视觉部分使用海康智能相机，镜头，相机安装在第五轴上，可口可乐料盘共含30瓶，使用一次标定，全部抓取，需要输出相对于示教位的偏移。

1.2 相机连接

1.使用网线将相机和调试笔记本电脑网口地址设置为同一网段。

2.打开电脑远程桌面，连接192.168.100.88（此为现场智能相机的IP地址，其他相机，须以实际设置为准）。

3.相机的默认密码和用户名为：用户名：administrator   密码：Operation666

二. 视觉定位抓取的VM方案流程说明

2.1 方案介绍

VM分为标定方案和生产方案，标定方案的流程主要目的为生成标定文件，建立起设定的高度下，相机像素坐标和机械手的世界坐标的关系，再通过标定转换模块在生产流程中导入标定文件（CalibFiles20200622_3.iwcal）进行使用。

①下面展示的为标定流程，通过点击相机图像进行图像源的切换。

② 下面展示的为生产流程，主要用于实时来料的生产过程中。

2.1 VM标定流程说明和配置介绍

由于相机安装在第五轴上，机械手在走点位置时联动，会产生相机角度的偏移。因此，传统的九点标定和十二点标定都不适合于此项目，此项目我们采用示教标定的方法建立与机械手世界坐标的关系。

示教标定前的准备：

① 确立相机的拍照位，点击连续执行实时获取图像，将物体移动到视野中央。记录下此时机械手的坐标位置为拍照点位，例如H（worldX, worldY, worldZ）；

② 准备好标定板贴于需要标定工件的上表面，要保证平整度和紧密度，最后能贴稳，不会在运动时发生相对移动。如果工件的特征容易捕捉，也不需要标定板。

③ 设置机械手走点的固定步长，为示教走的九个点位做准备，务必保证每次走点的步长相等，并在VM中N点标定模块下设置偏移X和偏移Y的参数一致。

示教标定步骤：

① VM标定流程中连接相机后，先让机械手示教去抓取到工件（可乐），记录下此时的位置坐标w1；

② 机械手返回到拍照位，触发相机拍照，通过下图的VM设置步骤，捕捉可乐的外部圆特征，获取到圆心坐标的x，y的像素坐标值。记下来为P1;此坐标和上一步骤中的w1为一一对应关系。

③ 运动机械手过来继续抓取工件，向Z轴方向往上抬升5mm（防止在移动过程中刮到平台，产生相对运动），然后再沿x轴方向运动同等步长，此处设置为5mm的等距步长。到位后，此即为标定的第二点坐标，记录下此时的机械手坐标w2，重复按步骤①和②，直到获取八组w1，P1; w2，P2…….w9，P9 示教标定的数据，记录下来。

⑤点击N点标定模块，生成标定文件，将其保存在任意文件夹中备用。

⑥ 此时查看标定的数据和误差，一般标定平移误差在2个像素以内，标定旋转误差在0.5度以内为正常，否则检差标定步骤是否存在错误，重复标定流程，重新生成标定文件即可。

2.1 VM生产流程说明和配置介绍

① 首先需要在生产流程中加载标定文件。需要按照下图所示步骤，分别将17和22模块都要加载标定流程中生成的标定文件。

②连接相机图像源后，设置生产流程中的圆查找模块，确保圆的特征找对了可乐的最外圆。

③ 将可乐移动到视野中心，触发VM流程执行一次，得到基准位的像素坐标，并填入到脚本编辑里的赋值位置。

④ 此时，17模块获取的为实时来料的圆心坐标，经过标定转换后得到了该点的机械手世界坐标。

⑤ 此时22模块获取的是示教基准的像素坐标，通过标定转换后得到了示教基准的世界坐标。

⑥通过19脚本对获取到的数据进行关系的运算，得到可以发送给机械手需要的偏移量。

⑦使用格式化将发送的数据整理打包，开启机械手的服务器，设置VM中系统的通讯配置相关参数，与机械手建立通讯连接，实现数据的发送和接收。（可以根据需要，拖拉VM中左侧工具栏的模块，进行自由搭建，实现不同的通讯功能）

⑧ 发送数据模块订阅格式化的参数，发送需求的数据。

三. VM加载设置和获得帮助

3.1 VM加载设置介绍

使用启动加载设置，将搭建好的VM流程方案加载后，相机设备就可以实现脱机运行和上电自启动了。

3.2  获得帮助

①打开VM客户端上的帮助文档，里面有非常丰富的各算子的使用和参数介绍。

帮助文档的展示：

②在VM的安装路径下，有丰富的二次开发资料和相关例程。可供自由选择VM进行开发和集成视觉项目。提供了丰富的不同语言的接口函数。