首先介绍项目背景。

接下来介绍求解思路。

标定阶段：AGV小车携带机器人及其上面的相机到达机台前拍照，机械手与相机采用九点手眼标定实现坐标系转换。

示教阶段：相机拍摄Mark点像素坐标作为基准像素坐标Pm，机器人示教Mark点记录此时的3D坐标P1，机器人抓取示教物料Obj记录此时的3D坐标P2。

生产阶段：相机拍摄Mark点像素坐标作为运行像素坐标Pc，根据标定矩阵M，基准像素坐标Pm，运行像素坐标Pc，Mark点示教坐标P1，Obj抓取示教坐标P2，计算Obj抓取运行位姿P。

接下来介绍解决方案。

标定阶段：使用平移旋转标定模块。

生产阶段：使用单点抓取模块和3D位姿估计模块。前者用于计算Mark点运行位坐标Pcw(机器人物理坐标系)，后者用于根据P1、P2和Pcw，计算物料抓取运行位姿P。

使用VM搭建标定方案如下，采用TCP通讯实现自动触发标定。

使用VM搭建生产方案如下。

3D偏移抓取位姿估计结果如下。

最后，一起看看真实环境测试效果吧。

机器人在示教拍照位拍照。

机器人接收VM发送的3D偏移抓取位姿坐标(内旋ZYX欧拉角形式)，到达抓取位。

抓取成功，精度还挺高😃