集成OpenCV、Halcon算子进VM算法平台的方法
本案例详细介绍了集成OpenCV、Halcon算子进VM算子模块的方法,提供图像类型互转的核心代码。

1 开发背景
VM算法平台支持用户自定义开发算子模块,从而实现特定功能或扩展算子功能。部分用户较为熟悉OpenCV或Halcon软件,希望集成它们的算子进VM算子模块使用。



图1 常用的视觉应用软件


2 开发方法
2.1 集成OpenCV算子

下面以Canny边缘检测算子为例,介绍集成OpenCV算子进VM算子模块的方法。


第一步,使用AlgorithmXMLGenerator(算子生成器)生成算子模块的三层架构文件,参照开发文档分别编译控件层工程和算法层工程,将控件层生成的.dll文件拷贝到界面层文件夹。


第二步,在Visual Studio2017中配置OpenCV的开发环境。


第三步,将算子模块的输入图像由HKA_IMAGE类型转换为OpenCV Mat类型。
HKA_IMAGE数据类型的结构体如下:

typedef struct _HKA_IMAGE
{
HKA_IMAGE_FORMAT format; //图像格式,按照数据类型HKA_IMAGE_FORMAT赋值
HKA_S32 width; //图像宽度
HKA_S32 height; //图像高度
HKA_S32 step[4]; //行间距
HKA_VOID *data[4]; //数据存储地址
}
该结构体包含5个成员:图像格式、图像宽度、图像高度、行间距、数据存储地址(指针)
图像格式只支持两种格式:灰度图HKA_IMG_MONO_08、彩色图像HKA_IMG_RGB_RGB24_C3(通道顺序必须为RGB)
图像宽度:单通道图像宽度
图像高度:单通道图像高度
行间距:灰度图时为图像宽度,RGB彩色图时为3 * 单通道图像宽度
数据存储地址:图像数据的首地址,灰度图开辟内存大小为图像宽度 * 图像高度,RGB彩色图开辟内存大小为3 * 单通道图像宽度 * 图像高度

HKA_IMAGE类型转换为OpenCV Mat类型的代码如下:
cv::Mat CAlgorithmModule::HKAImageToMat(HKA_IMAGE hik_image)
{
cv::Mat mat;
if (hik_image.format == HKA_IMG_MONO_08)
{
mat = cv::Mat(hik_image.height, hik_image.width, CV_8UC1, hik_image.data[0]);
}
return mat;
}


第四步,调用OpenCV的算子API处理图像。
cv::Mat srcImage = HKAImageToMat(inputImage);
cv::Mat dstImage = cv::Mat::zeros(srcImage.rows, srcImage.cols, srcImage.type());
cv::Canny(srcImage, dstImage, 20, 60, 3); //Canny边缘检测


第五步,将算子模块的输出图像由OpenCV Mat类型转换回HKA_IMAGE类型。
HKA_IMAGE CAlgorithmModule::MatToHKAImage(cv::Mat mat)
{
HKA_IMAGE outputImage = { HKA_IMG_MONO_08, 0 };
if (mat.channels() == 1)
{
outputImage.width = mat.cols;
outputImage.height = mat.rows;
outputImage.format = HKA_IMG_MONO_08;
outputImage.step[0] = mat.cols;
outputImage.data[0] = mat.data;
}
return outputImage;
}


将工程生成的.dll文件拷贝到界面层文件夹,再将该文件夹整体拷贝至VisionMaster4.0.0\Applications\ Module(sp)\x64\XX(工具箱名称,例如ImageProcessing)。


                    

图2 处理前的图像                                          图3 处理后的图像


由上图可知,自定义开发的算子模块实现了OpenCV Canny边缘检测的功能。


2.2 集成Halcon算子
下面以Halcon阈值分割算子为例,介绍集成Halcon算子进VM算子模块的方法。


第一步,使用AlgorithmXMLGenerator(算子生成器)生成算子模块的三层架构文件,参照开发文档分别编译控件层工程和算法层工程,将控件层生成的.dll文件拷贝到界面层文件夹。


第二步,在Visual Studio2017中配置Halcon的开发环境。


第三步,将算子模块的输入图像由HKA_IMAGE类型转换为Halcon HObject类型。
HalconCpp::HObject CAlgorithmModule::HKAImageToHImage(HKA_IMAGE hka_image)
{
HalconCpp::HObject h_image;
if (HKA_IMG_MONO_08 == hka_image.format)
{
uchar *GrayData = new uchar[static_cast<size_t>(hka_image.height * hka_image.width)];
memcpy(GrayData, hka_image.data[0], static_cast<size_t>(hka_image.height * hka_image.width));
HalconCpp::GenImage1(&h_image, "byte", hka_image.width, hka_image.height, reinterpret_cast<Hlong>(GrayData));
delete[] GrayData;
}
return h_image;
}


第四步,调用Halcon的算子API处理图像。
HalconCpp::Rgb1ToGray(ho_Image, &ho_GrayImage);
HalconCpp::Threshold(ho_GrayImage, &ho_Region, m_nthresholdValue, 255);
HalconCpp::Connection(ho_Region, &ConnectedRegions); //将小区域连接成一个大区域
HalconCpp::RegionToMean(ConnectedRegions, ho_GrayImage, &ho_ImageMean); //转化为Image


第五步,将算子模块的输出图像由Halcon HObject类型转换回HKA_IMAGE类型。
HKA_IMAGE CAlgorithmModule::HImageToHKAImage(HalconCpp::HObject h_image)
{
HKA_IMAGE image;
HalconCpp::HTuple h_channels;
HalconCpp::HTuple h_row{ 0 }, h_col{ 0 };
HalconCpp::ConvertImageType(h_image, &h_image, "byte");
HalconCpp::CountChannels(h_image, &h_channels);
HalconCpp::HTuple h_gray_value;
if (h_channels.I() == 1)
{
HalconCpp::HTuple imagePointer, imageType, imageWidth, imageHeight;
image = { HKA_IMG_MONO_08, 0 };
HalconCpp::GetImagePointer1(h_image, &imagePointer, &imageType, &imageWidth, &imageHeight);
image.width = imageWidth.I();
image.height = imageHeight.I();
image.step[0] = image.width;
image.data[0] = (char*)malloc(image.width * image.height);
if (NULL != image.data[0])
{
memset(image.data[0], 0, image.width * image.height);
memcpy_s(image.data[0], image.width * image.height, (byte*)imagePointer[0].L(), imageWidth.I()*imageHeight.I());
}
}
return image;
}


将工程生成的.dll文件拷贝到界面层文件夹,再将该文件夹整体拷贝至VisionMaster
4.0.0\Applications\ Module(sp)\x64\XX(工具箱名称,例如ImageProcessing)。



                   
图4 处理前的图像                                               图5 处理后的图像


由上图可知,自定义开发的算子模块实现了Halcon阈值分割的功能。


3 总结
本案例详细介绍了集成OpenCV、Halcon算子进VM算子模块的方法,提供图像类型互转的核心代码,标志着VM已经正式将主流的第三方视觉工具纳入生态。

注:本文仅用于开发介绍,软件授权问题由使用者自行解决。

版权声明:本文为V社区用户原创内容,转载时必须标注文章的来源(V社区),文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:v-club@hikrobotics.com 进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
上一篇

VM模板匹配使用秘诀

下一篇

二次开发过程注意的点

评论请先登录 登录
全部评论 3

感谢楼主的技术分享,这方面的案例太好了,mark一下。。


2023-03-07 17:06:26 未知地区
回复

为作者手动点赞,写的很详细清晰👍😃

2022-02-23 11:44:50 未知地区
回复

这个很强大!👍

2022-02-20 16:56:39 未知地区
回复
  • 1
Lv.0
0
关注
34
粉丝
7
创作
61
获赞
相关阅读
  • 医疗
    应用案例|医疗行业-试管分类检测项目
    浏览 1331
  • 医疗
    医疗行业-血糖仪上下壳定位项目
    浏览 136
  • 医疗
    医疗行业-组装防尘盖上料检测项目
    浏览 74

请升级浏览器版本

您正在使用的浏览器版本过低,请升级最新版本以获得更好的体验。

推荐使用以下浏览器