高精度模板匹配的功能在于在一幅图像中用矩形框围住某个区域，以此区域图像特征离线建立模板，在后续待匹配图像中，如果包含上述离线建立模板的区域图像，可以定位到该区域，并输出像素坐标和角度。该算法一般用于图像中刚性物体的定位。如下图所示：

(a)                                        (b)

图1.1模板匹配模板图和匹配图示例(a)模板图(b)匹配图

2.     名词解释

表2.1 名词解释

3.     参数说明

    在大多数情况下，建模和匹配只需要使用默认参数即可较快的正确匹配到结果，但是当默认参数失效时，可以通过手动调节参数来获取更快更准的结果。手动调参可以分为两个部分，一是在建模时调节参数，可以获取一个更为稳健的模型；二是在匹配中调节参数，结合建模调参可以更快更准的获取到所需结果。下面通过参数说明、建模调参、匹配调参三个方面进行详细介绍。

3.1 参数说明

   根据前述，参数分为建模参数和匹配参数。其中建模参数较少，主要有速度尺度、特征尺度和边缘阈值三个。匹配参数较多，根据使用频率将其分为基本参数和高级参数，其中基本参数使用较为频繁，主要包括匹配分数阈值、匹配尺度和角度范围等，高级参数使用较少，主要是针对特殊场景调节特定参数才会有效，如最大重叠率只有模板在匹配图中出现重叠时才有效，延拓阈值只有模板超过图像边界才有效等。因此，在调节参数时，可以按照如下流程图来进行系统性的调节参数。

图3.1 参数调整流程图

主要分为建模和匹配两个过程，首先选择自动建模和自动匹配，如果效果不佳，可以使用手动调节参数。下面使用表格3.1和3.2罗列高精度模板匹配中的所有参数。

表3.1 高精度模板匹配参数说明

3.2 建模中的参数调节

      在建模时经常使用的参数为速度/特征尺度和掩膜，只有在选择的模板特征对比度不高时才会考虑使用边缘阈值。

3.2.1       案例一：关于速度/特征尺度的设置

其中尺度的含义为原图下采样的步长，尺度值越大，下采样的幅度越大，图像的分辨率相对越低，图像细节越少。PyramidScaleFine和PyramidScaleRough分别表示特征尺度和速度尺度，其中速度尺度用于初搜模板目标，特征尺度用于对初搜的结果进行位置修正。因此，当速度尺度值越大，搜索速度越快，但同时搜索出错的概率也会越大。特征尺度的值越大，修正速度越快，但同时搜索精度随之下降。大多数情况下，可以将PyramidScaleFlag设置为1，即自动模式。在这种模式下算法会根据图像特点自动计算尺度参数，无需调节。

建模时与尺度相关的参数为PyramidScaleFlag、PyramidScaleFine、PyramidScaleRough。需要的注意的是：只有把PyramidScaleFlag==0，PyramidScaleFine/PyramidScaleRough 设置的值才可以生效。即PyramidScaleFlag表示手动设置尺度参数的开关，当值等于零时表示手动设置尺度参数。

该参数需要调节的情况一般比较固定，当使用自动模式出现搜索结果与实际目标位置偏差较大，此时需要手动降低粗糙和特征尺度。当出现耗时较长，搜索结果精准的情况下，此时可以通过手动提高粗糙和特征尺度。

一种比较典型的场景为模板的对称性较高，与整个模板相比，只有较小的图像特征可以表征模板角度。需要注意的是，我们在实际应用时应该尽量避免高对称型的图像作为模板，但是如果限于实际需求，必须使用此类模板进行建模，依然可以通过手动设置尺度参数的方式来获取准确结果。如下图所示，该物品为一个大圆加上一个“尾巴”，正常情况下我们选ROI_1作为模板区域进行建模，因为相对于ROI_2，ROI_1的边缘在方向上表现出相异性，而ROI_2则是对称性较高，在实际匹配时有可能会因为大圆的边缘点较多，而尾巴的边缘点较少导致角度特征不足，从而使得匹配角度出错。

图3.2 颗粒度建模示例

但是如果限于实际要求，必须选择ROI_2区域进行建模，如果使用默认参数建模，发现匹配时出现了匹配结果中角度出错的情况，需要重新建模，且在建模时降低速度尺度值的大小。

3.2.2       案例二：关于边缘阈值设置

建模时与边缘阈值相关的参数为EdgeThresholdFlag、EdgeThreshold。与上述尺度问题相似，EdgeThresholdFlag表示手动/自动设置边缘阈值的开关，当其值为0时，表示手动设置，当其值为1时表示自动设置。只有把EdgeThresholdFlag设置为0时，EdgeThreshold所设置的值才可以生效。一般情况下我们将该参数设置为自动模式，只有当模板中的边缘特征强度过低时，使用自动参数时会将模板中重要的边缘特征忽略掉，从而导致在匹配时无法匹配到模板目标。此时可以通过手动设置一个比较低的边缘阈值来凸显模板图中的边缘特征。如下图所示：

(a)               (b)              (c)

图3.3手动阈值设置建模示例(a)模板图(b)自动阈值建模图(c)手动阈值建模图

从图中可以看出，模板内部的文字边缘强度较低，如果仅使用自动参数的话，会导致无法提取到内部的文字特征，而手动降低边缘阈值，则会使得内部的文字凸显出来。当进行匹配时，如果使用自动参数，由于内部缺少文字信息，则很有可能匹配到一个矩形如下图(a)所示，匹配到了三个矩形，但实际上只有左下角的为正确结果，当使用手动阈值进行建模时，则会出现下右图的情况，匹配正确。注意：当在建模时手动降低边缘阈值，在匹配参数中的高级参数里，有一个阈值类型，需要选择模板阈值。否则会有较大概率无法匹配到结果。

(a)                              (b)            

图3.4手动阈值设置匹配示例(a)建模自动阈值匹配结果(b)手动阈值建模匹配结果

最后总结在匹配中，自动阈值、模板阈值和手动输入阈值三种边缘阈值的选择。当使用自动阈值进行建模时，在匹配时一般选择自动阈值，如果自动阈值效果不佳。具体表现在模板区域的对比度相对较低，可以选择手动输入低阈值。如果模板匹配的对比度较高，同时图像中包含较多的噪声，为了提高匹配速度，可以手动输入较高的阈值。

在建模时选择手动输入边缘阈值，在匹配时优先选择模板阈值，同样当模板阈值效果不佳时，可以选择手动输入阈值。效果不佳的类型在选择自动阈值时有所说明，在此不再赘述。

3.2.3       案例三：关于掩膜的使用

在建模时如果出现了模板区域中包含非固定特征的情况，即该特征只会出现在模板区域中，而在匹配图中的模板区域，并不一定出现该特征，那么在建模时需要使用掩膜去除该部分特征。

使用掩膜的方式有两种，一是通过第三方绘图工具(如PS或者windows自带的画图工具等)直接将模板区域内不会出现在匹配图中的背景部分直接擦拭掉，将擦拭后的图像当作建模图像。如下图所示：

(a)                                  (b)            

图3.5画图软件擦除背景干扰(a)原图(b)使用画图软件擦除背景干扰图

二是通过图像处理手段生成一张与模板图像同样尺度的掩膜图像，需要注意的是，二者的尺度必须保持一致，否则会报错。如下图所示，将(b)图中红色部分设置为1，黑色部分设置为0，将生成的图像当作掩膜图像传入建模函数中，可以起到同样的作用。

(a)                                   (b)            

图3.6使用掩膜去除背景干扰(a)原图(b)掩膜图

3.3 匹配中的参数调节

在匹配时一般使用的参数为分数阈值、匹配个数、匹配极性、匹配角度等基本参数。对于高级参数的使用较少，只有在特定情况下高级参数的应用才有意义。下面针对部分参数进行详细说明。

3.3.1       案例一：关于尺度设置

针对匹配中的尺度，有两种模式，一种是等比放大或者缩小，一种在不同方向上放大或者缩小不同的倍数。

当匹配图中出现等比放大或者缩小的情况时，这种情况一般出现在不同来料或者是相机与来料距离在工作过程中会发生变化的场景。这时候需要调整的参数为：ScaleStart和ScaleEnd。如下图所示：

(a)            (b)                      (c)                           (d)

图3.7等比例尺度变化匹配示例(a)模板(b)原比例 (c)等比例缩小 (d)等比例放大

需要注意的是，当调整尺度参数时，会增加耗时。因此如果没有尺度变化，尽量将ScaleStart和ScaleEnd都设置为1。如果有变化，在可以匹配到目标的情况下，尽量降低两者之间的差。

当两者在不同方向上放大或者缩小倍数不同时，需要调整的参数为ScaleXStart、ScaleXEnd、ScaleYStart、ScaleYEnd。如下图所示：

(a)                                           (b)            

图3.8非等比例尺度变化匹配示例(a)Y方向拉伸匹配结果(b)XY方向同时拉伸不同比例匹配结果

从图中可以看出，当在不同方向上发生不同的尺度变化时，可以通过调整上述四个参数来获取正确结果。与第一种情况相同，调整该尺度范围会增加耗时，在实际使用时应尽量降低start和end之间的差值。

当同时开启尺度范围、X方向、Y方向的尺度范围时，在搜索时会依次进行尺度搜索。不建议同时开启，因为这样会较大程度的增加耗时。

3.3.2       案例二：关于极性设置

极性是指特征图形到背景的颜色过渡情况，当查找目标的边缘极性和特征模板的极性不一致时，仍要保证目标被查找到，则匹配极性需设置成不考虑极性，如不需要则可设置成考虑极性，能够缩短查找时间。对应的参数为Polarity，值范围为[NO,YES]，默认YES。如下图所示，图(a)为模板，图(b)中的三角形与图(a)中的极性相同，图(c)(d)中的极性与模板极性不同，因此当不考虑极性时，针极性与模板不同的情况，可以匹配到结果，如图(c)所示，当考虑极性时，针对极性与模板不同的情况，无法匹配到结果，如图(d)所示。

(a)                    (b)                           (c)                     (d)

图3.9极性参数变化匹配结果示例(a)模板(b)极性与模板相同匹配结果(c)极性与模板不同，不考虑极性匹配结果(d)极性与模板不同考虑极性匹配结果

3.3.3       案例三：关于噪点设置

噪点是指匹配图中不在边缘链上的独立的亮斑点。一条边缘链是指图像中提取出来的边缘点在图像中的像素位置是连续的。当提取出来的某条边缘链长度小于设置的默认阈值时，则认为该条链为亮斑点。

对应的参数为SpotterFlag，默认值为0，不使用噪点，当值为1时使用噪点。当不使用噪点时，这类点将被当作噪点不计算得分，当使用噪点时，这类点将被当作特征点计算得分。

当匹配图中的噪声较大背景干扰较多时，可以考虑不使用噪点，一般可以提升匹配分值。如下图所示。图(a)为模板，图(b)为考虑噪点为特征点，匹配分值为0.47分，图(c)为不考虑噪点为特征点，匹配分值为0.718分。

反之，当建模区域的噪声较少，同时提取出来的特征点较少，或者被认定为亮斑的区域刚好为比较重要的特征，比如可以靠这个亮斑来确定方向，那么考虑使用噪点。

需要注意的是，当使用噪点时才能获取准确结果时，一般情况下批量测试结果有可能不稳定。

(a)                              (b)                              (c)                    

图3.10是否使用噪点匹配分值变化结果示例(a)模板(b)考虑噪点为特征点(c)不考虑噪点为特征点

3.3.4       案例四：关于延拓设置

延拓阈值为特征在图像边缘显示不全时，特征缺失的部分相对于完整的特征的比例。对应的参数为MatchExtentRate，范围为[0，90]，值越大被延拓的比例越大。当被查找的目标出现在图像的边缘显示不全时，延拓阈值可以保证图像被找到。如下图所示，图(a)为模板，模板在匹配图(b)中只存在一部分，对于另一部分“-ST”未采集到。当选择适当的延拓阈值，可以将这种场景也匹配到。

(a)                                  (b)          

图3.11边界延拓示例(a)模板(b)考虑延拓匹配结果

延拓计算公式为：延拓率 = (匹配矩形在图像外面积 / 匹配矩形框面积) * 100。如下图所示：红色框为匹配矩形框，绿色虚线内为匹配矩形在图像内的区域，其余红色区域为匹配矩形在图像外区域。

图3.12延拓率计算示意图

对于部分区域在图像外的目标而言，当其延拓率小于设定的延拓阈值时，会被定位出来，给出其定位信息。大于设定的延拓阈值时，会被排除掉。

3.3.5       案例五：关于最大重叠率设置

高精度模板匹配最大重叠率是指当搜索多个目标时，两个被检测目标彼此重合时，两者匹配框所被允许的最大重叠比例，该值越大则允许两目标重叠的程度就越大，对应的参数为MaxOverlap，范围0~100，值越大表示重叠比例越大。如下图所示，图(a)为模板，图(b)中两个模板目标重叠在一起，当使用适当重叠率参数时，可以准确的匹配出结果。

(a)                         (b)          

图3.13最大重叠率示例(a)模板(b)重叠样本匹配结果

重叠率的计算公式为：重叠率 = 矩形框的重叠区域/总矩形框 * 100。如上图所示，蓝色区域为重叠区域，红色矩形框为建模总矩形框，因此重叠率为蓝色区域面积除以红色区域面积。

当出现多个目标重叠在一起时，只需要考虑两两目标的重叠情况。如下图所示，示例中出现了三个目标的重叠，这时需要分别计算目标1和目标2之间重叠率、目标2和目标3之间的重叠率、目标3和目标1之间的重叠率。

图3.14多目标重叠示例

对于两个目标来说，当其重叠率高于设定的重叠率阈值时，会排除掉分数低的目标。

3.4 参数调节的一般流程

对于高精度模板匹配的参数调节。一般情况下可以分为如下几个步骤进行。

首先，选择好的模板。好的模板包括如下几个条件：

(1).在搜索角度内对称性较低；

(2).模板在匹配图中刚性较强，不易发生形变；

(3).建模区域内有效特征点的对比度较高，噪声较低；

(4).选择的模板大小适当，一般情况下不超过图像的一半，长宽不小于十个像素；

(5).尽量不要有尺度变化，会影响匹配效率；

上述条件的重要程度依次递减。

当在所需搜索的角度对称性较高时，极有可能发生匹配角度错误的情况。受算法原理所限，这种问题难以解决，需要更换模板。

当模板在匹配图中有可能发生形变，导致无法匹配到准确结果时。可以考虑手动降低匹配分值。当分值低到匹配结果错误，依然有无法匹配到结果的情况，可以考虑更换为灰度模板匹配。

当建模区域内的特征点对比度较低时。在建模时可以考虑手动输入较低的边缘阈值，同时需要注意，在匹配时选择模板阈值。或者手动输入阈值。当建模区域的噪声较高或者建模区域中出现匹配图中没有的特征时，在建模时可以考虑使用掩膜去除无效特征点。

当选择的模板较大时，在建模时可以考虑增大速度尺度的值，反之当选择的模板较小时，在建模时可以考虑降低尺度的值。当匹配结果的精度较低，无法满足使用需求时，在建模时可以考虑降低特征尺度的值，反之当匹配结果的精度过高，远超使用需求，但是耗时较高，无法满足需求时，可以考虑提高特征尺度的值。

当存在尺度变化时，如果只存在等比例的尺度变化。在匹配过程中只需要调整尺度范围。如果x和y方向的尺度变化不同，需要在匹配过程中调整x和y方向的尺度范围。

4.     使用场景说明

4.1 适应场景

4.1.1       最优场景

根据高精度模板匹配原理，最优场景为模板本身特征点较多，且边缘强度较高。在所需识别角度范围内，无明显的对称性。对于背景而言，与模板相似的轮廓较少，光照变化较低。

如果以上场景无法全部满足，多数情况下使用默认参数依然可以匹配得到。若多数条件无法满足，使得默认参数无法正确匹配出结果，依然可以通过参数调节改善。下面针对不同场景下，高精度模板匹配可以较好适应的情况进行示例说明。

4.1.2       光照变化

当工作场景中的光照发生变化时，只要相机采集到的图像可以较为清晰的看出模板图像，就可以匹配出来。如下图4.1所示：

     (a)                      (b)                              (c)

图4.1光照变化场景中的匹配状况示例(a)模板图像(b)暗场景图(c)亮场景图

从图中可以看出，只要在光照变化的范围内，采集到的图像可以区分出模板目标的轮廓，都可以较好的定位出位置坐标。

4.1.3       尺度缩放

当匹配图中的模板区域由于来料差异、相机与来料距离发生变化等因素造成与建模时模板图区域发生尺度缩放，只需要调节尺度参数，依然可以匹配到模板。如下图所示：

   (a)                      (b)                              (c)

图4.2 缩放场景中的匹配状况示例(a)模板图像(b) 放大场景(c)缩小场景

从图中可以看出，图(b)的尺度大于图(a)，且二者都大于模板，依然可以准确的定位到中心位置。

4.1.4       小程度破损/遮挡

当匹配图中的模板区域由于来料、光照等因素造成模板图区域发生小幅破损或者遮挡等，使得模板图与匹配图中的模板区域存在局部小幅差异，依靠大部分相同的特征，依然可以获取正确匹配结果。如下图所示：

  (a)                      (b)                              (c)

图4.3破损/遮挡场景中的匹配状况示例(a)模板图像(b) 遮挡场景(c)破损场景

从图中可以看出，图(b)发生了遮挡，图(c)存在破损，依然可以准确的定位到目标位置。

4.2 不适应场景

4.2.1       严重形变/遮挡/破损

当模板在匹配图中发生严重的形变、遮挡、破损时，匹配的稳定性相对较差，精度一般也比较低。

4.2.2       对称程度较高

如下图所示，当模板绕图像中心进行180°旋转时，与原图基本保持一致。而此时如果要求匹配的角度范围包含0°和180°，或者是-180°和0°，如【-240°，90°】，该角度范围包含了0°和180°，在匹配时就有可能出错，如下图所示：

  (a)                      (b)                              (c)

图4.4 对称程度高的匹配失败示例(a)模板图像(b)匹配图1(c)匹配图2

从图中可以看出，针对匹配图(b)，其定位角度为-179°左右，针对匹配图(c)，定位角度为1°左右。而实际上图(b)的角度为0°左右，匹配失败。

4.2.3       特征点强度过低

当特征点强度过低时，在匹配图中极有可能造成，在边缘检测时无法提取到模板区域的特征点，因此造成检测失败。如下图所示：

(a)                      (b)                              (c)

图4.5 对称程度高的匹配失败示例(a)模板图像(b)匹配图1(c)匹配图2

从图中可以看出，模板区域为一条模糊的竖线，在匹配图中表现为红框区域。但是在实际匹配时，都匹配到了边缘强度较高的地方。导致匹配失败。

4.3 适用场景总结

综上所述，该模块所适应的最优场景为，对于模板而言，特征较多，且不具有高度对称性。对于匹配环境而言，可以有光照变化、小幅度的遮挡或者破损、等比例的缩放。不适应的场景有模板在匹配图中存在严重形变，在所需识别的角度范围内对称程度较高、选取的模板特征点较少，或者边缘强度较低。当出现特征对比度较低或者是有较为严重的形变时，可以尝试灰度模板匹配。

5.     使用说明

5.1 流程说明

该模块的主要流程为先选择目标图像进行离线建模，然后在匹配时输入事先建好的模板和待匹配图像进行匹配，最终输入匹配结果。具体使用流程如下所示：

图5.1建模流程图

图5.2匹配流程图

5.2 调用示例

图5.2 高精度模板匹配调用代码示例