本部分,我们将一起学习OpenCV中边缘检测的各种算子和滤波器-Canny算子、Sobel算子、Laplacian算子以及Scharr滤波器。

一、边缘检测步骤

在具体介绍之前,先来一起看看边缘检测的一般步骤。
1.【第一步】滤波
边缘检测的算法主要是基于图像强度的一阶和二阶导数,但导数通常对噪声很敏感,因此必须采用滤波器来改善与噪声有关的边缘检测器的性能。常见的滤波方法主要有高斯滤波,即采用离散化的高斯函数产生一组归一化的高斯核,然后基于高斯核函数对图像灰度矩阵的每一点进行加权求和。
2.【第二步】增强
增强边缘的基础是确定图像各点邻域强度的变化值。增强算法可以将图像灰度点邻域强度值有显著变化的点凸显出来。在具体编程实现时,可通过计算梯度幅值来确定。
3.【第三步】检测
经过增强的图像,往往邻域中有很多点的梯度值比较大,而在特定的应用中,这些点并不是要找的边缘点,所以应该采用某种方法来对这些点进行取舍。实际工程中,常用的方法是通过阈值化方法来检测。

需要注意,下文中讲到的Laplacian算子、sobel算子和Scharr算子都是带方向的,所以,示例中我们分别写了方向、Y方向和最终合成的的效果图。

二、Canny算子

2.1 步骤

【第一步】消除噪声

一般情况下,使用高斯平滑滤波器卷积降噪。以下显示了一个size=5的高斯内核示例:
在这里插入图片描述

【第二步】计算梯度幅值和方向

此处,按照Sobel滤波器的步骤来操作。

1.运用一对卷积阵列(分别作用于x和y方向) 在这里插入图片描述
2.使用下列公式计算梯度幅值和方向
而梯度方向一般取这4个可能的角度之一-0度, 45度, 90度, 135度。

【第三步】非极大值抑制

这一步排除非边缘像素,仅仅保留了一些细线条(候选边缘)。

【第四步】滞后阈值

这是最后一步, Canny使用了滞后阈值,滞后阈值需要两个國值(高國值和低阈值):
1.若某一像素位置的幅值超过高阈值,该像素被保留为边缘像素。
2.若某一像素位置的幅值小于低阈值,该像素被排除。
3.若某一像素位置的幅值在两个阈值之间,该像素仅仅在连接到一个高于高阈值的像素时被保留。

2.2 Canny函数

Canny函数利用Canny算子来进行图像的边缘检测操作。

C++: void Canny (InputArray image, OutputArray edqes, double thresholdl，double threshold2, int aperturesize=3, bool L2qradient=false )

第一个参数, InputArray类型的image,输入图像,即源图像,填Mat类的对象即可,且需为单通道8位图像
第二个参数, OutputArray类型的edges,输出的边缘图,需要和源图片有一样的尺寸和类型。
第三个参数, double类型的threshold1,第一个滞后性阈值。
第四个参数, double类型的threshold2,第二个滞后性阈值。
第五个参数, int类型的apertureSize,表示应用Sobel算子的孔径大小,其有默认值3。
第六个参数, bool类型的L2gradient,一个计算图像梯度幅值的标识,有默认值false。

需要注意的是,这个函数阈值1和阈值2两者中较小的值用于边缘连接,而较大的值用来控制强边缘的初始段,推荐的高低阈值比在2:1到3:1之间。调用示例如下。

2.3 运用

int main()
{//载入原始图  Mat srcImage = imread("F:\\CV\\LearnCV\\files\\Zelda.jpg");Mat srcImage1 = srcImage.clone();//显示原始图 imshow("【原始图", srcImage);//----------------------------------------------------------------------------------//	二、高阶的canny用法，转成灰度图，降噪，用canny，最后将得到的边缘作为掩码，拷贝原图到效果图上，得到彩色的边缘图//----------------------------------------------------------------------------------Mat dstImage, edge, grayImage;// 【1】创建与src同类型和大小的矩阵(dst)dstImage.create(srcImage1.size(), srcImage1.type());// 【2】将原图像转换为灰度图像cvtColor(srcImage1, grayImage, COLOR_BGR2GRAY);// 【3】先用使用 3x3内核来降噪blur(grayImage, edge, Size(3, 3));// 【4】运行Canny算子Canny(edge, edge, 3, 9, 3);//【5】将g_dstImage内的所有元素设置为0 dstImage = Scalar::all(0);//【6】使用Canny算子输出的边缘图g_cannyDetectedEdges作为掩码，来将原图g_srcImage拷到目标图g_dstImage中srcImage1.copyTo(dstImage, edge);//【7】显示效果图 imshow("【效果图】Canny边缘检测", dstImage);waitKey(0);return 0;
}

在这里插入图片描述

三、Sobel算子

3.1 基本概念

Sobel算子是一个主要用于边缘检测的离散微分算子(discrete differentiationoperator),它结合了高斯平滑和微分求导,用来计算图像灰度函数的近似梯度。在图像的任何一点使用此算子,都将会产生对应的梯度矢量或是其法矢量。

3.2 计算过程

我们假设被作用图像为I然后进行如下操作。

(1)分别在x和y两个方向求导。

①水平变化:将I与一个奇数大小的内核G,进行卷积。比如,当内核大小为3时, G的计算结果为:
在这里插入图片描述

②垂直变化:将: 1与一个奇数大小的内核进行卷积。比如,当内核大小为3时,计算结果为:
在这里插入图片描述
(2)在图像的每一点,结合以上两个结果求出近似梯度:

另外有时,也可用下面更简单的公式代替:

3.3 Sobel函数

Sobel函数使用扩展的Sobel算子,来计算一阶、二阶、三阶或混合图像差分。

C++: void Sobel(InputArray src,OutputArray dst, int ddepth, int dx,int dy, int ksize=3,double scale=1,double delta=0,int borderType=BORDER_DEFAULT );

(1)第一个参数, InputArray类型的src,为输入图像,填Mat类型即可
(2)第二个参数, OutputArray类型的dst,即目标图像,函数的输出参数,需要和源图片有一样的尺寸和类型。
(3)第三个参数, int类型的ddepth,输出图像的深度,支持如下src.depth))和ddepth的组合
(4)第四个参数, int类型dx, x方向上的差分阶数。
(5)第五个参数, int类型dy, y方向上的差分阶数。
(6)第六个参数, int类型ksize,有默认值3,表示Sobel核的大小;必须取1、3、5或7
(7)第七个参数, double类型的scale,计算导数值时可选的缩放因子,默认值是1,表示默认情况下是没有应用缩放的。可以在文档中查阅getDerivKernels的相关介绍,来得到这个参数的更多信息。
(8)第八个参数, double类型的delta,表示在结果存入目标图(第二个参数dst)之前可选的delta值,有默认值0
(9)第九个参数, int类型的borderType,边界模式,默认值为BORDERDEFAULT。这个参数可以在官方文档中borderInterpolate处得到更详细的信息。
一般情况下,都是用ksize x ksize内核来计算导数的。然而,有一种特殊情况:当ksize为1时,往往会使用3x1或者1x3的内核。且这种情况下,并没有进行高斯平滑操作。

3.4 运用

int main()
{//【0】创建 grad_x 和 grad_y 矩阵Mat grad_x, grad_y;Mat abs_grad_x, abs_grad_y, dst;//【1】载入原始图  Mat src = imread("F:\\CV\\LearnCV\\files\\Zelda.jpg");//【2】显示原始图 imshow("【原始图】sobel边缘检测", src);//【3】求 X方向梯度Sobel(src, grad_x, CV_16S, 1, 0, 3, 1, 1, BORDER_DEFAULT);convertScaleAbs(grad_x, abs_grad_x);imshow("【效果图】 X方向Sobel", abs_grad_x);//【4】求Y方向梯度Sobel(src, grad_y, CV_16S, 0, 1, 3, 1, 1, BORDER_DEFAULT);convertScaleAbs(grad_y, abs_grad_y);imshow("【效果图】Y方向Sobel", abs_grad_y);//【5】合并梯度(近似)addWeighted(abs_grad_x, 0.5, abs_grad_y, 0.5, 0, dst);imshow("【效果图】整体方向Sobel", dst);waitKey(0);return 0;
}

在这里插入图片描述

四、Laplacian算子

Laplacian算子是n维欧几里德空间中的一个二阶微分算子,定义为梯度grad的散度div。

根据图像处理的原理可知,二阶导数可以用来进行检测边缘。因为图像是“二维”,需要在两个方向进行求导。使用Laplacian算子将会使求导过程变得简单。Laplacian算子的定义:
在这里插入图片描述

4.1 计算拉普拉斯变换: Laplacian()函数

Laplacian函数可以计算出图像经过拉普拉斯变换后的结果。

C++: void Laplacian (InputArray src, OutputArray dst, int ddepth, int ksize=1, double scale=1, double delta=0,intborderType=BORDER_DEFAULT );

第一个参数, InputArray类型的image,输入图像,即源图像,填Mat类的对象即可,且需为单通道8位图像。
第二个参数, OutputArray类型的edges,输出的边缘图,需要和源图片有一样的尺寸和通道数。
第三个参数, int类型的ddept, 目标图像的深度。
第四个参数, int类型的ksize,用于计算二阶导数的滤波器的孔径尺寸,大小必须为正奇数,且有默认值1。
第五个参数, double类型的scale,计算拉普拉斯值的时候可选的比例因子,有默认值1
第六个参数, double类型的delta,表示在结果存入目标图(第二个参数dst)之前可选的delta值,有默认值0。
第七个参数, int类型的borderType,边界模式,默认值为BORDERDEFAULT,这个参数可以在官方文档中borderInterpolate)处得到更详细的信息。

Laplacian()函数其实主要是利用sobel算子的运算。它通过加上sobel算子运算出的图像x方向和y方向上的导数,来得到载入图像的拉普拉斯变换结果。
其中, sobel算子(ksize>1)如下:
在这里插入图片描述
而当ksize=1时, Laplacian()函数采用以下3x3的孔径:

4.2 运用

int main()
{//【0】变量的定义Mat src, src_gray, dst, abs_dst;//【1】载入原始图  src = imread("F:\\CV\\LearnCV\\files\\Zelda.jpg");//【2】显示原始图 imshow("【原始图】", src);//【3】使用高斯滤波消除噪声GaussianBlur(src, src, Size(3, 3), 0, 0, BORDER_DEFAULT);//【4】转换为灰度图cvtColor(src, src_gray, COLOR_RGB2GRAY);//【5】使用Laplace函数Laplacian(src_gray, dst, CV_16S, 3, 1, 0, BORDER_DEFAULT);//【6】计算绝对值，并将结果转换成8位convertScaleAbs(dst, abs_dst);//【7】显示效果图imshow("【效果图】图像Laplace变换", abs_dst);waitKey(0);return 0;
}

在这里插入图片描述

五、Scharr滤波器

我们一般直接称scharr为滤波器,而不是算子。上文已经讲到,它在OpenCV中主要是配合Sobel算子的运算而存在的。下面让我们直接来看看其函数讲解。

5.1 计算图像差分: Scharr()函数

使用Scharr滤波器运算符计算x或y方向的图像差分。其实它的参数变量和Sobel基本上是一样的,除了没有ksize核的大小。

void Scharr( InputArray src, OutputArray dst, int ddepth,int dx, int dy, double scale = 1, double delta = 0,int borderType = BORDER_DEFAULT );

(1)第一个参数, InputArray类型的src,为输入图像,填Mat类型即可。
(2)第二个参数, OutputArray类型的dst,即目标图像,函数的输出参数,需要和源图片有一样的尺寸和类型。
(3)第三个参数, int类型的ddepth,输出图像的深度,支持如下sre.depth()和ddepth的组合:
(4)第四个参数, int类型dx, x方向上的差分阶数。
(5)第五个参数, int类型dy, y方向上的差分阶数
(6)第六个参数, double类型的scale,计算导数值时可选的缩放因子,默认值是1,表示默认情况下是没有应用缩放的。
(7)第七个参数, double类型的delta,表示在结果存入目标图(第二个参数dst)之前可选的delta值,有默认值0。
(8)第八个参数, int类型的borderType,边界模式,默认值为BORDER_DEFAULT。

5.2 运用

int main()
{//【0】创建 grad_x 和 grad_y 矩阵Mat grad_x, grad_y;Mat abs_grad_x, abs_grad_y, dst;//【1】载入原始图  Mat src = imread("F:\\CV\\LearnCV\\files\\Zelda.jpg");//【2】显示原始图 imshow("【原始图", src);//【3】求 X方向梯度Scharr(src, grad_x, CV_16S, 1, 0, 1, 0, BORDER_DEFAULT);convertScaleAbs(grad_x, abs_grad_x);imshow("【效果图】 X方向Scharr", abs_grad_x);//【4】求Y方向梯度Scharr(src, grad_y, CV_16S, 0, 1, 1, 0, BORDER_DEFAULT);convertScaleAbs(grad_y, abs_grad_y);imshow("【效果图】Y方向Scharr", abs_grad_y);//【5】合并梯度(近似)addWeighted(abs_grad_x, 0.5, abs_grad_y, 0.5, 0, dst);//【6】显示效果图imshow("【效果图】合并梯度后Scharr", dst);waitKey(0);return 0;
}