边缘检测（英语：Edge detection）是图像处理和计算机视觉中的基本问题，边缘检测的目的是标识数字图像中亮度变化明显的点。图像属性中的显著变化通常反映了属性的重要事件和变化。这些包括（i）深度上的不连续、（ii）表面方向不连续、（iii）物质属性变化和（iv）场景照明变化。边缘检测是图像处理和计算机视觉中，尤其是特征检测中的一个研究领域。

1 边缘检测的基本原理

图像边缘是图像最基本的特征，所谓边缘(Edge) 是指图像局部特性的不连续性。灰度或结构等信息的突变处称之为边缘。例如，灰度级的突变、颜色的突变,、纹理结构的突变等。边缘是一个区域的结束，也是另一个区域的开始，利用该特征可以分割图像。

如图1所示，当我们看到一个有边缘的物体时，首先感受到的就是边缘。

图1 灰度级跃变的边缘模型

图1(a)是一个理想的边缘所具备的特性。每个灰度级跃变到一个垂直的台阶上。而实际上，在图像采集系统的性能、采样率和获取图像的照明条件等因素的影响，得到的边缘往往是模糊的，边缘被模拟成具有“斜坡面”的剖面，如图1(b)所示，在这个模型中，模糊的边缘变得“宽”了，而清晰的边缘变得“窄”了。

图像的边缘有方向和幅度两种属性。边缘通常可以通过一阶导数或二阶导数检测得到。一阶导数是以最大值作为对应的边缘的位置，而二阶导数则以过零点作为对应边缘的位置。

2 边缘检测算子分类

（1）一阶导数的边缘算子

通过模板作为核与图像的每个像素点做卷积和运算，然后选取合适的阈值来提取图像的边缘。常见的有Roberts算子、Sobel算子和Prewitt算子。

（2）二阶导数的边缘算子

依据于二阶导数过零点，常见的有Laplacian 算子，此类算子对噪声敏感。

（3）其他边缘算子

前面两类均是通过微分算子来检测图像边缘，还有一种就是Canny算子，其是在满足一定约束条件下推导出来的边缘检测最优化算子。

3 梯度

3.1 图像梯度

为了达到寻找边缘的目的，检测灰度变化可用一阶导数或二阶导数来完成。下面将讨论一阶导数。

为了在一幅图像 $f$ 的 $(x,y)$ 位置处寻找边缘的强度和方向，所以选择的工具就是梯度，梯度用 $\nabla f$ 来表示，并用向量来定义，定义如下所示：

$\nabla f\equiv \text{grad}(f)\equiv \left[ \begin{matrix} {{g}_{x}} \\ {{g}_{y}} \\ \end{matrix} \right]\equiv \left[ \begin{matrix} \frac{\partial f}{\partial x} \\ {} \\ \frac{\partial f}{\partial y} \\ \end{matrix} \right]$

其中，梯度 $\nabla f$ 为一个向量，它表示 $f$ 在位置 $(x,y)$ 处的最大变化率的方向。

梯度 $\nabla f$ 的大小用 $M(x,y)$ 表示，则：

$M(x,y)=mag(\nabla f)=\sqrt{g_{x}^{2}+g_{y}^{2}}$

其中， $M(x,y)$ 表示梯度向量方向变化率的值。

数学梯度的简单推导

对于以为函数 $f(x)$ 在点 $x$ 处的导数的近似：将函数 $f(x+\Delta x)$ 展开为 $x$ 的泰勒级数，令 $\Delta x=1$ ，且只保该级数的线性项，则函数 $f(x)$ 的梯度 $\nabla f$ 计算为：

$\nabla f=\frac{\partial f}{\partial x}={{f}^{'}}(x)=f(x+1)-f(x)$

3.2 梯度算子

由上面的数学推导可知，要得到一幅图像的梯度，则要求在图像的每个像素点位置处计算偏导数。我们处理的是数字量，因此要求关于一点的邻域上的偏导数的数字近似，因此一幅图像 $f$ ，在 $(x,y)$ 位置处的 $x$ 和 $y$ 方向上的梯度大小 ${g}_{x}}$ 和 ${g}_{y}}$ 分别计算为：

${{g}_{x}}=\frac{\partial f(x,y)}{\partial x}=f(x+1,y)-f(x,y)$

${{g}_{y}}=\frac{\partial f(x,y)}{\partial y}=f(x,y+1)-f(x,y)$

上述两个公式对所有 $x$ 和 $y$ 的有关值可用下图的一维模板对 $f(x,y)$ 的滤波得到。

用于计算梯度偏导数的滤波器模板，通常称之为梯度算子、边缘算子和边缘检测子等。

对于不同的滤波器模板得到的梯度是不同的，这也就衍生出很多算子，如Roberts、Prewitt、Sobel和Laplacian算子等。下面将详细介绍不同的算子。

4 Roberts 算子

4.1 基本原理

Roberts算子又称为交叉微分算法，它是基于交叉差分的梯度算法，通过局部差分计算检测边缘线条。常用来处理具有陡峭的低噪声图像，当图像边缘接近于正45度或负45度时，该算法处理效果更理想。其缺点是对边缘的定位不太准确，提取的边缘线条较粗。

Roberts算子的模板分为水平方向和垂直方向，如下式所示，从其模板可以看出，Roberts算子能较好的增强正负45度的图像边缘。

${{d}_{x}}=\left[ \begin{matrix} -1 & 0 \\ 0 & 1 \\ \end{matrix} \right]\begin{matrix} {} & {} \\ {} & {} \\ \end{matrix}{{d}_{y}}=\left[ \begin{matrix} 0 & -1 \\ 1 & 0 \\ \end{matrix} \right]$

例如，下面给出Roberts算子的模板，在像素点P5处 $x$ 和 $y$ 方向上的梯度大小 ${g}_{x}}$ 和 ${g}_{y}}$ 分别计算为：

${{g}_{x}}=\frac{\partial f}{\partial x}=\text{P9-P5}$

${{g}_{y}}=\frac{\partial f}{\partial y}=\text{P8-P6}$

4.2 代码示例

在Python中，Roberts算子主要通过numpy定义模板，再调用OpenCV的 filter2D() 函数实现边缘提取。该函数主要是利用内核实现对图像的卷积运算。filter2D() 函数用法如下所示：

dst = filter2D(src, ddepth, kernel[, dst[, anchor[, delta[, borderType]]]])

其中，参数：

src 表示输入图像；

dst 表示输出的边缘图，其大小和通道数与输入图像相同；

ddepth 表示目标图像所需的深度；

kernel 表示卷积核，一个单通道浮点型矩阵；

anchor 表示内核的基准点，其默认值为 (-1，-1)，位于中心位置；

delta 表示在储存目标图像前可选的添加到像素的值，默认值为0；

borderType 表示边框模式。

代码如下所示：

import cv2
import numpy as np
import matplotlib.pyplot as pltimg = cv2.imread("test.jpg")
img_RGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB) #转成RGB 方便后面显示# 灰度化处理图像
grayImage = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)# Roberts算子
kernelx = np.array([[-1, 0], [0, 1]], dtype=int)
kernely = np.array([[0, -1], [1, 0]], dtype=int)x = cv2.filter2D(grayImage, cv2.CV_16S, kernelx)
y = cv2.filter2D(grayImage, cv2.CV_16S, kernely)# 转uint8
absX = cv2.convertScaleAbs(x)
absY = cv2.convertScaleAbs(y)Roberts = cv2.addWeighted(absX, 0.5, absY, 0.5, 0)# 用来正常显示中文标签
plt.rcParams['font.sans-serif'] = ['SimHei']# 显示图形
plt.subplot(121),plt.imshow(img_RGB),plt.title('原始图像'), plt.axis('off') #坐标轴关闭
plt.subplot(122),plt.imshow(Roberts, cmap=plt.cm.gray ),plt.title('Roberts算子'), plt.axis('off')
plt.show()

5 Prewitt 算子

5.1 基本原理

Prewitt算子是一种图像边缘检测的微分算子，其原理是利用特定区域内像素灰度值产生的差分实现边缘检测。由于Prewitt算子采用 3 $\times$ 3 模板对区域内的像素值进行计算，而Robert算子的模板为 2 $\times$ 2，故Prewitt算子的边缘检测结果在水平方向和垂直方向均比Robert算子更加明显。Prewitt算子适合用来识别噪声较多、灰度渐变的图像，其计算公式如下所示：

${{d}_{y}}=\left[ \begin{matrix} -1 & 0 & 1 \\ -1 & 0 & 1 \\ -1 & 0 & 1 \\ \end{matrix} \right]\begin{matrix} {} & {} & {} \\ {} & {} & {} \\ {} & {} & {} \\ \end{matrix}{{d}_{x}}=\left[ \begin{matrix} -1 & -1 & -1 \\ 0 & 0 & 0 \\ 1 & 1 & 1 \\ \end{matrix} \right]$

例如，下面给出Prewitt算子的模板，在像素点P5处 $x$ 和 $y$ 方向上的梯度大小 ${g}_{x}}$ 和 ${g}_{y}}$ 分别计算为：

${{g}_{x}}=\frac{\partial f}{\partial x}=(\text{P7+P8+P9)-}(\text{P1+P2+P3)}$

${{g}_{y}}=\frac{\partial f}{\partial y}=(\text{P3+P6+P9)-}(\text{P1+P4+P7)}$

5.2 代码示例

在Python中，Prewitt算子的实现过程与Roberts算子比较相似。通过Numpy定义模板，再调用OpenCV的filter2D() 函数实现对图像的卷积运算，最终通过 convertScaleAbs() 和 addWeighted() 函数实现边缘提取。filter2D() 函数用法如下所示：

dst = filter2D(src, ddepth, kernel[, dst[, anchor[, delta[, borderType]]]])

其中，参数：

src 表示输入图像；

dst 表示输出的边缘图，其大小和通道数与输入图像相同；

ddepth 表示目标图像所需的深度；

kernel 表示卷积核，一个单通道浮点型矩阵；

anchor 表示内核的基准点，其默认值为(-1，-1)，位于中心位置；

delta 表示在储存目标图像前可选的添加到像素的值，默认值为0；

borderType 表示边框模式。

代码如下所示：

import cv2
import numpy as np
import matplotlib.pyplot as pltimg = cv2.imread("test.jpg")
img_RGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB) #转成RGB 方便后面显示# 灰度化处理图像
grayImage = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)# Roberts算子
kernelx = np.array([[-1, 0], [0, 1]], dtype=int)
kernely = np.array([[0, -1], [1, 0]], dtype=int)x = cv2.filter2D(grayImage, cv2.CV_16S, kernelx)
y = cv2.filter2D(grayImage, cv2.CV_16S, kernely)# 转uint8
absX = cv2.convertScaleAbs(x)
absY = cv2.convertScaleAbs(y)Roberts = cv2.addWeighted(absX, 0.5, absY, 0.5, 0)# 用来正常显示中文标签
plt.rcParams['font.sans-serif'] = ['SimHei']# 显示图形
plt.subplot(121),plt.imshow(img_RGB),plt.title('原始图像'), plt.axis('off') #坐标轴关闭
plt.subplot(122),plt.imshow(Roberts, cmap=plt.cm.gray ),plt.title('Roberts算子'), plt.axis('off')
plt.show()

由上图可以看出Prewitt算子的边缘检测结果在水平方向和垂直方向均比Robert算子更加明显。

6 Sobel 算子

6.1 基本原理

Sobel算子是一种用于边缘检测的离散微分算子，它结合了高斯平滑和微分求导。该算子用于计算图像明暗程度近似值，根据图像边缘旁边明暗程度把该区域内超过某个数的特定点记为边缘。Sobel算子在Prewitt算子的基础上增加了权重的概念，认为相邻点的距离远近对当前像素点的影响是不同的，距离越近的像素点对应当前像素的影响越大，从而实现图像锐化并突出边缘轮廓。

Sobel算子根据像素点上下、左右邻点灰度加权差，在边缘处达到极值这一现象检测边缘。对噪声具有平滑作用，提供较为精确的边缘方向信息。因为Sobel算子结合了高斯平滑和微分求导（分化），因此结果会具有更多的抗噪性，当对精度要求不是很高时，Sobel算子是一种较为常用的边缘检测方法。

Sobel算子的边缘定位更准确，常用于噪声较多、灰度渐变的图像。其算法模板如下面的公式所示，其中 ${{d}_{x}}$ 表示水平方向， ${{d}_{y}}$ 表示垂直方向。

${{d}_{x}}=\left[ \begin{matrix} -1 & 0 & 1 \\ -2 & 0 & 2 \\ -1 & 0 & 1 \\ \end{matrix} \right]\begin{matrix} {} & {} & {} \\ {} & {} & {} \\ {} & {} & {} \\ \end{matrix}{{d}_{y}}=\left[ \begin{matrix} -1 & -2 & -1 \\ 0 & 0 & 0 \\ 1 & 2 & 1 \\ \end{matrix} \right]$

例如，下面给出Sobel算子的模板，在像素点P5处 $x$ 和 $y$ 方向上的梯度大小 ${g}_{x}}$ 和 ${g}_{y}}$ 分别计算为：

${{g}_{x}}=\frac{\partial f}{\partial x}=(\text{P7+2P8+P9)-}(\text{P1+2P2+P3)}$

${{g}_{y}}=\frac{\partial f}{\partial y}=(\text{P3+2P6+P9)-}(\text{P1+2P4+P7)}$

6.2 代码示例

Sobel() 函数用法如下所示：

dst = Sobel(src, ddepth, dx, dy[, dst[, ksize[, scale[, delta[, borderType]]]]])

其中，参数：

src 表示输入图像；

dst 表示输出的边缘图，其大小和通道数与输入图像相同；

ddepth 表示目标图像所需的深度，针对不同的输入图像，输出目标图像有不同的深度；

dx 表示 $x$ 方向上的差分阶数，取值1或 0；

dy 表示 $y$ 方向上的差分阶数，取值1或0；

ksize 表示Sobel算子的大小，其值必须是正数和奇数；

scale 表示缩放导数的比例常数，默认情况下没有伸缩系数；

delta 表示将结果存入目标图像之前，添加到结果中的可选增量值；

borderType 表示边框模式，更多详细信息查阅BorderTypes。

注：在进行Sobel算子处理之后，还需要调用 convertScaleAbs() 函数计算绝对值，并将图像转换为8位图进行显示。其函数用法如下所示：

dst = convertScaleAbs(src[, dst[, alpha[, beta]]])

其中，参数：

src 表示原数组；

dst 表示输出数组，深度为8位；

alpha 表示比例因子；

beta 表示原数组元素按比例缩放后添加的值。

代码如下所示：

import cv2 as cv
import matplotlib.pyplot as plt# 读取图像
img = cv.imread('test.jpg', cv.COLOR_BGR2GRAY)
rgb_img = cv.cvtColor(img, cv.COLOR_BGR2RGB)# 灰度化处理图像
grayImage = cv.cvtColor(img, cv.COLOR_BGR2GRAY)# Sobel 算子
x = cv.Sobel(grayImage, cv.CV_16S, 1, 0)
y = cv.Sobel(grayImage, cv.CV_16S, 0, 1)# 转 uint8 ,图像融合
absX = cv.convertScaleAbs(x)
absY = cv.convertScaleAbs(y)
Sobel = cv.addWeighted(absX, 0.5, absY, 0.5, 0)# 用来正常显示中文标签
plt.rcParams['font.sans-serif'] = ['SimHei']# 显示图形
titles = ['原始图像', 'Sobel算子']
images = [rgb_img, Sobel]for i in range(2):plt.subplot(1, 2, i + 1), plt.imshow(images[i], 'gray')plt.title(titles[i])plt.xticks([]), plt.yticks([])
plt.show()

7 Laplacian 算子

7.1 基本原理

拉普拉斯(Laplacian) 算子是 $n$ 维欧几里德空间中的一个二阶微分算子，常用于图像增强领域和边缘提取。它通过灰度差分计算邻域内的像素。

算法基本流程

1）判断图像中心像素灰度值与它周围其他像素的灰度值，如果中心像素的灰度更高，则提升中心像素的灰度；反之降低中心像素的灰度，从而实现图像锐化操作；

2）在算法实现过程中，Laplacian算子通过对邻域中心像素的四方向或八方向求梯度，再将梯度相加起来判断中心像素灰度与邻域内其他像素灰度的关系；

3）最后通过梯度运算的结果对像素灰度进行调整。

Laplacian算子分为四邻域和八邻域，四邻域是对邻域中心像素的四个方向求梯度，八邻域是对八个方向求梯度。

其中，Laplacian算子四邻域模板如下所示：

$\text{H}=\left[ \begin{matrix} 0 & -1 & 0 \\ -1 & 4 & -1 \\ 0 & -1 & 0 \\ \end{matrix} \right]$

Laplacian算子的八邻域模板如下所示：

$\text{H}=\left[ \begin{matrix} -1 & -1 & -1 \\ -1 & 8 & -1 \\ -1 & -1 & -1 \\ \end{matrix} \right]$

通过Laplacian算子的模板可以发现：

1）当邻域内像素灰度相同时，模板的卷积运算结果为0；

2）当中心像素灰度高于邻域内其他像素的平均灰度时，模板的卷积运算结果为正数；

3）当中心像素的灰度低于邻域内其他像素的平均灰度时，模板的卷积为负数。对卷积运算的结果用适当的衰弱因子处理并加在原中心像素上，就可以实现图像的锐化处理。

7.2 代码示例

Python和OpenCV将Laplacian算子封装在 Laplacian() 函数中，其函数用法如下所示：

dst = Laplacian(src, ddepth[, dst[, ksize[, scale[, delta[, borderType]]]]])

其中，参数：

src 表示输入图像；

dst 表示输出的边缘图，其大小和通道数与输入图像相同；

ddepth 表示目标图像所需的深度；

ksize 表示用于计算二阶导数的滤波器的孔径大小，其值必须是正数和奇数，且默认值为1，更多详细信息查阅getDerivKernels ；

scale 表示计算拉普拉斯算子值的可选比例因子。默认值为1，更多详细信息查阅getDerivKernels；

delta 表示将结果存入目标图像之前，添加到结果中的可选增量值，默认值为0；

borderType 表示边框模式，更多详细信息查阅BorderTypes。

注：Laplacian算子其实主要是利用Sobel算子的运算，通过加上Sobel算子运算出的图像 $x$ 方向和 $y$ 方向上的导数，得到输入图像的图像锐化结果。同时，在进行Laplacian算子处理之后，还需要调用 convertScaleAbs() 函数计算绝对值，并将图像转换为8位图进行显示。其函数用法如下：

dst = convertScaleAbs(src[, dst[, alpha[, beta]]])

其中，参数：

src 表示原数组；

dst 表示输出数组，深度为8位；

alpha 表示比例因子；

beta 表示原数组元素按比例缩放后添加的值。

当ksize=1时，Laplacian() 函数采用 3 $\times$ 3 的孔径 (四邻域模板) 进行变换处理。下面的代码是采用 ksize=3 的Laplacian算子进行图像锐化处理。

代码如下所示：

import cv2
import numpy as np
import matplotlib.pyplot as plt# 读取图像
img = cv2.imread('pig.jpg')
img_RGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)# 灰度化处理图像
grayImage = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)# 拉普拉斯算法
dst = cv2.Laplacian(grayImage, cv2.CV_16S, ksize=3)
Laplacian = cv2.convertScaleAbs(dst)# 用来正常显示中文标签
plt.rcParams['font.sans-serif'] = ['SimHei']# # 显示图形
# titles = [u'原始图像', u'Laplacian算子']
# images = [lenna_img, Laplacian]
# for i in xrange(2):
#     plt.subplot(1, 2, i + 1), plt.imshow(images[i], 'gray')
#     plt.title(titles[i])
#     plt.xticks([]), plt.yticks([])
# plt.show()# 显示图形
plt.subplot(121),plt.imshow(img_RGB),plt.title('原始图像'), plt.axis('off') #坐标轴关闭
plt.subplot(122),plt.imshow(Laplacian, cmap=plt.cm.gray ),plt.title('Laplacian算子'), plt.axis('off')
plt.show()