PDF\CODE

基于深度学习分割的表面缺陷检测

Domen Tabernik（domen.tabernik@fri.uni-lj.si）；

Samo Šela；

Jure Skvar；

Danijel Skoaj（danijel.skocaj@fri.uni-lj.si）

part of Springer Nature 2019

摘要：基于机器学习的表面缺陷自动检测已经成为一个有趣且有发展前景的研究领域，对视觉检测的应用领域产生了非常高且直接的影响。深度学习方法已成为最适合这项任务的方法。它们允许缺陷检测系统通过学习仅仅向它显示一些范例图像来检测表面缺陷。本文提出了一种用于表面缺陷检测和分割的基于分割的深度学习体系结构，并在特定的表面裂纹检测领域进行了演示。该体系结构的设计使模型能够使用少量样本进行训练，这是实际应用的一个重要要求。该模型与相关的深度学习方法(包括最先进的商业软件)进行了比较，结果表明该方法在表面裂纹检测的特定领域优于相关的方法。大量的实验也清楚地展示出所需的标注精度、所需的训练样本数量和所需的计算成本。实验是在一个新创建的基于真实质量控制案例的数据集上进行的，实验结果表明了所提出的方法能够在少量缺陷表面上进行学习，仅使用大约25 - 30个缺陷训练样本，而不是在深度学习应用案例中通常需要的成百上千个训练样本。这使得深度学习方法能够在缺陷样本数量有限的工业上得到实际应用。本文的数据集也公开提供，以鼓励开发和评估用于表面缺陷检测的新方法。

关键字：表面缺陷检测；外观检测；质量控制；深度学习；计算机视觉；分割网络；工业4.0

引言

在工业生产过程中，确保成品质量的最重要的任务之一是检查产品的表面。通常，表面质量控制是手工进行的，工人们经过培训来识别复杂的表面缺陷。然而，这种控制非常耗时，效率低下，并可能严重限制生产能力。在过去，经典的机器视觉方法足以解决这些问题（(Paniagua et al. 2010; Bulnes et al. 2016）；然而，随着工业4.0范式的发展，趋势正朝着生产线的普遍化方向发展，需要对新产品的快速适应能力（(Oztemel and Gursev 2018）。传统的机器视觉方法无法保证这样的灵活性。通常，在经典的机器视觉方法中，特征必须是手工制作的，以适应特定的领域。然后使用人为设定的基于规则的方法或使用基于学习的分类器(如SVM、决策树或KNN)做出决策。由于手工制作的特征扮演了十分重要的角色，因此这种分类器不如深度学习方法强大。各种滤波器组、直方图、小波变换、形态学操作和其他技术被用来手工制作适当的特征。手工设计特征在经典方法中占有重要的地位，但是这些特征并不适合所有的任务，并且在机器视觉方法必须手工适应不同产品的情况下，导致开发周期长。可以在数据驱动、机器学习方法中找到一种提高灵活性的解决方案，其中开发的方法可以快速适应新类型的产品和表面缺陷，使用适当数量的训练图像。

本文着重于使用最先进的机器学习方法来解决视觉表面缺陷的检测问题。近年来，深度学习方法已经成为计算机视觉领域最常见的方法。应用于表面质量控制问题(Chen and Ho 2016；Faghih-Roohi et al. 2016；Weimer et al. 2013；Kuo et al. 2014)，深度学习方法可以取得优异的效果，并且可以适用于不同的产品。与经典的机器视觉方法相比，深度学习可以直接从底层数据中学习特征，对复杂结构的表征能力更强，从而用自动学习过程完全取代手工制作特征。由于对新产品的快速适应，这种方法非常适合工业4.0所要求的柔性生产线。然而，悬而未决的问题仍然存在：需要多少标签数据，以及标签需要多精确，程序的性能才能适合实际应用？在处理深度学习方法时，这是一个特别重要的问题，因为具有数百万个可学习参数的深度模型通常需要数千张图像，而在实践中往往很难获得这些图像。

本文探索了适合于表面质量控制的深度学习方法。特别是，本文研究了深度学习方法应用于工业品表面裂纹检测(见图1)。我们不仅从总体分类性能出发，还从工业4.0特别重要的三个特征：（a）标签需求、（b）所需训练样本的数量和（c）计算需求的角度出发，探索了合适的网络架构。数据需求是通过利用一个基于两阶段架构的深度卷积网络的有效方法来解决的。提出了一种新的分割和决策网络，该网络适合从少量的缺陷样本中学习，但仍能获得最先进的结果。对所提出的方法的一个广泛的评估是在一个新的、真实的被称为KolektorSDD的表面缺陷数据集进行的。该数据集代表了一个工业半成品表面缺陷检测的现实问题，在这里，可用于训练的缺陷图像的数量是有限的。通过强调三个重要的方面，证明所提出的方法已经适合研究的应用程序：（a）为达到100%的检出率所需的人工检查(通过额外的人工检测验证)，（b）所需的标注细节和导致所需的人工人工成本的训练样本数量，以及（c）所需的计算成本。在研究领域，所设计的网络性能优于相关的最新商业产品和两种标准分割网络。

本文的文章结构安排如下：在相关工作部分给出了相关工作，在所提出的方法部分详细介绍了分割和决策网络。在分割和决策网络评价部分详细介绍了对所提议网络的广泛评价，并在“与最先进的部分的比较”部分与最先进的商业解决方案进行了比较。论文最后在讨论和结论部分进行了讨论。

 

相关工作

在引入AlexNet后不久，深度学习方法开始被更多地应用于表面缺陷分类问题（(Krizhevsky et al. 2012）。Masci等人（2012）的工作表明，对于表面缺陷分类而言，深度学习方法优于传统的将手工设计的特征与支持向量机相结合的机器视觉方法。他们通过使用具有五层的卷积神经网络对几种钢铁缺陷类型进行图像分类这一实验证明了这一点，并取得了优异的成绩。但是由于没有使用ReLU和batch标准化处理，他们的工作仅限于浅层网络。FaghihRoohi等人(2016)使用了类似的架构来检测铁路表面缺陷。他们使用ReLU作为激活函数，并针对钢轨缺陷分类的具体问题对几种网络规模进行了评估。

在卷积网络的现代实现中，Chen和Ho(2016)应用了OverFeat (Sermanet和Eigen 2014)网络来检测五种不同类型的表面误差。他们识别了大量标记数据，这是深度网络的一个重要问题，并提出使用一个已有的预训练网络来缓解这一问题。他们利用在ILSVRC2013数据集中的120万幅普通视觉对象图像上训练OverFeat网络，然后使用该网络对有表面缺陷的图像进行特征提取。他们利用支持向量机在深度特征的基础上学习分类器，证明了预训练的特征优于LBP特征。利用所提出的近似表面粗糙度启发式算法，他们可以进一步改进该结果；然而，他们的方法并没有在目标域中学习网络，因此没有充分利用深度学习的潜力。

Weimer等人(2016)评估了用于表面检测的几种不同深度的深度学习体系结构。他们应用的网络从只有5层到11层不等。他们的评估集中在6种不同类型的合成误差上，结果显示深度网络优于任何经典方法，对合成数据集的平均精度达到99.2%。他们的方法也能够将误差定位在几个像素的精确度之内；但是，他们的定位方法效率很低，从每幅图像中提取小的patch，然后对每个单独的图像patch进行分类。

Raki等人(2018)提出了一种更有效的缺陷分割网络。他们实现了一个10层的全卷积网络，同时使用ReLU和batch归一化批处理对缺陷进行分割。此外，他们在分割网络的特征之上，提出了一个附加的决策网络针对缺陷是否存在对每幅图像进行了分类。这使得他们可以提高对合成表面缺陷数据集的分类精度。

最近，Lin等人(2018)提出了LEDNet架构，用于使用30000张低分辨率图像的数据集检测LED芯片图像缺陷。他们提出的网络遵循AlexNet架构，但是去掉了完全连接的层，取而代之的是加入了类激活映射(CAMs)，类似于Zhou等人(2016)。这种设计允许他们学习只使用每幅图像标签和使用凸轮定位的缺陷。与传统方法相比，所提出的LEDNet在缺陷检测率上有显著提高。

与相关方法相比，本文提出的方法遵循分割网络和决策网络两阶段设计，类似于Raki等人(