论文题目:
Wavelet-Based Dual-Branch Network for Image Demoireing
基于小波变换的双分支图像去摩尔纹网络
1. Introduction
提出了一种基于小波和双分支神经网络的去摩尔纹方法,同时提出了一种空间注意机制direction perception module(DPM )方向感知模块突出显示摩尔纹区域。
模型还可用于非屏幕图像去摩尔纹,并可以用到其他low-level任务,建立了一个新的数据集。
2. Related Work
介绍了去摩尔纹、小波变换、双分支设计、纹理去除等一些研究。
3. Our Method
WDNet网络结构如下,RGB图像首先输入进行小波变换,接着双分支网络用来去除摩尔纹,最终的RGB图像经过小波逆变换进行输出.
双分支网络包含七个双分支模块,每一个模块包含一个dense和一个dilation branch,设计结构采用了Resnet,密集和扩张分支分别获取不同的摩尔纹信息,密集检测近距离,扩张检测远距离。
3.1 Working in the Wavelet Domain
本文的网络转载小波域进行摩尔纹去除,使用2D快速小波变换(FWT)将输入的RGB图像分解为一系列小波子带,子带较小但频率不同。选用Haar小波作为基础,迭代应用高通和低通滤波器来计算小波系数。
在变换的每个level中,现在行方向进行高低通,变为两幅图像,接着沿着这两个图像列方向使用相同滤波器,得到四幅图像。具体公式在别的论文有体现。
原始RGB图像输入被转换为48个子带,每个color channel有16个子带,将48个子带串联起来,而不是分别处理高低频,因为每个图像摩尔纹图像变换很大,很难找到阈值手动分离。真实图像和摩尔纹图像小波变换示意如下。实验发现频率较高的小波子带包含较少的摩尔纹。
3.2 Dense Branch
DenseNet通过设计旁路等,缓解梯度消失,减少网络参数数量。本文设计了一个DPM模块加入到residual dense module中,DPM和每个dense block输出乘β加权再与输入相加,可以有效地找到近距离摩尔纹。
3.3 Dilation Branch
每个扩张分支有两个层,一个3X3扩张卷积和一个普通3X3卷积层,当以固定膨胀率连续应用多个扩张卷积时,许多像素不参与卷积并出现一种称为网格的特殊伪影。因此根据斐波那契数列设计扩张率。
3.4 Direction Perception Module
通过改进IRNN,设计了方向感知模块DPM,IRNN的两阶段四方向架构增强了上下文信息的使用,一阶段获取特征图,二阶段进一步收集全局信息,但只能在垂直和水平方向收集,因此扩展为8方向,增强倾斜感知。如下图。