阅读 SimT: Handling Open-set Noise for Domain Adaptive Semantic Segmentation
原作者知乎文章链接：知乎文章
GitHub链接：开源数据
SimT (CVPR22')：为了解决域自适应（包含UDA和SFDA）任务中目标域数据伪标签中存在噪声问题，我们仍然利用NTM建模目标域伪标签数据中的标签噪声分布，不过这次我们建模的标签噪声分布除了包括封闭集（closed-set）标签噪声，还包含开放集（open-set）标签噪声。然后我们将建模的噪声转移矩阵看成一个单纯形，并结合分割的性质和计算几何的方法估计这个单纯形。由于MetaCorrection中域感知的元学习方法需要用到源域数据，而估计单纯形的过程不需要源域数据，SimT的解决方案不仅可以用到UDA任务上，同时也可以用到SFDA任务上。
Abstract This paper studies a practical domain adaptive (DA) semantic segmentation problem where only pseudo-labeled target data is accessible through a black-box model. Due to the domain gap and label shift between two domains, pseudo-labeled target data contains mixed closed-set and open-set label noises. In this paper, we propose a simplex noise transition matrix (SimT) to model the mixed noise distributions in DA semantic segmentation and formulate the problem as estimation ofSimT. By exploiting computational geometry analysis and properties ofsegmentation, we design three complementary regularizers, i.e. volume regularization, anchor guidance, convex guarantee, to approximate the true SimT. Specifically, volume regularization minimizes the volume of simplex formed by rows of the nonsquare SimT, which ensures outputs of segmentation model
to fit into the ground truth label distribution. To compensate for the lack of open-set knowledge, anchor guidance and convex guarantee are devised to facilitate the modeling of open-set noise distribution and enhance the discriminative feature learning among closed-set and open-set classes. The estimated SimT is further utilized to correct noise issues in pseudo labels and promote the generalization ability ofsegmentation model on target domain data. Extensive experimental results demonstrate that the proposed SimT can be flexibly plugged into existing DA methods to boost the performance. The source code is available at https://github.com/CityU-AIM-Group/SimT.
由于域自适应（DA）任务中目标域（target domain）数据都是没有标签的，现有的基于自训练（self-training）的方法通常都会给目标域产生伪标签（pseudo label），然后利用伪标签来给目标域数据产生监督信号（损失函数），从而使得分割模型可以泛化到目标域数据上。但是现在的方法都只考虑了目标域中存在封闭集标签噪声（closed-set label noise）的问题，没有人考虑开放集标签噪声（open-set label noise）问题。然而在现实场景下，open-set标签噪声是普遍存在的，所以我们的这个工作首次考虑了域自适应任务中open-set标签噪声，并将closed-set和open-set标签噪声分布一起用一个噪声转移矩阵建模，然后利用建模的噪声转移矩阵来显示地去掉噪声伪标签的负面影响，因此，域自适应问题就被转化成如何去估计这个噪声转移矩阵了。为了准确地估计建模的标签噪声分布，我们将其看作是一个单纯形（simplex），并将建模的标签噪声分布起名为SimT，名字SimT是Simplex和噪声转移矩阵（NTM）的合体。转换成单纯形之后，我们从计算几何分析的角度，利用了分割的特性，非常自然地就提出了三个互补的正则项损失函数约束SimT。总的来说，本工作提出了一种崭新的域自适应分割通用解决思路，而且实现非常简洁。
Tips：closed-set label noise指的是噪声样本的真实标签是在已知类别里的；open-set label noise指的是噪声样本的真实标签是在已知类别里不存在的。
SimT的优势概括如下：
- 我们提出了一个通用且实用的域自适应语义分割框架，我们的训练过程完全不依赖于源域数据或源域模型的细节，只需要目标域的数据和对应的伪标签即可，极大程度提高了模型在实际部署应用中的自由度。
- SimT是域自适应任务中解决open-set噪声问题的第一次尝试，它对目标域伪标签的closed-set和open-set噪声分布进行建模，并从计算几何的角度对SimT进行分析，根据分析的结果提出了三个正则项用来估计SimT，优化后的SimT用于噪声伪标签标注的目标域数据的损失函数校正。
- 我们的SimT是一个即插即用的技巧，能够广泛适用于各种不同类型的任务中，用于解决标签中存在噪声的问题。本文所利用的噪声伪标签来自于现有的UDA或SFDA模型，实验也证明了它可以在现有的UDA和SFDA模型上都能获得不同程度的提升。
提高目标域上的分割性能需要小心处理容易混淆样本和open-set标签噪声
解决思路：
SimT的几何意义：
如何估计SimT：
添加
