目的 将半监督对抗学习应用于图像语义分割,可以有效减少训练过程中人工生成标记的数量.作为生成器的分割网络的卷积算子只具有局部感受域,因此对于图像不同区域之间的远程依赖关系只能通过多个卷积层或增加卷积核的大小进行建模,但这种做法也同时失去了使用局部卷积结构获得的计算效率.此外,生成对抗网络(generative adversarial network,GAN)中的另一个挑战是判别器的性能控制.在高维空间中,由判别器进行的密度比估计通常是不准确且不稳定的.为此,本文提出面向图像语义分割的半监督对抗学习方法.方法 在生成对抗网络的分割网络中附加两层自注意模块,在空间维度上对语义依赖关系进行建模.自注意模块通过对所有位置的特征进行加权求和,有选择地在每个位置聚合特征.因而能够在像素级正确标记值数据的基础上有效处理输入图像中广泛分离的空间区域之间的关系.同时,为解决提出的半监督对抗学习方法的稳定性问题,在训练过程中将谱归一化应用到对抗网络的判别器中,这种加权归一化方法不仅可以稳定判别器网络的训练,并且不需要对唯一的超参数进行密集调整即可获得满意性能,且实现简单,计算量少,即使在缺乏互补的正则化技术的情况下,谱归一化也可以比权重归一化和梯度损失更好地改善生成图像的质量.结果 实验在Cityscapes数据集及PASCAL VOC 2012(pattern analysis,statistical modeling and computational learning visual object classes)数据集上与9种方法进行比较.在Cityscapes数据集中,相比基线模型,性能提高了2.3％～3.2％.在PASCAL VOC 2012数据集中,性能比基线模型提高了1.4％～2.5％.同时,在PASCAL VOC 2012数据集上进行消融实验,可以看出本文方法的有效性.结论 本文提出的半监督对抗学习的语义分割方法,通过引入的自注意力机制捕获特征图上各像素之间的依赖关系,应用谱归一化增强对抗生成网络的稳定性,表现出了较好的鲁棒性和有效性.

半监督学习;卷积神经网络(CNN);图像语义分割;生成对抗网络(GAN);自注意机制;谱归一化

李志欣;张佳;吴璟莉;马慧芳

广西师范大学广西多源信息挖掘与安全重点实验室,桂林 541004;西北师范大学计算机科学与工程学院,兰州 730070

中国图象图形学报

[1]李志欣;张佳;吴璟莉;马慧芳-.基于半监督对抗学习的图像语义分割)[J].中国图象图形学报,2022(07):2157-2170

半监督对抗学习,位置聚合

图像语义分割,学习应用,少训练,训练过程,生成器,分割网络,卷积算子,卷积层,加卷,卷积核,局部卷积,计算效率,生成对抗网络,generative,adversarial,network,GAN,判别器,性能控制,高维空间,密度比,出面,两层,注意模块,空间维度,语义依赖关系,加权求和,选择地,个位,聚合特征,像素级,空间区域,过程中将,谱归一化,归一化方法,超参数,满意性,计算量,正则化,权重归一化,梯度损失,成图,Cityscapes,PASCAL,VOC,pattern,analysis,statistical,modeling,computational,learning,visual,object,classes,比基,基线模型,性能提高,性能比,消融实验,分割方法,自注意力机制,特征图,对抗生成网络,半监督学习,自注意机制

0.340237