雨天会影响室外图像捕捉的质量,进而引起户外视觉任务性能下降.基于深度学习的单幅图像去雨研究因算法性能优越而引起了大家的关注,并且聚焦点集中在数据集的质量、图像去雨方法、单幅图像去雨后续高层任务的研究和性能评价指标等方面.为了方便研究者快速全面了解该领域,本文从上述4个方面综述了基于深度学习的单幅图像去雨的主流文献.依据数据集的构建方式将雨图数据集分为4类:基于背景雨层简单加和、背景雨层复杂融合、生成对抗网络(generative adversarial network,GAN)数据驱动合成的数据集,以及半自动化采集的真实数据集.依据任务场景、采取的学习机制以及网络设计对主流算法分类总结.综述了面向单任务和联合任务的去雨算法,单任务即雨滴、雨纹、雨雾和暴雨的去除;联合任务即雨滴和雨纹、所有噪声去除.综述了学习机制和网络构建方式(比如:卷积神经网络(convolutional neural network,CNN)结构多分支组合,GAN的生成结构,循环和多阶段结构,多尺度结构,编解码结构,基于注意力,基于Transformer)以及数据模型双驱动的构建方式.综述了单幅图像去雨后续高层任务的研究文献和图像去雨算法性能的评价指标.通过合成数据集和真实数据集上的综合实验对比,证实了领域知识隐式引导网络构建可以有效提升算法性能,领域知识显式引导正则化网络的学习有潜力进一步提升算法的泛化性.最后,指出单幅图像去雨工作目前面临的挑战和未来的研究方向.

单幅图像去雨;深度神经网络;雨图数据集;雨图合成;模型数据双驱动;后续高层任务;性能评价指标

西安邮电大学,西安 710121;西安交通大学,西安 710049

[1]胡明娣;吴怡;宋尧;杨静冰;张瑞芳;王红;孟德宇-.单幅图像去雨数据集和深度学习算法的联合评估与展望)[J].中国图象图形学报,2022(05):1359-1391

后续高层任务,雨图数据集,雨图合成,模型数据双驱动

单幅图像去雨,深度学习算法,联合评估,雨天,天会,户外,视觉任务,性能下降,算法性能,性能优越,聚焦点,点集,雨后,性能评价指标,构建方式,生成对抗网络,generative,adversarial,network,GAN,半自动化,自动化采集,真实数据,任务场景,学习机制,网络设计,流算法,算法分类,分类总结,单任务,联合任务,雨滴,雨雾,暴雨,噪声去除,网络构建,convolutional,neural,多分支,生成结构,多阶段,阶段结构,多尺度结构,编解码结构,Transformer,数据模型,和图像,合成数据集,综合实验,实验对比,领域知识,隐式,显式,导正,正则化,泛化性,深度神经网络

0.288333