目的 随着数码设备的普及,拍照成为记录生活的一种主流方式.但是周围环境的不可控因素会导致用户获取到逆光图像.传统的图像增强方法大多是全局增强,通常存在增强过度或增强程度不够的问题.而基于深度学习的图像增强方法大多是针对低照度图像增强任务,此类方法无法同时兼顾逆光图像中欠曝光区域和过曝光区域的增强问题,且在网络训练时需要成对的数据集.方法 提出一个基于注意力机制的逆光图像增强网络ABIEN(attention-based backlight image enhancement network),该网络学习逆光图像与增强图像之间像素级的映射参数,解决无参考图像的问题,同时使用注意力机制使网络关注欠曝光区域和过曝光区域的增强.为了解决无法获取成对图像数据集的问题,所设计的网络学习逆光图像与恢复图像之间的映射参数,并借助该参数进行迭代映射以实现图像增强;为了在增强欠曝光区域的同时还能抑制过曝光区域增强过度的问题,通过引入注意力机制帮助网络关注这两个不同区域的增强过程;为了解决大多数图像恢复中都会出现的光晕、伪影等问题,采用原始分辨率保留策略,在不改变图像大小的情况下将主网络各个深度的特征信息充分利用,以削弱该类问题对增强图像的影响.结果 通过将本文方法与MSRCR(multi-scale retinex with color restoration)、Fusion-based(fusion-based method)、Learnning-based(learning-based restoration)、NPEA(naturalness preserved enhancement algorithm)和ExCNet(exposure correction network)等方法进行对比,本文方法得到的增强图像从主观上看曝光度更好、颜色保留更真实、伪影更少;从客观指标来看,本文方法在LOE(lightness order error)上取得了最好的效果,在VLD(visibility level descriptor)和CDIQA(contrast-distorted image quality assessment)上表现也很好;从处理时间上来看,本文方法的处理时间相对较短,可以满足在现实场景中的实时应用.结论 提出的逆光图像增强方法通过结合注意力机制和原始分辨率保留策略,可以帮助网络学习各个层次的特征信息,充分挖掘图像内容信息,在矫正图像亮度的同时,还能更好地恢复图像细节.

逆光图像;图像增强;卷积神经网络(CNN);注意力机制;零参考样本

王知音;张二虎;石争浩;段敬红

西安理工大学印刷包装与数字媒体学院,西安 710048;西安理工大学计算机科学与工程学院,西安 710048

中国图象图形学报

[1]王知音;张二虎;石争浩;段敬红-.零参考样本下的逆光图像深度学习增强方法)[J].中国图象图形学报,2022(05):1589-1603

零参考样本,逆光图像增强,ABIEN,Learnning,NPEA,ExCNet,CDIQA

图像深度学习,增强方法,数码设备,拍照,记录生活,周围环境,不可控因素,导致用户,取到,常存,强过,低照度图像增强,过曝光,网络训练,注意力机制,attention,backlight,image,enhancement,network,网络学习,增强图像,像素级,决无,无参考,参考图像,网络关注,图像数据集,迭代映射,图像恢复,光晕,伪影,保留策略,主网,特征信息,MSRCR,multi,scale,retinex,color,restoration,Fusion,fusion,method,learning,naturalness,preserved,algorithm,exposure,correction,客观指标,LOE,lightness,order,error,VLD,visibility,level,descriptor,contrast,distorted,quality,assessment,处理时间,现实场景,图像亮度

0.357462