目的 基于清晰图像训练的深度神经网络检测模型因为成像差异导致的域偏移问题使其难以直接泛化到水下场景.为了有效解决清晰图像和水下图像的特征偏移问题,提出一种即插即用的特征增强模块(feature de-drifting module Unet,FDM-Unet).方法 首先提出一种基于成像模型的水下图像合成方法,从真实水下图像中估计色偏颜色和亮度,从清晰图像估计得到场景深度信息,根据改进的光照散射模型将清晰图像合成为具有真实感的水下图像.然后,借鉴U-Net结构,设计了一个轻量的特征增强模块FDM-Unet.在清晰图像和对应的合成水下图像对上,采用常见的清晰图像上预训练的检测器,提取它们对应的浅层特征,将水下图像对应的退化浅层特征输入FDM-Unet进行增强,并将增强之后的特征与清晰图像对应的特征计算均方误差(mean-square error,MSE)损失,从而监督FDM-Unet进行训练.最后,将训练好的FDM-Unet直接插入上述预训练的检测器的浅层位置,不需要对网络进行重新训练或微调,即可以直接处理水下图像目标检测.结果 实验结果表明,FDM-Unet在PASCAL VOC 2007(pattern analysis,statistical modeling and computational learning visual object classes 2007)合成水下图像测试集上,针对 YOLO v3(you only look once v3)和 SSD(single shot multibox detector)预训练检测器,检测精度 mAP(mean average precision)分别提高了 8.58％和 7.71％;在真实水下数据集 URPC19(underwater robot professional con-test 19)上,使用不同比例的数据进行微调,相比YOLO v3和SSD,mAP分别提高了 4.4％～10.6％和3.9％～10.7％.结论 本文提出的特征增强模块FDM-Unet以增加极小的参数量和计算量为代价,不仅能直接提升预训练检测器在合成水下图像的检测精度,也能在提升在真实水下图像上微调后的检测精度.

卷积神经网络(CNN);目标检测;特征增强;成像模型;图像合成

钱晓琪;刘伟峰;张敬;曹洋

杭州电子科技大学自动化学院,杭州 310018;陕西科技大学电气与控制工程学院,西安 710021;悉尼大学计算机科学学院,悉尼 2006,澳大利亚;中国科学技术大学信息科学技术学院自动化系,合肥 230026

中国图象图形学报

[1]钱晓琪;刘伟峰;张敬;曹洋-.面向水下图像目标检测的退化特征增强算法)[J].中国图象图形学报,2022(11):3185-3198

退化特征增强,URPC19

水下图像,图像目标检测,增强算法,图像训练,深度神经网络,神经网络检测,检测模型,像差,域偏移,下场,特征偏移,即插即用,特征增强模块,feature,drifting,module,Unet,FDM,成像模型,图像合成,合成方法,色偏,亮度,到场,景深,深度信息,散射模型,真实感,Net,预训练,检测器,特征计算,均方误差,mean,square,error,MSE,练好,直接插入,层位,新训,微调,处理水,PASCAL,VOC,pattern,analysis,statistical,modeling,computational,learning,visual,object,classes,图像测试,测试集,YOLO,v3,you,only,look,once,SSD,single,shot,multibox,detector,检测精度,mAP,average,precision,水下数据集,underwater,robot,professional,con,test,极小,参数量,计算量

0.41412