语义分割被广泛应用于机器人、医学成像和自动驾驶等领域,但当前语义分割主要针对可见光图像.可见光图像在光照不足或天气差的情况下成像效果较差,而红外图像受光照影响较小.因此,将可见光图像和红外图像联合使用可以有效提升模型的鲁棒性.本文针对可见光/红外(RGB-IR)双波段图像语义分割任务中目标轮廓预测不准确的问题,提出一种基于多尺度轮廓增强的双波段语义分割算法.首先,本文提出一种新的位置和通道注意力模块EEFM,基于该模块可以高效地对多个尺度的融合特征分别进行轮廓预测.其次,本文将多尺度的预测结果用于对轮廓特征进行由高分辨率至低分辨率的逐步增强.最后,本文还提出了一种新的位置和通道注意力模块SAC对融合图像特征进行增强,以最终获得更准确的分割结果.实验在一个公开RGB-IR数据集以及一个自建数据集上进行,本文所提出的模型使用较小的参数量在公开数据库上取得了57.2的分割精度,综合性能达到了最高水平.同时,消融实验也验证了所提出的各模块的有效性.

RGB-IR图像;语义分割;轮廓预测;多尺度;注意力机制

华东理工大学信息科学与工程学院,上海200237

[1]朱浩;谷小婧;蓝鑫;顾幸生-.基于多尺度轮廓增强的RGB-IR双波段图像语义分割算法)[J].激光与红外,2022(04):543-551

EEFM

RGB,双波段,图像语义分割,分割算法,医学成像,自动驾驶,可见光图像,下成,成像效果,红外图像,联合使用,目标轮廓,轮廓预测,测不准,通道注意力模块,融合特征,轮廓特征,低分辨率,SAC,融合图像,图像特征,自建数据集,模型使用,参数量,消融实验,注意力机制

0.262596