车辆3D形态的精确实时感知对于智能交通中的车辆行为分析、交通流参数估计等应用和无人驾驶都至关重要,其中,如何克服透视投影的限制,从路侧单目视角下感知车辆3D形态正成为具有挑战的课题之一.为解决这个难题,采取深度网络提取投影特征,结合空间标定模型中的几何约束,实现2D投影至3D空间的3D形态恢复构建.首先,基于前期工作,对道路场景中的相机构建空间标定模型,以获取透视空间的2D-3D互映射矩阵;然后,以当前流行的简洁高效的Center-Net 深度网络为基础,设计车辆3D形态投影特征的检测网络,融入多尺度特征融合模块以优化透视投影下不同尺度车辆目标的检测,同时优化高斯凸包热力图以增强车辆目标的特征检测力度,根据先验几何约束设计加强损失函数以加快收敛;最后,通过建立的空间形态几何约束模型,对网络输出特征投影点进行解码,构建出完整的车辆3D形态信息.试验以路侧视角下的BrnoComp-Speed数据集和自制数据集为基础,手工标注满足试验需求的样本目标,并做图像增广以模仿多变的道路监控视角及环境.在试验结果评价中,分别对网络检测结果及最终构建的3D形态进行评价,其中对于网络检测结果,以投影特征构成投影凸包的平均精度为评价指标,交并比(IoU)阈值为0.7时,在BrnoCompSpeed测试数据集上得到AP值为87.35％,召回率和精确率分别为87.39％与90.78％.同时,设计消融试验证明网络改进模块的有效性.对于3D形态构建结果,分别对空间定位、3D尺寸、偏转角及3DIoU等指标都进行定义,并以3DIoU为评价标准,验证多个改进模块及不同视角对于最终精度的影响,最后在BrnoCompSpeed测试数据集中的平均3DIoU达到0.738.设计的网络FPS为27,可满足实时性的需求.

交通工程;路侧单目3D检测;改进CenterNet;车辆3D形态感知;车路协同

长安大学信息工程学院,陕西西安 710064

[1]王伟;唐心瑶;崔华;宋焕生;李颖-.基于CenterNet的路侧单目视角车辆3D形态精确感知)[J].中国公路学报,2022(09):104-118

BrnoComp,BrnoCompSpeed,3DIoU

CenterNet,路侧,单目,目视,实时感知,智能交通,行为分析,交通流参数,参数估计,无人驾驶,透视投影,深度网络,空间标定,标定模型,几何约束,2D,前期工作,道路场景,互映,简洁高效,设计车辆,测网,多尺度特征融合,特征融合模块,不同尺度,同时优化,凸包,热力图,特征检测,测力,先验,损失函数,快收敛,空间形态,约束模型,特征投影,解码,侧视,集为,注满,图像增广,道路监控,结果评价,网络检测,交并比,测试数据,上得,AP,召回率,精确率,明网,形态构建,空间定位,偏转角,不同视角,FPS,交通工程,车路协同

0.39729