典型文献
基于交叉注意力机制的煤矿井下不安全行为识别
文献摘要：
对煤矿井下人员不安全行为进行实时视频监控及报警是提升安全生产水平的重要手段.煤矿井下环境复杂,监控视频质量不佳,导致常规基于图像特征或基于人体关键点特征的行为识别方法在煤矿井下应用受限.提出了一种基于交叉注意力机制的多特征融合行为识别模型,用于识别煤矿井下人员不安全行为.针对分段视频图像,采用3D ResNet101模型提取图像特征,采用openpose算法和ST-GCN(时空图卷积网络)提取人体关键点特征;采用交叉注意力机制对图像特征和人体关键点特征进行融合处理,并与经自注意力机制处理后的图像特征和人体关键点特征拼接,得到最终行为识别特征;识别特征经全连接层及归一化指数函数softmax处理后,得到行为识别结果.基于公共数据集HMDB51和UCF101、自建的煤矿井下视频数据集进行行为识别实验,结果表明:采用交叉注意力机制可使行为识别模型更有效地融合图像特征和人体关键点特征,大幅提高识别准确率;与 目前应用最广泛的行为识别模型SlowFast相比,基于交叉注意力机制的多特征融合行为识别模型在HMDB51和UCF101数据集上的识别准确率分别提高1.8％,0.9％,在自建数据集上的识别准确率提高6.7％,验证了基于交叉注意力机制的多特征融合行为识别模型更适用于煤矿井下复杂环境中人员不安全行为识别.
文献关键词：
井下人员行为识别;不安全行为识别;图像特征;人体关键点特征;多特征融合;自注意力机制;图注意力机制;交叉注意力机制
中图分类号：
作者姓名：
饶天荣;潘涛;徐会军
作者机构：
国能信息技术有限公司,北京 100011
文献出处：
引用格式：
[1]饶天荣;潘涛;徐会军-.基于交叉注意力机制的煤矿井下不安全行为识别)[J].工矿自动化,2022(10):48-54
A类：
人体关键点特征,openpose,井下人员行为识别
B类：
交叉注意力机制,煤矿井下,不安全行为识别,实时视频,视频监控,提升安全,生产水平,环境复杂,监控视频,图像特征,井下应用,多特征融合,识别模型,视频图像,ResNet101,ST,GCN,时空图卷积网络,融合处理,自注意力机制,特征拼接,识别特征,全连接层,归一化指数,指数函数,softmax,公共数据,HMDB51,UCF101,视频数据,行行,融合图像,识别准确率,SlowFast,自建数据集,井下复杂,复杂环境,图注意力机制
AB值：
0.179707
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
