典型文献
基于人类演示视频的机器人指令生成框架
文献摘要：
为了提高机器人学习技能的能力,免除人工示教过程,本文基于对无特殊标记的人类演示视频的观察,提出了一种基于序列到序列模式的机器人指令自动生成框架.首先,使用Mask R-CNN(区域卷积神经网络)来缩小操作区域的范围,并采用双流I3D网络(膨胀3D卷积网络)从视频中提取光流特征和RGB特征;其次,引入双向LSTM(长短期记忆)网络从先前提取的特征中获取上下文信息;最后,使用自我注意力机制和全局注意力机制,学习视频帧序列和命令序列的关联性,序列到序列模型最终输出机器人的命令.在扩展后的MPII烹饪活动2数据集和IIT-V2C数据集上进行了大量的实验,与现有的方法进行比较,本文提出的方法在BLEU 4(0.705)和METEOR(0.462)等指标上达到目前最先进性能水平.结果表明,该方法能够从人类演示视频中学习操作任务.此外,本框架成功应用于Baxter机器人.
文献关键词：
视频命令学习;细粒度视频描述;机器人学习;双流I3D网络(双流膨胀3D卷积网络);双向LSTM(长短期记忆)
中图分类号：
作者姓名：
莫秀云;陈俊洪;杨振国;刘文印
作者机构：
广东工业大学计算机学院,广东 广州 510006
文献出处：
引用格式：
[1]莫秀云;陈俊洪;杨振国;刘文印-.基于人类演示视频的机器人指令生成框架)[J].机器人,2022(02):186-194,202
A类：
视频命令学习,细粒度视频描述
B类：
演示,机器人学习,免除,人工示教,序列模式,自动生成,Mask,区域卷积神经网络,双流,I3D,卷积网络,光流,RGB,长短期记忆,从先,先前,上下文信息,自我注意,全局注意力机制,视频帧,序列到序列模型,MPII,烹饪,IIT,V2C,BLEU,METEOR,上达,最先,架成,成功应用,Baxter
AB值：
0.381773
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
