典型文献
面向6G的跨模态信号重建技术
文献摘要：
6G时代下,为了兼顾多媒体用户音频、视频、触觉的沉浸式体验需求与低时延、高可靠、大容量的通信质量,提出一种跨模态信号重建架构和由视频信号重建触觉信号的深度学习模型.首先,通过控制机器人触摸各种材质,构建了包含音频、视频、触觉信号的数据集VisTouch,为后续各种跨模态问题的研究奠定基础;其次,通过利用多模态信号间的语义关联性,设计一种普适的、稳健的端到端跨模态信号重建框架;再次,以通过视频信号重建触觉信号为例,构建视频辅助的触觉重建模型,包括基于3D CNN的视频特征提取网络,基于全卷积网络的GAN生成网络与基于CNN的GAN辨别网络;最后,通过实验结果验证跨模态信号重建框架的可靠性以及触觉重建模型的准确性.
文献关键词：
6G;跨模态信号重建;多模态数据集;3D卷积神经网络;生成对抗网络
中图分类号：
作者姓名：
李昂;陈建新;魏昕;周亮
作者机构：
南京邮电大学通信与信息工程学院,江苏 南京 210003;南京邮电大学宽带无线通信与传感网技术教育部重点实验室,江苏 南京 210003
文献出处：
引用格式：
[1]李昂;陈建新;魏昕;周亮-.面向6G的跨模态信号重建技术)[J].通信学报,2022(06):28-40
A类：
跨模态信号重建,VisTouch
B类：
6G,重建技术,多媒体,体用,音频,触觉,沉浸式体验,体验需求,低时延,高可靠,大容量,通信质量,视频信号,深度学习模型,控制机,触摸,语义关联性,端到端,视频辅助,特征提取网络,全卷积网络,GAN,生成网络,辨别,多模态数据集,生成对抗网络
AB值：
0.22011
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
