典型文献
基于可分离结构变换的轻量级Vision Transformer
文献摘要：
由于视觉Transformer结构模型参数量大、浮点计算次数高,使得其难以部署到终端设备上.因为注意力矩阵存在低秩瓶颈,所以模型压缩算法和注意力机制加速算法不能很好地平衡模型参数量、模型推理速度和模型性能之间的关系.为了解决上述问题,本文设计一种轻量级的ViT-SST模型用于图像分类任务.首先,通过将传统全连接层转换为可分离结构,大幅度降低模型参数量且提高了模型推理速度,保证了注意力矩阵不会因出现低秩而破坏模型表达能力;其次,提出一种基于SVD分解的克罗内克积近似分解法,可以将公开的ViT-Base模型预训练参数转换至ViT-Base-SST模型,略微缓解了ViT模型的过拟合现象并提高了模型精度.在常见公开图片数据集CIFAR系列和Caltech系列上的实验验证了本文方法优于对比方法.
文献关键词：
深度学习;计算机视觉;图像分类;模型压缩
中图分类号：
作者姓名：
黄延辉;兰海;魏宪
作者机构：
福州大学电气工程与自动化学院,福建 福州 350100;中国科学院福建物质结构研究所泉州装备制造研究中心,福建 泉州 362200
文献出处：
引用格式：
[1]黄延辉;兰海;魏宪-.基于可分离结构变换的轻量级Vision Transformer)[J].计算机与现代化,2022(10):75-81
A类：
低秩瓶颈
B类：
可分离,分离结构,轻量级,Vision,Transformer,模型参数量,浮点计算,终端设备,力矩,模型压缩,压缩算法,注意力机制,速算,地平,模型推理,推理速度,模型性能,ViT,SST,图像分类,分类任务,全连接层,大幅度降低,表达能力,SVD,克罗内克积,分解法,Base,预训练,略微,过拟合,模型精度,图片数据,CIFAR,Caltech,列上,比方,计算机视觉
AB值：
0.405343
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
