典型文献
CS-Softmax:一种基于余弦相似性的Softmax损失函数
文献摘要：
卷积神经网络分类框架广泛使用了基于Softmax函数的交叉熵损失(Softmax损失函数),在很多领域中都取得了良好的性能.但是由于Softmax损失函数并不鼓励增大类内紧凑性和类间分离性,在一些多分类问题中,卷积神经网络学习到的判别性嵌入表示的性能难以进一步提高.为了增强嵌入表示的判别性,提出 了一种基于余弦相似性的 Softmax(cosine similarity-based Softmax,CS-Softmax)损失函数.CS-Softmax损失函数在不改变神经网络结构的条件下,分别计算嵌入表示与分类全连接层权重的正相似性和负相似性,以实现同类紧凑和异类分离的训练目标.理论分析表明:边距因子、尺度因子、权重更新因子等参数的引入,可以调节各类别决策边距的大小,增大类内紧凑性、类间分离性,增强学习到的嵌入表示的判别性.在典型的音频、图像数据集上的仿真实验结果表明:CS-Softmax损失函数在不增加计算复杂度的同时,可以有效提升多分类任务性能,在MNIST,CIFAR10,CIFAR100图像分类任务中分别取得了 99.81％,95.46％,76.46％的分类精度.
文献关键词：
模式分类;卷积神经网络;损失函数;Softmax;余弦相似性
中图分类号：
作者姓名：
张强;杨吉斌;张雄伟;曹铁勇;郑昌艳
作者机构：
陆军工程大学研究生院 南京 210007;陆军工程大学指挥控制工程学院 南京 210007;火箭军士官学校 山东青州 262500
文献出处：
引用格式：
[1]张强;杨吉斌;张雄伟;曹铁勇;郑昌艳-.CS-Softmax:一种基于余弦相似性的Softmax损失函数)[J].计算机研究与发展,2022(04):936-949
A类：
B类：
CS,Softmax,余弦相似性,损失函数,神经网络分类,分类框架,交叉熵损失,紧凑性,分离性,多分类问题,神经网络学习,判别性,嵌入表示,cosine,similarity,神经网络结构,全连接层,凑和,异类,类分离,边距,尺度因子,权重更新,增强学习,音频,图像数据集,加计,计算复杂度,分类任务,MNIST,CIFAR100,图像分类,分类精度,模式分类
AB值：
0.317392
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
