典型文献
单词嵌入表示学习综述
文献摘要：
单词嵌入表示学习是自然语言处理(NLP)中最基本但又很重要的研究内容,是所有后续高级语言处理任务的基础.早期的单词独热表示忽略了单词的语义信息,在应用中常常会遇到数据稀疏的问题,后来随着神经语言模型(NLM)的提出,单词被表示为低维实向量,有效地解决了数据稀疏的问题.单词级的嵌入表示是最初的基于神经网络语言模型的输入表示形式,后来人们又从不同角度出发,提出了诸多变种.本文从模型涉及到的语种数的角度出发,将单词嵌入表示模型分为单语言单词嵌入表示模型和跨语言单词嵌入表示模型两大类.在单语言中,根据模型输入的颗粒度又将模型分为字符级、单词级、短语级及以上的单词嵌入表示模型,不同颗粒度级别的模型的应用场景不同,各有千秋.再将这些模型按照是否考虑上下文信息再次分类,单词嵌入表示还经常与其它场景的模型结合,引入其他模态或关联信息帮助学习单词嵌入表示,提高模型的表现性能,故本文也列举了一些单词嵌入表示模型和其它领域模型的联合应用.通过对上述模型进行研究,将每个模型的特点进行总结和比较,在文章最后给出了未来单词嵌入表示的研究方向和展望.
文献关键词：
单词嵌入表示学习;神经网络;语言模型;跨语言;双向编码器表示;信息瓶颈
中图分类号：
作者姓名：
刘建伟;高悦
作者机构：
中国石油大学(北京)自动化系,北京102249
文献出处：
引用格式：
[1]刘建伟;高悦-.单词嵌入表示学习综述)[J].控制理论与应用,2022(07):1171-1193
A类：
单词嵌入表示学习,神经语言模型
B类：
自然语言处理,NLP,很重,热表,语义信息,会遇,数据稀疏,NLM,低维,单词级,网络语言,表示形式,变种,语种,表示模型,单语,跨语言,两大类,言中,模型输入,颗粒度,字符,短语,各有千秋,上下文信息,联信,学习单,表现性,领域模型,联合应用,双向编码器表示,信息瓶颈
AB值：
0.194293
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
