典型文献
悟道∙文澜:超大规模多模态预训练模型带来了什么?
文献摘要：
提出了悟道·文澜的BriVL双塔模型.该模型利用6.5亿对互联网图文数据,通过自监督的任务来训练,是目前最大的中文通用图文预训练模型.同时,还提出了悟道·文澜的多语言多模态预训练单塔模型—MLMM.实验结果证明,这两个模型在多个国际公开数据集上均取得了最佳性能.设计了实验并讨论超大规模多模态预训练模型对文本编码、图像生成和图文互检带来的影响,以及文澜模型的落地应用与学科交叉成果.
文献关键词：
多模态预训练;多语言预训练;双塔模型;单塔模型
中图分类号：
作者姓名：
卢志武;金琴;宋睿华;文继荣
作者机构：
中国人民大学高瓴人工智能学院,中国北京100872;中国人民大学信息学院,中国北京100872
文献出处：
引用格式：
[1]卢志武;金琴;宋睿华;文继荣-.悟道∙文澜:超大规模多模态预训练模型带来了什么?)[J].中兴通讯技术,2022(02):25-32
A类：
BriVL,单塔模型,MLMM
B类：
悟道,文澜,超大规模,多模态预训练,预训练模型,了悟,双塔模型,图文,自监督,公开数据集,文本编码,图像生成,落地应用,多语言预训练
AB值：
0.223803
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
