软件学报

作者：刘天义，吴祖煊，陈静静，姜育刚

单位：刘天义，复旦大学 计算机科学技术学院, 上海 200438;上海市智能信息处理重点实验室(复旦大学), 上海 200438;上海市智能视觉计算协同创新中心(复旦大学), 上海 20043811,吴祖煊，复旦大学 计算机科学技术学院, 上海 200438;上海市智能信息处理重点实验室(复旦大学), 上海 200438;上海市智能视觉计算协同创新中心(复旦大学), 上海 20043802,陈静静，复旦大学 计算机科学技术学院, 上海 200438;上海市智能信息处理重点实验室(复旦大学), 上海 200438;上海市智能视觉计算协同创新中心(复旦大学), 上海 20043803,姜育刚，复旦大学 计算机科学技术学院, 上海 200438;上海市智能信息处理重点实验室(复旦大学), 上海 200438;上海市智能视觉计算协同创新中心(复旦大学), 上海 20043804

关键词：计算机视觉;多模态学习;预训练

基金：科技创新2030——“新一代人工智能”重大项目（2021ZD0112805）；国家自然科学基金青年基金（62102092）

大多数现有的视觉语言预训练方法侧重于理解任务，并在训练时使用类似于BERT的损失函数（掩码语言建模和图像文本匹配）.尽管它们在许多理解类型的下游任务中表现良好，例如视觉问答、图像文本检索和视觉蕴涵，但它们不具备生成信息的能力.为了解决这个问题，提出了视觉语言理解和生成的统一多模态预训练（unified multimodal pre-training for vision-language understanding and generation，UniVL）.UniVL能够处理理解任务和生成任务，并扩展了现有的预训练范式，同时使用随机掩码和因果掩码，因果掩码即掩盖未来标记的三角形掩码，这样预训练的模型可以具有自回归生成的能力.将几种视觉语言理解任务规范为文本生成任务，并使用基于模版提示的方法对不同的下游任务进行微调.实验表明，在使用同一个模型时，理解任务和生成任务之间存在权衡，而提升这两个任务的可行方法是使用更多的数据.UniVL框架在理解任务和生成任务方面的性能与最近的视觉语言预训练方法相当.此外，实验还证明了基于模版提示的生成方法更有效，甚至在少数场景中它优于判别方法.

来源：2023年第5期

《软件学报》期刊编辑部

查看软件学报杂志2023年第5期