软件学报

作者：杨杨，詹德川，姜远，熊辉

单位：杨杨，南京理工大学 计算机科学与工程学院, 江苏 南京 21009411,詹德川，计算机软件新技术国家重点实验室(南京大学), 江苏 南京 21002302,姜远，计算机软件新技术国家重点实验室(南京大学), 江苏 南京 21002303,熊辉，Rutgers Business School, Newark, NJ 07012, USA04

关键词：不均衡多模态数据;模态表示强弱不一致;模态对齐关联不一致;可靠多模态学习

基金：国家自然科学基金（61673201，62006118，61773198，61632004）；江苏省自然科学基金（BK20200460）；CCF-百度松果基金（CCF-BAIDU OF2020011）；百度TIC项目基金

近年来，多模态学习逐步成为机器学习、数据挖掘领域的研究热点之一，并成功地应用于诸多现实场景中，如跨媒介搜索、多语言处理、辅助信息点击率预估等.传统多模态学习方法通常利用模态间的一致性或互补性设计相应的损失函数或正则化项进行联合训练，进而提升单模态及集成的性能.而在开放环境下，受数据缺失及噪声等因素的影响，多模态数据呈现不均衡性.具体表现为单模态信息不充分或缺失，从而导致“模态表示强弱不一致”“模态对齐关联不一致”两大挑战，而针对不均衡多模态数据直接利用传统的多模态方法甚至会退化单模态和集成的性能.针对这类问题，可靠多模态学习被提出并进行了广泛研究，系统地总结和分析了目前国内外学者针对可靠多模态学习取得的进展，并对未来研究可能面临的挑战进行展望.

来源：2021年第4期

《软件学报》期刊编辑部

查看软件学报杂志2021年第4期