软件学报

作者：马苗,王伯龙,吴琦,武杰,郭敏

单位：马苗，现代教学技术教育部重点实验室(陕西师范大学), 陕西 西安 710062;陕西师范大学 计算机科学学院, 陕西 西安 71011911,王伯龙，陕西师范大学 计算机科学学院, 陕西 西安 71011902,吴琦，School of Computer Science, The University of Adelaide, Adelaide SA5005, Australia03,武杰，陕西师范大学 计算机科学学院, 陕西 西安 71011904,郭敏，陕西师范大学 计算机科学学院, 陕西 西安 71011905

关键词：深度学习;图像描述;视频描述;基准数据集;性能评价

基金：国家自然科学基金（61877038，61801282，61601274）；陕西省自然科学基金（2018JM6068）；中央高校基本科研业务经费（GK201703054，GK201703058）

作为计算机视觉、多媒体、人工智能和自然语言处理等领域的交叉性研究课题，视觉场景描述的研究内容是自动生成一个或多个语句用于描述图像或视频中呈现的视觉场景信息.视觉场景中内容的丰富性和自然语言表达的多样性使得视觉场景描述成为一项充满挑战的任务，综述了现有视觉场景描述方法及其效果评价.首先，论述了视觉场景描述的定义、研究任务及方法分类，简要分析了视觉场景描述与多模态检索、跨模态学习、场景分类、视觉关系检测等相关技术的关系；然后分类讨论视觉场景描述的主要方法、模型及研究进展，归纳日渐增多的基准数据集；接下来，梳理客观评价视觉场景描述效果的主要指标和视觉场景描述技术面临的问题与挑战，最后讨论未来的应用前景.

来源：2019年第4期

《软件学报》期刊编辑部

查看软件学报杂志2019年第4期