软件学报

作者：王妍，詹雨薇，罗昕，刘萌，许信顺

单位：王妍，山东大学 软件学院, 山东 济南 25010111,詹雨薇，山东大学 软件学院, 山东 济南 25010102,罗昕，山东大学 软件学院, 山东 济南 25010103,刘萌，山东建筑大学 计算机科学与技术学院, 山东 济南 25010104,许信顺，山东大学 软件学院, 山东 济南 25010105

关键词：视频片段检索;自然语言时序定位视频片段;视频理解;深度学习;人工智能

基金：国家自然科学基金（61991411，61872428，62006142，62172256）；山东省重点研发项目（2019JZZY010127）；山东省自然科学基金（ZR2019ZD06，ZR2020QF036）

视频片段检索旨在利用用户给出的自然语言查询语句，在一个长视频中找到最符合语句描述的目标视频片段.视频中包含丰富的视觉、文本、语音信息，如何理解视频中提供的信息，以及查询语句提供的文本信息，并进行跨模态信息的对齐与交互，是视频片段检索任务的核心问题.系统梳理了当前视频片段检索领域中的相关工作，将它们分为两大类：基于排序的方法和基于定位的方法.其中，基于排序的方法又可细分为预设候选片段的方法和有指导地生成候选片段的方法，而基于定位的方法则可分为一次定位的方法和迭代定位的方法.同时对该领域的数据集和评价指标进行了介绍，并对一些模型在多个常用数据集上的性能进行了总结与整理.此外，介绍了该任务的延伸工作，如大规模视频片段检索工作等.最后，对视频片段检索未来的发展方向进行了展望.

来源：2023年第2期

《软件学报》期刊编辑部

查看软件学报杂志2023年第2期