软件学报

作者：赵海全，王续武，李金亮，李直旭，肖仰华

单位：赵海全，复旦大学 计算机科学技术学院, 上海 201203;上海市数据科学重点实验室(复旦大学), 上海 20120311,王续武，复旦大学 计算机科学技术学院, 上海 201203;上海市数据科学重点实验室(复旦大学), 上海 20120302,李金亮，苏州大学 计算机科学与技术学院, 江苏 苏州 21500603,李直旭，复旦大学 计算机科学技术学院, 上海 201203;上海市数据科学重点实验室(复旦大学), 上海 20120304,肖仰华，复旦大学 计算机科学技术学院, 上海 201203;上海市数据科学重点实验室(复旦大学), 上海 20120305

关键词：细粒度;视频实体链接;数据集;大语言模型;对比学习

基金：国家重点研发计划(2020AAA0109302);国家自然科学基金(62072323,62102095);上海市科技创新行动计划(22511105902,22511104700);上海市科技重大专项(2021SHZDZX0103);上海市科学技术委员会资助项目(22511105902)

随着互联网和大数据的飞速发展,数据规模越来越大,种类也越来越多.视频作为其中重要的一种信息方式,随着近期短视频的发展,占比越来越大.如何对这些大规模视频进行理解分析,成为学界关注的热点.实体链接作为一种背景知识补全方式,可以提供丰富的外部知识.视频上的实体链接可以有效地帮助理解视频内容,从而实现对视频内容的分类、检索、推荐等.但是现有的视频链接数据集和方法的粒度过粗,因此提出面向视频的细粒度实体链接,并立足于直播场景,构建了细粒度视频实体链接数据集.此外,依据细粒度视频链接任务的难点,提出利用大模型抽取视频中的实体及其属性,并利用对比学习得到视频和对应实体的更好表示.实验结果表明,该方法能够有效地处理视频上的细粒度实体链接任务.

来源：2024年第3期

《软件学报》期刊编辑部

查看软件学报杂志2024年第3期