软件学报

作者：王雨虹，武港山，王利民

单位：王雨虹，计算机软件新技术国家重点实验室(南京大学), 江苏 南京 21002311,武港山，计算机软件新技术国家重点实验室(南京大学), 江苏 南京 21002302,王利民，计算机软件新技术国家重点实验室(南京大学), 江苏 南京 21002303

关键词：视频分析;时序动作检测;深度长尾学习;半监督学习

基金：科技创新2030—“新一代人工智能”重大项目(2022ZD0160900); 国家自然科学基金(62076119, 61921006)

现实世界中的数据标签分布往往呈现长尾效应, 即少部分类别占据绝大多数样本, 时序动作检测问题也不例外. 现有的时序动作检测方法往往缺乏对少样本类别的关注, 即充分建模样本数量多的头部类别, 而忽视了样本数量少的尾部类别. 对长尾时序动作检测问题进行了系统的定义, 并针对长尾时序动作检测问题, 提出一种基于半监督学习的加权类别重平衡自训练方法, 充分利用现实世界中存在的大规模无标签数据, 来重平衡训练样本中的标签分布, 改善模型对尾部类别的拟合效果. 还针对时序动作检测任务, 提出一种伪标签损失加权方法, 使模型训练更加稳定. 在THUMOS14和HACS Segments数据集上进行实验, 并分别利用THUMOS15数据集和ActivityNet1.3数据集中的视频样本来构成相应的无标签数据集. 此外, 还针对视频审核应用需求, 收集Dance数据集, 包括35个动作类别、6632个有标签视频和13264个无标签视频, 并保留数据分布显著的长尾效应. 使用多种基线模型, 在 THUMOS14、HACS Segments 和 Dance 数据集上进行实验. 实验结果表明, 所提出的加权类别重平衡自训练方法可以提高模型对尾部动作类别的检测效果, 并且能应用于不同的基线时序动作检测模型提升其性能.

来源：2025年第2期

《软件学报》期刊编辑部

查看软件学报杂志2025年第2期