软件学报

作者：吴克伟，高涛，谢昭，郭文斌

单位：吴克伟，大数据知识工程教育部重点实验室(合肥工业大学), 安徽 合肥 230601;情感计算与先进智能机器安徽省重点实验室(合肥工业大学), 安徽 合肥 230601;合肥工业大学 计算机与信息学院, 安徽 合肥 23060111,高涛，大数据知识工程教育部重点实验室(合肥工业大学), 安徽 合肥 230601;情感计算与先进智能机器安徽省重点实验室(合肥工业大学), 安徽 合肥 230601;合肥工业大学 计算机与信息学院, 安徽 合肥 23060102,谢昭，大数据知识工程教育部重点实验室(合肥工业大学), 安徽 合肥 230601;情感计算与先进智能机器安徽省重点实验室(合肥工业大学), 安徽 合肥 230601;合肥工业大学 计算机与信息学院, 安徽 合肥 23060103,郭文斌，大数据知识工程教育部重点实验室(合肥工业大学), 安徽 合肥 230601;情感计算与先进智能机器安徽省重点实验室(合肥工业大学), 安徽 合肥 230601;合肥工业大学 计算机与信息学院, 安徽 合肥 23060104

关键词：行为识别;时间模式;Grenander时间图模型;深度模型;动态时间规划

基金：国家重点研发计划(2017YFB1002203); 国家自然科学基金(61503111); 安徽省自然科学基金(1808085MF168); 中央高校基本科研业务费专项资金(PA2020GDSK0059)

针对现有基于视频整体时间结构建模的行为识别方法中, 存在的时间噪声信息和歧义信息干扰现象, 从而引起行为类别识别错误的问题, 提出一种新型的Grenander推理优化下时间图模型(temporal graph model with Grenander inference, TGM-GI). 首先, 构建3D CNN-LSTM模块, 其中3D CNN用于行为的动态特征提取, LSTM模块用于该特征的时间依赖关系优化. 其次, 在深度模块基础上, 利用Grenander理论构建了行为识别的时间图模型, 并设计了两个模块分别处理慢行为时间冗余和异常行为干扰问题, 实现了时间噪声抑制下的时间结构提议. 随后, 设计融合特征约束和语义约束的Grenander测度, 并提出一种时序增量形式的Viterbi算法, 修正了行为时间模式中的歧义信息. 最后, 采用基于动态时间规划的模式匹配方法, 完成了基于时间模式的行为识别任务. 在UCF101和Olympic Sports两个公认数据集上, 与现有多种基于深度学习的行为识别方法进行比较, 该方法获得了最好的行为识别正确率. 该方法优于基准的3D CNN-LSTM方法, 在UCF101数据集上识别精度提高6.41%, 在 Olympic Sports数据集上识别精度提高5.67%.

来源：2022年第5期

《软件学报》期刊编辑部

查看软件学报杂志2022年第5期