软件学报

作者：丁静，舒祥波，黄捧，姚亚洲，宋砚

单位：丁静，南京理工大学 计算机科学与工程学院, 江苏 南京 21009411,舒祥波，南京理工大学 计算机科学与工程学院, 江苏 南京 21009402,黄捧，南京理工大学 计算机科学与工程学院, 江苏 南京 21009403,姚亚洲，南京理工大学 计算机科学与工程学院, 江苏 南京 21009404,宋砚，南京理工大学 计算机科学与工程学院, 江苏 南京 21009405

关键词：老年人行为识别;图卷积网络;多模态;多粒度

基金：科技创新2030“新一代人工智能”重大项目课题（2018AAA0102001）；国家自然科学基金（62072245，61932020，62102182，61976116）

随着人口老龄化问题日益严重，人们对家庭环境中老年人的安全问题越来越重视.目前，国内外一些研究机构正在试图研究通过家用摄像头对老年人的日常行为进行智能化看护，实现对一些危险行为的预警、报警与报备.为了助推这些技术的产业化，主要研究如何自动识别出老年人的日常行为，如“喝水”“洗手”“读书”“看报”等.通过对老年人的日常行为视频的调研发现，老年人的日常行为语义具有非常明显的细粒度特性，如“喝水”与“吃药”两种行为的语义高度相似，且只有少量的关键帧能准确体现出其类别语义.为了有效解决老年人行为识别问题，提出一种新的多模态多粒度图卷积网络（multimodal and multi-granularity graph convolutional networks，MM-GCN），通过利用图卷积网络分别从人体骨骼点（“点”）和人体骨架（“线”）、关键帧（“面”）和视频提名段（“段”）两种模态对老年人行为进行建模，捕捉“点-线-面-段”这4种颗粒度对象下的语义信息.最后，在目前最大规模的老年人日常行为数据集ETRI-Activity3D （11万+视频段、50+行为类别）上进行老年人行为识别性能评测，相比于当前最好的方法，提出的MM-GCN方法取得了最高的识别性能.此外，为了验证MM-GCN方法对常规人体行为识别任务的鲁棒性能，在业界标准的NTU RGB+D数据集上进行实验，MM-GCN方法也表现出了很不错的性能.

来源：2023年第5期

《软件学报》期刊编辑部

查看软件学报杂志2023年第5期