软件学报

作者：何建航，孙郡瑤，刘琼

单位：何建航，华南理工大学 软件学院, 广东 广州 51000611,孙郡瑤，华南理工大学 软件学院, 广东 广州 51000602,刘琼，华南理工大学 软件学院, 广东 广州 51000603

关键词：多人场景3D姿态估计;关键点区域提议;人体上下文;场景上下文;人体绝对深度

基金：广东省自然科学基金(2021A1515011349)；国家自然科学基金(61976094)

深度歧义是单帧图像多人3D姿态估计面临的重要挑战, 提取图像上下文对缓解深度歧义极具潜力. 自顶向下方法大多基于人体检测建模关键点关系, 人体包围框粒度粗背景噪声占比较大, 极易导致关键点偏移或误匹配, 还将影响基于人体尺度因子估计绝对深度的可靠性. 自底向上的方法直接检出图像中的人体关键点再逐一恢复3D人体姿态. 虽然能够显式获取场景上下文, 但在相对深度估计方面处于劣势. 提出新的双分支网络, 自顶向下分支基于关键点区域提议提取人体上下文, 自底向上分支基于三维空间提取场景上下文. 提出带噪声抑制的人体上下文提取方法, 通过建模“关键点区域提议”描述人体目标, 建模姿态关联的动态稀疏关键点关系剔除弱连接减少噪声传播. 提出从鸟瞰视角提取场景上下文的方法, 通过建模图像深度特征并映射鸟瞰平面获得三维空间人体位置布局; 设计人体和场景上下文融合网络预测人体绝对深度. 在公开数据集MuPoTS-3D和Human3.6M上的实验结果表明: 与同类先进模型相比, 所提模型HSC-Pose的相对和绝对3D关键点位置精度至少提高2.2%和0.5%; 平均根关键点位置误差至少降低4.2 mm.

来源：2024年第4期

《软件学报》期刊编辑部

查看软件学报杂志2024年第4期