软件学报

作者：李信金，王文婕，王凯，脱厚珍，王诗雅，孙伟，谭小慧，田丰

单位：李信金，中国科学院 软件研究所, 北京 100190;中国科学院大学 计算机科学与技术学院, 北京 10140811,王文婕，中国科学院 软件研究所, 北京 100190;中国科学院大学 计算机科学与技术学院, 北京 10140802,王凯，首都师范大学 信息工程学院, 北京 10008903,脱厚珍，首都医科大学附属北京友谊医院 神经内科, 北京 10005004,王诗雅，首都医科大学附属北京友谊医院 神经内科, 北京 10005005,孙伟，中国科学院 软件研究所, 北京 10019006,谭小慧，首都师范大学 信息工程学院, 北京 10008907,田丰，中国科学院 软件研究所, 北京 10019008

关键词：多模态人机交互;步态感知;多模态提示生成;自适应交互式干预

基金：国家重点研发计划 (2024YFB2808801); 国家自然科学基金(62332003, 82371254); 中国科学院软件研究所重大项目(ISCAS-ZD-202401)

帕金森病(Parkinson’s disease, PD)影响着全球近千万的患者, 尚无根治方法, 但循证医学表明基于感官信息提示的训练可以延缓疾病进展. 然而, 目前的研究大多基于单一模态, 且缺乏对于用户的感知与反馈. 为此, 提出了视听协同的多模态步态训练方法, 基于用户步态数据生成并动态调节多模态提示, 进而探究其辅助早期PD康复的可行性. 该方法首先构建了多模态提示生成框架, 通过用户步态数据计算周期和步高参数, 生成视觉与听觉协同的提示; 然后搭建了交互式干预训练系统, 基于用户步态变化动态调整视听提示, 实现了用户感知与多模态提示生成的交互式迭代. 最后, 在临床招募了40名早期PD患者(H&Y分期≤2)进行实验, 与对照组相比视听协同组改善效果最优, 与基线状态相比视听协同组在训练中和训练后步态对称性平均提高20.776% (p=0.0001)和21.157% (p=0.0001), 病患侧步速平均提高33.924% (p=0.0001)和36.433% (p<0.0001). 结果同时表明, 视听协同提示能够更快速、更持久地帮助患者改善步态表现. 所提出的基于步态数据生成多模态提示的训练方法, 为建立量化驱动的精准康复模式提供了新思路, 促进了多模态交互技术在医疗领域的应用与发展.

来源：2026年第5期

《软件学报》期刊编辑部

查看软件学报杂志2026年第5期