软件学报

作者：陶建华,杨明浩,王志良,班晓娟,解仑,汪云海,曾琼,王飞,王红迁,刘斌,韩志帅,潘航,陈文拯

单位：陶建华，模式识别国家重点实验室(中国科学院 自动化研究所), 北京 10019011,杨明浩，模式识别国家重点实验室(中国科学院 自动化研究所), 北京 10019002,王志良，北京科技大学 计算机与通信工程学院, 北京 10008303,班晓娟，北京科技大学 计算机与通信工程学院, 北京 10008304,解仑，北京科技大学 计算机与通信工程学院, 北京 10008305,汪云海，山东大学 计算机科学与技术学院, 山东 青岛 26623706,曾琼，山东大学 计算机科学与技术学院, 山东 青岛 26623707,王飞，陆军军医大学 重庆西南医院 信息科, 重庆 40003808,王红迁，陆军军医大学 重庆西南医院 信息科, 重庆 40003809,刘斌，模式识别国家重点实验室(中国科学院 自动化研究所), 北京 100190010,韩志帅，北京科技大学 计算机与通信工程学院, 北京 100083011,潘航，北京科技大学 计算机与通信工程学院, 北京 100083012,陈文拯，山东大学 计算机科学与技术学院, 山东 青岛 266237013

关键词：手术室;多模态信息融合;意图理解

基金：国家重点研发计划（2016YFB1001404）；国家自然科学基金（61873269，61831022，61425017，61332017）

无菌和非接触环境是医疗手术室的基本要求，这使得计算机操作室和手术室需要在物理上隔离.同时，因为手术进行中，主治医生如果需要查看病灶图像，通常授意护士或者手术助理到计算机操作室操作病灶图像，由于手术室和计算机操作室间的隔离，以及主治医生和助理间可能存在的意图理解不准确，容易导致护士或者手术助理在手术室和计算机操作室往返多次，这增加了患者手术时间延长、失血增多、脏器暴露时间长等风险，尽量减少手术中定位到病灶图像的时间对于医生和病人都很重要.针对上述需求，借助遮挡环境下的深度图像人体骨架提取、手势跟踪与理解、手术室环境远场语音识别，多模态信息处理与融合技术，构建无菌条件下的非接触式多通道自然交互手术环境.该环境使得主治医生在手术中可通过语音命令、手势及上述交互方式相结合的方式快速定位到需要观察的病灶成像.在接近真实环境的实验环境中，建立的无菌条件的非接触式多通道自然交互手术环境在保证精度的情况下，可显著缩短病灶图像定位时间.无菌环境智能交互医疗手术室为未来下一代高效的手术提供了技术与方法验证.

来源：2019年第10期

《软件学报》期刊编辑部

查看软件学报杂志2019年第10期