软件学报

作者：李耀仟，李才子，刘瑞强，司伟鑫，金玥明，王平安

单位：李耀仟，中国科学院深圳先进技术研究院, 广东 深圳 51805511,李才子，中国科学院深圳先进技术研究院, 广东 深圳 51805502,刘瑞强，中国科学院深圳先进技术研究院, 广东 深圳 51805503,司伟鑫，中国科学院深圳先进技术研究院, 广东 深圳 51805504,金玥明，Department of Computer Science, University College London, United Kingdom05,王平安，中国科学院深圳先进技术研究院, 广东 深圳 518055;香港中文大学计算机科学与工程学系, 香港 99907706

关键词：视频序列;时空特征;手术器械分割;Transformer;

基金：深圳市基础研究重点项目(JCYJ20200109110208764,JCYJ20200109110420626);国家自然科学基金(U1813204,61802385);广东省自然科学基金(2021A1515012604)

基于内窥镜的微创手术机器人在临床上的应用日益广泛,为医生提供内窥镜视频中精准的手术器械分割信息,对提高医生操作的准确度、改善患者预后有重要意义.现阶段,深度学习框架训练手术器械分割模型需要大量精准标注的术中视频数据,然而视频数据标注成本较高,在一定程度上限制了深度学习在该任务上的应用.目前的半监督方法通过预测与插帧,可以改善稀疏标注视频的时序信息与数据多样性,从而在有限标注数据下提高分割精度,但是这些方法在插帧质量与对连续帧时序特征方面存在一定缺陷.针对此问题,提出了一种带有时空Transformer的半监督分割框架,该方法可以通过高精度插帧与生成伪标签来提高稀疏标注视频数据集的时序一致性与数据多样性,在分割网络bottleneck位置使用Transformer模块,并利用其自我注意力机制,从时间与空间两个角度分析全局上下文信息,增强高级语义特征,改善分割网络对复杂环境的感知能力,克服手术视频中各类干扰从而提高分割效果.提出的半监督时空Transformer网络在仅使用30%带标签数据的情况下,在MICCAI 2017手术器械分割挑战赛数据集上取得了平均DICE为82.42%、平均IoU为72.01%的分割结果,分别超过现有方法7.68%与8.19%,并且优于全监督方法.

来源：2022年第4期

《软件学报》期刊编辑部

查看软件学报杂志2022年第4期