近日,我校生命科学学院青年教师刘彦北等人在医学图像领域顶级期刊IEEE Transaction on Medical Imaging(1区,Top,IF=11.037)发表了题为“Structural Attention Graph Neural Network for Diagnosis and Prediction of COVID-19 Severity”的论文,提出了基于图结构注意力网络的COVID-19轻重症诊断预测模型。本研究成果由赢博手机版,赢博手机版(中国)刘彦北老师等人联合天津大学张长青、联影公司石峰、上海科技大学沈定刚等本领域专家和研究生共同完成。
当前基于影像的肺部疾病诊断绝大多数方法都是利用CNN网络进行疾病诊断,但它们往往只是简单地将提取到的感染特征串联起来,忽略了特征之间的相关性以及肺部本身的结构信息。为此,该研究引入了图结构建模方式,利用图结构模拟疾病在肺中传播的路径,并结合肺部感染特征对患者新冠感染进行诊断和严重程度转化时间进行预测。针对患者的CT影像,首先采用VB-Net神经网络提取18个不同肺段的感染特征(磨砂玻璃影的体积、密度、质量等)和整体特征(例如病灶体积相对于所在肺段的占比等)并对其进行量化作为节点的属性,然后以肺段之间的物理结构建立节点的边。该研究算法框架如图所示。
图1. 模型框架
该模型首先构建了肺部结构图,然后采用图注意力网络迭代更新肺段表示。为了区分左右肺不同的感染程度,进一步引入了结构注意力机制。最后,融合患者个人信息等非图像类特征信息,搭建了联合多任务学习的整体框架。在1687例胸部CT扫描图像的实验结果中表明,所设计模型获得了最佳的诊断性能(如ACC为90.4%, AUC为86.86%)和预测结果(如相关系数为0.58)。
刘彦北老师所在的生命科学学院智能信息处理技术与系统团队是天津市重点实验室主要的科研团队之一,带头人为肖志涛教授(重点实验室主任),以国家在医疗健康、生物医药、智能交通、智能制造和高端装备等领域中的需求为导向,着力图像处理与分析、机器学习与大数据分析在医学成像、辅助诊疗、纺织品性能客观评价、工业无损检测等领域的创新发展。近年来,该团队先后承担了包括国家自然科学基金、国防科工局国防基础科研计划重点项目、京津冀基础研究合作项目、天津市科技重大项目等数十项。在国际重要学术刊物发表SCI收录论文200余篇,申请国家专利40余项,获得天津市技术发明二等奖等多种奖项。在“十四五”期间,团队将继续以国家需求为指引,在科学研究、人才培养、国际合作和成果转化等方面作出应有的贡献。
IEEE医学影像汇刊(IEEE Transaction on Medical Imaging)是医学图像领域顶刊,聚焦医学、生物学和影像学。2022年影响因子为11.037。
文章信息:Yanbei Liu, Henan Li, Tao Luo, Changqing Zhang, Zhitao Xiao, Ying Wei, Yaozong Gao, Feng Shi, Fei Shan, Dinggang Shen. Structural Attention Graph Neural Network for Diagnosis and Prediction of COVID-19 Severity. IEEE Transaction on Medical Imaging, 2022. DOI: 10.1109/TMI.2022.3226575 (审稿:生命科学学院 马明 编辑:党委宣传部 胡敏)