近日,国际医学图像计算和计算机辅助干预会议MICCAI 2024 (International Conference on Medical Image Computing and Computer Assisted Intervention, MICCAI)录用结果公布,我院崔少国教授指导的2022级硕士研究生向智鹏撰写的论文《GMoD: Graph-driven Momentum Distillation Framework with Active Perception of Disease Severity for Radiology Report Generation》审稿得分位列前11%,被会议提前接受。这是我院在医学人工智能领域录用的第一篇CCF顶会论文。
该研究面向智慧医疗场景,采用生成式人工智能及多模态机器学习实现了胸部X光片的影像报告自动化智能生成。研究组观察到现有方法使用疾病分类辅助报告生成的多任务学习忽略了疾病严重程度,因此提出了图驱动的动量蒸馏(GMoD)框架来主动引导模型关注疾病严重程度这一重要信息。GMoD框架提出了基于图的主题分类器(Graph-based Topic Classifier, GTC)和动量主题信号蒸馏器(Momentum Topic-Signal Distiller, MTD)两大新型网络模块。具体来说,GTC 模块结合常见肺部疾病和症状构建主题图,在进行多标签分类时关注它们之间的潜在联系。而MTD模块通过构造伪标签来约束模型关注疾病是阴性还是阳性的置信度,然后将图像和多标签分类结果共同输入解码器协助模型感知联合特征,从而生成更准确的报告。
该影像报告智能生成模型的训练分两阶段进行。第一阶段,通过预训练构建疾病和症状特征之间的相似性主题图;第二阶段,在GTC模块中借助图注意力机制,引导模型关注症状和病理特征之间的潜在关系,从而增强模型对医学领域知识的理解。而MTD模块旨在通过创建非独热伪标签来衡量疾病阴性或阳性的程度,从而引导模型学习这些细微差别,而不是将它们硬性分为阴性或阳性两类。
MICCAI是由国际医学图像计算和计算机辅助干预协会举办,跨医学影像计算(MIC)和计算机辅助介入(CAI)两个领域的综合性学术会议,是医学影像分析与医学人智能领域的顶级会议,在中国计算机学会推荐国际学术会议和期刊目录中被认定为B类,在领域内享有广泛的学术声誉。据悉,今年该会收到了前所未有的 2869 份投稿,论文数量增加了 21%,竞争异常激烈。该会议将于2024 年 10 月 6日至10日在摩洛哥马拉喀什召开。