香港科技大学（港科大）研究团队成功开发一套创新的人工智能（AI）“通用—专科协作”框架（Generalist–Specialist Collaboration, GSCo），实现了医学通用基础模型和专科模型在疾病诊断任务的高效协作。研究结果显示，GSCo在医学影像诊断、视觉问答及放射报告生成等多项任务的表现，均比单独运作的通用或专科模型显著优胜；同时，该框架能大幅降低训练医学模型，以适配全新临床任务的研发成本。此项成果有望加速医学基础模型应用在日常临床工作。研究成果已于国际顶尖期刊《自然—生物医学工程》发表，题为 “透过通用—专才协作实现医学人工智能的通用化”。

这次研究由港科大计算机科学及工程学系与化学及生物工程学系助理教授、医工交叉联合创新中心主任、港科大深港协同创新研究院特聘教授陈浩教授带领的团队，联同哈佛医学院、威尔康奈尔医学院、香港中文大学、香港大学，以及中山大学等合作开展。

以下内容转载自：香港科技大学快讯

港科大计算机科学及工程学系、化学及生物工程学系助理教授、医工交叉联合创新中心主任陈浩教授（中），与论文共同第一作者、计算机科学及工程学系博士生何肃南（左）及聂宇翔（右）联同国际团队，开发了崭新的医学人工智能框架 GSCo 。

医疗AI模型一直面对两难局面。通用基础模型虽然基于庞大的医学语料库进行训练，具备灵活应对多元任务和精准识别影像模态的能力，但在单一疾病诊断上往往不够精准。反观专科模型，虽然提供精准的临床推理和专业诊断，但因过于专门，一旦面对新任务或部署于新医院时，便需重新训练。专科模型亦无法与临床医生一同以自然语言进行推理，面对新的医学影像诊断任务时，其准确率会大幅下降。此外，为每项新任务重复训练通用基础模型，运算成本不仅高昂，更受限于病人私隐合规限制，数据不能离开医院。因此，单一使用通用或专科模型，皆难以满足实际临床工作需求。

图为GSCo 框架的构建流程。在构建阶段，团队利用多模态医学语料库来训练开源医学通用模型MedDr，同时建立一组针对下游任务的轻量级专科模型。在协作推论阶段，专科模型提供诊断预测，与视觉上相似的案例对比，再由 MedDr 将这些证据与自身医学知识整合，得出最终诊断结果。

为应对上述挑战，这次跨院校国际团队开发出全新协作式 AI 框架  “GSCo” 。该框架建基于陈浩教授团队开发的开源医学通用模型 MedDr，利用多元医学影像模态和逾200万个样本对MedDr进行深度训练，并同步构建了一组轻量级专科模型，仅需单张消费级显示适配器（GPU）即可完成训练。在双向协作下，专科模型在AI推论过程中负责比对相似的过往病例，并提供诊断预测；MedDr则担当 “核心决策者" 的角色，负责将专科模型提供的证据与自身医学知识整合，从而作出最终诊断结果。

为验证GSCo的表现，研究团队在32个公开数据集、共约260,000张医学影像上进行全面评测，涵盖医学影像诊断、视觉问答及放射报告生成等多项任务。结果显示，MedDr的表现显著优于RadFM、LLaVA-Med及Med-Flamingo等现有医学通用模型，而GSCo在所有内部及外部基准检验中均取得整体排名第一，表现优胜于十个最先进的视觉基础模型。

在一项皮肤病变诊断测试中，团队首先利用HAM10000皮肤镜图像数据集训练专科模型，并透过GSCo框架，将其部署于全新的BCN20000皮肤镜图像数据集进行测试。结果显示，GSCo诊断表现高达0.8420分（满分为1.0），远胜通用模型 MedDr在零样本状态下取得的0.7545分，以及专科模型单独运作时的最佳成绩（0.8292分）。

图为GSCo的两种核心协作机制示意图。进行专家混合诊断（上方）时，轻量级专科模型会在数据集中各自独立训练；推论时，将测试影像输入到专科模型，并以其预测结果为参考。进行检索增强诊断（下方）时，将每一组 “影像—文字配对” 进行编码，并置入医学数据库；推论时，系统会找出最相似案例，提供证据予 MedDr。

在另一项针对胸部X光报告生成的临床人工评估中，七位执业放射科医生中有六位一致认为，GSCo生成的报告质量优于目前最先进的专科模型R2GenGPT。压力测试更进一步证实MedDr的高稳定度，即使故意引入系统性偏差，假设所有病理影像被错误判定为正常时，MedDr仍能正确辨识出67.6%的肿瘤影像。基于此出色纠错能力，GSCo的整体准确度因而得到显著提升。

与微调通用模型相比，调整GSCo以执行全新临床任务的研发成本可大幅降低近100倍。在GSCo框架下开发的专科模型，可在医院内部利用所属机构的数据进行训练；随后只需以匿名形式分享成果，便可确保病人病历毋需离开医院。

论文通讯作者陈浩教授表示：“医学AI通用和专科模型各有所长，而GSCo的核心价值正是让两个独立运作的模型能以‘协作者’身份并肩运作，并由通用模型担任总决策者，将专科模型的专家建议与模型自身广博的医学知识完美整合。团队期望，这一崭新框架能为医学基础模型融入临床工作流程，提供更切实可行的路径，尤其是让AI计算资源有限的环境，也能共享AI医疗成果。”

展望未来，研究团队计划将MedDr进一步扩展至计算机断层扫描、磁力共振成像等三维影像模态及医学影像领域。同时，团队将探索更先进的多模态及基于图结构的检索策略，并研究通用与专科模型之间更多元化的协作形式，例如引入测试时运算，以赋予模型深度思考能力，进一步提升诊断结果的准确度。MedDr开源通用模型和GSCo框架已公开发布，以推动全球科研及临床应用。