返回信息流
新闻事件
机器之心
1 个来源

MedGuard:将事实核查嵌入诊疗流程的AI守门人

蚂蚁AI安全实验室与厦门大学联合提出MedGuard,一个基于大语言模型的医疗事实核查与风险识别系统,旨在将医学事实核查嵌入在线诊疗流程。该系统在npj Digital Medicine发表,并在基准评测和临床评价中表现优异,显著提升风险识别能力。

SynthePulse Insight · AI 深度解读会员精读

MedGuard:把医学事实核查嵌入诊疗流程的“守门人”

版本 1 · 1 个来源

蚂蚁AI安全实验室与厦门大学联合提出MedGuard,将医学事实核查嵌入诊疗流程,在医生或AI给出结论前验证关键医学事实,以应对在线问诊中的隐性风险。

  • MedGuard由蚂蚁AI安全实验室与厦门大学联合提出,论文已被npj Digital Medicine接收。
  • 系统基于7B参数构建,在细粒度对话级风险识别任务中达到SOTA,F1相比基线平均提升22.1%。
  • MedGuard采用不确定性驱动核查机制,仅对Low Risk声明触发外部证据检索,控制无效预警。
展开章节目录在线问诊中的隐性风险与MedGuard的定位

在线问诊中的隐性风险与MedGuard的定位

在线问诊中,一句“你的脂肪肝不用担心”可能隐藏着严重风险。报道中提及一位既往弥漫大B细胞淋巴瘤患者,医生根据影像描述将脂肪肝特征误判为“影像高密度”,据此排除了脂肪肝,但关键医学事实与真实影像表现不一致。传统安全方案依赖关键词规则或简单文本分类,对“明显错误”有效,但难以处理需要结合患者全局上下文、临床指南和证据链的边界案例。

MedGuard由蚂蚁AI安全实验室与厦门大学联合提出,论文已被npj Digital Medicine接收。它不是又一个AI问诊系统,而是一层可嵌入医疗服务流程的安全基础设施,在医生给出诊疗意见、AI生成回复、用药方案形成之前,先对关键医学事实进行证据层面的验证。

三大核心挑战与MedGuard的应对框架

研究将在线诊疗中的医学事实核查归纳为三类核心挑战:关键信息被长对话淹没、风险边界难以界定、医学判断结果需要可追溯。MedGuard的思路是将复杂医患交流拆解为可独立验证的原子医学声明,并维护患者全局上下文,提取年龄、性别、既往史、过敏史和当前用药等关键信息,对分散在多轮交流中的语句进行去上下文化重写,补全指代和省略信息,保留否定关系、剂量和时间等关键临床约束。

MedGuard对每条医学声明输出No Risk、Low Risk、High Risk三种状态,其中Low Risk表示当前判断依据不足或语义存在歧义,需要进一步核查。高置信的No Risk与High Risk声明沿快速路径完成初步判断,只有进入不确定区域的声明才触发外部医学证据核查流程。这种不确定性驱动核查机制,使系统将有限资源集中投入最需要复核的边界案例,在降低漏报的同时控制无效预警。

限时免费

继续阅读完整分析

还有 3 节深入分析和完整结论

加载中

可信度边界

本文信息主要来源于机器之心对MedGuard研究的报道,属于二手来源。论文已被npj Digital Medicine接收,但具体评审细节和完整数据未在报道中提供。所有性能数字和临床评价结果均来自研究团队自述,未经独立第三方验证。

主报道

机器之心

主报道来源