重新思考 AI 的构建与测试

AI 有潜力变革健康与医疗保健，而且进展正在迅速加快。现在的挑战是构建并严格评估 AI 系统，将其临床推理能力的进步转化为有意义的影响。

今天的论文在先前工作的基础上，为这一转变引入了两项基础：序贯诊断基准（SDBench），用于测试逐步诊断推理；以及微软 AI 诊断编排器（MAI-DxO），这是我们在该基准上领先的 AI 系统。

美国医师执照考试（USMLEs）等医学执照考试旨在评估医生的知识——而不是进行临床诊断的现实。在这些考试中，所有信息都会预先给出，并选择一个答案；而在实践中，临床医生必须逐步构建全貌，决定要询问什么、开具哪些检查，以及每项新发现如何改变可能的诊断。此类考试已成为评估健康 AI 性能的常见基准。

这就是我们开发 SDBench 的原因，它通过两组互补的病例评估性能：304 例取自《新英格兰医学杂志》（NEJM）病例汇编的复杂病例，以及一组来自 MIMIC-IV-ED 的更典型的急诊科就诊病例。每个病例都会成为一个交互式病例，AI 模型和/或医生从有限信息开始，并选择下一步请求什么。该基准衡量诊断准确性、所请求的证据以及预估检查成本——同时评估答案和所采取的路径。

我们构建了 MAI-DxO，并在 SDBench 中进行了测试。它不依赖单个模型立即给出答案，而是像一组虚拟医生一样运作：每位虚拟医生提出诊断、选择有用的问题或检查，并对逐渐形成的观点提出质疑。MAI-DxO 在多轮辩论中协调这种交流，随着证据到来更新其评估，并权衡每项检查的可能价值与成本。

我们发现：

在复杂的 NEJM 病例上，MAI-DxO 达到了 83% 的诊断准确性。医生在没有外部参考资源时达到 22%，有外部参考资源时达到 36%，这使得 MAI-DxO 的准确性分别约为其 3.7 倍和 2.3 倍。

在来自 MIMIC-IV-ED 的更典型急诊科病例上，MAI-DxO 达到了 80% 的准确性，而医生为 47%——高出 1.7 倍以上。

当更侧重于成本优化时，MAI-DxO 的性能仍然强劲，同时选择了更具成本效益的检查方案。在 NEJM 病例上，一种配置以不到对比系统一半的成本达到了 81% 的准确性。

在两个数据集上，没有其他人类或 AI 方法比 MAI-DxO 既更准确又成本更低。

当我们使用更新的模型（包括 GPT-5.5）重复评估且不改变编排方法时，这些增益持续存在——并有所改善——表明该方法并不绑定于某一代模型。

我们正在将适用于部分精选 NEJM 病例的 SDBench 开源——包括基准、Gatekeeper、Judge 和成本估算代码——以便研究人员复现评估、测试其他模型，并质疑或扩展这些发现。