AI医生考试高分，实战不及格？Nature Medicine论文显示，AI大模型不能帮助公众作出更好的医疗决策|medicine|医学知识|医生|医疗|护士队伍|考试

撰文丨王聪

编辑丨王多鱼

排版丨水成文

当你感觉的身体不适时，是否考虑过向 AI 咨询医疗建议？

全世界的全球医疗保健提供者正在探索使用大语言模型（LLM）为公众提供医疗建议。如今，LLM 在医学执业考试中几乎能取得满分，然而，考试所考察的是对标准化知识的记忆和理解。LLM 在这方面是“超级优等生”，能快速检索海量信息。但在现实场景中，医疗决策更像是一门艺术，需要整合模糊、不完整甚至矛盾的病人信息（症状、病史、情绪、社会经济因素等），并进行权衡。因此，LLM 强大的考试能力，是否能够转换为在现实医疗场景中的表现，仍有待观察。

此外，华山医院张文宏医生近日在高山书院论坛上明确表示，反对将 AI 系统性地引入医院病历和日常诊疗流程，其担心 AI 可能会削弱年轻医生的临床思维训练与专业判断能力。

2026 年 2 月 9 日，牛津大学的研究人员在国际顶尖医学期刊Nature Medicine上发表了题为：Reliability of LLMs as medical assistants for the general public: a randomized preregistered study 的研究论文。

该研究进行了一项大规模随机对照试验，以测试大语言模型（LLM）作为公众医疗助手的实际效果，结果出人意料——在各种医学考试中表现优异、甚至堪比人类专家的大语言模型，在真实医疗场景中，或许并不能有效帮助公众诊断疾病并做出正确的健康决策。这提示了基于大语言模型的 AI 医生还需要在未来设计中更好地支持真实用户，才能安全用于向公众提供医学建议。

理想丰满——LLM医学知识丰富

近来，人工智能（AI）研究取得的突破有可能通过扩大医疗知识的获取途径、让医疗服务更贴近患者来实现医疗保健的普及化。OpenAI 开发的ChatGPT及谷歌开发的Med-PaLM 2等大语言模型（LLM），在各类医学考试中表现优异，甚至达到人类医学专家的水平。这些成就让人们对于 AI 在医疗领域的应用充满期待，特别是在医疗资源不发达的地区，AI 医生被视为解决医疗资源分布不均的有效手段。

实际上，调查结果也显示，越来越多的人开始向 AI 聊天机器人咨询健康相关问题。然而，在医学考试中获得高分，是否意味着这些 AI 就能在真实医疗场景中发挥作用？

现实骨感——LLM诊断和决策能力有限

在这项最新研究中，研究团队进行了一项开创性试验，以测试大语言模型（LLM）能够帮助公众准确辨别医疗病症（例如普通感冒、贫血或胆结石）并选择一种行动方案（例如呼叫救护车或联系全科医生）。

研究团队招募了 1298 名受试者，他们每人被指派了 10 种不同的医疗情景，并让他们随机使用三个 LLM（GPT-4o、Llama 3 或 Command R+）中的一个，或使用他们的常用资源（例如互联网搜索引擎）作为对照组。

试验结果令人惊讶，在不用人类受试者进行测试时，这些 LLM 能够准确完成上述情景，识别疾病的准确率高达 94.9%，选择行动方案的正确率为 56.3%。然而，当这些人类受试者使用相同的 LLM 时，相关病症的识别正确率低于34.5%，选择行动方案的正确率低于44.2%，这些结果甚至没有超过对照组。