大阪都会大学医学研究生院 Hirotaka Takita 博士和 Daiju Ueda 副教授领导的研究小组近期发布一项系统性回顾和荟萃分析，深入评估了生成式人工智能（AI）在诊断医疗状况方面的表现，并将其与医生进行了对比。
研究团队筛选了总计 18371 项研究，最终确定 83 项进行详细分析。这些研究涉及多种生成式 AI 模型，包括 GPT-4、Llama3 70B、Gemini 1.5 Pro 和 Claude 3 Sonnet 等，覆盖了多个医疗领域。其中，GPT-4 是研究最多的模型。结果显示，这些 AI 模型的平均诊断准确率为 52.1%（95% 置信区间：47.0% - 57.1%）。部分模型的诊断准确率与非专家医生相当，两者之间没有显著统计差异（准确率差异：0.6% [95% 置信区间：-14.5% 至 15.7%]，p=0.93）。然而，专家医生的表现仍优于 AI，其准确率差距为 15.8%（95% 置信区间：4.4% - 27.1%，p=0.007）。尽管如此，随着技术的不断进步，这一差距可能会逐渐缩小。
研究还发现，AI 在大多数医学专科的表现较为一致，但有两个例外：皮肤科和泌尿科。在皮肤科，AI 的表现更为出色，这可能是因为该领域涉及模式识别，而这是 AI 的强项。但皮肤科同样需要复杂的推理和针对患者的决策，因此 AI 的优势并不能完全反映其在该领域的实际应用价值。对于泌尿科，研究结果仅基于一项大型研究，因此其结论的普适性受到一定限制。
“这项研究表明，生成式 AI 的诊断能力与非专家医生相当。它可以用于医学教育，支持非专家医生，并在医疗资源有限的地区协助诊断。”Hirotaka Takita 博士表示，“未来的研究需要在更复杂的临床场景中进行评估，使用实际病历进行性能评估，提高 AI 决策的透明度，并在不同患者群体中进行验证，以进一步证实 AI 的能力。”
AI在线注意到，除了诊断领域，该研究还强调了生成式 AI 在医学教育中的潜力。研究人员指出：“当前生成式 AI 模型在非专家环境下的表现与医生相当，这为将 AI 整合到医学培训中提供了机会。” AI 可以用于模拟真实病例，帮助医学生和受训者学习和评估他们的技能。
然而，研究也对这些模型的透明度和偏见提出了担忧。许多 AI 系统并未公开其训练数据的详细信息，这引发了关于其结果是否适用于所有人群的疑问。研究人员强调，“透明度确保了对模型知识、背景和局限性的理解”，并强调需要开发清晰、符合伦理且经过充分验证的 AI 应用。
目前，尽管生成式 AI 具有巨大潜力，但在涉及详细患者信息的复杂病例中仍面临挑战。医生们是否需要担心失去工作？目前尚难定论，但在诊断领域，这种情况是有可能发生的。
