清华首个 AI 病院小镇来了!AI 大夫自退化击败人类专家,数天诊完 1 万名患者

【新智元导读】清华团队竟把病院搬进了 AI 世界!首个 AI 病院小镇 ——Agent Hospital,可以完全仿照医患看病的全流程。更重要的是,AI 大夫可以自主退化,仅用几天的时间医治大约 1 万名患者。斯坦福 AI 小镇曾火遍了全网,25 个智能体生活交友,堪称现实版的「西部世界」。而现在,AI「病院小镇」也来了!最近,来自清华团队的研讨职员开发了一个名为「Agent Hospital」的仿照病院。论文地址:,所有的大夫、护士、患者都是由 LLM 驱动的智能体,可以自主交互。它们仿照了整个诊病看病的过程,包

【新智元导读】清华团队竟把病院搬进了 AI 世界!首个 AI 病院小镇 ——Agent Hospital,可以完全仿照医患看病的全流程。更重要的是,AI 大夫可以自主退化,仅用几天的时间医治大约 1 万名患者。

斯坦福 AI 小镇曾火遍了全网,25 个智能体生活交友,堪称现实版的「西部世界」。

而现在,AI「病院小镇」也来了!

最近,来自清华团队的研讨职员开发了一个名为「Agent Hospital」的仿照病院。

清华首个 AI 病院小镇来了!AI 大夫自退化击败人类专家,数天诊完 1 万名患者

论文地址:https://arxiv.org/pdf/2405.02957

在这个虚拟世界中,所有的大夫、护士、患者都是由 LLM 驱动的智能体,可以自主交互。

它们仿照了整个诊病看病的过程,包括分诊、挂号、咨询、查抄、诊疗、医治、随访等环节。

而在这项研讨中,作者的核心目标是,让 AI 大夫学会在仿照环境中医治疾病,并且能够实现自主退化。

清华首个 AI 病院小镇来了!AI 大夫自退化击败人类专家,数天诊完 1 万名患者

由此,他们开发了一种 MedAgent-Zero 系统,能够让大夫智能体,不断从成功和失败的病例积攒教训。

值得一提的是,AI 大夫可以在几天内完成对 1 万名患者的医治。

而人类大夫需要 2 年的时间,才能达到类似的水平。

清华首个 AI 病院小镇来了!AI 大夫自退化击败人类专家,数天诊完 1 万名患者

另外,退化后的大夫智能体,在涵盖主要呼吸道疾病的 MedQA 数据集子集上,实现高达 93.06% 的最新准确率。

不得不说,AI 退化在虚拟世界中默默退化,真有淘汰人类之势。

有网友表示,「AI 仿照将探索人类根本没有时间,或能力探索的道路」。

清华首个 AI 病院小镇来了!AI 大夫自退化击败人类专家,数天诊完 1 万名患者

想象一下,数千家全自动化病院,将会拯救数百万人的生命。这很快就会到来。

清华首个 AI 病院小镇来了!AI 大夫自退化击败人类专家,数天诊完 1 万名患者

首个 AI 病院小镇登场

其实,智能体,早已成为业界看好的一个领域。

不论是在虚拟世界中的仿照,还是能够解决实际恣意(比如 Devin)的智能体,都将给我们世界带来巨变。

然而,这些多智能体通常用于「社会仿照」,或者「解决问题」。

那么,是否有将这两种能力结合起来的智能体?

也就是说,社会仿照过程能否,提升 LLM 智能体在特定恣意的表现?

受此启发,研讨职员开发了一个几乎涵盖所有医学领域的医治流程的仿照。

清华首个 AI 病院小镇来了!AI 大夫自退化击败人类专家,数天诊完 1 万名患者

清华首个 AI 病院小镇来了!AI 大夫自退化击败人类专家,数天诊完 1 万名患者

如同单机游戏《主题病院》的世界

Agent Hospital 中仿照的环境,主要有两类主体:一是患者,一是调理专业职员。

它们的角色信息,都是由 GPT-3.5 生成,可以无限扩展。

比如,下图中,35 岁患者 Kenneth Morgan 有急性鼻炎,而他的病史是高血压,目前的症状是持续呕吐,有些腹泻、反复发烧、腹痛、头痛,而且颈淋巴结肿大。

再来看 32 岁内科大夫 Elise Martin,具备了出色的沟通能力,以及富有同理心的护理能力。

她主要的职责是,为患有各种急性病和慢性病的成年患者提供诊疗、医治和预防保健服务。

ZhaoLei 是一位擅长解读医学图像的放射科大夫,还有前台接待员 Fatoumata Diawara。

清华首个 AI 病院小镇来了!AI 大夫自退化击败人类专家,数天诊完 1 万名患者

下图中展示的是,Agent Hospital 内有各种问诊室和查抄室,因此需要一系列调理专业智能体工作。

研讨职员设计了,14 名大夫和 4 名护士。

大夫智能体被设计来诊疗疾病并制定详细的医治计划,而护理智能体则专注于分诊,支持日常医治干预。

清华首个 AI 病院小镇来了!AI 大夫自退化击败人类专家,数天诊完 1 万名患者

AI 患者如何看病?

与真实世界看病的流程一样,当患者生病后,就会去病院挂号就诊。

在此期间,它们还会经历一系列阶段,包括查抄、分诊、会诊、诊疗、医治。

患者在拿到医治方案后,LLM 会帮助预测患者的健康状况变化。一旦康复,它便会主动向病院汇报进行随访。

如下是 Kenneth Morgan 前往病院就诊的示意图。

首先是,分诊护士 Katherine Li 对 Morgan 进行了初步的评估,并将他分诊到皮肤科就诊。

随后,Morgan 在病院柜台进行登记,被安排与皮肤科大夫 Robert Thompson 进行会诊。

在完成规定的体检之后,AI 大夫为 Morgan 开出药物医治,并敦促回家休息,同时还要监测病情的改善情况。

清华首个 AI 病院小镇来了!AI 大夫自退化击败人类专家,数天诊完 1 万名患者

AI 大夫自我超退化,无需手动标记数据

在仿照环境中,研讨职员希望训练一个熟练的大夫智能体,来处理诸如诊疗、医治等调理恣意。

传统的方法是,将巨量的医学数据喂给 LLM / 智能体,经过预训练、微调、RAG 之后,以构建强大的医学模型。

最新研讨中,作者提出了一种新策略 —— 在虚拟环境中仿照医患互动,来训练大夫智能体。

在这个过程中,研讨职员没有运用手动标记数据,因此最新系统被命名为 MedAgent-Zero。

清华首个 AI 病院小镇来了!AI 大夫自退化击败人类专家,数天诊完 1 万名患者

这一策略包含了两个重要的模块,即「病历库」和「教训库」。

诊疗成功的案例被整理,并存储在病历库中,作为今后调理干预的参考。

而对于医治失败的情况,AI 大夫有责任反思、分析诊疗不正确的原因,总结出指导原则,作为后续医治过程中的警示。

简言之,MedAgent-Zero 可以让生智能体通过与患者智能体互动。

通过积攒成功案例的记录,和从失败案例中获得教训,退化成更优秀的「大夫」。

整个自我退化流程如下:

1)积攒实例,总结教训;

2)直接向示例库添加正确的响应;

3)总结错误的教训,并重新测试;

4)将成功教训进一步抽象后,纳入教训库;

5)在推理过程中利用两个库检索最相似的内容进行推理。

难得的是,由于训练成本低,效率高,大夫智能体可以轻松应对数十种情况。

比如,智能体可以在短短几天内处理数万个病例,而现实世界的大夫需要几年的时间才能完成。

诊疗呼吸疾病,准确率高达 93.06%

接下来,研讨职员进行了两类实验,来验证 MedAgent-Zero 策略改进的大夫智能体,在病院中的有效性。

一方面,在虚拟病院内,作者们进行了从 100-10000 个智能体的交互实验(人类大夫一周可能会医治约 100 名病人),涵盖了 8 种不同的呼吸疾病、十几种调理查抄,以及每种疾病的三种不同医治方案。

通过 MedAgent-Zero 策略训练的大夫智能体,在处理仿照病人的过程中不断自我退化,最终在查抄、诊疗和医治恣意中的准确率分别达到了 88%、95.6% 和 77.6%。

随着样本的不断扩增,MedAgent-Zero 的训练功能,在达到一定量时趋于平稳。

清华首个 AI 病院小镇来了!AI 大夫自退化击败人类专家,数天诊完 1 万名患者

在查抄、诊疗、医治三个恣意方面上的功能,MedAgent-Zero 也随着样本增加,不断波动,但整体准确性呈现出上升趋势。

再看如下三张图,分别展示了不同疾病的查抄精度、诊疗精确度、以及医治精度,随着样本的增加,也在平稳攀升。

清华首个 AI 病院小镇来了!AI 大夫自退化击败人类专家,数天诊完 1 万名患者

另一方面,研讨者让退化后的大夫智能体,参加了对 MedQA 数据集子集的评估。

令人惊讶的是,即使没有任何手动标注的数据,大夫智能体在 Agent Hospital 中退化后,也实现了最先进的功能。

在教训积攒上,图 11、图 12 和图 13 分别显示了,查抄、诊疗和医治恣意中,经过验证教训和错误答案的积攒。

当训练样本增加时,教训数和错误答案数都缓慢增加。

如图所示,教训曲线低于错误答案曲线,原因是智能体无法反映所有失败的教训。此外,诊疗教训比其他恣意更容易积攒。

清华首个 AI 病院小镇来了!AI 大夫自退化击败人类专家,数天诊完 1 万名患者

一起来看个案例研讨。

下表中说明了,教训库、病理库和 MedAgent-Zero,在患者诊疗中的三个恣意上的功能。

清华首个 AI 病院小镇来了!AI 大夫自退化击败人类专家,数天诊完 1 万名患者

在得知病人症状之后,AI 大夫不仅需要运用病历库,同时还需要教训库,也就是相辅相成。

若是少了其中的一方,便会导致诊疗准确性的下降。

如下,通过添加教训和记录,MedAgent-Zero 针对所有 3 个恣意都给出了正确的回答。

清华首个 AI 病院小镇来了!AI 大夫自退化击败人类专家,数天诊完 1 万名患者

以上结果表明,仿照环境可以有效地帮助 LLM 智能体在处理特定恣意时完成退化。

MedAgent-Zero 在运用 GPT-3.5 时,比 SOTA 方法 Medprompt 高出 2.78%,在运用 GPT-4 时比 SOTA 方法 MedAgents 高出 1.39%。

这一结果验证了新模型有助于,在没有任何 MedQA 训练样本的情况下,仅运用仿照文档和调理文档进行智能体退化,从而有效提高大夫智能体的调理能力。

其次,基于 GPT-4 的 MedAgent-Zero 的最佳功能为 93.06%,优于 MedQA 数据集中的人类专家(约 87%)。

第三,基于 GPT-4 的大夫智能体比基于 GPT-3.5 的任何其他方法都表现得更出色,这表明 GPT-4 在调理领域更强大。

清华首个 AI 病院小镇来了!AI 大夫自退化击败人类专家,数天诊完 1 万名患者

另外,在对 MedAgent-Zero 进行的消融研讨中,

同时利用「病历库」和「教训库」的 MedAgent-Zero 取得了最佳功能,表明这两个模块对诊疗的帮助。

清华首个 AI 病院小镇来了!AI 大夫自退化击败人类专家,数天诊完 1 万名患者

随着病例的积攒和教训库的扩大,大夫智能体准确率总体上越来越高。

无论是运用 GPT-3.5 还是 GPT-4,运用 8000 个病例积攒的教训库,其功能都高于运用 2000/4000/6000 个病例的功能。

不过,教训库越大并不总是越好,因为研讨者还发现在 2,000-4,000 个案例之间有明显的下降。

清华首个 AI 病院小镇来了!AI 大夫自退化击败人类专家,数天诊完 1 万名患者

局限性

最后,研讨职员还提到了这项研讨的局限性。

– 只采用 GPT-3.5 作为 Agent Hospital 和评估的仿照器

– 由于智能体之间的交互及其演化涉及 API 调用,AI 病院的运作效率受到 LLM 生成的限制

– 每个患者的健康记录和查抄结果,是在没有领域知识的情况下,仿照真实的电子健康记录生成的,但仍与现实世界的记录仍存在一些差异。

在未来,研讨者们对 Agent Hospital 的计划将会包括:

第一,扩大规模覆盖的疾病范围,延伸到更多的调理科室,旨在反映真实病院提供的全面服务,以供进一步研讨。

第二,在加强智能体社会仿照方面,比如纳入调理专业职员的全面晋升制度、随时间改变疾病的分布、纳入病人的历史病历等。

第三,优化基础 LLM 的选择和实施,旨在通过利用功能强大的开源模型,更高效地执行整个仿照过程。

参考资料:

https://x.com/emollick/status/1787896361276571660

本文来自微信公众号:新智元 (ID:AI_era)

给TA打赏
共{{data.count}}人
人已打赏
AI

阿里云通义千问 2.5 大模型发布,号称“多项才智赶超 GPT-4”

2024-5-9 11:18:49

AI

程序员问答平台 Stack Overflow 将用户孝敬实质喂给 AI,引发争议

2024-5-9 15:35:10

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
有新私信 私信列表
搜索