AI在线 AI在线

Anthropic CEO:AI 模型的 “幻觉” 率低于人类

在最近于旧金山举行的 “与克劳德一起编程” 开发者活动中,Anthropic CEO 达里奥・阿莫迪(Dario Amodei)表示,当前的 AI 模型在 “幻觉” 或制造虚假信息方面,其发生频率低于人类。 他的这一观点引起了广泛关注,并且是在他讨论 AI 朝着人类水平智能(AGI)发展的过程中提出的。 阿莫迪表示,“这实际上取决于我们如何衡量。

在最近于旧金山举行的 “与克劳德一起编程” 开发者活动中,Anthropic CEO 达里奥・阿莫迪(Dario Amodei)表示,当前的 AI 模型在 “幻觉” 或制造虚假信息方面,其发生频率低于人类。他的这一观点引起了广泛关注,并且是在他讨论 AI 朝着人类水平智能(AGI)发展的过程中提出的。

Anthropic、克劳德

阿莫迪表示,“这实际上取决于我们如何衡量。但我怀疑 AI 模型的幻觉发生率可能低于人类,不过它们的幻觉方式更让人惊讶。” 他在简报中强调,尽管许多 AI 领导者认为幻觉是实现 AGI 的一大障碍,但他认为这些问题并不是 AI 发展的瓶颈。

他进一步指出,AI 技术正在不断进步,并表示 “水位正在普遍上升”。这表明他对 AI 模型实现 AGI 的前景持乐观态度。他曾在去年一篇广为流传的论文中提到,AGI 可能在2026年到来。

尽管阿莫迪持积极态度,但并非所有行业领袖都赞同这一观点。谷歌深度学习(Google DeepMind)CEO 德米斯・哈萨比斯(Demis Hassabis)就曾表示,当前的 AI 模型存在太多 “漏洞”,在一些显而易见的问题上容易出错。例如,Anthropic 的一名律师曾在法庭上因使用 Claude 模型生成引用而道歉,因为 AI 错误地生成了名字和职称。

验证阿莫迪的说法并不容易,因为大多数幻觉评估是将 AI 模型彼此对比,而非与人类对比。尽管一些技术似乎有助于降低幻觉发生率,例如让 AI 模型访问网络搜索,但也有证据表明,某些先进推理模型的幻觉率可能在上升。

阿莫迪在简报中提到,电视播音员、政治家以及各类职业的人们经常会犯错误,AI 出现错误并不意味着它的智能水平低下。不过,他也承认,AI 模型在呈现虚假信息时的自信程度可能会导致问题。Anthropic 曾对 AI 模型的欺骗倾向进行研究,尤其是在其新推出的 Claude Opus4中,该模型在早期版本中表现出较强的欺骗能力。对此,Anthropic 采取了一些措施来应对这些问题。

阿莫迪的言论表明,Anthropic 可能认为,即使 AI 模型依然存在幻觉,它仍然可以被视为具有人类水平智能的 AGI。不过,许多人可能对此有不同的看法。

划重点:

🌟 Anthropic  CEO 阿莫迪认为当前 AI 模型的幻觉发生率低于人类。  

🛠️ 他表示,AI 技术的进步不会因幻觉问题而受到阻碍。  

⚖️ 尽管 AI 存在幻觉问题,但他认为这并不影响其智能水平的评估。  

相关资讯

微软正努力治疗 AI 幻觉,以技术手段实时屏蔽和重写毫无根据的信息

就在 GPT-4 因征服标准化测试而登上头条时,微软研究人员正在对其他 AI 模型进行一种非常另类的测试 —— 一种旨在让模型捏造信息的测试。为了治好这种被称为“AI 幻觉”的症状,他们设定了一个会让大多数人头疼的文本检索任务,然后跟踪并改进模型响应,这也是微软在测定、检测和缓解 AI 幻觉方面的一个例子。微软 AI 负责项目的首席产品官 Sarah Bird 表示,“微软希望其所有 AI 系统都是值得信赖且可以有效使用的”。我们可以向这个领域投入许多专家和资源,因此我们认为自己可以帮助阐明“应该如何负责任地使用新
6/21/2024 10:37:35 PM
问舟

13 项测试仅通过 4 项,Meta 的 Llama 2 LLM 被指安全性低:幻觉率 48%

AI 安全公司 DeepKeep 近日发布评估报告,在 13 个风险评估类别中,Meta 公司的 Llama 2 大语言模型仅通过 4 项测试。报告称 70 亿参数的 Llama 2 7B 模型幻觉(回答内容存在虚假,或者有误导性内容)最为严重,幻觉率高达 48%。DeepKeep 表示:“结果表明,模型有明显的幻觉倾向,提供正确答案或编造回答的可能性对半开,而幻觉率最高,那么向用户传递的错误信息越多”。除了幻觉问题之外,Llama 2 大语言模型还存在注入和操纵等问题。根据测试结果,80% 的场景下通过“提示注入
4/18/2024 11:35:39 AM
故渊

周鸿祎谈AI幻觉与网络安全:问题不可夸大也不应忽视

在今年全国两会前夕,全国政协委员、360集团创始人周鸿祎就DeepSeek大模型及AI安全问题发表看法,强调正确认识AI安全,既不可夸大也不应忽视。 周鸿祎指出,当前AI安全议题需警惕被夸大的趋势。 他批评以OpenAI为代表的美国五大AI公司倾向于通过渲染AI不安全来为其垄断和闭源策略辩护,借此推动政府加强监管,阻挠后来者追赶。
3/4/2025 12:00:28 PM
AI在线
  • 1