AI在线 AI在线

幻觉

多阶段的多模态RAG幻觉缓解方案：智能眼镜等实时交互场景比赛方案-MM-RAG

多阶段的多模态RAG幻觉缓解方案：智能眼镜等实时交互场景比赛方案-MM-RAG
VLMs 在多模态推理中虽表现强大，但在处理特定场景时易产生 “幻觉”，如：复杂场景适配问题：面对第一视角图像（如智能眼镜拍摄的实时画面）、长尾实体（罕见物体 / 概念）、多跳推理问题（需多步逻辑推导）时，模型易因知识不足或误判生成错误结论；知识时效性问题：模型依赖内部先验知识，对涉及时效性的内容（如实时事件、动态变化的信息）易输出过时答案。 图片比赛链接：。 该框架通过四个核心阶段的协同运作，实现“减少幻觉”与“保证信息量”的平衡，同时兼顾效率与可靠性。
7/31/2025 5:15:00 AM
llmnlp
Anthropic CEO：AI 模型的 “幻觉” 率低于人类

Anthropic CEO：AI 模型的 “幻觉” 率低于人类
在最近于旧金山举行的 “与克劳德一起编程” 开发者活动中，Anthropic CEO 达里奥・阿莫迪（Dario Amodei）表示，当前的 AI 模型在 “幻觉” 或制造虚假信息方面，其发生频率低于人类。 他的这一观点引起了广泛关注，并且是在他讨论 AI 朝着人类水平智能(AGI)发展的过程中提出的。 阿莫迪表示，“这实际上取决于我们如何衡量。
5/23/2025 10:01:00 AM
AI在线
告别AI“幻觉”？Vectara推出守护代理，声称能精准“纠错”

告别AI“幻觉”？Vectara推出守护代理，声称能精准“纠错”
人工智能（AI）在企业中的应用日益广泛，但其固有的“幻觉”风险——即生成不真实或无根据的信息——一直是阻碍大规模部署的关键挑战。 尽管行业内涌现了众多旨在减少幻觉的技术和方法，如检索增强生成(RAG)、数据质量提升、护栏机制以及推理验证等，但效果往往有限。 近日，一家名为Vectara的公司推出了一种全新的解决方案:“Vectara 幻觉矫正器”，旨在通过监护代理自动识别、解释和纠正AI产生的幻觉，为企业级AI应用带来新的希望。
5/14/2025 9:01:02 AM
AI在线
周鸿祎谈AI幻觉与网络安全:问题不可夸大也不应忽视

周鸿祎谈AI幻觉与网络安全:问题不可夸大也不应忽视
在今年全国两会前夕，全国政协委员、360集团创始人周鸿祎就DeepSeek大模型及AI安全问题发表看法，强调正确认识AI安全，既不可夸大也不应忽视。 周鸿祎指出，当前AI安全议题需警惕被夸大的趋势。 他批评以OpenAI为代表的美国五大AI公司倾向于通过渲染AI不安全来为其垄断和闭源策略辩护，借此推动政府加强监管，阻挠后来者追赶。
3/4/2025 12:00:28 PM
AI在线
OpenAI 语音转写工具 Whisper 被曝存在重大缺陷：会凭空生成大段虚假内容

OpenAI 语音转写工具 Whisper 被曝存在重大缺陷：会凭空生成大段虚假内容
当地时间 27 日，据美联社报道，超过十位软件工程师、开发人员和学术研究人员称，OpenAI 的语音转写工具 Whisper 存在一个重大缺陷：有时会凭空生成大段甚至整句虚假内容。 这些专家指出，这些生成的文本（AI在线注：业内通常称为“AI 幻觉”）可能涉及种族言论、暴力措辞，甚至杜撰的医疗建议。 专家们认为，这一问题尤其令人担忧，因为 Whisper 已被广泛应用于全球多个行业，包括用于翻译和转录访谈内容、生成常见消费科技文本及制作视频字幕。
10/28/2024 8:47:58 AM
清源
微软发布新工具，检测和纠正 AI 幻觉内容

微软发布新工具，检测和纠正 AI 幻觉内容
科技媒体 The Decoder 昨日（9 月 24 日）发布博文，报道称微软以预览版的形式，在 Azure AI Content Safety 中推出 Groundedness Detection，用于“纠正” AI 幻觉。AI 幻觉在人工智能领域中，幻觉是由人工智能生成的一种回应，它含有貌似事实的虚假或误导性资讯。该术语源自幻觉的心理学概念，因为它们具有相似的特征。人工智能幻觉的危险之处之一是模型的输出看起来是正确的，而它实际上是错误的。Groundedness Detection微软的 Groundednes
9/25/2024 3:27:54 PM
故渊
聊天机器人胡说八道？牛津研究人员利用语义熵来识破 AI“幻觉”

聊天机器人胡说八道？牛津研究人员利用语义熵来识破 AI“幻觉”
近年来，人工智能蓬勃发展，聊天机器人等应用逐渐普及，人们可以通过简单的指令从这些聊天机器人（例如 ChatGPT）获取信息。然而，这些聊天机器人仍然容易出现“幻觉”问题，即提供错误的答案，有时甚至是危险的信息。图源 Pexels造成“幻觉”的原因之一是训练数据不准确、泛化能力不足以及数据采集过程中的副作用。不过，牛津大学的研究人员另辟蹊径，在最新出版的《自然》杂志上详细介绍了一种他们新开发的方法，用于检测大型语言模型 (LLMs) 的“捏造” (即任意生成的不正确信息) 问题。LLM 通过在训练数据中寻找特定模式来
6/24/2024 8:25:46 AM
远洋
微软正努力治疗 AI 幻觉，以技术手段实时屏蔽和重写毫无根据的信息

微软正努力治疗 AI 幻觉，以技术手段实时屏蔽和重写毫无根据的信息
就在 GPT-4 因征服标准化测试而登上头条时，微软研究人员正在对其他 AI 模型进行一种非常另类的测试 —— 一种旨在让模型捏造信息的测试。为了治好这种被称为“AI 幻觉”的症状，他们设定了一个会让大多数人头疼的文本检索任务，然后跟踪并改进模型响应，这也是微软在测定、检测和缓解 AI 幻觉方面的一个例子。微软 AI 负责项目的首席产品官 Sarah Bird 表示，“微软希望其所有 AI 系统都是值得信赖且可以有效使用的”。我们可以向这个领域投入许多专家和资源，因此我们认为自己可以帮助阐明“应该如何负责任地使用新
6/21/2024 10:37:35 PM
问舟
大模型「幻觉」全无？图神经网络成破解核心，精准预测因果消除「幻觉」

大模型「幻觉」全无？图神经网络成破解核心，精准预测因果消除「幻觉」
【新智元导读】Alembic 首次推出用于企业数据分析和决策支持的无「幻觉」人工智能。原来大模型的「幻觉」，真的可以完全消除！近日，AI 初创公司 Alembic 首次宣布，一种全新 AI 系统完全解决了 LLM 虚假信息生成问题。也就是说，饱受诟病的 LLM 幻觉，被彻底攻破了。联创兼首席执行官 Tomás Puig 在接受 Venture Beat 独家采访时透露，「取得这一关键突破在于，AI 能够在海量企业数据集中，识别随时间变化的因果关系，而不仅仅是相关性」。他接着表示，我们基本上让生成式 AI 免于产生幻
6/17/2024 2:33:44 PM
清源
英国格拉斯哥大学哲学研究人员谈“AI 幻觉”：用“胡说八道”来形容更准确

英国格拉斯哥大学哲学研究人员谈“AI 幻觉”：用“胡说八道”来形容更准确
长期以来，人们常常把大语言模型提供的看似合理但错漏百出的答案称作“AI 幻觉（AI hallucinations）”。然而，来自英国格拉斯哥大学的三名哲学研究人员近期提出了不同的看法 ——“AI 幻觉”这样的描述并不准确。当地时间 6 月 8 日，《伦理与信息技术》杂志刊登了三名研究人员的论文。这篇论文指出，聊天机器人“胡编乱造”回答的行为不应被称为“幻觉”，用“胡说八道（bullshitting）”一词来描述才更准确。研究人员指出，学习过心理学或使用过迷幻类药物的人都知道，“幻觉”通常被定义为看到、感知到不存在的
6/12/2024 10:16:59 AM
清源
13 项测试仅通过 4 项，Meta 的 Llama 2 LLM 被指安全性低：幻觉率 48%

13 项测试仅通过 4 项，Meta 的 Llama 2 LLM 被指安全性低：幻觉率 48%
AI 安全公司 DeepKeep 近日发布评估报告，在 13 个风险评估类别中，Meta 公司的 Llama 2 大语言模型仅通过 4 项测试。报告称 70 亿参数的 Llama 2 7B 模型幻觉（回答内容存在虚假，或者有误导性内容）最为严重，幻觉率高达 48%。DeepKeep 表示：“结果表明，模型有明显的幻觉倾向，提供正确答案或编造回答的可能性对半开，而幻觉率最高，那么向用户传递的错误信息越多”。除了幻觉问题之外，Llama 2 大语言模型还存在注入和操纵等问题。根据测试结果，80% 的场景下通过“提示注入
4/18/2024 11:35:39 AM
故渊
  • 1