AI在线 AI在线

主流聊天机器人传播虚假信息风险加剧,研究显示情况堪忧

Newsguard 最近发布了一项研究,显示截至2023年8月,十大生成式 AI 工具在处理实时新闻时,有高达35% 的概率传播虚假信息。 相比去年8月的18%,这一数字几乎翻了一番。 研究指出,这一虚假信息传播率的显著上升与 AI 聊天机器人引入实时网络搜索功能密切相关。

Newsguard 最近发布了一项研究,显示截至2023年8月,十大生成式 AI 工具在处理实时新闻时,有高达35% 的概率传播虚假信息。相比去年8月的18%,这一数字几乎翻了一番。研究指出,这一虚假信息传播率的显著上升与 AI 聊天机器人引入实时网络搜索功能密切相关。随着拒绝回答用户问题的比例从31% 降至0%,AI 开始接入一个充满不实信息的网络生态系统,导致虚假信息的传播现象愈加严重。

机器人 AI 人工智能 AI绘画

图源备注:图片由AI生成,图片授权服务商Midjourney

该研究发现,许多不良行为者利用 AI 的特性故意散布虚假信息。去年,Newsguard 就曾标记出966个以16种语言运营的 AI 生成新闻网站,这些网站通过模仿正规媒体的名称,如 “iBusiness Day”,向公众传播假消息。具体来看,Inflection 公司的 AI 模型传播虚假信息的概率最高,达到了56.67%;而 Perplexity 模型也不容乐观,出错率为46.67%。ChatGPT 和 Meta 的 AI 模型则各自为40%,而 Copilot(微软必应聊天)和 Mistral 的虚假信息传播率为36.67%。表现最好的两款模型是 Claude 和 Gemini,错误率分别为10% 和16.67%。

值得注意的是,Perplexity 的表现大幅下滑,去年8月时该模型对虚假信息的揭穿率达到100%,然而到今年8月,这一概率接近50%。引入网络搜索功能的初衷是解决 AI 回答内容过时的问题,但却引发了新的挑战。这些聊天机器人开始从不可靠的来源获取信息,使得用户在判断事实与假消息时愈发困难。

Newsguard 指出,早期的 AI 通过拒绝回答问题来避免传播虚假信息的风险,但如今网络生态中虚假信息泛滥,辨别真伪愈发复杂。OpenAI 也承认,当前的语言模型总是可能产生 “幻觉内容”,即虚假或无根据的信息。该公司表示正在研发新技术,力图让未来的模型能够更好地提示不确定性,而不是笃定地生成虚假信息。

划重点:

- 📊 研究显示,十大生成式 AI 工具在处理实时新闻时,有35% 的概率传播虚假信息,几乎翻倍。

- 🔍 Inflection 公司的 AI 模型表现最差,传播虚假信息的概率高达56.67%。

- 🤖 OpenAI 承认当前模型可能产生虚假信息,并正致力于研发新技术来应对这一问题。

相关资讯

警惕!抖音打击AI炒股诈骗行为, AI选股工具、AI炒股课程内容成重灾区

近日,抖音安全中心发布公告,表示将持续加强对平台上涉及股票投资的内容监管,致力于营造一个健康的网络环境。 平台鼓励财经和证券专业人士分享真实可靠的股票信息,提倡不造谣、不传谣的良好风气,以共同推动行业的发展。 然而,抖音发现有少数账号在没有相关资质的情况下,借助所谓的 AI 工具,发布虚假信息,吸引用户关注,甚至实施诈骗。
3/10/2025 3:12:00 PM
AI在线

假视频泛滥,Diddy 审判背后的 AI 生成内容赚取百万点击量

最近,社交媒体平台 YouTube 上涌现出一批以 Sean “Diddy” Combs 审判为题材的假视频,这些视频利用 AI 生成的图像和声音,伴随虚假信息,吸引了数千万的观看量。 根据调查,过去12个月内,26个相关频道通过近900个 Diddy 视频累计获得近7000万的点击量。 这些频道采用的策略大致相同,通常使用引人注目的标题和 AI 生成的缩略图,将 Diddy 与其他名人联系起来,制造虚假指控,例如声称某位名人刚刚在审判中作证,或被 Diddy 强迫进行某种行为。
6/30/2025 10:00:59 AM
AI在线

科技巨头AI推广路上的“绊脚石”:谷歌AI概览频出错,商家纷纷反击

一家蒙大拿州的餐厅老板正在恳求顾客们停止使用谷歌的人工智能(AI)概览来查询每日特价,因为该系统不断提供错误信息,导致员工被愤怒的顾客大吼。 据 First Alert4 报道,位于蒙大拿州的 Stefanina's Wentzville 餐厅老板伊娃·甘农(Eva Gannon)表示,谷歌的AI系统经常向顾客推送虚假的优惠,甚至凭空捏造整个菜单项。 例如,该系统曾错误地告诉顾客,餐厅以小份披萨的价格出售大份披萨。
8/25/2025 9:37:03 AM
AI在线
  • 1