AI在线 AI在线

警惕AI数据投毒!仅 0.01% 的虚假文本就能增加 AI 有害输出 11.2%

近期,国家安全部发布警告,提醒公众注意人工智能领域的数据污染问题。 随着人工智能技术在社会经济中扮演越来越重要的角色,训练数据的质量显得尤为关键。 国家安全部指出,虚假信息、偏见观点以及其他不良数据正严重影响 AI 的性能,给社会带来了新的安全隐患。

 近期,国家安全部发布警告,提醒公众注意人工智能领域的数据污染问题。随着人工智能技术在社会经济中扮演越来越重要的角色,训练数据的质量显得尤为关键。国家安全部指出,虚假信息、偏见观点以及其他不良数据正严重影响 AI 的性能,给社会带来了新的安全隐患。

黑客,代码,程序员

图源备注:图片由AI生成,图片授权服务商Midjourney

人工智能的核心要素包括算法、算力和数据,其中数据是训练 AI 模型的重要基础。大量高质量的数据能够帮助 AI 更好地学习内在规律,实现智能决策与内容生成。然而,当数据中掺杂了虚假信息时,就会对 AI 模型产生严重的负面影响。研究表明,仅有0.01% 的虚假文本就能导致 AI 系统输出有害内容的概率增加11.2%。即便是0.001% 的虚假文本,也会导致有害输出上升7.2%。

数据污染不仅会影响 AI 模型的准确性和性能,还可能导致一系列现实风险。例如,在金融领域,不法分子可能利用 AI 生成的虚假信息来操纵市场,导致股价异常波动。在公共安全方面,数据污染可能误导舆论,甚至引发社会恐慌。而在医疗健康领域,虚假的数据可能导致错误的诊疗建议,危害患者的生命安全。

为了应对数据污染带来的威胁,国家安全部建议加强源头监管,防止污染数据的产生。依据《网络安全法》《数据安全法》和《个人信息保护法》等法律,建立 AI 数据的分类分级保护制度,确保数据的安全性。同时,还需强化风险评估,保障数据在全生命周期内的安全流通。此外,定期对受污染的数据进行清洗和修复,以构建有效的数据治理框架,从根本上提高 AI 的数据安全能力。

国家安全部的发文提醒我们,面对人工智能快速发展的时代,确保数据的真实与安全是维护社会各领域安全的重要一环。

划重点:

 🔍 仅0.01% 的虚假文本就会导致 AI 有害输出增加11.2%,提醒公众注意数据质量。

⚠️ 数据污染可能在金融、公共安全和医疗等领域引发重大风险,影响社会稳定。

🛡️ 国家安全部呼吁加强数据监管与清洗,确保 AI 技术的健康发展与应用安全。

相关资讯

国家安全部发布警示案例,​科研人员因违规使用 AI 工具泄密

近日,国家安全部在其官方公众号上公布了一些涉及信息泄露的典型案例,特别是关于科研人员和公职人员在使用人工智能工具时的违规行为。 这一系列案例提醒广大工作人员,务必在处理涉密信息时保持高度警惕,避免因一时疏忽而造成严重后果。 图源备注:图片由AI生成,图片授权服务商Midjourney案例中提到的小田,是某涉密单位的工作人员。
7/24/2025 11:22:43 AM
AI在线

国家超算平台发布新一代多模态大模型,推动 AI 智能体发展

国家超算互联网平台最近正式上线了一款名为 “超长文本多模态大模型” 的新技术,旨在加速人工智能智能体的开发。 这一模型是由上海稀宇科技有限公司研发的,主要包括两个版本:MiniMax-Text-01和 MiniMax-VL-01。 这些大模型的推出不仅为技术界带来了新的可能性,也为各行各业的智能化转型提供了支持。
4/16/2025 11:01:34 AM
AI在线

国家超算互联网平台上线MiniMax国产AI大模型,助力AI开源生态与智能交互新发展

中国人工智能产业正在加速迈向全球舞台。 AIbase从社交媒体获悉,国家超算互联网平台已正式上线MiniMax稀宇科技的国产AI大模型,包括MiniMax-Text-01和MiniMax-VL-01,并入驻超算互联网AI开源社区。 与此同时,MiniMax的ChatBot对话服务也同步接入平台,为用户提供高效的智能交互体验。
4/16/2025 2:01:15 PM
AI在线
  • 1