AI在线 AI在线

周鸿祎在中国互联网大会警示:大模型降低攻击门槛,人人皆可“注入攻击”

2025中国互联网大会现场报道:在备受瞩目的2025中国互联网大会上,当被问及大模型在落地应用过程中可能存在的风险时,360集团创始人周鸿祎深入剖析了人工智能时代下网络安全面临的全新挑战。 他指出,相较于传统的IT系统漏洞和数据隐私泄露问题,大模型带来的三大安全风险更应引起高度警惕。 核心风险一:大模型的“幻觉”与胡言乱语周鸿祎强调,大模型固有的“幻觉”问题是其最大的风险之一。

2025中国互联网大会现场报道:在备受瞩目的2025中国互联网大会上,当被问及大模型在落地应用过程中可能存在的风险时,360集团创始人周鸿祎深入剖析了人工智能时代下网络安全面临的全新挑战。他指出,相较于传统的IT系统漏洞和数据隐私泄露问题,大模型带来的三大安全风险更应引起高度警惕。

黑客 网络攻击 (1)

核心风险一:大模型的“幻觉”与胡言乱语

周鸿祎强调,大模型固有的“幻觉”问题是其最大的风险之一。他解释说,当大模型遇到不理解的事物时,会一本正经地编造信息。虽然这在娱乐场景中尚可一笑置之,但当大模型及其衍生的智能体开始深入工业生产、制造以及政府办公等关键领域时,这种“出错”将可能导致严重后果。他特别指出,一旦智能体具备了操纵各种工具的能力,其错误判断的危害和影响将成倍放大。

核心风险二:大模型降低攻击门槛,人人皆可“注入攻击”

周鸿祎提出的第二个风险是,大模型极大地降低了网络攻击的门槛。他指出,大模型使得非编程专业人员也能通过简单的自然语言交互来编写程序,这同时也意味着攻击大模型的门槛也随之降低。通过精心构造的指令,攻击者可以诱导大模型泄露企业机密文件,这种现象被称为“注入攻击”。周鸿祎形象地表示,未来甚至一个不具备编程知识的前台员工,都可能因为不满而对公司的大模型和智能体发动攻击。

核心风险三:国家级高级威胁攻击的智能化升级

从更宏观的未来视角来看,周鸿祎指出,大模型将使国家级高级威胁攻击变得更加普遍和复杂。过去,针对我国的网络黑客数量相对较少,但现在,黑客正尝试将自身的能力和经验嵌入大模型,把自己打造成“黑客智能体”。在拥有足够算力支持的情况下,一个黑客可以同时操纵数十甚至数百个智能体,这将彻底颠覆传统的网络攻防格局,使网络安全从“人与人”的对抗,转变为“人与算法、人与机器、人与算力”的对抗,因为机器人数字黑客只需要算力,不需要休息。

360的应对策略:“以算法对抗算法”

面对这些严峻挑战,周鸿祎表示,360已着手采取两项关键措施来应对:

首先,360正在积极打造智能体安全专家。这些专家能够帮助企业在面对攻击时,实现实时检测和实时防御,从而真正做到“以算法对抗算法”。

其次,针对大模型的安全性和易受攻击性,360开发了专门的**“大模型卫士”**。这是一款专业的大模型和智能体,其主要功能是监控发送给大模型的指令,并评估大模型输出内容的合理性和准确性。此外,结合强大的搜索能力和企业知识库,该卫士还能最大限度地降低大模型的“幻觉”问题。

相关资讯

周鸿祎:AI大模型时代,网络攻击门槛降低

在2025中国互联网大会上,360集团创始人周鸿祎针对大模型在实际应用中的潜在风险进行了深刻分析。 他指出,随着人工智能的迅猛发展,网络安全面临着全新的挑战,传统的 IT 系统漏洞和数据隐私泄露问题已经不再是唯一的威胁。 周鸿祎首先提到 “大模型的‘幻觉’问题”,这被认为是最大的安全风险之一。
7/24/2025 9:52:50 AM
AI在线

ECCV 2024 | 让GPT-4图像理解更易出错,全新策略增强VLP模型对抗迁移性

AIxiv专栏是AI在线发布学术、技术内容的栏目。过去数年,AI在线AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:[email protected][email protected]本文作者分别来自南开大学、南洋理工大学和新加坡科技局。第一作者高森森为南开大学大四学生,此工作为其在新加坡科技局实习期间完成,实习导师为本文通讯作者郭青研究员(主页:)。本文的共同第一作者
7/22/2024 11:25:00 AM
机器之心

周鸿祎自称“开源信徒”:宣布将开源 360 智脑 7B 模型,支持 50 万字长文本输入

感谢360 创始人周鸿祎近日透露即将开源 360 智脑 7B(70 亿参数模型),支持 360k(50 万字)长文本输入。周鸿祎表示,前段时间大模型行业卷文本长度,100 万字“很快将是标配”。“我们打算将这个能力开源,大家没必要重复造轮子,定为 360k 主要是为了讨个口彩。”他还自称“开源的信徒”,信奉开源的力量。据介绍,360 智脑长文本能力已入驻大模型产品“360AI 浏览器”。周鸿祎还谈到了小模型的优势:其认为小模型速度快、用户体验也好,单机单卡就能跑,具备更高的性价比。目前,360AI 浏览器已向用户免
3/29/2024 3:27:56 PM
清源
  • 1