AI在线 AI在线

乌镇峰会重磅发布!360首发《大模型安全白皮书》,首提“全链路AI安全防线”应对智能时代新威胁

当大模型加速涌入金融、政务、能源等关键领域,其“越智能,越危险”的安全悖论正引发行业警觉。 在2025年世界互联网大会乌镇峰会上,360数字安全集团正式发布国内首份《大模型安全白皮书》,系统性揭示大模型全生命周期中的五大核心风险,并首次提出“外挂式安全 平台原生安全”双轨治理框架,为高危AI时代拉起一道纵深防御屏障。 白皮书指出,大模型的安全威胁已形成跨层级、强耦合的复杂矩阵,涵盖五大维度:基础设施层:算力集群、训练平台遭攻击可能导致模型被投毒或窃取;内容层:生成虚假信息、违规内容或“AI幻觉”引发社会风险;数据与知识库层:训练数据泄露、知识库被污染将动摇模型可信根基;智能体层(Agent):自主决策的AI代理若被操控,可能执行恶意任务;用户端层:提示注入、越权访问等攻击可绕过防护直接操控模型行为。

当大模型加速涌入金融、政务、能源等关键领域,其“越智能,越危险”的安全悖论正引发行业警觉。在2025年世界互联网大会乌镇峰会上,360数字安全集团正式发布国内首份《大模型安全白皮书》,系统性揭示大模型全生命周期中的五大核心风险,并首次提出“外挂式安全 + 平台原生安全”双轨治理框架,为高危AI时代拉起一道纵深防御屏障。

白皮书指出,大模型的安全威胁已形成跨层级、强耦合的复杂矩阵,涵盖五大维度:

基础设施层:算力集群、训练平台遭攻击可能导致模型被投毒或窃取;

内容层:生成虚假信息、违规内容或“AI幻觉”引发社会风险;

数据与知识库层:训练数据泄露、知识库被污染将动摇模型可信根基;

智能体层(Agent):自主决策的AI代理若被操控,可能执行恶意任务;

用户端层:提示注入、越权访问等攻击可绕过防护直接操控模型行为。

面对这一多维威胁,360提出双轨并行的安全策略:

“外挂式安全”:在模型外部部署监测、过滤与审计系统,如内容合规网关、异常行为检测;

“平台原生安全”:将安全能力内嵌至大模型研发、训练、部署、推理各环节,实现“安全即代码”。

基于该理念,360已构建覆盖数据脱敏、模型加固、内容过滤、Agent行为审计、API防护、红蓝对抗、安全合规等七大核心能力的全链路解决方案,并在金融、制造、政务等多个行业落地实践。

360强调,单靠企业防护远远不够。未来将联合产学研各方,推动大模型安全标准制定、威胁情报共享与开源安全工具共建,打造开放、协同、可信的AI安全生态。

AIbase认为,在大模型从“技术秀场”迈向“生产基础设施”的关键节点,360的白皮书不仅是一份风险预警,更是一张AI安全新基建的路线图。当智能成为生产力,安全必须成为底线——这场由360发起的防御战,关乎的不只是技术,更是AI能否被社会真正信任与托付的未来。

相关资讯

MCP 安全“体检” | 基于 AI 驱动的 MCP 安全扫描系统

1、概述Model Context Protocol(MCP)作为 AI 应用生态系统中的关键协议,为大语言模型与外部工具、数据源的集成提供了标准化接口。 随着 MCP 在企业级应用中的快速普及,其安全风险也日益凸显。 构建一套智能化的 MCP 安全扫描系统,不仅是技术发展的必然需求,更是保障 AI 生态安全的重要基础设施。
9/24/2025 10:21:11 AM
火山引擎云安全

应对AI大模型新的安全挑战,OpenAI、蚂蚁集团联合出招

去年年初,ChatGPT引爆了新一轮AI浪潮。 在人们期待大模型能够为各行各业带来颠覆性变革的同时,也不得不承认,大模型创造了新机遇,但也带来了新的安全风险。 比如,基于大模型的高效内容生成特质,黑客的攻击成本和门槛变低,发动更加密集的攻击变得容易,助长黑客行为;基于生成式AI在多种语言和信息整合的优势,伪造一个极其逼真的骗局成本和时间降低,网络钓鱼行为规模范围、实施效率大幅度提升;还有老生常谈的数据泄漏问题,将企业的安全、隐私等置于极大的威胁中。
4/17/2024 8:30:00 PM
晓楠

如何应对 AI“一本正经的胡说八道”?研究人员希望它会承认“我不知道”

当前 AI 的训练数据几乎不包含“我不知道”这样的表述,因此它们天生不会谦逊。Cohen 和 Dobler 通过调整 AI 训练过程,使其在可能出错时,至少一部分情况下会选择回答“我不知道”,从而提高整体准确性。
2/13/2025 7:16:56 AM
清源
  • 1