在第22届中国网络安全年会（暨国家网络安全宣传周网络安全协同防御分论坛）上，国内首次针对AI大模型的众测结果揭晓。此次活动由中央网信办网络安全协调局指导，国家计算机网络应急技术处理协调中心主办，吸引了559名白帽子安全专家参与，对15款AI大模型和应用产品进行了全面的安全漏洞测试。
这项测试涵盖了从基础大模型到智能体和模型开发平台等多种产品，旨在从攻击者的角度发掘潜在的安全隐患。结果显示，共发现各类安全漏洞高达281个，其中大模型特有漏洞就有177个，比例超过60%。这说明，AI 大模型在安全性方面面临着传统安全领域之外的许多新兴风险。
测试中揭示的典型漏洞风险包括:部分产品存在严重的输出不当漏洞，信息泄露类漏洞频发，提示注入类漏洞也是一种普遍风险。此外，尽管一些大模型产品已经具备一定的防护能力，但对抗无限制消耗攻击的措施仍需加强。值得注意的是，传统的安全漏洞依然普遍，必须引起足够的重视。
在参与测试的主流大模型产品中，腾讯的混元大模型、百度的文心一言和阿里巴巴的通义 App 等，发现的漏洞相对较少，显示出较高的安全防护水平。这一结果为广大用户和开发者带来了信心。
活动最后，官方提出了四项 AI 大模型安全治理工作要求，强调了未来的防护措施和漏洞管理的重要性，包括加强安全防护、制定漏洞分类标准、鼓励社会白帽力量的参与，以及在 AI 系统全生命周期中融入安全管理。
