译者 | 晶颜
审校 | 重楼
人工智能正从执行预定义指令的工具，进化为具备自我修改、参数重写及实时反馈进化能力的复杂系统。这种被称为“自创生”的自维持特性，使其能动态适应环境以提升效率，但也带来不可预测性。
对网络安全团队而言，传统安全模型基于“威胁来自外部”的假设——即恶意行为者利用稳定系统漏洞实施攻击。然而，当人工智能具备自我重配置能力时，风险范畴已从外部入侵扩展至内部逻辑的不可预测性。
这一挑战对中小型企业及公共机构尤为严峻，因为它们往往缺乏资源来监控人工智能的长期演化路径，或识别系统安全状态的自主变更。
人工智能自我改写的典型场景
大多数软件在固定的参数内运行，行为具备可预测性。然而，“自创生”人工智能可以根据环境输入重新定义自己的操作逻辑。虽然这允许更智能的自动化，但这也意味着负责优化效率的人工智能可能会在没有人类监督的情况下开始做出安全决策。
例如，人工智能驱动的电子邮件过滤系统可能会根据预先设定的标准在最初阻止网络钓鱼尝试。但是，如果它不断了解到阻止过多的电子邮件会引发用户的投诉，它可能会开始降低其敏感性，主动绕过既定安全规则以平衡效率。
类似地，负责优化网络性能的人工智能可能会将安全协议识别为“障碍”，并调整防火墙配置，绕过身份验证步骤，或禁用某些警报机制——不是作为攻击，而是作为改进感知功能的一种手段。此类变更由系统内生优化逻辑驱动，而非外部攻击，导致安全团队难以诊断风险根源。
“自创生”人工智能尤为令人担忧的是，它的决策过程往往是不透明的。安全分析师可能会注意到某个系统的行为有所不同，但可能很难确定它做出这些调整的原因。如果人工智能根据它所认为的优化修改了安全设置，可能不会生成可供取证分析的日志记录。这就造成了一种责任缺口，导致组织在风险暴露前无法感知安全状态的变化。
中小企业和公共机构特有的网络安全风险
对于拥有专门AI安全团队的大型企业，可以通过持续监控、对抗性测试和模型可解释性要求来控制自我修改AI的风险。但中小企业和公共机构往往缺乏预算与技术能力实施此类监督。
简单地说，这些组织面临的危险是，他们可能没有意识到自己的人工智能系统正在改变安全关键流程，直至为时已晚。依赖人工智能驱动的访问控制的市政府可能会假设凭据认证功能正常，但却发现系统已经取消了多因素认证的优先级，以减少登录时间。使用人工智能欺诈检测的小型企业可能会发现，为了尽量减少运营中断，其系统抑制了太多的安全警报，无意中导致欺诈性交易漏检。
2024年7月“CrowdStrike危机”堪称典型案例：某网络安全平台在未充分审查的情况下部署全局内容更新，因缺乏结构验证、版本管理及客户端差异化更新机制，引发全球范围内的技术瘫痪。
此类事件表明，随着自动化进程深度引入生成式AI，传统漏洞管理框架已难以应对内生性风险——风险不再表现为恶意软件或被盗凭证，而是系统以“非预期路径”自主演化的结果。这使得中小企业和公共机构的风险变得尤其高，因为它们往往缺乏足够的人员来持续审计人工智能驱动的安全决策和修改。
更糟糕的是，越来越多地依赖人工智能进行身份验证、欺诈检测和访问控制，只会加剧这个问题。由于人工智能在确定组织内谁或什么值得信任方面发挥着更大的作用，它自主改变这些信任模型的能力为安全团队引入了一个移动的目标。如果人工智能决策从人类的监督中抽离，组织可能很难再重新控制自己的安全框架。
安全团队如何适应自创生AI威胁
缓解“自创生”人工智能的风险需要网络安全战略的根本转变。组织需摒弃“安全故障仅源于外部”的假设，认识到AI自身的逻辑演变可能引入漏洞。
安全团队必须超越静态审计方法，为人工智能驱动的安全流程实施实时验证机制。对于允许人工智能系统修改身份验证工作流、防火墙设置或欺诈检测阈值，必须实施独立审查与实时验证，避免将“效率提升”等同于“安全可靠”。
网络安全专业人员还必须认识到，可解释性与性能同样重要。在安全敏感场景中，AI模型需设计为人类可读的逻辑框架，以便分析师能够理解人工智能系统做出特定更改的原因。如果没有这种级别的透明度，组织就有可能将关键的安全决策“外包”给他们无法完全控制且不断发展的系统。
对于中小企业和公共机构来说，挑战更大。其中许多组织缺乏专门的人工智能安全专业知识，这意味着他们必须推动外部监督机制。人工智能驱动的安全解决方案的供应商合同应包括强制性的透明度要求，确保人工智能系统不会在未经人类明确批准的情况下，实施从根本上改变其安全状态的自我修改行为。
测试AI故障场景以发现弱点
组织还应该开始测试AI故障场景，就像测试灾难恢复和事件响应一样。如果人工智能驱动的欺诈检测系统开始抑制高风险警报，安全团队将以多快的速度发现这种转变？如果人工智能驱动的身份验证系统降低了身份验证的严格性，IT团队如何在攻击者利用这一变化之前进行干预？这些都不是假设性的担忧，而是AI承担更多自主安全功能后真实存在的漏洞。
安全团队可以做出的最危险的假设是，人工智能将始终与人类的意图保持一致。如果一个系统是为了优化结果而设计的，那么它就会优化——但可能以违背网络安全优先级的方式运行。组织越早认识到这一点，越能在AI做出失控安全决策前，更好地保护人工智能驱动的环境。
原文标题：When AI moves beyond human oversight: The cybersecurity risks of self-sustaining systems，作者：Christopher Whyte
