在追求GenAI带来的生产力提升的过程中，大多数企业都忽视了这样做可能带来的安全影响，转而倾向于寄希望于具有变革性的创新，而非采用可靠的安全实践。
根据世界经济论坛与埃森哲合作进行的一项研究，63%的企业在部署AI工具之前未能评估其安全性，从而给企业带来了一系列风险。
这既包括现成的AI解决方案，也包括与软件开发团队合作创建的内部实现。根据Tricentis的2025年质量转型报告，这些团队绝大多数(45%)专注于提高交付速度，而非增强软件质量(13%)，尽管有三分之一(32%)的受访者承认，质量低劣的软件很可能导致更频繁的安全漏洞或合规失败。
而且，这些漏洞和失败确实越来越频繁。思科最新发布的《网络安全准备指数》于5月7日公布，该指数显示，86%的企业在过去一年中经历过与AI相关的安全事件，不到一半(45%)的企业认为其内部资源和专业知识足以进行全面的AI安全评估。
最常见的被忽视的AI安全风险
专家们表示，未能充分测试AI系统就进行部署，会使企业面临一系列与传统软件风险显著不同的漏洞。以下是一些最常见的风险：
数据泄露
AI系统经常处理大量敏感信息，如果没有进行严格的测试，企业可能会忽视这些数据泄露的容易程度，无论是通过不安全的存储、过于慷慨的API响应，还是糟糕的访问控制。
“许多AI系统在推理过程中会摄入用户数据，或为保持会话持久性而存储上下文，”AI安全测试供应商Mindgard的CEO兼联合创始人Peter Garraghan博士说，“如果数据处理未经过审计，就有很高的数据泄露风险，这些风险可能通过模型输出、日志泄露或微调数据集的滥用而发生，这些风险会因大型语言模型(LLM)的内存功能或流式输出模式而加剧。”
模型级漏洞
这些漏洞包括提示注入、越狱和对抗性提示链。如果没有严格的测试，模型可能会被操纵以绕过输出约束、泄露敏感数据或执行非预期任务。
“这些攻击往往利用模型对齐机制的缺陷或其对标记级推理的依赖。”英国兰卡斯特大学的讲师Garraghan解释道。
模型完整性和对抗性攻击
如果没有对对抗性操纵或中毒训练数据进行测试，攻击者很容易影响AI模型的行为，尤其是当该模型被用于支持业务决策或自动化敏感任务时。
全球网络安全咨询公司CyXcel的首席运营官Jano Bermudes说：“攻击者可以操纵输入数据来欺骗AI模型，导致其做出错误决策，这包括逃避攻击和数据中毒。”
系统性集成风险
AI模型经常作为更大应用程序管道的一部分进行部署，例如通过API、插件或检索增强生成(RAG)架构。
“在这方面测试不足可能导致模型输入和输出的不安全处理、通过序列化数据格式的注入路径以及托管环境中的权限提升，”Mindgard的Garraghan说，“这些集成点在常规应用程序安全(AppSec)工作流程中经常被忽视。”
访问控制失败
AI工具经常接入更广泛的系统，如果配置不当，可能会给用户或攻击者超出预期的访问权限，这可能包括暴露的API密钥、糟糕的身份验证或日志记录不足，使得滥用行为难以被发现。
运行时安全失败
AI系统在部署期间可能仅在特定输入条件下表现出紧急行为，尤其是在与其他服务交互时。
“逻辑损坏、上下文溢出或输出反射等漏洞通常仅在运行时出现，需要通过操作红队测试或实时流量模拟来检测。”Garraghan说。
合规违规
未能确保AI工具符合监管标准可能导致法律后果。
例如，由于AI工具未经授权的数据处理或未测试的模型行为导致的中断，可能引发监管违规。
更广泛的运营影响
“这些技术漏洞如果不经过测试，并不会孤立存在，”Mindgard的Garraghan说，“它们表现为更广泛的企业风险，超越了工程领域。从运营影响的角度来看，AI安全测试不足的后果直接映射到安全、安全和业务保障的失败。”
合规专家ISMS.online的首席产品官Sam Peters看到了企业因忽视适当的AI安全审查而导致的广泛运营影响。
“当AI系统匆忙投入生产时，我们在三个关键领域反复看到漏洞：模型完整性(包括中毒和逃避攻击)、数据隐私(如训练数据泄露或敏感数据处理不当)和治理差距(从缺乏透明度到访问控制不佳)。”他说。
Peters补充道：“这些问题并非假设;它们已经在现实中被利用。”
针对交付进行测试
急于实施AI给CISO带来了压力，但应用安全测试公司Sparrow的首席运营官James Lei建议CISO应抵制盲目引入的热情，将基本安全实践纳入部署过程。
“为降低这些风险，企业应像测试任何高风险软件一样测试AI工具，运行模拟攻击、检查滥用场景、验证输入输出流程，并确保任何处理的数据都得到适当保护。”他说。
为降低这些风险，企业应实施全面的测试策略，例如：
• 渗透测试：模拟攻击以识别漏洞
• 偏见和公平性审计：确保AI决策公平且无歧视
• 合规性检查：验证是否符合相关法规和标准
通过将安全测试纳入AI开发生命周期，企业可以在利用AI优势的同时防范潜在威胁。
“在部署AI工具之前，企业应针对AI系统进行威胁建模、对抗性输入的红队测试以及模型漂移和数据泄露的严格测试，”ISMS.online的Peters说，“同时，他们应将AI特定控制纳入其风险管理和合规计划。”
Peters补充道：“这就是新的ISO/IEC 42001标准真正发挥作用的地方，它提供了一个负责任地治理AI的框架，包括风险评估、数据处理、安全控制和持续监控的指导。”
其他专家在肯定安全测试必要性的同时，认为在测试AI系统安全性时需要采用不同的方法。
“与常规软件测试不同，你不能仅仅通过查看神经网络的代码来判断其是否安全，”众包安全提供商Intigriti的首席黑客官Inti De Ceukelaire告诉记者，“即使它是在干净、高质量的数据上训练的，仍然可能表现出奇怪的行为，这使得很难知道何时测试已经足够。”
AI工具通常为简单问题提供复杂解决方案，测试人员可能只关注工具应做的事情，而忽略其他可能做的事情。“例如，翻译工具可能被诱骗打开包含恶意代码的PDF文件或访问内部文件并为其翻译以供公司外部人员查看。”De Ceukelaire解释道。
企业应考虑实施专门为AI设计的对抗性测试框架。
“这包括静态模型分析、动态提示模糊测试、集成层攻击模拟和运行时行为监控，”Mindgard的Garraghan说，“这些实践应嵌入AI部署生命周期中，就像DevSecOps实践被集成到软件CI/CD管道中一样。”
