人工智能的飞速发展正以前所未有的速度改变着各个行业，大型语言模型 ( LLM ) 和代理系统已成为现代工作流程的关键。这种快速部署也暴露出巨大的漏洞，防火墙、EDR 和 SIEM 等传统工具难以应对 AI 特有的威胁，包括自适应威胁模式和隐蔽的即时攻击工程。
除了技术威胁之外，以人为中心的威胁也是现有网络安全问题的核心，利用生成式人工智能 (GPU) 生成的高度个性化网络钓鱼诱饵很容易被检测到。2025 年 Verizon 数据泄露调查报告 (DBIR) 明确指出，60% 的泄露事件涉及人为因素，凸显了安全意识培训 (SAT) 和人力风险管理 (HRM) 在缓解人工智能驱动威胁方面的重要作用。由于安全发展落后于人工智能集成，组织需要重新思考其战略，并通过实施分层防御来应对快速发展的人工智能威胁。
人工智能与传统安全：理解不匹配之处
人工智能系统，尤其是那些具有自适应或代理能力的系统，会动态演进，这与为确定性环境构建的静态传统工具不同。这种不一致性使系统容易受到以人工智能为重点的攻击，例如数据中毒、即时注入、模型窃取和代理颠覆——这些攻击通常能够规避传统防御机制。传统工具难以检测到这些攻击，因为它们不遵循可预测的模式，因此需要更具自适应性、针对人工智能的安全解决方案。
人类的缺陷和行为只会加剧这些弱点；内部攻击、社会工程以及与人工智能系统的不安全交互，使组织容易受到攻击。随着人工智能改变网络安全，传统的安全解决方案必须适应其带来的新挑战。
采用整体方法保障人工智能安全
人工智能的自上而下安全方法可确保人工智能系统在设计时将安全性融入机器学习安全操作 (MLSecOps) 的整个生命周期，从范围界定和训练到部署和持续监控。机密性、完整性和可用性——CIA三角——是理解和应对人工智能系统安全挑战的广泛接受的框架。“机密性”要求对训练数据和模型参数采取强有力的保护措施，以防止泄露或被盗。“完整性”可防止可能操纵模型的对抗性攻击，从而提供可靠的输出。“可用性”可防止可能导致操作停滞的资源耗尽攻击。此外，SAT 和 HRM 应尽早整合，以便政策和教育与人工智能的工作流程保持一致，从而在漏洞出现之前进行预测。
分层防御：融合技术与以人为本的工具
将人工智能特定的安全措施与人类意识相结合，可以通过自适应保护和明智的用户实践，确保企业能够抵御不断演变的威胁。以下是一些企业必须关注的工具：
- 模型扫描（主动检查人工智能是否存在隐藏风险）为人工智能系统提供安全检查。它使用专门的工具自动搜索人工智能本身的隐藏问题，例如偏见、非法或攻击性输出以及敏感数据泄露。一些模型扫描器可以检查人工智能的核心设计和代码，而另一些则通过在运行过程中模拟攻击来主动尝试破坏人工智能。最佳实践是将扫描与红队测试相结合——即由有道德的专家故意尝试入侵或欺骗人工智能，以发现自动化工具可能遗漏的复杂漏洞。
- 特定于人工智能的监控工具会分析输入输出流中是否存在对抗提示或数据中毒尝试等异常情况，从而为威胁情报平台提供见解。
- AI 感知授权机制提供与矢量数据库和非结构化数据的安全交互，防止未经授权的查询和操作。通过实施细粒度的权限、监控访问模式并应用 AI 驱动的身份验证机制，组织可以保护敏感数据集，避免 AI 生态系统中数据泄露、对抗性操纵和基于提示的漏洞利用等风险。
- 模型稳定性分析可以追踪代理AI系统中的行为异常和决策路径的变化。通过实时检查与预期性能的偏差，组织可以进行行为异常检测，追踪AI决策模式的偏差，从而识别对抗性操纵或非预期行为。
- 支持自动化合规性管理的AI防火墙能够标记和阻止违反策略的输入和输出，从而促进符合安全和道德准则。此类系统实时分析AI交互，阻止未经授权的查询、攻击性内容生成和对抗性操作，并增强自动化治理，以维护AI驱动环境中的完整性。
- 人力风险管理通过为员工提供网络钓鱼模拟、基于角色的访问权限以及营造安全至上的文化来缓解内部威胁，从而有效预防与人工智能相关的威胁。安全评估 (SAT) 培训员工如何检测恶意人工智能提示、学习安全的数据处理以及报告异常情况。公司应制定关于人工智能交互的精准政策，确保用户遵守明确的准则。
安全实施人工智能的监管框架
部署有效的 AI 安全框架对于应对即将到来的威胁至关重要。OWASP 十大法学硕士 (LLM) 安全漏洞重点关注关键漏洞，例如提示注入，安全意识培训旨在指导用户如何识别和避免漏洞利用提示。
MITRE ATT&CK 在更广泛的网络安全环境中解决社会工程问题，而 MITRE ATLAS 则专门映射针对人工智能的对抗技术，例如模型规避或数据中毒。
像 NIST 的 AI 风险管理框架这样的 AI 安全框架，融入了人力风险管理，以确保 AI 安全实践与组织政策保持一致。“管理”阶段也以 CIA 基本三要素为蓝本，特别包含员工培训，以确保团队内部都遵守 AI 安全原则。
为了有效使用这些框架，需要跨部门协调。安全人员、数据科学家和人力资源从业人员需要通力合作，制定计划，确保人工智能系统受到保护，同时鼓励以负责任和合乎道德的方式使用它们。
简而言之，以人工智能为中心的工具能够实现实时监控、动态访问控制和自动化策略执行，从而促进有效的人工智能安全。对安全评估测试 (SAT) 项目（例如网络钓鱼模拟、人工智能提示安全培训）和人力资源管理框架的战略性投资，能够培养安全意识文化，从而安全地采用人工智能。随着人工智能系统日益复杂，企业必须不断更新其安全组件，以确保基础设施安全和员工培训始终是重中之重。
