AI在线 AI在线

CISO仍未遏制影子AI飙升的数据风险

GenAI带来了诸多益处,但同时也伴随着数据安全风险,这主要通过影子AI的使用和敏感信息的泄露来实现。 在企业中,这些风险正在加剧,因为员工经常使用私人GenAI账户来处理敏感数据。 根据Netskope的一项研究,尽管大多数企业(90%)都提供了官方批准的GenAI应用,甚至更多(98%)的企业为用户提供了包含AI功能的应用,但企业中未经授权的AI服务使用仍在激增。

CISO仍未遏制影子AI飙升的数据风险

GenAI带来了诸多益处,但同时也伴随着数据安全风险,这主要通过影子AI的使用和敏感信息的泄露来实现。

在企业中,这些风险正在加剧,因为员工经常使用私人GenAI账户来处理敏感数据。

根据Netskope的一项研究,尽管大多数企业(90%)都提供了官方批准的GenAI应用,甚至更多(98%)的企业为用户提供了包含AI功能的应用,但企业中未经授权的AI服务使用仍在激增。

在企业中,大多数GenAI的使用(72%)都属于影子IT,即个人使用私人账户访问AI应用,这种形式的私人账户AI使用往往不受安全团队的跟踪,也不受企业安全政策的约束。

Netskope发现,在过去一年中,发送到GenAI应用的数据(包括提示和上传内容)数量增加了30多倍,导致敏感数据暴露量增加,特别是源代码、受监管数据、知识产权和机密信息。

数据量从每月250MB增加到7.7GB,主要以提示和上传的形式存在,尽管这些应用的使用者只是企业用户中的一小部分(4.9%)。

另一项来自Harmonic Security的研究发现,在2024年第四季度,员工向热门大型语言模型(LLM)发出的提示中,有8.5%包含了敏感数据,这些敏感泄露数据中,近一半是客户数据,包括账单信息和认证数据。法律和财务数据占暴露信息的15%,而安全相关数据(如渗透测试结果等)则占令人担忧的7%。

缺乏监督

影子AI是指企业内未经授权使用的AI服务,这些服务不受安全团队的跟踪,也不受政策限制的管理。安全和AI专家表示,几乎每个未能实施AI可接受使用政策的组织都可能因此途径而丢失敏感内部数据。

与影子AI相关的风险包括但不限于数据泄露,以及用户个人数据的合规和监管风险。

KnowBe4的安全意识倡导者James McQuiggan表示:“员工在没有IT监督的情况下使用GenAI工具,经常将敏感数据粘贴到私人账户中,或依赖未经审查的代码建议,这些行为会增加数据泄露、合规违规和软件完整性受损的风险,而用户往往意识不到这些影响。”

全球网络安全公司NCC Group的技术总监David Brauchler表示,影子AI已成为安全领导者必须应对的必然趋势。

“员工发现AI很有用,但如果没有得到批准和认可的方式来利用其能力,企业可能会很快发现敏感数据落入了第三方手中,”Brauchler警告说。“这些数据可能会进入训练数据集,甚至可能通过漏洞和攻击直接暴露给攻击者,这种情况已经发生过多次。”

治理风险

Rapid7的数据和AI副总裁Laura Ellis警告说,影子AI给企业带来了重大的数据治理风险。

“未经授权的AI工具使用可能导致敏感公司甚至客户信息的不经意暴露,从而产生潜在的合规和安全风险,”Ellis警告说。“此外,依赖未经审查的AI输出会增加事实不准确的风险,这可能对品牌信誉和信任产生负面影响。”

其他专家将AI的使用描述为一个监管不善、为所欲为的环境。

全球网络安全供应商Trend Micro的现场首席技术官Bharat Mistry警告说:“数据泄露、知识产权盗窃和监管罚款不是假设,而是使用未经批准的AI的必然结果。”“这些工具中的许多在法律和合规灰色地带运作,完全无视行业特定法规和数据保护法。”

Mistry补充道:“更糟糕的是,IT和安全团队不得不追逐这些影子。随着未经授权的工具在各部门中的使用越来越多,可见性、控制和风险管理都无从谈起。”

行业分析师Bloor Research的专家研究员Cheney Hamilton警告说,GenAI工具正在迅速嵌入工作流程中,但往往缺乏监督——这与影子IT系统更广泛地兴起的发展态势相平行,并在此过程中产生了类似的风险。

“风险不仅仅是技术上的,更是行为上的,”Hamilton说。“员工正在使用GenAI工具来更快地完成工作,但如果没有明确的参数,敏感数据就会以传统安全框架无法捕捉到的方式暴露出来。”

Hamilton补充道:“现在需要的是从反应性控制转向嵌入劳动力政策、工作设计和甚至领导结构的主动性AI治理,因为GenAI不应该仅仅由IT或信息安全部门负责,它还需要来自人力资源、法律和合规部门的跨职能所有权。”

风险缓解

ChatGPT、Google Gemini和GitHub Copilot等工具的广泛采用正在创造一个网络安全治理挑战,而传统的方法和工具则难以应对。

专家指出,安全领导者需要采用明确的AI治理政策、定期对AI系统进行红队测试以识别漏洞,以及全面的员工意识培训等措施来缓解与影子AI相关的风险。

这些措施应包括:

• 实时监控:安全领导者应部署系统来跟踪和管理输入到GenAI(以及AI赋能的SaaS)工具中的数据。

• 批准的AI列表:CISO应确保批准的AI供应商通过合同保护企业的数据隐私,并监控或阻止使用未经批准的AI解决方案。

• 应用计划识别:安全领导者应确保员工使用的是付费计划,或不基于输入数据进行训练的计划。

• 提示级可见性:安全团队需要对共享到这些工具中的数据有完全可见性——仅仅监控使用情况是不够的。

• 敏感数据分类:安全系统必须能够在数据丢失时识别出敏感数据。

• 智能规则执行:CISO应与业务领导者合作,创建批准的工作流程,以塑造各部门或团体如何与GenAI工具互动。

• 用户教育:必须对员工进行有关风险和最佳实践的培训,以负责任地使用AI。

• 制定使用政策:安全领导者必须与业务领导者合作,定义AI的使用方式,包括哪些类别的内部数据可以发送给批准的供应商。应建立明确禁止的使用案例。

一般来说,安全团队应监控组织内部的数据流动,并识别关键风险来源,无论是AI还是其他来源。AI水印可能有助于识别AI生成的内容,但并不能防止敏感信息首先丢失。

数据丢失防护(DLP)可以帮助识别有风险信息的导出,但一些专家认为,该技术作为限制通过GenAI工具泄露信息的手段是有限的。

Mindgard是一家AI安全测试公司,其CEO兼联合创始人Peter Garraghan警告说,GenAI引入了一类新的风险,这些风险超出了传统控制手段(如阻止、DLP和实时指导)的有效管理范围。

“问题在于现代AI系统的复杂性和不透明性,或黑盒性质,”Garraghan解释说。敏感信息可以在AI模型或应用程序中被摄入、转换甚至模糊处理,然后再输出给用户。

Garraghan继续说道:“在这些情况下,标准控制手段在识别底层数据或上下文方面手段有限,这意味着潜在敏感信息可能在不触发任何警报的情况下被外泄。”

为了真正确保GenAI的安全,组织需要一层专为这种新范式构建的保护,这包括能够发现和证明这些漏洞存在的安全测试工具,以及运行时检测AI特定漏洞的能力。

“这些问题只有在模型执行时才会出现,如通过嵌入或编码导致的数据泄露,”Garraghan(同时也是英国兰卡斯特大学的计算机科学教授)补充道。

相关资讯

企业AI数据泄露风险加剧:CISO如何应对?

企业员工正以惊人的速度通过未授权和已授权的GenAI应用泄露敏感企业数据。 堵住这些泄露至关重要,以降低风险暴露。 员工通过GenAI泄露数据正成为企业的噩梦。
2/12/2025 8:00:00 AM
Evan Schuman

AI如何重塑治理、风险与合规战略

随着企业将网络安全纳入治理、风险与合规(GRC)体系,重新审视现有的GRC计划至关重要,以确保GenAI和自主式AI使用量的增加及其带来的风险得到妥善处理,从而让企业能够持续满足监管要求。 “AI是一种极具颠覆性的技术,它并非可以简单归类并定义为‘这就是AI’的事物,”国际信息系统审计与控制协会(ISACA)董事会成员兼澳大利亚证券和投资委员会(ASIC)的CISO杰米·诺顿(Jamie Norton)表示。 AI的风险难以量化,但AI的采用如何扩大和改变企业的风险面,这方面数据可提供线索。
7/21/2025 7:15:00 AM
Rosalyn

为何AI系统在规模化部署前必须植入审计追踪机制

AI服务编排框架为企业提供了多种功能,它们不仅规定了应用程序或智能体如何协同工作,还使管理员能够管理工作流程和智能体,并审计其系统。 随着企业开始扩大其AI服务的规模并将其投入生产,构建一个可管理、可追踪、可审计且健壮的流程管道能够确保其智能体按预期运行。 如果没有这些控制措施,企业可能无法意识到其AI系统中正在发生什么,可能只有在出现问题或未能遵守法规时才发现问题,而那时可能为时已晚。
6/17/2025 7:11:00 AM
Emilia
  • 1