作者 | 啄木鸟AI编程安全研究团队
一、AI编程新星Augment:技术突破与行业颠覆
AI编程圈最近来了个“新人”,名为Augment,主打“全栈式AI编程助手”。并在年初以 65.4%的SWE-bench评分登顶AI编程工具榜首。
这预示着今年是AI编程工具极速速进化的一年。
1. 行业与技术的突围
Augment是一家初创公司,在完成B轮融资后,短时间内公司突围估值突破128亿美元。
论技术能力,Augment在SWE-bench Verified 排行榜上,以65.4%的成绩拿下代码质量第一的成就,超越Gemini、OpenAI o1等头部AI产品,不少人都认为这是继GitHub Copilot现象级产品后的又一潜力新星。
这个新产品在行业和技术突破重围后,AI编程工具相关的话题也再次被推至风口浪尖:
- 市面AI编程产品目前发展现状如何?
- AI编程产品能100%信任吗?(毕竟使用过程中涉及到了很多工具),整个使用路径有没有安全风险?
有风险,且当Agent、MCP、A2A等新兴 AI 能力涌现后,AI编程要面对的安全问题变得更为复杂和链路化。本文以 Augment 作为AI编程场景下的典型切入点,细析AI编程现状与其中不得不面对的安全风险。
二、AI编程工具现状:技术红利尚在,新挑战层出不穷
1. AI工具的使用率远超想象
在AI技术重构软件开发的进程中,开发者逐渐“重度依赖”编程助手。根据麦肯锡2024年开发者调查报告显示, 全球超60%的开发者正在使用AI编程工具,其中82%集中在代码编写场景。
——毕竟用AI编写代码,能把工作时间从100分钟压缩至20-30分钟,调试耗时从80分钟降至35-45分钟,谁还会抗拒AI呢?本质上效率的提升会导致生产力方式根本性转变。
这种变革不仅体现在基础编码环节,更渗透至文档生成(耗时降低45-50分钟)、代码库理解(效率提升30.9%)等复杂场景。
2. 当下AI编程痛点
以Augment为首的新一代AI编程工具,正在逐步解决过去的技术挑战。
3. 上下文理解问题
大部分人工智能系统都面临着一个挑战:当你处理包含数千万行代码的大型系统时,你根本无法将所有这些代码作为上下文,传递给当今的大型语言模型,而augment的人工智能模型,能够执行复杂的实时采样,精确识别代码库中合适的子集,使代理能够有效地完成工作。
根据官方介绍,Augment的核心卖点在于它能够理解海量代码库中的上下文,支持 20 万 token 的上下文窗口,这刚好是其他AI编程产品所欠缺的能力。
4. 支持多环境深度集成
Augment支持多种形态下的使用,无论是从VS Code里加载,或者作为IDE拓展使用都不在话下。除外它汇集了 Claude Sonnet 3.7 和 O1 的最佳功能,在 AI 编码能力行业基准Introducing SWE-bench Verified | OpenAI中取得了迄今为止的最高分。
这些优势与竞争对手形成了鲜明对比,一边是AI工具迫切使用需求,一边是AI编程工具的快速迭代发布。
程序员的每一个痛点,都能被时间治愈——它能在AI编程工具的快速迭代中得到解决。
未来几乎可预见:新式AI编程工具将逐渐成为主流。
三、 新式AI编程(如Augment)存在更复杂的安全风险
Augment这类新式工具的出现,拓宽了AI编程的能力范围,但安全风险也跟随能力版图一并扩大。
过去的AI代码安全问题,只需保证模型输出安全的代码即可。但是现在AI编程玩法多了起来,MCP串联、超长上下文机制,每一个新环节、新引入,都有是一次战战兢兢的安全大挑战。
此类新型AI编程工具,使用中有存在不少安全风险。啄木鸟AI编程安全研究团队对此进行了一一研究分析。
1. Agent Memory功能——恶意prompt风险
Agent memory是什么功能?
它相当于AI的"记忆库",存储用户习惯/重要信息,用户可以往里面添加内容,每次AI生成代码时都会调用这个记忆库,同时在与AI的交互中,AI也会自动提取用户的重要信息添加到memory。
AI记忆库是怎么受到攻击的?
第一步:黑客利用Unicode编码,把恶意代码转换成隐形字符,写入到Prompt里面
第二步:将隐形的Prompt偷偷写入Agent的"记忆库"文件中
第三步,当用户正常使用Augment Code生成代码时,代码里会自动插入恶意脚本,也就是黑客预设好的“后门”,有了后门,黑客就可以做一些恶意操作。
2. 上下文添加机制——后门引入风险
什么是上下文(Context)添加机制?
这是一个可以提高AI对项目理解力的功能,Augment允许用户添加额外的上下文内容,尤其是在前后端分离开发的项目中,同时对前后端项目代码进行上下文添加。可以大幅提升Augment的Coding能力。
“上下文添加”功能却成攻击入口
提升效率的创新功能,却隐藏着一定的安全隐患。
黑客通过构造恶意的后端项目,当用户对这个恶意的后端项目添加索引时,黑客便可以完成一次后门植入。
至此,用户仅仅只是正常和Augment对话,它就会给用户返回带恶意后门的内容。
如果用户直接使用了这些HTML页面,黑客就可以在用户所在环境中执行恶意代码。
3. Guidelines ——生成恶意user guidelines
(1) Guidelines功能介绍
这是一个用户通过自然语言,定制化guidelines,来提升AI的表现的功能。guidelines的定制粒度有user 粒度 或 workspace 粒度两类,其中user粒度的guidelines会对所有的对话生效,而workspace粒度的guidelines只会对当前工作区下的codebase生效。
(2) Guidelines存在后门风险
黑客只需要把user guidelines进行恶意改造,它输出给用户的代码就能包含“恶意后门”
4. MCP——执行恶意命令
当Augment搭配当下最火的MCP一起使用,也会有风险吗?
MCP的风险本质是什么?
MCP(多任务协作协议)能串联多个AI工具或自动化流程。但如果被恶意指令劫持,可能直接触发MCP执行高危操作(如删库、提权、窃取密钥)。
如何通过MCP进行攻击?
黑客只需要通过构建一个恶意的MCP Server,并通过投毒诱导用户把该server配置进Augment中。
当用户和Augment正常对话的时候,Agent会自动触发恶意的MCP Server,开始作恶:
四、解决方案建议
AI编程工具快速迭代的当下,该如何面对其中的安全风险?啄木鸟AI编程安全团队就此做出提醒:
1. 多层安全架构与数据保护
输入验证与最小权限:严格验证用户输入,尤其是在上下文添加和Guidelines等功能中,防止恶意注入。同时,应用最小权限原则,确保 AI 工具仅能访问必要资源。
数据加密与脱敏:敏感数据应进行脱敏处理,防止传递给 AI 工具造成信息泄露。
2. AI模型与安全监控
实时监控与行为分析:实时监控AI工具的行为,检测并响应异常模式,如异常的代码生成或API访问,及时采取安全措施。
模型审计与可解释性:定期对AI模型进行审计,确保输出可追溯和可解释,避免恶意代码生成。
3. AI记忆管理与上下文安全
加密存储与审查:AI的“记忆库”需加密存储,并定期检查,防止被注入恶意指令。
沙箱环境与动态评估:对生成的代码在安全沙箱中进行测试,确保无恶意后门,并实时评估修改后的安全性。
4. 安全更新与漏洞管理
自动化更新与漏洞响应:确保AI工具能及时安全更新,修复漏洞并自动安装补丁。建立快速响应机制,修复发现的安全漏洞。
5. 安全意识提升
安全培训与使用指南:企业或工具提供方,应该为开发者和用户提供定期的安全培训和明确的安全使用指南,提升其识别潜在风险的能力,确保安全使用AI编程工具。
五、写在最后
每一次AI编程工具的技术革命,都将带来一次安全方案的颠覆。常见的漏洞类型依旧是那些,但它出现的方式会随着技术革命而不断更迭,安全防线的构筑速度必须跑赢攻击者的创新节奏。
这场关乎AI编程未来的竞赛,既需要技术层面的博弈,更需要整个产业对"安全创新"的达成共识才行。
请设想,如果有一天[安全]成为AI代码产品的第一性原则,这些AI技术革命,是不是能释放出更多改变世界的力量呢?