AI在线 AI在线

200K 上下文突破:AI 编程新星 Augment 崛起

作者 | 啄木鸟AI编程安全研究团队一、AI编程新星Augment:技术突破与行业颠覆AI编程圈最近来了个“新人”,名为Augment,主打“全栈式AI编程助手”。 并在年初以 65.4%的SWE-bench评分登顶AI编程工具榜首。 这预示着今年是AI编程工具极速速进化的一年。

作者 | 啄木鸟AI编程安全研究团队

一、AI编程新星Augment:技术突破与行业颠覆

AI编程圈最近来了个“新人”,名为Augment,主打“全栈式AI编程助手”。并在年初以 65.4%的SWE-bench评分登顶AI编程工具榜首。

这预示着今年是AI编程工具极速速进化的一年。

200K 上下文突破:AI 编程新星 Augment 崛起

1. 行业与技术的突围

Augment是一家初创公司,在完成B轮融资后,短时间内公司突围估值突破128亿美元。

论技术能力,Augment在SWE-bench Verified 排行榜上,以65.4%的成绩拿下代码质量第一的成就,超越Gemini、OpenAI o1等头部AI产品,不少人都认为这是继GitHub Copilot现象级产品后的又一潜力新星。

200K 上下文突破:AI 编程新星 Augment 崛起

200K 上下文突破:AI 编程新星 Augment 崛起

这个新产品在行业和技术突破重围后,AI编程工具相关的话题也再次被推至风口浪尖:

  • 市面AI编程产品目前发展现状如何?
  • AI编程产品能100%信任吗?(毕竟使用过程中涉及到了很多工具),整个使用路径有没有安全风险?

有风险,且当Agent、MCP、A2A等新兴 AI 能力涌现后,AI编程要面对的安全问题变得更为复杂和链路化。本文以 Augment 作为AI编程场景下的典型切入点,细析AI编程现状与其中不得不面对的安全风险。

二、AI编程工具现状:技术红利尚在,新挑战层出不穷

1. AI工具的使用率远超想象

在AI技术重构软件开发的进程中,开发者逐渐“重度依赖”编程助手。根据麦肯锡2024年开发者调查报告显示, 全球超60%的开发者正在使用AI编程工具,其中82%集中在代码编写场景。

——毕竟用AI编写代码,能把工作时间从100分钟压缩至20-30分钟,调试耗时从80分钟降至35-45分钟,谁还会抗拒AI呢?本质上效率的提升会导致生产力方式根本性转变。

这种变革不仅体现在基础编码环节,更渗透至文档生成(耗时降低45-50分钟)、代码库理解(效率提升30.9%)等复杂场景。

200K 上下文突破:AI 编程新星 Augment 崛起

2. 当下AI编程痛点

以Augment为首的新一代AI编程工具,正在逐步解决过去的技术挑战。

3. 上下文理解问题

大部分人工智能系统都面临着一个挑战:当你处理包含数千万行代码的大型系统时,你根本无法将所有这些代码作为上下文,传递给当今的大型语言模型,而augment的人工智能模型,能够执行复杂的实时采样,精确识别代码库中合适的子集,使代理能够有效地完成工作。

根据官方介绍,Augment的核心卖点在于它能够理解海量代码库中的上下文,支持 20 万 token 的上下文窗口,这刚好是其他AI编程产品所欠缺的能力。

4. 支持多环境深度集成

Augment支持多种形态下的使用,无论是从VS Code里加载,或者作为IDE拓展使用都不在话下。除外它汇集了 Claude Sonnet 3.7 和 O1 的最佳功能,在 AI 编码能力行业基准Introducing SWE-bench Verified | OpenAI中取得了迄今为止的最高分。

这些优势与竞争对手形成了鲜明对比,一边是AI工具迫切使用需求,一边是AI编程工具的快速迭代发布。

程序员的每一个痛点,都能被时间治愈——它能在AI编程工具的快速迭代中得到解决。

未来几乎可预见:新式AI编程工具将逐渐成为主流。

三、  新式AI编程(如Augment)存在更复杂的安全风险

Augment这类新式工具的出现,拓宽了AI编程的能力范围,但安全风险也跟随能力版图一并扩大。

过去的AI代码安全问题,只需保证模型输出安全的代码即可。但是现在AI编程玩法多了起来,MCP串联、超长上下文机制,每一个新环节、新引入,都有是一次战战兢兢的安全大挑战。

此类新型AI编程工具,使用中有存在不少安全风险。啄木鸟AI编程安全研究团队对此进行了一一研究分析。

1. Agent Memory功能——恶意prompt风险

Agent memory是什么功能?

它相当于AI的"记忆库",存储用户习惯/重要信息,用户可以往里面添加内容,每次AI生成代码时都会调用这个记忆库,同时在与AI的交互中,AI也会自动提取用户的重要信息添加到memory。

200K 上下文突破:AI 编程新星 Augment 崛起

AI记忆库是怎么受到攻击的?

第一步:黑客利用Unicode编码,把恶意代码转换成隐形字符,写入到Prompt里面

200K 上下文突破:AI 编程新星 Augment 崛起

第二步:将隐形的Prompt偷偷写入Agent的"记忆库"文件中

200K 上下文突破:AI 编程新星 Augment 崛起

第三步,当用户正常使用Augment Code生成代码时,代码里会自动插入恶意脚本,也就是黑客预设好的“后门”,有了后门,黑客就可以做一些恶意操作。

200K 上下文突破:AI 编程新星 Augment 崛起

2. 上下文添加机制——后门引入风险

什么是上下文(Context)添加机制?

这是一个可以提高AI对项目理解力的功能,Augment允许用户添加额外的上下文内容,尤其是在前后端分离开发的项目中,同时对前后端项目代码进行上下文添加。可以大幅提升Augment的Coding能力。

200K 上下文突破:AI 编程新星 Augment 崛起

“上下文添加”功能却成攻击入口

提升效率的创新功能,却隐藏着一定的安全隐患。

黑客通过构造恶意的后端项目,当用户对这个恶意的后端项目添加索引时,黑客便可以完成一次后门植入。

200K 上下文突破:AI 编程新星 Augment 崛起

至此,用户仅仅只是正常和Augment对话,它就会给用户返回带恶意后门的内容。

200K 上下文突破:AI 编程新星 Augment 崛起

如果用户直接使用了这些HTML页面,黑客就可以在用户所在环境中执行恶意代码。

3. Guidelines ——生成恶意user guidelines

(1) Guidelines功能介绍

这是一个用户通过自然语言,定制化guidelines,来提升AI的表现的功能。guidelines的定制粒度有user 粒度 或 workspace 粒度两类,其中user粒度的guidelines会对所有的对话生效,而workspace粒度的guidelines只会对当前工作区下的codebase生效。

200K 上下文突破:AI 编程新星 Augment 崛起

(2) Guidelines存在后门风险

黑客只需要把user guidelines进行恶意改造,它输出给用户的代码就能包含“恶意后门”

200K 上下文突破:AI 编程新星 Augment 崛起

200K 上下文突破:AI 编程新星 Augment 崛起

4. MCP——执行恶意命令

当Augment搭配当下最火的MCP一起使用,也会有风险吗?

MCP的风险本质是什么?

MCP(多任务协作协议)能串联多个AI工具或自动化流程。但如果被恶意指令劫持,可能直接触发MCP执行高危操作(如删库、提权、窃取密钥)。

如何通过MCP进行攻击?

黑客只需要通过构建一个恶意的MCP Server,并通过投毒诱导用户把该server配置进Augment中。

200K 上下文突破:AI 编程新星 Augment 崛起

200K 上下文突破:AI 编程新星 Augment 崛起

当用户和Augment正常对话的时候,Agent会自动触发恶意的MCP Server,开始作恶:

200K 上下文突破:AI 编程新星 Augment 崛起

四、解决方案建议

AI编程工具快速迭代的当下,该如何面对其中的安全风险?啄木鸟AI编程安全团队就此做出提醒:

1. 多层安全架构与数据保护

输入验证与最小权限:严格验证用户输入,尤其是在上下文添加和Guidelines等功能中,防止恶意注入。同时,应用最小权限原则,确保 AI 工具仅能访问必要资源。

数据加密与脱敏:敏感数据应进行脱敏处理,防止传递给 AI 工具造成信息泄露。

2. AI模型与安全监控

实时监控与行为分析:实时监控AI工具的行为,检测并响应异常模式,如异常的代码生成或API访问,及时采取安全措施。

模型审计与可解释性:定期对AI模型进行审计,确保输出可追溯和可解释,避免恶意代码生成。

3. AI记忆管理与上下文安全

加密存储与审查:AI的“记忆库”需加密存储,并定期检查,防止被注入恶意指令。

沙箱环境与动态评估:对生成的代码在安全沙箱中进行测试,确保无恶意后门,并实时评估修改后的安全性。

4. 安全更新与漏洞管理

自动化更新与漏洞响应:确保AI工具能及时安全更新,修复漏洞并自动安装补丁。建立快速响应机制,修复发现的安全漏洞。

5. 安全意识提升

安全培训与使用指南:企业或工具提供方,应该为开发者和用户提供定期的安全培训和明确的安全使用指南,提升其识别潜在风险的能力,确保安全使用AI编程工具。

五、写在最后

每一次AI编程工具的技术革命,都将带来一次安全方案的颠覆。常见的漏洞类型依旧是那些,但它出现的方式会随着技术革命而不断更迭,安全防线的构筑速度必须跑赢攻击者的创新节奏。

这场关乎AI编程未来的竞赛,既需要技术层面的博弈,更需要整个产业对"安全创新"的达成共识才行。

请设想,如果有一天[安全]成为AI代码产品的第一性原则,这些AI技术革命,是不是能释放出更多改变世界的力量呢?

相关资讯

初创团队不到10人,Augment获2.52亿美元融资,将成GitHub Copilot竞争对手

机器之能报道编辑:山茶花一家「名不见经传」AI编码辅助初创公司估值9.77亿美元。AI 正在极大地推动编码工作,AI 编码辅助工具 GitHub Copilot 曾一度被扣上「窃取程序员工作」的帽子。如今,这一领域再迎踢馆者。4 月 24 日,一家「名不见经传」AI 编码辅助初创公司 Augment,突然宣布完成 2.52 亿美元的融资,投后估值达 9.77 亿美元,距离成为全球「独角兽」仅一步之遥。此次 Augment 投资方阵容相当豪华,Sutter Hill Ventures、Index Ventures、I
4/25/2024 6:51:00 PM
机器之能

OpenAI 投的代码工具 Cursor“叛变”了:默认使用 Claude,程序员叫好

我们尝试注册新账号、新安装不修改任何设置,第一次唤出代码补全,就是 Claude-3.5-Sonnet 来接待。
8/15/2024 3:09:43 PM
汪淼

微软官宣 All in 智能体、Copilot SWE Agent 首曝光,阿尔特曼预警 2025 编程巨变

2025 年,软件工程要彻底变天了。先有奥特曼预言,后有微软下场 All in 智能体。刚刚,首个自主 SWE 智能体面世,不仅会主动改 bug 修复错误,还能自主提交 PR 评论。
2/7/2025 1:47:29 PM
汪淼
  • 1