AI在线 AI在线

“给 AI 讲故事”就能绕过安全机制,恶意代码编写门槛恐将大幅降低

该方法通过构建一个极为细致的虚构世界,使受限操作显得合理化,从而开发出一个“完全有效”的 Chrome 信息窃取程序。

据外媒 TechRadar 今日报道,Cato CTRL 威胁情报研究人员警告称,自身虽无恶意软件编写经验,却成功攻破了多个大语言模型(LLM),包括 ChatGPT-4o、DeepSeek-R1、DeepSeek-V3 等,所用技术方式近乎“天方夜谭”。

研究团队研发了一种名为“沉浸式世界”(Immersive World)的新型攻击手法,利用“叙述式工程”绕过 LLM 的安全机制。该方法通过构建一个极为细致的虚构世界,使受限操作显得合理化,从而开发出一个“完全有效”的 Chrome 信息窃取程序。

AI在线获悉,近年来信息窃取类恶意软件迅速崛起,已成为网络犯罪分子最危险的工具之一。而这一新型攻击手法表明,即便毫无技术背景,网络犯罪分子如今也能轻松编写恶意代码。

报告指出,大语言模型“彻底改变了网络安全格局”。研究发现,AI 驱动的网络威胁正成为企业和安全团队面临的重大挑战,使得攻击手法更加复杂,同时执行频率更高,且对攻击者的技术要求更低。

尽管聊天机器人设有多重安全防护措施,但 AI 仍然被设计为尽可能满足用户需求。研究人员成功利用这一特性,绕过限制,使 AI 智能体轻易编写并发送网络钓鱼攻击

Cato Networks 威胁情报研究员维塔利・西蒙诺维奇表示:“零知识威胁行为者的兴起,对企业安全构成严重威胁,因为生成式 AI 工具让恶意软件的制作变得前所未有地简单。”

“信息窃取程序已成为窃取企业凭证的关键工具。我们新发现的 LLM 越狱技术 ——‘沉浸式世界’,清楚展现了创建信息窃取程序的高风险和可行性。”

相关资讯

欧洲刑警组织:语音克隆、实时深伪视频等 AI 技术正在助长有组织犯罪

据美联社报道,当地时间周二,欧洲刑警组织发布警告称,AI正在助长有组织犯罪,安全威胁也进一步加剧。
3/20/2025 11:18:41 PM
清源

因被 AI 生成的虚假漏洞报告轰炸,开源网络工具 cURL 考虑停止提供安全赏金

AI在线 7 月 19 日消息,开源网络工具 cURL 开发者 Daniel Stenberg 在博客发文,抱怨 cURL 的安全漏洞赏金项目(cURL Bug Bounty)被滥用,许多不怀好意者使用 AI 工具批量生成虚假漏洞报告,试图赚取项目赏金,这令 cURL 安全团队不堪其扰,考虑后续停止提供漏洞赏金。 Daniel Stenberg 表示,自 2019 年以来,cURL 的安全漏洞赏金项目合计为 81 个安全漏洞发现者提供了 9 万美元(AI在线注:现汇率约合 64.7 万元人民币)的奖励,而不怀好意者正是看到了相应赏金项目有利可图,因此利用 AI 工具生成大量“垃圾漏洞报告”,例如 cURL 仅在上周收到的垃圾报告量就激增到平时的 8 倍,而这些漏洞报告大部分都不实。 作为比较,cURL 安全团队目前仅有 7 个成员,即使是被大量 AI 漏洞报告轰炸,相应团队也无法掉以轻心,只能挨个花费 30 分钟至 3 小时确认相应漏洞是否属实,因此严重浪费时间及精力。
7/19/2025 8:57:55 PM
漾仔

奇安信与 DeepSeek 深度合作,推出 QAX 安全大模型

近日,奇安信公司宣布已成功完成与 DeepSeek(深度求索)的全面深度接入,标志着其 QAX 安全大模型的进一步应用与发展。 奇安信表示,这一安全大模型已在多个关键领域展开了深度整合,涵盖了威胁研判、安全运营、渗透测试与漏洞管理、身份与访问管理等重要场景。 图源备注:图片由AI生成,图片授权服务商Midjourney在当前信息安全形势愈发严峻的背景下,网络攻击手段日益复杂,奇安信的这一举措无疑是对抗网络威胁的积极回应。
2/5/2025 5:46:00 PM
AI在线
  • 1