AI在线 AI在线

开发者注意!AI 推荐软件包五分之一是假的,“Slopsquatting”威胁来袭

网络安全研究人员发出警告,一种名为“Slopsquatting”的新型软件供应链攻击正浮出水面。 该攻击利用生成式 AI(如 LLMs)在代码编写时可能产生的“包幻觉”——即推荐不存在的软件包名称——的漏洞。 攻击者可以抢先注册这些虚构的名称,并植入恶意代码。

网络安全研究人员发出警告,一种名为“Slopsquatting”的新型软件供应链攻击正浮出水面。该攻击利用生成式 AI(如 LLMs)在代码编写时可能产生的“包幻觉”——即推荐不存在的软件包名称——的漏洞。攻击者可以抢先注册这些虚构的名称,并植入恶意代码。

开发者,黑客,漏洞,攻击

图源备注:图片由AI生成,图片授权服务商Midjourney

研究团队发现,AI 虚构的软件包名称往往具有高度可信性和重复性,约38% 的幻觉包名与真实包名相似,仅13% 是简单拼写错误,这使得开发者在不加验证的情况下更容易直接采用。

通过对16个代码生成模型的测试,研究人员发现平均20% 的 AI 推荐软件包是伪造的。开源模型的幻觉率更高,例如 DeepSeek 和 WizardCoder 高达21.7%,而商业模型如 GPT-4Turbo 的幻觉率相对较低,为3.59%。CodeLlama 的表现最差,超过三分之一的推荐存在错误。这种威胁在依赖中央包仓库的 Python 和 JavaScript 等生态系统中尤为严重。

实验表明,AI 的“包幻觉”具有高度可复现性,高达43% 的案例中,相同的幻觉连续出现10次,58% 的幻觉会在多次测试中重复出现,这为攻击者精准布局恶意软件包提供了便利。

研究人员认为,当前 AI 模型缺乏足够的安全测试是造成这一问题的主要原因。尽管尚未发现实际的 Slopsquatting 攻击案例,但该技术已具备现实威胁的所有要素。他们呼吁开发社区提高警惕,对 AI 生成的代码建议保持审慎态度,务必进行验证,以防成为新型软件供应链攻击的受害者。

相关资讯

Intel开源AI Playground,Arc GPU赋能本地AI模型运行新体验

Intel近日宣布,其专为本地生成式AI设计的AI Playground软件正式开源,为Intel Arc GPU用户提供了一个强大的AI模型运行平台。 据AIbase了解,AI Playground支持多种图像、视频生成模型以及大型语言模型(LLMs),通过优化本地计算资源,显著降低了AI应用的硬件门槛。 项目已在GitHub发布,吸引了全球开发者与AI爱好者的广泛关注,标志着Intel在开源AI生态中的重要布局。
4/21/2025 11:00:47 AM
AI在线

你的LLM评估方法过时了吗?这三个范式转变不容错过

在我的职业生涯中,我一直致力于为机器学习系统打造评估体系。 在担任 Quora 数据科学部门负责人时,我们为新闻源排序、广告投放、内容审查等构建了评估机制。 在 Waymo,我们团队为自动驾驶汽车开发了评估标准。
1/21/2025 10:56:41 AM
Baihai IDP

开源框架BioChatter助力生物医学研究,降低LLM使用门槛

近年来,大型语言模型(LLMs)在各个领域的应用日益广泛,从内容创作到编程辅助,再到搜索引擎优化,无不展现出其强大的能力。 然而,在生物医学研究中,这些模型的应用仍面临着透明度、可重复性和定制化等方面的挑战。 针对这一问题,海德堡大学与欧洲生物信息研究所(EMBL-EBI)联合提出了一个开源 Python 框架 ——BioChatter,旨在帮助生物医学研究人员更轻松地使用 LLMs。
3/5/2025 2:32:00 PM
AI在线
  • 1