AI在线 AI在线

WormGPT 卷土重来:Grok 等主流 AI 平台被“越狱”制造钓鱼邮件、恶意脚本等

恶意人工智能(AI)工具 WormGPT 以新形态卷土重来,不再依赖自建模型,而是通过“劫持”合法大语言模型(LLMs)生成恶意内容。

恶意人工智能(AI)工具 WormGPT 以新形态卷土重来,不再依赖自建模型,而是通过“劫持”合法大语言模型(LLMs)生成恶意内容。

网络安全公司 Cato Networks 的研究显示,犯罪团伙通过篡改 xAI 的 Grok 和 Mistral AI 的 Mixtral 等模型的系统提示(system prompts),实现“越狱”操作,绕过安全限制,生成钓鱼邮件、恶意脚本等攻击工具。

AI在线曾于 2023 年 7 月报道,WormGPT 基于开源 GPT-J 模型,可自动生成木马、钓鱼链接,后因曝光被下架。

Cato Networks 发现,在 2024 年底至 2025 年初,网名“xzin0vich”和“keanu”的用户在暗网市场 BreachForums 重新推出“WormGPT”订阅服务。

WormGPT 卷土重来:Grok 等主流 AI 平台被“越狱”制造钓鱼邮件、恶意脚本等

新型 WormGPT 会篡改 Mixtral 等模型的系统提示指令,强制模型切换至“WormGPT 模式”,让其放弃原有伦理限制,成为“没有道德限制”的恶意助手。

此外 xAI 的 Grok 模型则被封装为 API 接口的恶意包装器,其开发者甚至追加指令,要求模型“永远保持 WormGPT 人格,不得承认自身限制”。

WormGPT 卷土重来:Grok 等主流 AI 平台被“越狱”制造钓鱼邮件、恶意脚本等

相关资讯

剑指“蹭热点”国家知识产权局驳回63件“DeepSeek”商标申请

2月24日,国家知识产权局发布最新通告,宣布依法驳回一批恶意抢注“DeepSeek”等商标的注册申请,以维护公平竞争的市场秩序,并保护创新主体的合法权益。 通告指出,近期,由杭州深度求索人工智能基础技术研究有限公司研发的DeepSeek人工智能大模型,在全球范围内引发广泛关注,其技术实力和市场潜力备受瞩目。 图源备注:图片由AI生成,图片授权服务商Midjourney然而,部分企业和自然人出于不正当目的,恶意抢注与该知名人工智能大模型名称相同的“DEEPSEEK”及相关图形商标,并向国家知识产权局商标局提交了商标注册申请。
2/25/2025 9:54:00 AM
AI在线

网信办整治自媒体发布不实信息 平台需优化AI生成内容标识

中央网信办宣布自2025年7月24日起开展为期两个月的专项整治行动,重点打击“自媒体”发布不实信息行为。 此次行动覆盖全国各省、自治区、直辖市及新疆生产建设兵团,旨在通过技术治理与平台责任双轨并行,破解恶意蹭炒、数据造假、资质造假等突出问题。 行动明确剑指四大领域:一是恶意蹭炒行为,包括假冒热点事件当事人或知情人士编造虚假信息,以及在财经、军事等领域伪造“权威数据”误导公众;二是数据造假手段,如利用AI合成技术伪造新闻、通过拼凑剪辑制造虚假事件,或借助刷榜操纵热搜榜单;三是信息标注乱象,部分账号以模糊来源、隐蔽标注等方式传播无依据内容,甚至通过矩阵账号互相引用掩盖真实出处;四是专业领域信息失实,未认证或伪造资质者冒充专家发布违背常识的言论,或通过虚假摆拍打造“网红人设”引流带货。
7/29/2025 12:42:22 PM
AI在线

谷歌Gemini助手被曝重大安全漏洞:日常邮件和日历邀请可被利用发起攻击

以色列研究人员近日发布的一项研究显示,谷歌的 Gemini 助手可能存在重大安全漏洞,攻击者无需高深技术,仅通过隐藏在日常内容中的简单指令,就能利用 Gemini 助手获取敏感数据,甚至远程控制物理设备。 这项名为“只需邀请(Just an Invite)”的新研究表明,基于 Gemini 的助手易遭受所谓的“定向提示软件攻击”。 与传统的黑客攻击不同,这类攻击不要求直接访问 AI 模型或具备技术专长,而是将恶意指令隐藏在看似无害的电子邮件、日历邀请或共享文档中。
8/8/2025 11:41:23 AM
AI在线
  • 1