AI在线 AI在线

越狱

用诗歌 “破解” AI 安全防线，研究揭示潜在漏洞

用诗歌 “破解” AI 安全防线，研究揭示潜在漏洞
最近，来自意大利 Icaro Lab 的研究者发现，诗歌的不可预测性可以成为大语言模型（LLM）安全防护的一大 “隐患”。 这一研究来自一家专注于伦理 AI 的初创公司 DexAI，研究团队写了20首中英文诗歌，诗末均包含了请求生成有害内容的明确指示，例如仇恨言论或自残行为。 研究人员对来自九家公司的25个 AI 模型进行了测试，包括谷歌、OpenAI、Anthropic 等。
12/1/2025 10:46:24 AM
AI在线
前谷歌 CEO 施密特：人工智能面临黑客攻击风险，或学会危险技能

前谷歌 CEO 施密特：人工智能面临黑客攻击风险，或学会危险技能
前谷歌 CEO 埃里克・施密特在最近的 Sifted 峰会上发出了对人工智能的警示。 他表示，人工智能技术存在扩散风险，可能落入恶意分子手中，并被滥用。 施密特指出，无论是开源还是闭源的人工智能模型，都可能被黑客攻击，从而破坏其安全防护机制。
10/12/2025 9:22:45 AM
AI在线
关于大模型「越狱」的多种方式，有这些防御手段

关于大模型「越狱」的多种方式，有这些防御手段
AIxiv专栏是AI在线发布学术、技术内容的栏目。过去数年，AI在线AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]作者：罗昊京（Financial Quantitative Analyst）此项目是由伊利诺伊大学香槟分校（UIUC）的汪浩瀚教授主导，汇集了多名intern的共同努力而成。长久以来，这个
7/29/2024 1:07:00 PM
机器之心
GPT-4o 更容易越狱？北航 & 南洋理工上万次测试给出详细分析

GPT-4o 更容易越狱？北航 & 南洋理工上万次测试给出详细分析
GPT-4o，比上一代更容易被越狱攻击了？来自北航和南洋理工的研究人员，通过上万次的 API 查询，对 GPT-4o 各种模态的安全性进行了详细测试。结果发现，GPT-4o 新引入的语音模态带来了新的攻击面，而且多模态整体安全性不敌 GPT-4V。具体来说，研究人员针对 4 个常用的基准测试，对 GPT-4o 支持的三种模态（文本、图像、音频）进行了测试。测试一共涉及到 4000 初始文本查询的优化，8000 响应判断，16000 次 OpenAI 的 API 查询。基于此，研究人员撰写了详细的报告，给
6/12/2024 3:44:32 PM
清源
英国 AI 安全研究所轻松越狱主要大语言模型，令其输出有害内容

英国 AI 安全研究所轻松越狱主要大语言模型，令其输出有害内容
英国政府下属的人工智能安全研究所（AISI）今日发布了一份新报告，揭示了一个值得重视的事实 —— 当前的 AI 系统可能并非像创建者所说的那样“安全”。报告指出，参与测试的四个大语言模型（IT之家注：报告未提到这些模型的具体名称）“极易受到基本越狱攻击”的影响，更有一些模型在被越狱之前，就主动生成了“有害”内容。图源 Pexels当前，大部分公开可用的语言模型都内置了部分保护措施，从而防止其生成有害或非法的内容回应。而“越狱”就意味着通过技术手段“欺骗”模型，来忽略上述措施。英国 AI 安全研究所使用了近期经过标准
5/20/2024 10:14:59 PM
清源
Anthropic 用 256 轮对话「灌醉」大模型，Claude 被骗造出炸弹

Anthropic 用 256 轮对话「灌醉」大模型，Claude 被骗造出炸弹
【新智元导读】Anthropic 发现了大模型的惊人漏洞。经过 256 轮对话后，Claude 2 逐渐被「灌醉」，开始疯狂越狱，帮人类造出炸弹！谁能想到，它的超长上下文，反而成了软肋。大模型又被曝出安全问题？这次是长上下文窗口的锅！今天，Anthropic 发表了自己的最新研究：如何绕过 LLM 的安全限制？一次越狱不够，那就多来几次！论文地址： Claude3 一家叫板 OpenAI 之余，Anthropic 仍然不忘初心，时刻关注着他的安全问题。一般情况下，如果我们直接向 LLM 提出一个有害的问题，LLM
4/3/2024 1:36:17 PM
清源