Guard

ECCV 2024｜牛津大学&港科提出毫秒级文生图安全检测框架Latent Guard

最近的文本到图像生成器由文本编码器和扩散模型组成。如果在没有适当安全措施的情况下部署，它们会产生滥用风险（左图）。我们提出了潜在保护方法（右图），这是一种旨在阻止恶意输入提示的安全方法。

11/5/2024 10:48:00 AM

新闻助手

攻击成功率从 3% 到接近 100%，利用空格键可绕过 Meta AI 模型安全系统

Meta 公司上周在发布 Llama 3.1 AI 模型的同时，还发布了 Prompt-Guard-86M 模型，主要帮助开发人员检测并响应提示词注入和越狱输入。AI在线在这里简要补充下背景知识：提示词注入（prompt injection）：将恶意或非预期内容添加到提示中，以劫持语言模型的输出。提示泄露和越狱实际上是这种攻击的子集；提示词越狱（prompt jailbreaks）：绕过安全和审查功能。不过根据科技媒体 theregister 报道，这个防止 AI 提示词注入和越狱的模型，本身也存在漏洞，用户只需要

7/31/2024 10:28:07 AM

故渊

资讯热榜

Meta视觉基座DINOv3王者归来：自监督首次全面超越弱监督，商用开源 Meta刚刚开源DINOv3，横扫60+任务，无标注封神！扎克伯格看OpenAI直播挖人，北大校友孙之清加入Meta ChatGPT或将引入广告！OpenAI高管首度松口，用户破7亿仍难盈利 Nvidia 投资 5 亿美元，Cohere 公司估值达 68 亿美元破天荒！OpenAI、Cursor多位开发大牛联手曝出GPT5提示词指南！晒官方系统提示词优化秘籍，最大化编程性能，工作流更可控马斯克手撕OpenAI，奥特曼反击：AI巨头互曝老底，苹果被拖下水 IDC：未来五年，中国生成式 AI 相关硬件支出将激增至 330 亿元

标签云

AI 人工智能 OpenAI AIGC 模型 ChatGPT DeepSeek AI绘画谷歌机器人数据大模型 Midjourney 开源智能用户 Meta 微软 GPT 学习技术图像 Gemini 马斯克 AI创作智能体论文英伟达 Anthropic 代码训练算法 Stable Diffusion 芯片蛋白质 LLM 开发者腾讯 AI新词生成式 Claude 苹果 Agent 神经网络 AI for Science 3D 机器学习研究生成 xAI 人形机器人 AI视频计算 Sora GPU AI设计百度华为工具大语言模型搜索具身智能场景 RAG 字节跳动大型语言模型深度学习预测伟达视觉 Transformer 视频生成 AGI 架构神器推荐亚马逊 Copilot DeepMind 应用安全