AI在线 AI在线

英伟达推出 NIM AI 护栏服务,防止模型遭用户“越狱”

英伟达宣布推出一项名为“NIM”的 AI 护栏服务,该服务现已以英伟达 NeMo 护栏(NeMo Guardrails)套件的形式提供,可以让开发人员为大语言模型(LLM)添加一系列护栏规则,旨在解决用户通过提示词“越狱”大模型。防止 AI 生成不符合预期的内容。

英伟达宣布推出一项名为“NIM”的 AI 护栏服务,该服务现已以英伟达 NeMo 护栏(NeMo Guardrails)套件的形式提供,可以让开发人员为大语言模型(LLM)添加一系列护栏规则,旨在解决用户通过提示词“越狱”大模型,防止 AI 生成不符合预期的内容。

英伟达推出 NIM AI 护栏服务,防止模型遭用户“越狱”

英伟达表示,相应 AI 护栏服务套件基于英伟达的 Aegis 内容安全数据集进行训练而成,该数据集包含了 3.5 万个标注的数据样本,并已在 Hugging Face 上公开,AI在线附地址如下(点此访问)。

英伟达指出,相应 AI 护栏套件具有体积小、效率高的特点,在大部分场合中都能流畅运行,企业可以在开发 AI 模型时直接嵌入相应安全套件,可以改善医疗、汽车、制造业等领域部署的 AI 安全性。

此外,英伟达还提供了公布了一项名为 Garak 的漏洞扫描工具,用于检测模型的安全性,防止模型可能输出幻觉内容或泄露企业内部机密信息。

相关资讯

看完ChatGPT的回答,AI大佬们不满了

ChatGPT 的技术上个星期被微软装上必应搜索,击败谷歌,创造新时代的时候似乎已经到来了。然而随着越来越多的人开始试用,一些问题也被摆上前台。
2/14/2023 3:18:00 PM
机器之心

消息称 DeepSeek-R2 AI 模型开发进程因美国当局英伟达 H20 芯片出口限制而延迟

由于美国当局对英伟达H20芯片的出口限制,DeepSeek R2 AI模型的开发进程被迫延迟。这不仅影响了新模型的研发,也对现有R1模型的实际部署造成困扰。#AI芯片# #DeepSeek#
6/27/2025 8:09:47 AM
漾仔

Mistral AI 在欧洲推出 Mistral Compute 云平台,进军基础设施市场

Mistral AI 宣布推出 Mistral Compute AI 云平台,正式进军 AI 基础设施市场,与微软 Azure、亚马逊 AWS 等竞争。平台基于英伟达 GPU 和 Mistral 自家训练工具包,提供从裸机到全托管 PaaS 的解决方案。目前服务覆盖欧洲,未来将扩展至中东、亚洲等地。#AI云平台# #MistralAI#
6/14/2025 3:34:10 PM
漾仔
  • 1