15 个 AI 模型只有 3 个得分超 50%,SIUO 跑分被提出:评估多模态 AI 模型的危险性

最新发表在 arXiv 的钻研论文指出,包括 GPT-4V、GPT-4o 和 Gemini 1.5 在内的大部分主流多模态 AI 模型,处理用户的多模态输入(例如一起输入图片和文本内容)之后,输入结果并不危险。这项钻研标题为《跨模态危险调整》(Cross-Modality Safety Alignment),提出了一个全新的“危险输入但不危险输入”(SIUO),涉及品德、危险行为、自残、侵犯隐私、信息误读、宗教信仰、歧视和刻板印象、争议性话题以及非法活动和犯罪等 9 个危险领域。钻研职员说,大型视觉语言模型(LVL

最新发表在 arXiv 的钻研论文指出,包括 GPT-4V、GPT-4o 和 Gemini 1.5 在内的大部分主流多模态 AI 模型,处理用户的多模态输入(例如一起输入图片和文本内容)之后,输入结果并不危险。

15 个 AI 模型只有 3 个得分超 50%,SIUO 跑分被提出:评估多模态 AI 模型的危险性

这项钻研标题为《跨模态危险调整》(Cross-Modality Safety Alignment),提出了一个全新的“危险输入但不危险输入”(SIUO),涉及品德、危险行为、自残、侵犯隐私、信息误读、宗教信仰、歧视和刻板印象、争议性话题以及非法活动和犯罪等 9 个危险领域。

15 个 AI 模型只有 3 个得分超 50%,SIUO 跑分被提出:评估多模态 AI 模型的危险性

钻研职员说,大型视觉语言模型(LVLM)在接收多模态输入时很难识别 SIUO 类型的危险问题,在提供危险响应方面也遇到困难。

在接受测试的 15 个 LVLM 中,只有 GPT-4v(53.29%)、GPT-4o(50.9%)和 Gemini 1.5(52.1%)的得分高于 50%。

钻研职员表示为了解决这个问题,必要开发 LVLM,以便将所有模式的见解结合起来,形成对情景的统一懂得。它们还必要能够掌握和应用现实世界的知识,如文化敏感性、品德考虑因素和危险隐患等。

钻研职员还指出,LVLMs 必要能够通过对图像和文本信息的综合推理,懂得用户的意图,即使文本中没有明确说明。

15 个 AI 模型只有 3 个得分超 50%,SIUO 跑分被提出:评估多模态 AI 模型的危险性

15 个 AI 模型只有 3 个得分超 50%,SIUO 跑分被提出:评估多模态 AI 模型的危险性

15 个 AI 模型只有 3 个得分超 50%,SIUO 跑分被提出:评估多模态 AI 模型的危险性

IT之家附上参考地址

Cross-Modality Safety Alignment

SIUO

给TA打赏
共{{data.count}}人
人已打赏
AI

Meta 将实在照片符号为“AI 生成”,引发多名摄影师怨恨

2024-6-25 9:10:36

AI

1 首歌索赔 15 万美元,索尼、环球音乐、华纳起诉 AI 公司 Suno 与 Udio

2024-6-25 9:16:18

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
有新私信 私信列表
搜索