NeurIPS 2023 | 「注释一切」图象观念注释器来了,港科大团队出品

Segment Anything Model(SAM)初次被应用到了基于增强观念的可注释 AI 上。你是否好奇当一个黑盒深度神经网络 (DNN) 展望下图的时候,图中哪个部分对于输入展望为「击球手」的帮助最大?香港科技大学团队最新的 NeurIPS2023 研究成果给出了他们的答案。论文:: Meta 的分割一切 (SAM) 后,港科大团队初次借助 SAM 实现了人类可解读的任性 DNN 模型图象观念注释器:Explain Any Concept (EAC)。你往往会看到传统的 DNN 图象观念注释器会给出这样的解

Segment Anything Model(SAM)初次被应用到了基于增强观念的可注释 AI 上。

你是否好奇当一个黑盒深度神经网络 (DNN) 展望下图的时候,图中哪个部分对于输入展望为「击球手」的帮助最大?

NeurIPS 2023 | 「注释一切」图象观念注释器来了,港科大团队出品

香港科技大学团队最新的 NeurIPS2023 研究成果给出了他们的答案。

NeurIPS 2023 | 「注释一切」图象观念注释器来了,港科大团队出品

论文:https://arxiv.org/abs/2305.10289

项目代码:https://github.com/Jerry00917/samshap

继 Meta 的分割一切 (SAM) 后,港科大团队初次借助 SAM 实现了人类可解读的任性 DNN 模型图象观念注释器:Explain Any Concept (EAC)。

你往往会看到传统的 DNN 图象观念注释器会给出这样的注释 (SuperPixel-Based):

NeurIPS 2023 | 「注释一切」图象观念注释器来了,港科大团队出品

但这类输入通常不能残破地将 DNN 对于输入图象里观念的理解表达给人类。

港科大团队初次将具有强大的观念抓取力的 SAM 和博弈论中夏普利正义 (Shapley Value) 结合起来,构建了端对端具有残破观念的模型注释器,并呈现了非常令人惊叹的结果!! 

NeurIPS 2023 | 「注释一切」图象观念注释器来了,港科大团队出品

现在,用户只需要将任性 DNN 接入该注释器的 API,EAC 就可以精准地注释出图中哪些观念影响了模型最终的输入。

算法原理

如下图所示,注释一切 EAC 的算法流程图可大体分为三个阶段:1)SAM 观念抓取,2)利用 Per-Input Equivalence (PIE) 放荡方针 DNN 模型,3)通过较量争论出 PIE 的夏普利正义值得出类似原方针 DNN 的最终观念注释输入。

NeurIPS 2023 | 「注释一切」图象观念注释器来了,港科大团队出品

夏普利值实现

在博弈论中,夏普利正义的地位举足轻重。基于它,研究人员可以推算出图片里每一个观念对方针模型输入的贡献值,从而得知哪些观念对于模型展望的帮助最大。不过较量争论夏普利值所需要的时间复杂度为 O (2^N),这对于几乎任何一个成熟的深度学习模型是灾难性的较量争论量。

本文为了解决这一问题提出了 Per-Input Equivalence (PIE)轻量型框架。PIE 希望通过一个 surrogate model f' 将原方针 DNN 模型 f 做局部拟合。

PIE 的残破表达式为NeurIPS 2023 | 「注释一切」图象观念注释器来了,港科大团队出品。这里 f_fc 完全保留了原模型的全连接层,h 是一层线性权重用于放荡 f 的特征提取器,输入 b 为一维 one-hot 对一张方针图片里的观念集 C(由 SAM 生成)的编码。算法通过对 PIE 进行蒙特卡洛估算,就可得出 f^' 对于 f 的类似夏普利值。

文章指出 PIE 的运算十分轻量。在 COCO 标准尝试集上,将方针模型设为 ResNet50,平均注释时间仅约为 8.1 秒 / 一张图片。

实行结果

通过给每张尝试图逐一增加(Insertion)/ 简略(Deletion)最重要的观念 patch,这两项实行研究者可以直接评估任性注释器在注释方针 DNN 时的表现。

EAC 同时在「增加」和「简略」两项实行中实现了比较优秀的注释效果。

NeurIPS 2023 | 「注释一切」图象观念注释器来了,港科大团队出品

以下是 EAC 效果展示和 baseline 对比:

NeurIPS 2023 | 「注释一切」图象观念注释器来了,港科大团队出品

在文章的最后,团队表示有了 EAC 这项技术,医疗影像,智慧安防等重要的可信机器学习商用应用场景会变的更准确,更可靠。

给TA打赏
共{{data.count}}人
人已打赏
工程

你的GPU能跑Llama 2等大模型吗?用这个开源项目上手测一测

2023-10-23 16:06:00

工程

RLHF模型普遍存在「阿谀谄媚」,从Claude到GPT-4无一幸免

2023-10-25 11:49:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
有新私信 私信列表
搜索