AI在线 AI在线

GRES

CVPR23 Highlight | 多模态新任务、新数据集：NTU提出广义引用分割问题GRES

CVPR23 Highlight | 多模态新任务、新数据集：NTU提出广义引用分割问题GRES
引用表达分割（Referring Expression Segmentation，简称引用分割或RES）是一个基础的视觉语言多模态任务。给定一张图像和一个描述该图像中某个对象的自然语言表达式，RES旨在找到该目标对象并将其分割。现有的引用分割数据集和方法通常仅支持单目标表达式，即一个表达式指代一个目标对象。而对于多目标和无目标表达式的情况，则没有考虑在内。严重限制了引用分割的实际应用。基于这个问题，来自新加坡南洋理工大学的研究者们定义了一个名为广义引用分割（Generalized Referring Expression Segmentation，GRES）的新任务，将经典的引用分割扩展到允许表达式指代任意数量的目标对象。同时，文章还构建了第一个大规模的GRES数据集gRefCOCO，其同时包含多目标、无目标和单目标表达式。
6/30/2023 4:59:00 PM
MMLab