离群?非常十分?新类?开集?散布外检测?一文搞懂其间异同!

你是否也曾迷惑于「离群检测,非常十分检测,新类检测,开集鉴别,散布外检测」之间错综复杂的关系?你是否也想要解决开放世界的问题却不知道从哪个任意入手?不知道利用什么方法解决问题?这篇最新综述将让你对开放世界畛域有全新的认识!

在开放世界中分类是验证模型安全性的重要方式,也是一个真正能够商用落地的模型不可避免要面对的问题。传统的分类模型都是在一个封闭的世界中从事训练,即假设尝试数据和训练数据都来自同样的散布(称作散布内,in-distribution)。例如我们利用一组猫、狗照片训练一个猫、狗分类器。然而,部署的模型在实际使用中总是会遇到一些不属于封闭世界类型的图片,例如老虎。或者也会遇到一些和训练图片视觉上大相径庭的照片,例如卡通猫。模型应当如何去处理这些不属于训练散布的图片(即散布外样本,out-of-distribution),是开放世界畛域所关注的问题。开放世界畛域中时常能够见到如下几个任意:

OD: Outlier Detection, 离群检测

AD: Anomaly Detection, 非常十分检测

ND: Novelty Detection, 新类检测

OSR: Open Set Recognition, 开集鉴别

OOD Detection: Out-of-Distribution Detection, 散布外检测

它们之间虽然各有千秋,却又有千丝万缕的联系。虽然现有工作也有尝试着将自己的任意和别的任意从事区分,但是各任意之间也不统一,使得整个畛域都缺乏对各个任意准确的界说。让外界甚至参与者都对各个任意的具体目标困惑。为了解决这个问题,一篇名为《Generalized Out-of-Distribution Detection: A Survey》的综述解决了这些困惑,将以上五个任意归纳进一个「广义 · 散布外检测」(Generalized OOD Detection)的大框架内。至此,这些任意都能从事准确的定位,而它们之间的关系也顿时清晰可辨。

离群?非常十分?新类?开集?散布外检测?一文搞懂其间异同!

论文地址:https://arxiv.org/abs/2110.11334

项目主页:https://github.com/Jingkang50/OODSurvey

准备工作为了方便理解「广义散布外检测框架」,我们需要了解以下两个概念:

Covariate Shift:表层统计层面上的散布变化,简称统计偏移。

Semantic Shift:深层语义层面上的散布变化,简称语义偏移。

规范地讲,如果我们用 X 代表图片像素空间的变量,用 Y 代表图片语义空间的变量,这样我们可以用 P(X,Y)来表示一组图片的散布。

像素空间散布 P(X)的偏移就是 Covariate Shift,可能来源于对抗样本或者画风的变化。

语义空间散布 P(Y)的偏移就是 Semantic Shift,可能来源于新类型的加入。

下图生动地展现了这两种散布偏移:

离群?非常十分?新类?开集?散布外检测?一文搞懂其间异同!

广义散布外检测(Generalized OOD Detection)在进修到「统计偏移」和「语义偏移」这两个概念之后,我们可以利用下图来认识各个任意在框架中的位置。任意的定位使用四个维度:(1)偏移类型:任意需要检测出表层统计偏移或深层语义偏移; (2)散布内数据类型数:散布内数据包含一个类或多个类;(3)对散布内样本的处理:是否需要对散布内样本从事分类;(4)是否遵循“训练 – 尝试模式”:Transductive 进修需要利用所有样本从事决策;Inductive 进修则遵循训练 – 尝试模式,目的是得到一个单独可用的模型。

离群?非常十分?新类?开集?散布外检测?一文搞懂其间异同!

根据上图,“非常十分检测”AD 分为两个子任意,即 Sensory AD 和 Semantic AD,即 “感知上的非常十分检测” 和“语义上的非常十分检测”。

感知上的非常十分检测(Sensory AD)需要鉴别出具有统计偏移的样本,无论散布内样本类型数。

语义上的非常十分检测(Semantic AD)需要鉴别出具有语义偏移的样本,并要求散布内只有单类。

「新类检测」ND 也分为两个子任意。他们都需要鉴别出具有语义偏移的样本,但是根据散布内样本类型的不同分为「单类的新类检测」(One-Class ND)和「多类的新类检测」(Multi-Class ND)。「开集鉴别」OSR 同样需要鉴别出具有语义偏移的样本,但是相比于 ND,它只关心散布内是多类型的情况,并且要求对散布内样本从事正确的分类。「散布外检测」(OOD Detection)同样需要鉴别出具有语义偏移的样本,但是相比 OSR,它还包含了散布内是单类的情况。因此,OOD Detection 可以理解成一个包含 Semantic AD, Novelty Detection, OSR 的超级大类。对各个任意的具体介绍AD: Anomaly Detection, 非常十分检测背景:当人们提起非常十分(Anomaly)时,心中其实已经形成了一个 “正常” 的概念。例如,要创建一个 “热狗 / 非热狗检测器”,我们将“热狗” 的概念界说为正常,将不符合的界说为非常十分,也就是非热狗。请注意,在这种情况下,热狗是一个统一的概念,无论热狗的大小、酱汁、面包类型、价格、香肠的来源等可能存在差异。任何其他物体,如牛排、米饭,以及非食物物体,如猫和狗,都被视为非常十分。同时,现有的非常十分检测常常会对目标环境有所限制。例如,“热狗 / 非热狗检测器”会采用 “检测器只会接触真实照片” 的假设,尝试时不会存在卡通或素描图。这使得在检测统计偏移时避免了语义偏移的出现。另一个现实的例子是工业缺陷检测,它针对的只是一组特定的产品装配线。这使得在检测统计偏移时避免了语义偏移的出现。换句话说,“开放世界”假设常常不是完全 “开放” 的。然而,“非热狗”或 “缺陷” 其实已经形成了一个巨大的未知空间,也早已打破了 “封闭世界” 的假设。综上所述,非常十分检测任意的主要特征是其统一地界说了“正常”,并且假设一个相对封闭的限制。界说:非常十分检测(Anomaly Detection, AD)的任意旨在找出尝试扩散所有偏离 “预设的正常样本” 的非常十分样本。这种偏移可能是来源于 covariate shift 或者 semantic shift。该任意常常假设另一种偏移类型不存在。这两种不同的样本偏移类型对应着 “非常十分检测” 的两个子任意:“感知上的非常十分检测”sensory AD 和“语义上的非常十分检测”semantic AD。Sensory AD,即 “感知上的非常十分检测”。该任意希望鉴别出由 covariate shift 导致的非常十分样本。此处我们假设所有预界说好的“正常” 样本都具有同一种像素空间散布,并且整个尝试集的样本空间不存在语义上的偏移,即尝试集的所有样本都来自同一个类型。总的来说, “Sensory AD”旨在检测出同一个类型的所有尝试样本中具有 “非常十分” 像素空间散布的样本。Semantic AD,即 “语义上的非常十分检测” ,该任意希望鉴别出由 semantic shift(label shift)导致的非常十分样本。此处我们假设所有预界说好的“正常” 样本都具有相同的语义散布,即来自同一个类型,并且整个尝试集的样本空间具有相同的像素空间散布。总的来说,“Semantic AD”旨在检测出同种像素空间散布的所有尝试样本中非 “正常” 类型的样本。应用:Sensory AD:工业检测,对抗样本防御,活体检测,艺术品的伪造鉴别,伪证鉴别等。

Semantic AD:视频监控,数据筛选等。

ND: Novelty Detection, 新类检测背景:“Novelty”这个词常常指的是未知的、新颖的、有趣的东西。虽然新类检测的目标与非常十分检测相似,但是它们之间有三个显著不同:

在动机方面,新类检测常常不会像非常十分检测那样将 “新类” 样本视为错误、恶意、应当丢弃的。反之,该任意会将它们视为进修资源,以积极的进修态度供未来使用。例如新野生动物检测器,检测到的新类可供生物学界从事钻研。

新类检测主要侧重于语义转移。它有一个可互相替换的名字:“novel class detection”。

新类检测去除了散布内样本只能属于一个类的限制。训练集可以出现一个或多个类。

界说:新类检测(Novelty Detection, ND)的任意旨在找出尝试扩散不属于训练扩散任何类型的 “新类” 样本,检测到的 “新类” 样本常常会为下一步增量进修(incremental learning) 提供更多的进修样本,或者作为全新的类型从事探索钻研。基于训练扩散的类型数量,“新类检测”可被分为两个子类型: “单类新类检测”(One-class ND);以及 “多类新类检测”(Multi-class ND)。尽管“多类新类检测” 的训练集样本中包含多个类型,其目的只是将尝试扩散的 “新类” 样本与 “散布内” 样本区分开。因此,“单类新类检测”和 “多类新类检测” 的本质都是二分类问题。应用:视频监控,行星探索,增量进修OSR: Open Set Recognition, 开集鉴别背景:在封闭世界中训练的机器进修模型常常将属于未知类型的尝试样本错误地分类为具有高置信度的 已知类型。一些文献将模型这种过度自信的行为称为“模型的傲慢”。因此,OSR 于 2013 年被提出,旨在解决这个问题。界说:“开集鉴别”(Open Set Recognition, OSR)要求多分类器同时达到如下两个要求:

对尝试扩散属于 “已知类型“的图片从事准确分类;“已知类型” 代表训练扩散存在的类型。

检测出”未知”类型, “未知类型”不属于训练扩散任何类型。

OOD Detection: 散布外检测背景:类似的,鉴于深度进修模型常常会对来自不同语义散布的样本从事过度自信地分类,散布外检测畛域应运而生,要求模型在保证分类性能的同时,拒绝语义偏移的样本,以保证可靠性和安全性。界说:“散布外检测”任意和新类鉴别类似,都是在找出尝试扩散不属于训练扩散任何类型的 “新类” 样本。但是在新类鉴别的基础上,同时完成多分类任意。相比于 “开集鉴别”,“散布外检测” 的训练集可以是单类型的也可以是多类型的。备注:虽然当前学界的大多数论文都将 “out-of-distribution” 理解为“out-of-label/semantic-distribution”,但一些散布外检测的工作也考虑检测 covariate shift(统计偏移)。它们声称 covariate shift 常常会导致模型性能显着下降,因此需要模型从事鉴别和丢弃。然而,尽管在某些特定(常常是高风险)任意上检测 covariate shift 是合理的,例如由一家医院训练的医疗诊断模型应该更加保守地对来自其他医院、具有 covariate shift 的图像从事决策,但这个目标与另一个畛域 out-of-distribution generalization(畛域泛化)似乎有所冲突。综述原文对 out-of-distribution detection 和 out-of-distribution generalization 做了详细的讨论,欢迎大家阅读原文。但是无论如何,检测语义偏移一直是散布外检测任意的主流。OD: Outlier Detection, 离群检测背景:根据维基百科,outlier 是指与其他观测结果显着不同的数据点。不同于之前任意需要检测与训练数据散布不同的尝试样本,离群检测则是直接处理所有观察结果,旨在从受污染的数据扩散找出非常十分。由于离群检测不遵循“训练 – 尝试模式”,而其方法常常依赖于所有观察结果,因此解决此问题的方法常常是 Transductive 传导进修而不是 Inductive 归纳进修。界说:“离群检测”(Outlier Detection, OD)的任意旨在检测出给定数据扩散与其他样本显著不同的样本,其中这种不同既可以来源于 covariate shift 也可以来源于 semantic shift。应用:数据清洗至此,该钻研希望读者对以上五个任意的异同有了更加深入的理解。下图用图片案例的方式再次比较这些任意。

离群?非常十分?新类?开集?散布外检测?一文搞懂其间异同!

方法论该钻研全面总结了解决 「广义散布外检测」中各个任意的方法。由于它们的目标大体相同,它们的解法自然也相似。钻研发现它们的解法基本分为四大类:

Density-based Methods 基于密度估计的方法

Reconstruction-based Methods 基于重构的方法

Classification-based Methods 基于分类的方法

Distance-based Methods 基于距离的方法

欢迎大家参考综述原文从事参考,同时欢迎大家在综述的 GitHub 主页提 issue/pr 从事补充。文尾附上了方法论的目录。

离群?非常十分?新类?开集?散布外检测?一文搞懂其间异同!

挑战和展望最终钻研人员总结了目前该畛域的问题、挑战和发展方向。挑战 1: 建立正确并且规范的评价指标挑战 2: 不需要额外数据的散布外检测挑战 3: 散布内分类和散布外检测的权衡挑战 4: 建立有现实意义并且大规模的数据集展望 1: 框架中不同任意互相借鉴及比较展望 2: 散布外检测和散布外泛化的结合展望 3: 散布外检测和开集噪声标签进修的结合展望 4: 期待从事更多的理论钻研详情参考原文。该钻研希望开放世界畛域能够发展地更好,并且希望更多钻研者能够关注并投身到这个人工智能的重要问题上。写在最后笔者是在商汤新兴创新事业群(EIG)钻研中心实习时开始接触 “开放世界鉴别” 畛域。我们为了更好地解决具体业务问题,团队会将业务问题抽象成学术问题从事深挖和充分的钻研。探索得到的思考,洞察,和新方法不仅形成了顶会论文,也直接在业务上从事落地。实习结束后,笔者也被 EIG 钻研中心直推至 MMLab 从事深造,目前仍然和 EIG 钻研中心保持紧密合作,共同在开放世界鉴别的畛域探索新颖,有效,可落地的扎实工作。EIG 钻研中心也荟聚了众多顶尖的人工智能技术人才,有若干名校博士、顶会论文作者、openmmlab 开源项目主要贡献者。大家秉承着敢为人先的理念,致力于人工智能赋能百业,创新氛围浓厚。目前团队正招募全职钻研员(工作地点:香港),希望入职后能够:- 从产品中抽象钻研问题,并将钻研成果转化到产品- 推动前沿的深度进修进展,课题包括:开放世界鉴别、视频 OCR、文档关键信息提取、半监督检测、分割等,应用方向包括:多模态视频理解、智能制造视觉检测、遥感– 在顶级会议和期刊上发表关键钻研成果- 成为内部研发工具箱和开源项目的贡献者常常我们期望候选人是:- STEM 博士,在所在的科研畛域(不限于 AI 相关畛域)有突出成果,能够独立从事新的钻研课题,或者,本科以上学历,在 AI 畛域发表过至少一篇一作论文或在知名的 AI 竞赛中获得过前五名的成绩。- 对人工智能充满热情并有很强的自我驱动力- 具有较强的 Python 编码能力(了解 ML/DL 框架者优先)我们能够提供:- 与钻研和产业界丰富经验的钻研员和工程师团队合作的宽松环境- 卓越的研发环境,包括多年积累的领先技术和内部研发工具箱- 论文研讨会、技术培训和个性化指导- 海量的计算资源,有 1000 多个 GPU 的集群可供使用- 有竞争力的 package- 可以与我们在全球的联合实验室合作,表现优异的同学有推荐读博的机会请感兴趣的同学通过 wayne.zhang (at) sensetime.com 联系我们!期待与你的合作!附录

离群?非常十分?新类?开集?散布外检测?一文搞懂其间异同!

原创文章,作者:机器之心,如若转载,请注明出处:https://www.iaiol.com/news/li-qun-fei-chang-shi-fen-xin-lei-kai-ji-san-bu-wai-jian-ce/

(0)
上一篇 2021年 10月 21日 下午4:19
下一篇 2021年 10月 27日 下午4:51

相关推荐

  • 「导师要我的论文和别人协同一作」,Nature揭露论文签名乱象:没奉献为啥要签名?

    在科研界,论文签名以及按次一直是钻研职员非常重视的题目。由于各种原因,签名排序过程中难免会出现分歧与争议。近日,《Nature》 对论文签名题目从事了查询拜访,指出了一些不好的现象,并希望能够创建一个公正的论文个人奉献评价系统。

    2021年 6月 15日
  • 是时候进修机械进修零碎安排了!斯坦福CS 329S开课,课件、笔记同步更新

    这是一门新的课程——在进修了算法、框架等内容后,是时候深入了解一下「机械进修零碎安排」了!

    2021年 1月 26日
  • Stability AI联合Morph AI共同发布一体式AI视频创作对象,助力手艺的落地与利用

    2024年2月28日,Stability AI在其官方社交账号上宣布与领先的text-to-video公司Morph AI告竣分工,双方基于各自的模型优势,共同推出了一款all-in-one(一体式AI视频创作)的创造对象——MorphStudio。该对象将颠覆保守视频创造过程,具备了让创作者可以在一个界面中完成天生、剪辑和后期等的便利功能,支持创作者调用AI模型选择每一个镜头并达到最佳效果。较保守视频创造过程而言,该对象可以极小的帮助创作者缩短创作时间,降低创作成本。与此同时,在双方的创作者社区中,每一个创作者都

    2024年 3月 1日
  • 第一!科大讯飞再度革新Cityscapes世界纪录

    近日,科大讯飞凭借在道路方向检测领域多年的技巧索求,革新了Cityscapes 3D方向检测任务的全球最好成绩,得到检测分数(DS)42.9,取得了该项评测的第一名。此次也是科大讯飞继2017年、2018年参与测评之后,再一次革新Cityscapes的世界纪录。此次评测,科大讯飞借鉴了已在都会交通出行场景下应用的Anchor-Free车辆检测技巧,将2D方向检测技巧升级至3D,并连系3D到2D重投影的特殊先验信息进行算法迁移。通过连系语义、上下文信息、位置先验信息以及方向形状先验信息等,提取准确的3D方向检测框,构

    2021年 8月 22日
  • 千字1.5元、研究生学位论文3次收费,知网凋谢集体查重办事,网友:「卒业了才凋谢」

    不过,对于 2022 届的卒业生来说,知网的这一决定来得似乎晚了一点。

    2022年 6月 12日
  • [研究问卷] AI数据猎取与绽放的近况调查

    你是AI从业者或学习者吗?缺少数据做 AI 训练或尝试?华夏情境和语言的数据太少?那就来到场调研,一同改变近况吧!关于问卷我们是《AI 数据绽放的近况与标杆案例呈报》研究团队,由上海白玉兰开源绽放研究院与绽放数据华夏联合组成。我们的效果预期于 2022 年世界人工智能大会期间,由木兰开源社区和白玉兰开源联名颁布。你或许记得我们在 2021 年为了规范和促进 AI 数据绽放所颁布的「木兰-白玉兰绽放数据协议」,而我们现在的研究工作则旨在排摸现在供 AI 训练、尝试所使用的的AI 数据的猎取与绽放情况,从而进一步推出「

    2022年 4月 14日
  • 深度剖析|可托AI 征途中的技能实践与运用机遇

    「机器之心2021-2022年度AI趋势大咖说」聚焦「驱动现在的AI技能」与「重塑产业的AI科技」,推出线上分享,共邀请近40位AI范围知名学者、产业专家及企业高管通过主题分享及多人圆桌等形式,与行业精英、读者、观众共同回顾 2021年中的重要技能和学术热点,盘点AI产业的年度研究方向以及重大科技突破,展望2022年度AI技能落后方向、AI技能与产业科技融合趋势。

    2022年 7月 20日
  • 中科大吴枫获IEEE CAS最高荣誉奖项,11位学者获ACM四大手艺奖项

    5 月 24 日,IEEE 电路与体系(CAS)学会将 2021 年度 IEEE CAS Mac Van Valkenburg 奖授予中国科学手艺大学吴枫教授,以表彰他对「多媒体非均匀编码和通信的孝敬」,时隔不久,5 月 26 日,计算机协会(Association for Computing Machinery)宣布了四项著名手艺奖的获得者。

    2021年 5月 27日
  • 提升编码水平,这本Python软件工程开源册本为研讨职员量身打造

    在科研领域,计算机软件的应用无处不在。但是,一些研讨者因为自身并非毕业于计算机相关学科,所以有时不得不将大量的时间花费在自学软件工程上。对于有些想要提升自身编码与软件开发水平的研讨者来说,合适的学习资料至关重要。本文介绍的这本开源册本就是为这类研讨者「量身打造」的。

    2021年 2月 5日
  • 何为多标签分类?这里有几种实用的经典办法

    这可能是最实用的多标签分类小贴士。

    2021年 10月 12日

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注