比照进修引领弱标签进修新SOTA,浙大新研究入选ICLR Oral

本文介绍浙江大学、威斯康星大学麦迪逊分校等机构的最新工作 PiCO,相关论文已被 ICLR 2022 录用(Oral, Top 1.59%)!偏标签进修 (Partial Label Learning, PLL) 是一个经典的弱监视进修问题,它允许每一个训练样本关联一个候选的标签荟萃,适用于许多具有标签不确定性的的现实世界数据标注场景。然而,现存的 PLL 算法与完全监视下的法子依然存在较大差距。为此,本文提出一个协同的框架解决 PLL 中的两个关键研究挑战 —— 表征进修和标签消歧。具体地,

本文介绍浙江大学、威斯康星大学麦迪逊分校等机构的最新工作 PiCO,相关论文已被 ICLR 2022 录用(Oral, Top 1.59%)!偏标签进修 (Partial Label Learning, PLL) 是一个经典的弱监视进修问题,它允许每一个训练样本关联一个候选的标签荟萃,适用于许多具有标签不确定性的的现实世界数据标注场景。然而,现存的 PLL 算法与完全监视下的法子依然存在较大差距。为此,本文提出一个协同的框架解决 PLL 中的两个关键研究挑战 —— 表征进修和标签消歧。具体地,研究者提出的 PiCO 由一个比照进修模块和一个新颖的基于类原型的标签消歧算法组成。PiCO 为来自同一类的样本生成紧密对齐的表示,同时促进标签消歧。从实际上讲,研究者表明这两个组件可以互相促进,并且可以从期望最大化 (EM) 算法的角度得到严格证明。大量尝试表明,PiCO 在 PLL 中显着优于当前最先进的 PLL 法子,甚至可以达到与完全监视进修相当的结果。

图片

论文地址:https://arxiv.org/pdf/2201.08984v2.pdf

项目主页:https://github.com/hbzju/pico

背景深度进修的兴起依赖于大量的准确标注数据,然而在许多场景下,数据标注本身存在较大的不确定性。例如,大部分非专业标注者都无法确定一只狗到底是阿拉斯加还是哈士奇。这样的问题称为标签歧义(Label Ambiguity),源于样本本身的模糊性和标注者的知识不足,在更需要专业性的标注场景中十分普遍。此时,要获得准确的标注,通常需要聘用具有丰富领域知识的专家进行标注。为了减少这类问题的标注成本,本文研究偏标签进修 [1](Partial Label Learning,PLL),在该问题中,研究者允许样本图片关联一个候选标签荟萃图片,其中包含了真实的标签 图片。在 PLL 问题中,最重要的问题为标签消歧(Disambiguation),即从候选标签荟萃中识别得到真实的标签。为了解决 PLL 问题,现有的工作通常假设样本具有良好的表征,然后基于平滑假设进行标签消歧,即假设特征接近的样本可能共享相同的真实标签。然而,对表征的依赖致使 PLL 法子陷入了表征 – 消歧困境:标注的不确定性会严重影响表征进修,表征的质量又反向影响了标签消歧。因此,现有的 PLL 法子的性能距离完全监视进修的场景,依然存在一定的差距。

为此,研究者提出了一个协同的框架 PiCO,引入了比照进修技术(Contrastive Learning,CL),来同时解决表示进修和标签消歧这两个高度相关的问题。本文的主要贡献如下:

法子:本论文率先探索了部分标签进修的比照进修,并提出了一个名为 PiCO 的新框架。作为算法的一个组成部分,研究者还引入了一种新的基于原型的标签消歧机制,有效利用了比照进修的 embeddings。

尝试:研究者提出的 PiCO 框架在多个数据集上取得了 SOTA 的结果。此外,研究者首次尝试在细粒度分类数据集上进行尝试,与 CUB-200 数据集的最佳基线相比,分类性能提高了 9.61%。

实际:在实际上,研究者证明了 PiCO 等价于以 Expectation-Maximization 过程最大化似然。研究者的推导也可推广到其他比照进修法子,证明了 CL 中的对齐(Alignment)性质 [2] 在数学上等于经典聚类算法中的 M 步。

图片

框架简而言之,PiCO 包含两个关键组件,分别进行表示进修和标签消歧。这两个组件系统地作为一个整体运行并相互反哺。后续,研究者也会进一步从 EM 的角度对 PiCO 的进行严格的实际解释。分类损失(Classification Loss给定数据集图片,每一个元组包含 图片和一个候选标签荟萃 图片。为了有效解决 PLL 问题,研究者为每一个样本图片维护一个伪标签向量 图片。在训练过程中,研究者会不断革新这个伪标签向量,而模型则会优化以下损失进行革新分类器图片

图片

PLL的比照表征进修(Contrastive Representation Learning For PLL受到监视比照进修(SCL)[3] 的启发,研究者旨在引入比照进修机制,为来自同一类的样本进修相近的表征。PiCO 的基本结构和 MoCo [4] 类似,均由两个搜集构成,分别为 Query 搜集图片和 Key 搜集图片。给定一个样本图片,研究者首先利用随机数据增强技术获得两个增广样本,分别称为 Query View 和 Key View。然后,它们会被分别输入两个搜集,获得一对图片– 归一化的 embeddings,即图片图片。实现时,研究者让 Query 搜集与分类器共享相同的卷积块,并增加一个额外的投影搜集。和 MoCo 一样,研究者利用 Query 搜集的动量平均(Momentum Averaging)技术对 Key 搜集进行革新。并且,研究者引入一个队列 queue,存储过去一段时间内的 Key embedding。由此,研究者获得了以下的比照进修 embedding pool:图片。接着,研究者根据如下公式计算每一个样本的比照损失:

图片

其中图片是比照进修中的正样本集,而图片图片是温度参数。

Positive Set 选择。可以发现,比照进修模块中,最重要的问题即为正样本荟萃的构建。然而,在 PLL 问题中,真实标签是未知的,因此无法直接选择同类样本。因此,研究者采用了一个简单而有效的战略,即直接使用分类器预测的标签:图片,构建如下正样本集:

图片

为了节约计算效率,研究者还维护一个标签队列来存储之前几个 Batch 的预测。尽管该战略很简单,却能得到非常好的尝试结果,并且可以从实际上被证明该战略是行之有效的。基于原型的标签消歧(Prototype-based Label Disambiguation值得注意的是,比照进修依然依赖于准确的分类器预测,因此依然需要一个有效的标签消歧战略,获取准确的标签估计。为此,研究者提出了一个新颖的基于原型的标签消歧战略。具体的,研究者为每一个标签图片维护了一个原型 embedding 向量图片,它可以被看作一组具有代表性的 embedding 向量。伪标签革新。在进修过程中,研究者首先将 S 初始化为 Uniform 向量图片。接着,基于类原型,研究者采用一个滑动平均的战略革新伪标签向量,

图片

即,研究者选择最近的原型对应的标签,逐步革新伪标签 S。此处,采用滑动平均原因是比照进修搜集输出的 embeddings 在初始阶段并不可靠,此时拟合 Uniform 伪目标可以很好地初始化分类器。然后,滑动平均战略伪标签平滑地革新为正确的目标,以确保一个稳定的 Traning Dynamic。原型革新。为了革新伪标签,一个简单的法子是每一个迭代或者 Epoch 中都计算一次每一个类的中心,不过这会引起较大的计算代价。因此研究者再一次使用滑动平均技术革新原型,

图片

即,当图片被预测为类别图片时,则令图片往对应的图片向量方向步进一些。

Insights. 值得注意的是,这两个看似独立的模块实际上可以协同工作。首先,比照进修在 embeddings 空间中具有聚类效果,因此可以被标签消歧模块利用,以获得更准确的类中心。其次,经过标签消歧后,分类器预测的标签更准确,可以反哺比照进修模块构造更精准的 Positive Set。当两个模块达成一致时,整个训练过程就会收敛。研究者在接下来在实际上更严格地讨论 PiCO 与经典 EM 聚类算法的相似之处。

尝试结果主要结果在展开实际分析之前,研究者首先看一下 PiCO 优异的尝试效果。首先是在 CIFAR-10、CIFAR-100 上的结果,其中,图片表示每一个 Negative Label 成为候选标签的概率。

图片

如上图,PiCO 达到了十分出色的尝试结果,在两个数据集、不同程度的歧义下(对应图片的大小),均取得了 SOTA 的结果。值得注意的是,之前的工作 [5][6] 均只探讨了标签量较小的情况(图片),研究者在 CIFAR-100 上的结果表明,即使在标签空间较大,PiCO 依然具有十分优越良好的性能。最后,值得注意的是,当图片相对较小的时候,PiCO 甚至达到了接近全监视的结果!表征进修除此之外,研究者还可视化了不同法子进修到的表征,可以看到 Uniform 标签导致了模糊的表征,PRODEN 法子进修到的簇则存在重叠,无法完全分离。相比之下,PiCO 进修的表征更紧凑,更具辨识度。

图片

消融尝试最后,研究者展示不同的模块对尝试结果的影响,可以看到,标签消歧模块和比照进修模块都会带来非常明显的性能提升,消融其中一个会带来图片的性能下降。更多的尝试结果请详见原论文。

图片

实际分析终于到了最激动人心的部分!相信大家都有一个疑问:为什么 PiCO 可以获得如此优异的结果?本文中,研究者从实际上分析比照进修得到的原型有助于标签消歧。研究者将会展示,比照进修中的对齐性质(Alignment)本质上最小化了 embedding 空间中的类内协方差,这与经典聚类算法的目标是一致的。这促使研究者从期望最大化算法(Expectation-Maximization,EM)的角度来解释 PiCO。首先,研究者考虑一个理想的 Setup:在每一个训练步骤中,所有数据样本都是可访问的,并且增广的样本也包含在训练集中,即图片。然后,可以如下计算比照损失:

图片

研究者主要关注第一项 (a),即 Alignment 项 [2],另一项 Uniformity 则被证明有利于 Information-Preserving。在本文中,研究者将其与经典的聚类算法联系起来。研究者首先将数据集划分为图片个子集图片,其中每一个子集中的样本包含具有相同的预测标签。实际上,PiCO 的 Positive Set 选择战略也是通过从相同的战略来构造 Positive Sets。因此,研究者有,

图片

其中图片是一个常数,图片图片的均值中心。这里研究者近似图片因为图片通常很大。为简单起见,研究者省略了图片符号。可以看到,Alignment 这一项可以最小化类内方差!至此,研究者可以将 PiCO 算法解释为优化一个生成模型的 EM 算法。在 E 步,分类器将每一个样本分配到一个特定的簇。在 M 步,比照损失将 embedding 集中到他们的簇中心方向。最后,训练数据将被映射到单位超球面上的混合 von Mises-Fisher 分布。EM-Perspective。为了估计似然图片,研究者额外引入一个假设来建立候选标签荟萃与真实标签的联系,

图片

由此,研究者证明 PiCO 隐式地最大化似然如下,E-Step。首先,研究者在引入一组分布图片,且图片图片图片。令图片图片的参数。研究者的目标是最大化如下似然,

图片

最后一步推导使用了 Jensen 不等式。由于图片函数是凹函数,当图片是某些常数时等式成立。因此,研究者有,

图片

即为类后验概率。在 PiCO 中,研究者使用分类器输出对其进行估计。为了估计图片,经典的无监视聚类法子直接将样本分配给最近的聚类中心,如 k-Means 法子;在完全监视进修情况下,研究者可以直接使用 ground-truth 标签。然而,在 PLL 问题中,监视信号处于完全监视和无监视之间。根据研究者的尝试观察,候选标签在开始时对后验估计更可靠;而随着模型训练,比照进修的原型会变得更加可信。这促使研究者以滑动平均方式革新伪标签。因此,研究者在估计类后验时有一个很好的初始化信息,并且在训练过程中会被平滑地改善。最后,由于每一个样本对应一个唯一的标签,研究者采用 One-hot 预测图片,研究者有图片M-Step。在这一步,研究者假设后验类概率已知,并最大化似然。下述定理表明,最小化比照损失可以也最大化似然的一个下界,

图片

图片

证明见原文。当图片接近 1 时,下界较紧,这意味着超球面的类内集中度很高。直观地说,当假设空间足够丰富时,研究者有可能在欧几里得空间中得到较低的类内协方差,从而导致均值向量图片的范数很大。然后,超球面中的归一化 embedding 在也具有较强的类内集中度,因为大的图片也会导致大的 K 值 [7]。根据尝试结果中的可视化结果,研究者发现 PiCO 确实可以进修紧凑的簇。因此,研究者认为最小化比照损失也可以最大化似然。结论在本文中,研究者提出了一种新颖的偏标签进修框架 PiCO。其关键思想是通过使用比照进修的 embdding 原型从候选荟萃中识别真实标签。全面的尝试结果表明 PiCO 达到了 SOTA 的结果,并在部分情况下达到了接近完全监视的效果。实际分析表明,PiCO 可以被解释为一种 EM 算法。研究者希望研究者的工作可以引起社区的更多关注,以更广泛地使用比照进修技术进行偏标签进修。尝试室简介欢迎大家加入研究者赵俊博老师所在的浙江大学数据智能尝试室和带领的M3 Group(与宝马那辆跑车没啥关系)!!尝试室在计算机学院院长陈刚老师带领下,曾获 VLDB 2014/2019 best paper,近年来在 VLDB、ICLR、ICML、ACL、KDD、WWW 等顶级会议和期刊上成果颇丰,多次获得国家级、省级奖项。赵俊博老师是浙江大学百人计划研究员、博士生导师,师承 Yann LeCun,Google 引用 1w+,知乎万粉小 V,AI 赛道连续创业者。赵俊博主页:http://jakezhao.net/ 参考1. 实际上,PLL 有更直接的别名:Ambiguous Label Learning(模糊 / 歧义标签进修),或 Superset Label Learning(超集标签进修)。本文遵循最常用的名称,称作偏标签进修。2. Tongzhou Wang and Phillip Isola. Understanding contrastive representation learning through alignment and uniformity on the hypersphere. In ICML, volume 119 of Proceedings of Machine Learning Research, pp. 9929–9939. PMLR, 2020.3. Prannay Khosla, Piotr Teterwak, Chen Wang, Aaron Sarna, Yonglong Tian, Phillip Isola, Aaron Maschinot, Ce Liu, and Dilip Krishnan. Supervised contrastive learning. In NeurIPS, 2020.4. Kaiming He, Haoqi Fan, Yuxin Wu, Saining Xie, and Ross B. Girshick. Momentum contrast for unsupervised visual representation learning. In CVPR, pp. 9726–9735. IEEE, 2020.5. Jiaqi Lv, Miao Xu, Lei Feng, Gang Niu, Xin Geng, and Masashi Sugiyama. Progressive identification of true labels for partial-label learning. In ICML, volume 119 of Proceedings of Machine Learning Research, pp. 6500–6510. PMLR, 2020.6.  Lei Feng, Jiaqi Lv, Bo Han, Miao Xu, Gang Niu, Xin Geng, Bo An, and Masashi Sugiyama. Provably consistent partial-label learning. In NeurIPS, 2020b.7. Arindam Banerjee, Inderjit S. Dhillon, Joydeep Ghosh, and Suvrit Sra. Clustering on the unit hypersphere using von mises-fisher distributions. J. Mach. Learn. Res., 6:1345–1382, 2005.知乎原文:https://zhuanlan.zhihu.com/p/463255610

原创文章,作者:机器之心,如若转载,请注明出处:https://www.iaiol.com/news/bi-zhao-jin-xiu-yin-ling-ruo-biao-qian-jin-xiu-xin-sota-zhe/

(0)
上一篇 2022年 2月 15日 下午2:42
下一篇 2022年 2月 18日 下午3:20

相关推荐

  • 全职任教清华,73岁丘成桐受聘清华大学讲席老师

    首位华人诺贝奖获得者杨振宁学生,首位华人图灵奖获得者姚期智学生,首位华人菲尔兹奖获得者丘成桐学生,现已齐聚清华。正值清华大学求真学校建立一周年之际,担任求真学校院长的丘成桐正式宣布,将全职加入清华工作。4 月 20 日上午,丘成桐清华大学讲席老师聘任仪式在清华主楼接待厅举行。图源:清华大学新闻网在就职演讲中,丘成桐追忆了自己的老师、著名数学家陈省身学生,并表示自己接受清华大学的聘请、回到陈学生的母校任教,正是因为肩负着传承学生薪火、为祖国培育拔尖数学能人的使命。我在不同的场合阐释过数学的本质:数学是唯一与时不变的真

    2022年 4月 21日
  • 依图调理获全国首张孩子骨龄AI产物NMPA三类证

    近日,国家药品监督管理局(NMPA)正式批准杭州依图调理技能有限公司“孩子手部x射线影像骨龄协助评价软件”的第三类调理东西产物注册申请。这是国内第一张孩子骨龄AI产物三类证,该体系也成为目前唯一获批三类证的孩子骨龄AI产物。国家药品监督管理局调理东西技能审评中心发布的审评报告显示:试验东西的TW3-RUS和TW3-Carpal骨龄诊疗结果与金标准诊疗结果的绝对误差均值达到预期目标,同时软件操作便捷性、体系稳定性均为满意。临床试验无不良事件发生,无东西缺陷发生。骨龄是衡量青少年生长发育水平的重要目标,相较于身高、体重

    2021年 4月 2日
  • 终于可用可拉拢函数变换库!PyTorch 1.11发布,弥补JAX短板,撑持Python 3.10

    PyTorch 1.11、TorchData 和 functorch 现已推出。

    2022年 3月 13日
  • SENSORO 与柬埔寨国防部通讯局签署单干体谅备忘录

    2021 年 1 月 20 日,SENSORO(北京升哲科技有限公司)与柬埔寨国防部通讯局单干体谅备忘录签字仪式在金边举行。柬埔寨国防部通讯局局长 KOSAL Sovanvisal、SENSORO(柬埔寨)科技有限公司 CEO 赵龙作为单方代表共同签约。根据单干体谅备忘录,SENSORO 与柬埔寨国防部基于友好单干共识,单方将不断深化经验分享、加大单干力度,持续拓展单干畛域、打造单干新亮点,助力柬埔寨建造成为高端定位的新型聪明都会。自 2018 年以来,柬埔寨国防部曾多次到访 SENSORO,并持续推动双

    2021年 1月 21日
  • 腾讯朱雀实验室推出代码防护技巧Deep Puzzling,让代码更难被猜透

    随着AI技巧与网络安全结合得越来越紧密,鉴于AI技巧的网络攻防手段也在日益更替。11月26日,全球顶级的信息安全峰会HITB+Cyberweek 2021于近日举办,腾讯朱雀实验室专家钻研员Jifeng Zhu和钻研员Keyun Luo受邀参加,并进行了题为《Deep Puzzling: Binary Code Intention Hiding based on AI Uninterpretability》(《鉴于AI不可解释性的二进制代码用意躲藏》)的议题分享。会上,腾讯朱雀实验室展示了如何行使AI模型的特性,实

    2021年 11月 27日
  • WEY摩卡预售17.98万元起,激光雷达L3版11月交付

    作为WEY品牌全新定位下的旗舰车型,摩卡在本次上海车展上正式开启预售,包括入门款和4款「准L3主动驾驭」车型,价格区间为17.98万—22.08万元,用户可以通过WEY官方APP进行预订。不过,搭载激光雷达版本车型仍未公布价格,只显示「不高于同类产品定价」,且11月可以交付。据介绍,摩卡全系配备2.0T+9DCT+48V 的MHEV轻混动力体系,并集成了行业首创的E-Creep纯电蠕行技术,让起步响应缩短为仅0.3s。其中,E20N2.0T米勒循环发动机具有轻量化设计和全新优化燃烧体系等核心技术,配合4

    2021年 4月 22日
  • 百分点认知智能实验室:智能对话技术应用和实践

    编者按智能对话系统因其巨大的潜力和商业价值受到越来越多研究者和从业者的关注,对话的主要种类囊括闲谈型、常识型、任意型、阅读理解型等,目前已经广泛应用在智能客服、智能音箱、智能车载等众多场景。近年来,智能对话还出现了新的应用场景,例如可以将自然语言转换为各种程序性语言,如SQL,从数据库中找到相应的答案,让用户和数据库的交互变得更加直接和方便。为此,Datafun发布了百分点首席算法科学家苏海波署名文章,文中主要介绍了智能问答中的成绩语义等价模型、常识图谱问答模型、NL2SQL模型,以及百分点在智能问答领域的实践案例

    2021年 3月 10日
  • INDEMIND: 打造标准化机器人AI方案,行业关键手艺供应商价值凸显

    4年深耕低速自动驾驶手艺,打造标准化机器人解决方案,INDEMIND已然破茧成蝶,成为国内最大的机器人关键AI手艺供应商之一。在疫情催化之下,爆发式增长的不只是办事机器人商场,根据数据统计,今年超10万家机器人相关企业成立,随着机器人公司、传统企业、新晋企业陆续进场,一场不可避免的“争夺战”已在悄然中激烈展开。根据IFR数据显示,2016 年以来,全球办事机器人商场规模年均增速达 23.8%,2021 年预计达到 125.26亿美元,到 2023 年,全球办事机器人商场有望突破 201亿美元

    2021年 12月 9日
  • Triton推理效劳器在阿里云机器进修PAI-EAS公测啦!!!

    引言近些年来,随着GPU等计算设备算力的飞速提升,对算力要求较高的深度进修模型逐步开始在网购、医疗、音视频领域有了越来越广泛的应用。如何结合深度进修框架,用好高算力的GPU设备,是我们在AI基础建设中遇到的一个至关重要的问题。英伟达公司从硬件厂商的角度出发推出了Trition推理效劳器,阿里云PAI平台从云原生效劳角度出发,推出了PAI-EAS云原生弹性推理效劳平台,目的都是为了更好地帮助用户更好更方便地布署深度进修,供给优质的在线预测效劳。首先我们来了解一下Triton和EAS具体是什么,以及我们为什么要将两者进

    2021年 7月 20日
  • 2021美国迷信天赋奖出炉:高中生瓜分180万奖金

    2021 年的美国迷信天赋奖被颁给了一群钻研无限婚配算法、机器学习、评测新药和饮用水过滤的高中生。

    2021年 3月 26日

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注