ICML2022奖项公布：15篇杰出论文，复旦、厦大、上交大研讨入选

近日，ICML 2022 大会在美国马里兰州巴尔的摩市以线上线下结合的方式举办。这也是新冠疫情以来大会首次恢复线下形式举办。

目前，大会已经公布了全部奖项，包括 15 篇杰出论文奖和 1 项时间检验奖。其中，复旦大学、上海交通大学、厦门大学、莱斯大学胡侠团队等多个华人团队的研讨获得杰出论文奖。ICML 2012 关于「投毒攻打」的论文《Poisoning Attacks against Support Vector Machines》获得了本次大会的时间检验奖。杰出论文奖论文 1：Monarch: Expressive Structured Matrices for Efficient and Accurate Training机构：斯坦福大学、纽约州立大学布法罗分校、密歇根大学作家：Tri Dao、Beidi Chen、Nimit Sohoni、 Arjun Desai、Michael Poli、Jessica Grogan、Alexander Liu、Aniruddh Rao、Atri Rudra、Christopher Re论文地点：https://arxiv.org/abs/2204.00595论文简介：该研讨提出了一类硬件高效的矩阵 Monarch，具有解析最优解。实验表明，Monarch 可以加速 ViT 和 GPT-2 在 ImageNet 分类任务上的训练。在密集到稀疏微调中，作为概念验证，我们的 Monarch 近似算法以相当的精度将 GLUE 上的 BERT 微调速度提高了 1.7 倍。论文 2：Solving Stackelberg Prediction Game with Least Squares Loss via Spherically Constrained Least Squares Reformulation机构：复旦大学、厦门大学、卡内基梅隆大学作家：Jiali Wang、Wen Huang、Rujun Jiang、Xudong Li、Alex L. Wang论文地点：https://arxiv.org/abs/2206.02991论文简介：Stackelberg 展望博弈 (SPG) 是表征进修者和攻打者之间策略交互中很重要的一个问题。该研讨探索了 SPG-LS 的一种新型表述，将 SPG-LS 重写为球面约束最小二乘 (SCLS) 问题。数值结果合成和真实世界的数据集表明，借助 SCLS 法子，SPG-LS 可以比当前 SOTA 解决方案快几个数量级。论文 3：G-Mixup: Graph Data Augmentation for Graph Classification机构：莱斯大学胡侠团队作家：韩霄天、Zhimeng Jiang 、Ninghao Liu、 胡侠（Xia Hu）论文地点：https://arxiv.org/pdf/2202.07179.pdf论文简介：该研讨提出了一种名为 G-Mixup 的法子，通过插入不同类别图的生成器（即 graphon）来增强图分类。具体来说，该研讨首先使用同一类中的图来计算一个 graphon，然后在欧几里得空间中插值不同类别的 graphon 以获得混合 graphon，合成图基于混合 graphon 生成。大量实验表明，G-Mixup 显著提高了 GNN 的泛化性和稳健性。论文 4：Stable Conformal Prediction Sets机构：佐治亚理工学院作家：Eugene Ndiaye论文地点：https://proceedings.mlr.press/v162/ndiaye22a/ndiaye22a.pdf论文简介：该研讨将共型展望（CP）法子与经典的算法稳定性界限结合起来，推导出可使用单个模型拟合计算的展望集合。该研讨进行了一些数值实验来说明当样本量足够大时，在合成数据集和真实数据集上计算的紧密性。论文 5：Learning inverse folding from millions of predicted structures机构：UC 伯克利、纽约大学作家：Chloe Hsu 、 Robert Verkuil 、 Jason Liu 、 Zeming Lin、 Brian Hie、Tom Sercu 、Adam Lerer 、Alexander Rives论文地点：https://www.biorxiv.org/content/10.1101/2022.04.10.487779v1.full.pdf论文简介：本文考虑从骨架原子坐标来展望蛋白质序列问题。该研讨使用 AlphaFold2 展望了 12M 蛋白质序列结构，这样做将训练数据增加了近三个数量级。训练中增加了额外数据，具有不变几何输出处理层的序列到序列 transformer 实现了 51% 的本地序列恢复，掩埋残基的恢复率为 72%，总体上比现有法子提高了近 10 个百分点。论文 6：Causal Conceptions of Fairness and their Consequences机构：斯坦福大学、纽约大学、哈佛大学作家：Hamed Nilforoshan 、 Johann Gaebler 、 Ravi Shroff 、 Sharad Goel论文地点：https://arxiv.org/pdf/2207.05302.pdf论文简介：本文首先将算法公平的因果定义归类为两大类，然后通过分析和经验证明，这两个定义在度量理论意义上——导致强烈的帕累托主导的决策策略，这意味着每个利益相关者都有一种可替代的、不受约束的策略。本文结果强调了在因果公平中常见的数学概念形式限制和潜在的不利后果。论文 7：Do Differentiable Simulators Give Better Policy Gradients?机构：MIT作家：H.J. Terry Suh 、 Max Simchowitz 、 Kaiqing Zhang 、 Russ Tedrake论文地点：https://proceedings.mlr.press/v162/suh22b/suh22b.pdf论文简介：该研讨表明某些物理系统的特征（例如刚度或不连续性）可能会损害一阶计算器的功效，并从偏差和方差的角度分析了这种现象。然后该研讨提出了一个 α 阶梯度计算器（α ∈ [0, 1]），它正确地利用精确的梯度实现了一阶计算效率与零阶法子稳健性的双重优势。论文 8：Learning Mixtures of Linear Dynamical Systems机构：普林斯顿大学作家：Yanxi Chen、H. Vincent Poor论文地点：https://proceedings.mlr.press/v162/chen22t/chen22t.pdf论文简介：本文研讨了从未标记的短样本轨迹中进修多个线性动力系统 (LDS) 的混合问题，此外，该研讨还开发了一种两阶段元算法，该算法可以有效地恢复每个真值 LDS 模型，直至误差 ，其中 T 是总样本量。通过数值实验进行验证，证实了所提出算法的有效性。论文 9：Active fairness auditing机构：CMU、亚利桑那大学作家：Tom Yan 、 Chicheng Zhang论文地点：https://arxiv.org/pdf/2206.08450.pdf论文简介：该研讨启动了基于查询的审计（auditing）算法的研讨，该算法可以以高效查询的方式计算 ML 模型的人口学平等性(Demographic Parity)。该研讨提出了一种最佳确定性算法，以及实用随机化、oracle-efficient 算法。此外，他们还研讨了随机主动公平性计算算法的最优查询复杂度。论文 10：Understanding Dataset Difficulty with V-Usable Information机构：斯坦福大学、艾伦人工智能研讨院、华盛顿大学作家：Kawin Ethayarajh 、 Yejin Choi 、 Swabha Swayamdipta论文简介：https://arxiv.org/pdf/2110.08420v2.pdf论文简介：该研讨构建了数据集难度（dataset difficulty），并进一步引入 PVI（pointwise V-information）来测量单个实例的难度。此外，本文框架允许通过输出转换来解释不同输出属性，并用它来发现 NLP 基准中的注释伪影（artefacts）。论文 11：Adversarially Trained Actor Critic for Offline Reinforcement Learning机构：微软研讨院、伊利诺伊大学厄巴纳 – 香槟分校、谷歌研讨院作家：Ching-An Cheng 、 Tengyang Xie 、 Nan Jiang 、 Alekh Agarwal论文地点：https://arxiv.org/pdf/2202.02446.pdf论文简介：该研讨提出了对抗训练的 Actor-Critic 算法（ATAC）——一种在数据覆盖不足的情况下用于离线强化进修（RL）的无模型算法。该框架既为函数近似提供了理论保证，又为可扩展到复杂环境和大型数据集的深度 RL 实现提供了保障。在 D4RL 基准测试中，ATAC 在一系列连续控制任务上始终优于 SOTA 离线 RL 算法。论文 12：Privacy for Free: How does Dataset Condensation Help Privacy?机构：上海交通大学、爱丁堡大学、Sony AI作家：Tian Dong 、 Bo Zhao 、 Lingjuan Lyu论文地点：https://arxiv.org/pdf/2206.00240.pdf论文简介：该研讨首次发现旨在提高训练效率的数据集压缩（DC）法子也是替代传统数据生成器进行私有数据生成的良好解决方案。为了证明 DC 的隐私优势，该研讨在 DC 和差分隐私之间建立了联系。这项工作是数据高效和隐私保护机器进修的一个里程碑。论文 13：Bayesian Model Selection, the Marginal Likelihood, and Generalization机构：纽约大学作家：Sanae Lotfi 、Pavel Izmailov 、Gregory Benton、Micah Goldblum 、Andrew Wilson论文地点：https://arxiv.org/pdf/2202.11678.pdf论文简介：本文首先回顾了进修约束和假设检验的边际似然所具有的特性。之后论文强调了在使用边际似然作为泛化代理（proxy）的概念和实际问题。论文展示了边际似然如何与泛化负相关，还介绍了其与神经架构搜索的含义，可能导致超参数进修中欠拟合和过拟合问题。论文 14：The Importance of Non-Markovianity in Maximum State Entropy Exploration机构：米兰理工大学、苏黎世联邦理工学院作家：Mirco Mutti、Riccardo De Santi、Marcello Restelli论文地点：https://openreview.net/pdf?id=VEGkEHqEsiX论文简介：该研讨表明马尔可夫策略类足以满足任何无限样本最大状态熵（MSE）目标，并提出一种新的有限样本 MSE 目标和相应的表述。论文 15：Minimum Cost Intervention Design for Causal Effect Identification机构：洛桑联邦理工学院作家：Sina Akbari、Jalal Etesami 、 Negar Kiyavash论文地点：https://arxiv.org/pdf/2205.02232.pdf论文简介：本文考虑了以最低成本设计干预措施集合的问题，以确定期望的效果。本文首先证明了这个问题是 NP 困难的，随后提出了一个算法，既可以找到最优解，也可以找到它的 logarithmic-factor 近似。此外，本文还提出了几个多项式时间启发式算法来解决计算复杂性。时间检验奖获得 ICML 2022 时间检验奖的是图宾根大学、卡利亚里大学的研讨《Poisoning Attacks against Support Vector Machines》。论文链接：https://arxiv.org/pdf/1206.6389.pdf论文摘要：在这篇论文中，作家研讨了一类针对支持向量机 (SVM) 的投毒攻打（poisoning attack）。这样的攻打注入了特别精心制作的训练数据，增加了 SVM 的测试错误。这些攻打的动机的核心是，大多数进修算法都假定它们的训练数据来自自然的或行为良好的分布。但是，这种假设通常不适用于安全敏感设置。正如本文所证明的，智能的对手可以在一定程度上展望支持向量机的决策函数的变化，基于的是恶意输出和使用这种能力来构造恶意数据。该攻打采用梯度上升策略，根据支持向量机最优解的性质计算梯度。该法子可以进行内核化，即使对于非线性内核也可以在输出空间构造攻打。实验结果表明，该梯度提升算法可靠地识别出非凸验证误差曲面的良好局部极大值，这显著地增加了分类器的测试误差。作家之一 Battista Biggio 现在是意大利卡利亚里大学助理教授。自从 2007 年以来，他一直在同一所大学的电气与电子工程系工作。他曾分别于 2006 年和 2010 年在意大利卡利亚里大学以优异的成绩获得电子工程硕士学位和电子工程和计算机科学博士学位。研讨的另外两位作家分别是当时在图宾根大学的 Blaine Nelson 和 Pavel Laskov。Blaine Nelson 于 2003 年获得南卡罗来纳大学计算机科学学士学位，并分别于 2005 年和 2010 年获得加州大学伯克利分校的硕士学位和博士学位，随后在图宾根大学和波茨坦大学进行了博士后研讨。完成博士后工作后，Blaine 在 Google 工作了六年，在 2021 年 4 月加入了初创公司 Robust Intelligence 。

Pavel Laskov 现为列支敦士登大学教授，2014 年到 2018 年，他曾是华为欧洲研讨中心（慕尼黑）首席工程师。参考链接：https://icml.cc/virtual/2022/awards_detail