CVPR 2021 | Facebook提出FP-NAS:搜刮速度更快、分类精度更高、性能更好

来自 Facebook AI 的严志程团队发表一种新的神经架构的快速搜刮算法。该算法接纳自符合架构几率漫衍熵的架构采样,能够减少采样样本达 60%,加快搜刮快 1.8 倍。此外,该算法还包括一种新的基于分析几率漫衍的由粗到细的搜刮策略,进一步加快搜刮快达 1.2 倍。该算法搜刮性能优于 BigNAS、EfficientNet 和 FBNetV2 等算法。就职于 Facebook AI 的严志程博士和他的同事最近在 CVPR 2021 发表了关于加快几率性神经架构搜刮的最新工作。该工作提出了一种新的自符合架构漫衍熵的

来自 Facebook AI 的严志程团队发表一种新的神经架构的快速搜刮算法。该算法接纳自符合架构几率漫衍熵的架构采样,能够减少采样样本达 60%,加快搜刮快 1.8 倍。此外,该算法还包括一种新的基于分析几率漫衍的由粗到细的搜刮策略,进一步加快搜刮快达 1.2 倍。该算法搜刮性能优于 BigNAS、EfficientNet 和 FBNetV2 等算法。就职于 Facebook AI 的严志程博士和他的同事最近在 CVPR 2021 发表了关于加快几率性神经架构搜刮的最新工作。该工作提出了一种新的自符合架构漫衍熵的架构采样要领来显著加快搜刮。同时,为了进一步加快在多变量空间中的搜刮,他们通过在搜刮初期使用分析的几率漫衍来极大减少架构搜刮参数。结合上述两种技巧,严志程团队提出的搜刮要领 FP-NAS 比 PARSEC [1] 快 2.1 倍,比 FBNetV2 [2] 快 1.9-3.5 倍,比 EfficientNet [3] 快 132 倍以上。FP-NAS 可以被用于直接搜刮更大的模型。搜刮失掉 FP-NAS-L2 模型复杂度达到 1.0G FLOPS,在只接纳简单知识蒸馏的情况下,FP-NAS-L2 能够比接纳更复杂的就地蒸馏的 BigNAS-XL [4]模型,提高 0.7% 分类精度。

CVPR 2021 | Facebook提出FP-NAS:搜刮速度更快、分类精度更高、性能更好

论文链接:https://arxiv.org/abs/2011.10949背景回顾和新要领简要介绍近年来,神经架构的设计逐渐从手动的人工设计变换到自动的算法搜刮 (NAS)。早期 NAS 的要领基于进化和强化学习,搜刮速度极慢。最近,可微分神经架构搜刮要领(DNAS) 通过共享架构模型参数和计算架构参数梯度来加快搜刮。但是由于需要在内存里为每一个模型层同时存放所有可能的架构选项,DNAS 的内存开销随着搜刮空间的大小线性增长,使得它不适用在大搜刮空间内搜刮复杂度高的模型。另一方面,几率性神经架构搜刮要领 PARSEC 每次只需要采样一个架构,能极大减小内存开销,但是因为每次参数更新需要采样许多架构,搜刮的速度较慢。为了解决上述问题,严志程团队提出两个新的技巧。首先,PARSEC 要领中的牢固架构采样的要领被一种新的自符合架构几率漫衍熵的采样要领取代。在搜刮前期,算法会采样更多的架构来充分探索搜刮空间。在搜刮后期,随着架构几率漫衍熵的减小,算法减少采样的数量来加快搜刮。其次,搜刮通常在多变量空间进行,比如卷积核的大小、模型层的宽度等。为了减少架构参数来加快搜刮,在搜刮前期,我们可以用分析的几率漫衍来表示搜刮空间进行粗粒度搜刮。在搜刮后期,我们转换到联合的几率漫衍进行精细搜刮。这项 FP-NAS 工作的主要创新点和实验结果如下:

提出一种新的自符合架构几率漫衍熵的采样要领,能够减少采样的样本达 60%,加快搜刮快 1.8 倍。

提出一种新的基于分析几率漫衍的由粗到细的搜刮策略,进一步加快搜刮快达 1.2 倍。

对小模型搜刮,FP-NAS 要领比 FBNetV2 要领快 3.5 倍,并且搜刮失掉的模型精度更高。

在搜刮更大的复杂度达到 0.4G FLOPS 的模型时,FP-NAS 比 EfficientNet 快 132 倍,同时搜到的模型 FP-NAS-L0 在 ImageNet 上比 EfficientNet-B0 精度高 0.7%。直接搜刮复杂度达到 1.0G FLOPS 的大模型时,FP-NAS 搜到的模型 FP-NAS-L2 精度比 EfficientNet-B2 高 0.4%。

FP-NAS 通过把 Squeeze-Excite 模块替换成 Split-Attention 来扩大搜刮空间,同时证明单独搜刮各个模型层的 Attention splits 的必要性。

CVPR 2021 | Facebook提出FP-NAS:搜刮速度更快、分类精度更高、性能更好

CVPR 2021 | Facebook提出FP-NAS:搜刮速度更快、分类精度更高、性能更好

图 1: 在 ImageNet 数据集上通过较为 FP-NAS 和其他 NAS 要领搜刮失掉的模型结果。FP-NAS 搜刮要领基础知识在可微分神经架构搜刮要领 DNAS 中,离散的模型层架构选择被表示成连续的所有可能选择的加权总和。

CVPR 2021 | Facebook提出FP-NAS:搜刮速度更快、分类精度更高、性能更好

在几率性神经架构搜刮要领 PARSEC 中,一个架构 A 可以被表示成所有 L 个模型层上的架构CVPR 2021 | Facebook提出FP-NAS:搜刮速度更快、分类精度更高、性能更好。架构的漫衍可以用一个几率CVPR 2021 | Facebook提出FP-NAS:搜刮速度更快、分类精度更高、性能更好来刻画。假定,每个模型层的架构是独立的,每个架构 A 的几率可以表示如下。

CVPR 2021 | Facebook提出FP-NAS:搜刮速度更快、分类精度更高、性能更好

这里,α表示架构漫衍参数。对常见的图像分类问题,我们有图像 X 和类标记 y,PARSEC 的优化函数如下。

CVPR 2021 | Facebook提出FP-NAS:搜刮速度更快、分类精度更高、性能更好

其中,ω表示模型参数。自符合采样PARSEC 搜刮要领在每个优化迭代中采样 K 个牢固数量的架构样本。样本的数量 K 是一个超参,通常需要手动调节来权衡搜刮速度和最终架构的性能矛盾。在新提出的自符合采样中,样本的数量根据架构几率漫衍的熵进行自符合改变。

CVPR 2021 | Facebook提出FP-NAS:搜刮速度更快、分类精度更高、性能更好

这里,  Η表示漫衍熵,  λ是一个预定义的系数。自符合采样在搜刮前期因为熵较高而采样更多的架构。但是因为在搜刮后期漫衍熵大大降低,我们只需要采样少量架构就能获得很好的搜刮结果。多变量空间中的由粗到细的搜刮策略在神经架构搜刮中,我们经常对多个变量进行搜刮。下面两个表格分别呈现搜刮空间的宏架构和微架构。

CVPR 2021 | Facebook提出FP-NAS:搜刮速度更快、分类精度更高、性能更好

表 1: FBNetV2-F 搜刮空间的宏架构。

CVPR 2021 | Facebook提出FP-NAS:搜刮速度更快、分类精度更高、性能更好

表 2: FBNetV2 和 FP-NAS 搜刮空间的微架构。我们使用的搜刮空间有 M=5 个变量 ,包括特征通道数、通道扩张比例、卷积核大小、非线性激活函数和注意力模块里的 splits 数。假定每个变量的基数分别是 3、2、2、6 和 10,那么使用联合几率漫衍表示搜素空间时需要 prod([3, 2, 2, 6, 10])=720 个架构参数。但是使用分析几率漫衍时,架构参数可以被减少到 sum([3, 2, 2, 6, 10])=23,相差 31 倍。

CVPR 2021 | Facebook提出FP-NAS:搜刮速度更快、分类精度更高、性能更好

FP-NAS 搜刮空间我们在实验中使用了 4 个不同的搜刮空间:

FBNetV2-F space。这是先前 FBNetV2 工作中提出的一个空间,一共包含6×10^25个不同的架构。

FBNetV2-F-Fine space。在这个空间中,每个 MBConv 块允许使用不同的架构。

FBNetV2-F++ space。在这个空间中,原来的 SqueezeExcite 注意力模块被新的 SplitAttention 模块取代。split 的数目选择从原来的 {0, 1} 被扩展到{0, 1, 2, 4}。

FP-NAS space。为了支持搜刮更大的神经架构,我们把 FBNetV2-F++ 的搜刮宏架构变得更宽更深,同时提高输入图像的分辨率,失掉三个更大的 FP-NAS 搜刮空间 L0-L2。

CVPR 2021 | Facebook提出FP-NAS:搜刮速度更快、分类精度更高、性能更好

图 2: 含 Split-Attention 注意力模块的 MBConv 模块。

CVPR 2021 | Facebook提出FP-NAS:搜刮速度更快、分类精度更高、性能更好

表 3: 三个包含不同复杂度模型的 FP-NAS 神经架构搜刮空间。主要实验结果我们随机选择 100 个 ImageNet 类的数据(ImageNet-100)用于神经架构搜刮。不断迭代地交替更新架构参数α和模型参数ω进行优化。如何进行架构样本采样?PARSEC 要领在每个优化迭代中牢固采样(FS: Fixed Sampling)若干个架构(K=8 或者 16)。在图 3(a)中,我们发现牢固样本数目 K 和搜刮失掉的架构的精度 / 复杂度权衡(ATC: Accuracy-To-Complexity)高度相关。在图 3(b)中,当 K 取值变大时,架构漫衍的几率熵下降得更快。在图 3(c)中,我们发现在搜刮阶段结束的时候,ImageNet-100 上验证集上的精度随着 K 取值变大而变高。在图 3(d)中,我们看到总共的采样样本数量和搜刮时间都随着 K 取值变大而线性增长。对于新提出的自符合采样要领(AS: Adaptive sampling),我们试验了不同的超参数CVPR 2021 | Facebook提出FP-NAS:搜刮速度更快、分类精度更高、性能更好。在图 3(a)中,我们发现接纳CVPR 2021 | Facebook提出FP-NAS:搜刮速度更快、分类精度更高、性能更好的自符合采样搜刮失掉的架构已经能达到用Κ=14的牢固采样搜刮失掉的架构相似的 ATC,但是搜刮时间大大缩短。在图 3(b)中,我们发现接纳CVPR 2021 | Facebook提出FP-NAS:搜刮速度更快、分类精度更高、性能更好的时候,自符合采样要领将架构几率漫衍的熵降低到一个很低的水平,表明最有可能的架构已经被搜刮到。在图 3(c)中,我们发现接纳CVPR 2021 | Facebook提出FP-NAS:搜刮速度更快、分类精度更高、性能更好的时候,自符合采样要领在 ImageNet-100 验证集上的分类精度已经和牢固采样要领的分类精度几乎一样高。在图 3(d)中,我们看到与接纳 K=14 的牢固采样要领相比,接纳CVPR 2021 | Facebook提出FP-NAS:搜刮速度更快、分类精度更高、性能更好的自符合采样要领能够减少 60% 的样本总数量,加快搜刮达 1.8 倍。

CVPR 2021 | Facebook提出FP-NAS:搜刮速度更快、分类精度更高、性能更好

CVPR 2021 | Facebook提出FP-NAS:搜刮速度更快、分类精度更高、性能更好

CVPR 2021 | Facebook提出FP-NAS:搜刮速度更快、分类精度更高、性能更好

CVPR 2021 | Facebook提出FP-NAS:搜刮速度更快、分类精度更高、性能更好

图 3: 牢固采样要领 (FS) 和自符合采样要领 (AS) 的较为。FP-NAS 要领自符合搜刮空间的大小在更大的搜刮空间里,我们需要采样更多的架构样本来充分探索空间。对于牢固采样来说,使用一个牢固的样本量 K 会阻碍搜刮失掉最优的架构。对于自符合采样来说,使用一个牢固λ的仍然能够保证样本数量随着架构漫衍熵来自动调整,不需要人工进行调参。为了验证这一点,在表 4 中,我们较为了牢固采样和自符合采样在 FBNetV2-F 和 FBNetV2-F-Fine 空间里的搜刮结果。可以看到,在较小的 FBNetV2-F 空间中,使用两种采样要领失掉的最终架构拥有相似的 ATC。但是在较大的 FBNetV2-F-Fine 空间中,在不手工改变超参 K 和 λ 的情况下,自符合要领失掉的最终架构的分类精度高出 0.9%。

CVPR 2021 | Facebook提出FP-NAS:搜刮速度更快、分类精度更高、性能更好

表 4: 较为接纳不同采样要领在不同搜刮空间中失掉的最终架构。由粗到细的搜刮策略在图 4 中,我们较为联合几率漫衍 (JD) 和分析几率漫衍(FD)。在搜刮前期迭代 80 次时,架构漫衍几率熵有很大不同(54.4 Vs 30.6)。但是在搜刮后期,分析几率漫衍降低架构漫衍几率熵的速度却较慢,并不能精确地区分一小部分高几率的架构。因此,我们提出混合架构漫衍几率调动(MD)。在搜刮开始接纳分析几率漫衍,然后在迭代θ次的时候,将其无缝转换到联合几率漫衍。在图 4(a)中,我们呈现了接纳不同CVPR 2021 | Facebook提出FP-NAS:搜刮速度更快、分类精度更高、性能更好的混合架构漫衍几率调动的搜刮结果。由于其能够在搜刮前期和后期中都能较快降低架构漫衍几率熵,因此在自符合采样的情况下,我们能够显著减少采样的架构样本数量。在图 4(b)和表 5 中,我们验证接纳混合架构漫衍几率调动由粗到细的搜刮策略能够进一步减少架构样本达 9%,加快搜刮 1.2 倍,并且不影响最终搜刮架构的性能。总结来说,当同时接纳自符合样本采样和混合架构漫衍几率调动,FP-NAS 能够减少采样样本数量达 64%,加快搜刮达 2.1 倍。

CVPR 2021 | Facebook提出FP-NAS:搜刮速度更快、分类精度更高、性能更好

CVPR 2021 | Facebook提出FP-NAS:搜刮速度更快、分类精度更高、性能更好

图 4: 较为联合几率漫衍调动、分析几率漫衍调动和本文提出的混合几率漫衍调动。

CVPR 2021 | Facebook提出FP-NAS:搜刮速度更快、分类精度更高、性能更好

表 5: 较为架构几率漫衍的调动和最终搜刮架构的精度。跟 FBNetV2 较为小模型的搜刮结果

CVPR 2021 | Facebook提出FP-NAS:搜刮速度更快、分类精度更高、性能更好

表 6:和 FBNetV2 搜刮要领较为搜刮小模型的结果。我们使用同样的 FBNetV2-F 搜刮空间,较为 FP-NAS 和 FBNetV2 两种不同的搜刮要领。在表 6 中,我们发现 FP-NAS 可以加快搜刮达 1.9 到 3.6 倍,并且最终失掉的架构能达到更高的分类精度。可搜刮的 Split-Attention 模块表 7 中我们较为了在 FBNetV2-F 和 FBNetV2-F++ 空间中接纳 FP-NAS 搜刮失掉的架构。我们发现在后者空间搜得的 FP-NAS-S++ 模型可以达到更好的精度 / 复杂度权衡。我们还把在前者空间搜得的 FP-NAS-S 模型进行简单修改,把 splits 数目统一地从 1 改成 2 或者 4。我们发现通过这样简单统一的修改 splits 数目而失掉的模型会有较差的精度 / 复杂度权衡。

CVPR 2021 | Facebook提出FP-NAS:搜刮速度更快、分类精度更高、性能更好

表 7: 较为在 FBNetV2-F 和 FBNetV2-F++ 空间中搜刮失掉的架构。大模型的搜刮结果我们在 FP-NAS L 空间里搜刮复杂度为{0.4G, 0.7G, 1.0G} FLOPS 的大模型。结果见表 8 和图 1。跟 EfficientNet 相比,FP-NAS-L0 模型和 EfficientNet-B0 模型的复杂度都是 0.4G FLOPS 左右,但是 FP-NAS 的搜刮速度快了 132 倍,并且最终的模型分类精度提高了 0.7%。EfficientNet B1 和 B2 模型是通过扩大 B0 模型失掉的。FP-NAS L1 和 L2 模型是直接搜刮失掉的。在搜刮极大加快的情况,他们的分类精度分别提高了 0.9% 和 0.4%。 

CVPR 2021 | Facebook提出FP-NAS:搜刮速度更快、分类精度更高、性能更好

表 8: 跟其他 NAS 搜刮要领的较为。其他 NAS 要领的较为在表 8 里,我们还将 FP-NAS 跟其他主要搜刮要领进行较为,并且确认 FP-NAS 搜刮的高效率和最终模型的高性能。跟 BigNAS 相比,接纳简单知识蒸馏的 FP-NAS-L2 模型能够比接纳更复杂的就地蒸馏的 BigNAS-XL 模型,提高了 0.7% 分类精度。更多的思考自动化神经架构搜刮已经成为一种主流的搭建深度模型的要领。尽管在搜刮小模型方面,  已有的搜刮要领已经取得显著进展,如何扩展他们用于直接快速地搜刮更大的模型仍然是一个极具挑战性的课题。本文 FP-NAS 的工作是基于几率性神经架构搜刮的框架,在其低内存消耗优势基础上,显著加快其搜刮过程,使得 NAS 的科研工作朝着更好的可复制性和可扩展性方向迈进一步。  主要作者介绍严志程博士,脸书(Facebook)人工智能应用研究院主任科学家及技术经理。研究方向为大规模图像视频理解、物体和环境感知、及其在增强现实中的应用。FP-NAS、 HACS、HD-CNN 等科研项目的负责人和主要作者。2016 年于伊利诺伊香槟厄巴纳分校获得计算机科学专业的博士学位。从 2016 年至今,在脸书从事计算机视觉相关的科研项目和面向大规模应用的工程项目。曾主导开发脸书第一个商业产品的视觉识别服务,第一个实时处理 Facebook 和 Instagram 所有用户视频的大规模视频语义理解服务。

CVPR 2021 | Facebook提出FP-NAS:搜刮速度更快、分类精度更高、性能更好

引用文献[1] Probabilistic neural architecture search. arXiv preprint arXiv:1902.05116, 2019[2] Fbnetv2: Differentiable neural architecture search for spatial and channel dimensions. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 12965–12974, 2020[3] Efficientnet: Rethinking model scaling for convolutional neural networks. arXiv preprint arXiv:1905.11946, 2019.[4] BigNAS: Scalingup neural architecture search with big single-stage models.arXiv preprint arXiv:2003.11142, 2020

原创文章,作者:机器之心,如若转载,请注明出处:https://www.iaiol.com/news/cvpr2021facebook-ti-chu-fpnas-sou-gua-su-du-geng-kuai-fen/

(0)
上一篇 2021年 4月 7日 下午3:25
下一篇 2021年 4月 8日 下午4:20

相关推荐

  • 特斯拉8月在华销量首破4万台,或已达产能极限

    根据乘联会销量数据显示,8月特斯拉批售量到达44264辆,环比增加34%,同比增加275%。截至8月,特斯拉2021年全球累计发卖高出25万辆,海内发卖约15万辆,超越去年全年总和。此外,特斯拉出口量也在断续攀升,自特斯拉7月底宣布将上海超等工场转型为主要的汽车出口中心后,当月出口量就已突破2万辆,8月又增加至31379辆,环比提升29%。据特斯拉CEO埃隆·马斯克此前在推特透露,特斯拉上半季度生产的汽车主要用于出口,下半季度则面向海内市场。目前,特斯拉上海超等工场年产能规划高出45万辆,月度产能规划

    2021年 9月 9日
  • 冰鉴科技完成2.28亿元C2轮融资,国创中鼎领投

    上海冰鉴信息科技有限公司(以下简称冰鉴科技)近日宣布完成2.28亿元C2轮融资,该轮融资由国创中鼎领投,东方富海、曦域资本跟投。投中资本担任C2轮独家投资顾问。2020年底冰鉴科技宣布完成C1轮投资,C1和C2合称为C轮融资。本轮融资主要用于扩展研发团队,对上下游进行投资并购,以及完善公司生态建设和业务版图。冰鉴科技是一家利用人工智能手艺提供企业级效劳的高科技公司。经过近六年的发展,已成长为人工智能企业效劳畛域尤其是风控畛域的领军企业。同时,以金融行业效劳为根基,冰鉴科技不竭拓展人工智能运用边界,将领先的核心手艺转

    2021年 4月 12日
  • 除了缺少点创意,GPT-3写出了及格的大学毕业论文,只需20分钟

    GPT-3 写的论文及格了吗?教育资源网站 EduRef 对此进行了一项尝试,效果还行,及格水平。

    2021年 3月 2日
  • 阿里 BladeDISC 深度进修编译器正式开源

    作者:朱凯 – 机器进修PAI团队 随着深度进修的不断发展,AI模型结构在快速演化,底层算计硬件技术更是层出不穷,对于广大开发者来说不仅要考虑如何在复杂多变的场景下有效的将算力发挥出来,还要应对算计框架的持续迭代。深度编译器就成了应对以上课题广受关注的技术方向,让用户仅需专注于上层模型开发,降低手工优化本能的人力开发成本,进一步压榨硬件本能空间。阿里云机器进修PAI开源了业内较早投入实际业务使用的静态shape深度进修编译器 BladeDISC,本文将详解 BladeDISC的设计原理和使用。BladeD

    2022年 3月 30日
  • “中关村智用人工智能同伴设计”报名已开放,八大效劳助力AI落地

    中关村智用人工智能同伴设计”(简称设计)报名已于2021年3月1日正式开放(报名链接:http://aizgc.org.cn/#/zhiyong/friend),并得到了人工智能财产各界的关注。某AI企业结合创始人李先生谈起同伴设计来满脸兴奋,据他介绍:同伴设计给他的创业带来了新的曙光,此前他的公司虽然拥有先进的手艺,但在寻找落地场景的道路上却一直坎坷,人脸识别等常识性使用场景已经是一片红海,想寻找手艺落地的蓝海场景,却又因为团队成员大都是信息手艺出身,对其他行业了解不多,既不知道哪些行业可能是潜在用户,即使知道,

    2021年 3月 29日
  • ACL 2021 | 腾讯AI Lab、港中文杰出论文:用单语影象实现高功能NMT

    在 ACL 2021 的一篇杰出论文中,研讨者提出了一种基于单语数据的模型,功能却优于运用双语 TM 的「TM-augmented NMT」基线格式。自然语言处理(NLP)领域顶级会议 ACL 2021 于 8 月 2 日至 5 日在线上举行。据官方数据, 本届 ACL 共收到 3350 篇论文投稿,其中主会论文录用率为 21.3%。腾讯 AI Lab 共入选 25 篇论文(含 9 篇 findings)。在不久之前公布的获奖论文中,腾讯 AI Lab 与香港中文大学合作完成的《Neural Machine Tra

    2021年 8月 5日
  • 宏景智驾CEO刘飞龙:利用「众筹法」接近主动驾驭终局

    作者 / 曹锦2018年,一支源自Cruise的初创团队准备在中国成立一家L4级主动驾驭公司。但是很快,他们就将定位由「Robotaxi量产公司」改为「L1-L4级智能驾驭规划服务商」。这是因为,当他们做了Robotaxi样车之后,却发现不管从法规还是商场接受度来看,L4级主动驾驭都还没迎来恰当的时机。之后的故事大家可能已经知道了,这家名为宏景智驾的公司,在刚成立三年半的时候,就实现了2亿元的营收,今年上半年的订单额更是高达4.9亿元。(左:宏景智驾创始人兼CEO刘飞龙,右:Auto Byte负责人 曹锦

    2022年 5月 31日
  • 跳过人脸检测和关键点定位,Facebook等提出及时3D人脸姿势估量新法子

    来自 Facebook AI 和美国圣母大学的研究者提出了一种 6 自由度的及时 3D 人脸姿势估量技术,可以不依赖人脸检测和人脸关键点定位独立运行。

    2021年 2月 9日
  • 马斯克脑机接口公司Neuralink高层动荡:联合创始人兼总裁离任,曾想建侏罗纪公园

    马克斯 · 霍达克的离任会对 Neuralink 的未来发展造成什么影响呢?埃隆 · 马斯克又会选择谁来接任总裁一职呢?这些我们都拭目以待吧!

    2021年 5月 3日

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注