解锁CNN和Transformer正确结合方法,字节跳动提出有效的下一代视觉Transformer

来自字节跳动的研讨者提出了一种能在现实工业场景中有效布置的下一代视觉 Transformer,即 Next-ViT。Next-ViT 能像 CNN 一样快速推断,并有 ViT 一样强大的功能。

由于复杂的注意力机制和模型设计,大多数现有的视觉 Transformer(ViT)在现实的工业布置场景中不能像卷积神经网络(CNN)那样高效地执行。这就带来了一个问题:视觉神经网络能否像 CNN 一样快速推断并像 ViT 一样强大?近期一些工作试图设计 CNN-Transformer 混同架构来解决这个问题,但这些工作的整体功能远不能令人满意。基于此,来自字节跳动的研讨者提出了一种能在现实工业场景中有效布置的下一代视觉 Transformer——Next-ViT。从耽误 / 准确性掂量的角度看,Next-ViT 的功能可以媲美优秀的 CNN 和 ViT。

图片

论文地址:https://arxiv.org/pdf/2207.05501.pdfNext-ViT 的研讨团队通过开发新型的卷积块(NCB)和 Transformer 块(NTB),布置了友好的机制来拿获局部和全部信息。然后,该研讨提出了一种新型混同策略 NHS,旨在以高效的混同范式重叠 NCB 和 NTB,从而提高各种下游使命的功能。大量实验表明,Next-ViT 在各种视觉使命的耽误 / 准确性掂量方面明显优于现有的 CNN、ViT 和 CNN-Transformer 混同架构。在 TensorRT 上,Next-ViT 与 ResNet 相比,在 COCO 检测使命上高出 5.4 mAP(40.4 VS 45.8),在 ADE20K 分隔上高出 8.2% mIoU(38.8% VS 47.0%)。同时,Next-ViT 达到了与 CSWin 相当的功能,并且推理速度提高了 3.6 倍。在 CoreML 上,Next-ViT 在 COCO 检测使命上比 EfficientFormer 高出 4.6 mAP(42.6 VS 47.2),在 ADE20K 分隔上高出 3.5% mIoU(从 45.2% 到 48.7%)。方法Next-ViT 的整体架构以下图 2 所示。Next-ViT 遵循分层金字塔架构,在每个阶段配备一个 patch 嵌入层和一系列卷积或 Transformer 块。空间分辨率将逐步降低为原来的 1/32,而通道维度将按阶段扩展。

图片

研讨者首先深入设计了信息交互的核心模块,并分别开发强大的 NCB 和 NTB 来模拟视觉数据中的短期和长期依赖关系。NTB 中还进行了局部和全部信息的融合,进一步提高了建模能力。最后,为了克服现有方法的固有缺陷,该研讨系统地研讨了卷积和 Transformer 块的集成方式,提出了 NHS 策略,来重叠 NCB 和 NTB 构建新型 CNN-Transformer 混同架构。NCB研讨者分析了几种经典结构设计,以下图 3 所示。ResNet [9] 提出的 BottleNeck 块由于其在大多数硬件平台上固有的归纳偏置和易于布置的特性,长期以来一直在视觉神经网络中占据主导地位。不幸的是,与 Transformer 块相比,BottleNeck 块的有效性欠佳。ConvNeXt 块 [20] 通过模仿 Transformer 块的设计,对 BottleNeck 块进行了现代化改造。虽然 ConvNeXt 块提高了网络功能,但它在 TensorRT/CoreML 上的推理速度受到低效组件的严重限制。Transformer 块在各种视觉使命中取得了优异的成绩,然而 Transformer 块的推理速度比 TensorRT 和 CoreML 上的 BottleNeck 块要慢得多,因为其注意力机制比较复杂,这在大多数现实工业场景中是难以承受的。

图片

为了克服上述几种块的问题,该研讨提出了 Next Convolution Block (NCB),它在保持 BottleNeck 块的布置优势的同时获得了 Transformer 块的突出功能。如图 3(f) 所示,NCB 遵循 MetaFormer (已被证实对 Transformer 块至关重要) 的一般架构。此外,一个高效的基于注意力的 token 混同器同样重要。该研讨设计了一种多头卷积注意力(MHCA)作为布置卷积操作的高效 token 混同器,并在 MetaFormer [40] 的范式中使用 MHCA 和 MLP 层构建 NCB。NTBNCB 已经有效地学习了局部表征,下一步需要拿获全部信息。Transformer 架构具有很强的拿获低频旗号的能力,这些旗号能够提供全部信息(例如全部形状和结构)。然而,相关研讨已经发现,Transformer 块可能会在一定程度上恶化高频信息,例如局部纹理信息。不同频段的旗号在人类视觉系统中是必不可少的,它们以某种特定的方式融合,以提取更多本质和独特的特征。受这些已知结果的影响,该研讨开发了 Next Transformer Block (NTB),以在轻量级机制中拿获多频旗号。此外,NTB 可用作有效的多频旗号混频器,进一步增强整体建模能力。NHS近期一些工作努力将 CNN 和 Transformer 结合起来进行高效布置。以下图 4(b)(c) 所示,它们几乎都在浅层阶段采用卷积块,在最后一两个阶段仅重叠 Transformer 块,这种结合方式在分类使命上是有效的。但该研讨发现这些混同策略很容易在下游使命(例如分隔和检测)上达到功能饱和。原因是,分类使命仅使用最后阶段的输出进行预测,而下游使命(例如分隔和检测)通常依赖每个阶段的特征来获得更好的结果。这是因为传统的混同策略只是在最后几个阶段重叠 Transformer 块,浅层无法拿获全部信息。

图片

该研讨提出了一种新的混同策略 (NHS),创造性地将卷积块 (NCB) 和 Transformer 块 (NTB) 与 (N + 1) * L 混同范式结合在一起。NHS 在控制 Transformer 块比例的情况下,显著提升了模型在下游使命上的功能,并实现了高效布置。首先,为了赋予浅层拿获全部信息的能力,该研讨提出了一种(NCB×N+NTB×1)模式混同策略,在每个阶段依次重叠 N 个 NCB 和一个 NTB,如图 4(d) 所示。具体来说,Transformer 块 (NTB) 放置在每个阶段的末尾,使得模型能够学习浅层中的全部表征。该研讨进行了一系列实验来验证所提出的混同策略的优越性,不同混同策略的功能以下表 1 所示。

图片

此外,以下表 2 所示,大模型的功能会逐渐达到饱和。这种现象表明,通过扩大 (NCB × N + NTB × 1) 模式的 N 来扩大模型大小,即简单地添加更多的卷积块并不是最佳选择,(NCB × N + NTB × 1)模式中的 N 值可能会严重影响模型功能。

图片

因此,研讨者开始通过广泛的实验探索 N 的值对模型功能的影响。如表 2(中)所示,该研讨在第三阶段构建了具有不同 N 值的模型。为了构建具有相似耽误的模型以进行公平比较,该研讨在 N 值较小时重叠 L 组 (NCB × N + NTB × 1) 模式。如表 2 所示,第三阶段 N = 4 的模型实现了功能和耽误之间的最佳掂量。该研讨通过在第三阶段扩大 (NCB × 4 + NTB × 1) × L 模式的 L 来进一步构建更大的模型。如表 2(下)所示,Base(L = 4)和 Large(L = 6)模型的功能相对于小模型有显著提升,验证了所提出的(NCB × N + NTB × 1)× L 模式的一般有效性。最后,为了提供与现有 SOTA 网络的公平比较,研讨者提出了三个典型的变体,即 Next-ViTS/B/L。

图片

实验结果ImageNet-1K 上的分类使命与最新的 SOTA 方法(例如 CNN、ViT 和混同网络)相比,Next-ViT 在准确性和耽误之间实现了最佳掂量,结果以下表 4 所示。

图片

ADE20K 上的语义分隔使命该研讨将 Next-ViT 与 CNN、ViT 和最近一些混同架构针对语义分隔使命进行了比较。以下表 5 所示,大量实验表明,Next-ViT 在分隔使命上具有出色的潜力。

图片

目标检测和实例分隔在目标检测和实例分隔使命上,该研讨将 Next-ViT 与 SOTA 模型进行了比较,结果以下表 6 所示。

图片

消融实验和可视化为了更好地理解 Next-ViT,研讨者通过评估其在 ImageNet-1K 分类和下游使命上的功能来分析每个关键设计的作用,并将输出特征的傅里叶谱和热图可视化,以显示 Next-ViT 的内在优势。以下表 7 所示,NCB 在所有三个使命上实现了最佳耽误 / 准确性掂量。

图片

对于 NTB 块,该研讨探讨了 NTB 的收缩率 r 对 Next-ViT 整体功能的影响,结果以下表 8 所示,减小收缩率 r 将减少模型耽误。

图片

此外,r = 0.75 和 r = 0.5 的模型比纯 Transformer (r = 1) 的模型具有更好的功能。这表明以适当的方式融合多频旗号将增强模型的表征学习能力。特别是,r = 0.75 的模型实现了最佳的耽误 / 准确性掂量。这些结果说明了 NTB 块的有效性。该研讨进一步分析了 Next-ViT 中不同归一化层和激活函数的影响。以下表 9 所示,LN 和 GELU 虽然带来一些功能提升,但在 TensorRT 上的推理耽误明显更高。另一方面,BN 和 ReLU 在整体使命上实现了最佳的耽误 / 准确性掂量。因此,Next-ViT 统一使用 BN 和 ReLU,以便在现实工业场景中进行高效布置。

图片

最后,该研讨可视化了 ResNet、Swin Transformer 和 Next-ViT 的输出特征的傅里叶谱和热图,以下图 5(a) 所示。ResNet 的频谱分布表明卷积块倾向于拿获高频旗号、难以关注低频旗号;ViT 擅长捕捉低频旗号而忽略高频旗号;而Next-ViT 能够同时拿获高质量的多频旗号,这显示了 NTB 的有效性。

图片

此外,如图 5(b)所示,Next-ViT 能比 ResNet 和 Swin 拿获更丰富的纹理信息和更准确的全部信息,这说明 Next-ViT 的建模能力更强。

原创文章,作者:机器之心,如若转载,请注明出处:https://www.iaiol.com/news/jie-suo-cnn-he-transformer-zheng-que-jie-he-fang-fa-zi-jie/

(0)
上一篇 2022年 7月 22日 下午1:57
下一篇 2022年 7月 23日 下午5:39

相关推荐

  • DataWorks赋能企业一站式数据开发处置本领

    简介: 企业大数据技术发展至今,历经了两次演变。第一次演变从最初的“小作坊”解决大数据问题,到后来企业用各种大数据技术搭建起属于自己的“大平台”,通过平台化的本领实现数据生产力的升级。 第二次演变让大数据从“大平台”向“矫捷制造”的开发范式演进。在2021阿里云峰会上,阿里巴巴集团副总裁、阿里云智能算计平台事业部高级研究员贾扬清发布基于DataWorks的一站式大数据开发处置的平台,就是这个演变最好的佐证。

    2021年 9月 29日
  • 典范教材《统计进修导论》第二版来了,新增深度进修等内容,免费下载

    典范的《统计进修导论》又出第二版了,相比于第一版,新版增加了深度进修、生存剖析、多重测试等内容,可免费下载。

    2021年 8月 8日
  • baidu李士岩:两年内,每个人有望实行「数字人自由」

    元宇宙无疑是2021年的概念顶流,在巨头下场、web 3.0加速构建过程中,虚构数字人作为元宇宙的场景入口与连接纽带也备受瞩目。今年的江苏卫视跨年晚会上,周深与邓丽君跨时空合唱《大鱼》刷屏。

    2022年 1月 15日
  • 北京R SPACE都会异想空间开馆,上汽R跨界打造新地标

    夜幕降临,星光熠熠。裙摆与西服,穿梭在音乐与美酒之间;镜头与灯光,记录下交织的玫瑰与车影……5月17日晚,在位于北京国贸CBD核心商圈的北京华贸广场,R汽车联合时髦芭莎共同呈现了一场致意现在的先锋时髦盛宴——ROSE NIGHT。《时髦芭莎》执行出版人兼主编沙小荔,国际知名时髦摄影师、视觉艺术家陈漫,以及多位艺术与时髦大咖齐聚,共同见证北京R SPACE都会异想空间正式开馆,点亮帝都潮水生存新地标。科技跨界时髦  北京R SPACE点亮潮水新地标举目四顾

    2021年 5月 18日
  • 陈怡然、刘学等多位华人学者当选,ACM SIG新任主席名单出炉

    近日,ACM SIG 新一届选举结果出炉,多位华人学者当选SIG主席。

    2021年 6月 16日
  • “朋友圈”阵容豪华,华海清科IPO如何撑起百元发行价?

    CMP装备国产替代之路,道阻且长。撰文 | shanshan继纳芯微230元高价发行之后,半导体行业今年迎来了第二只百元高价新股。5月25日,华海清科公告,此次科创板上市发行价136.66元/股,对应发行市盈率127.9倍。华海清科最早成立于2013年,是一家高端半导体装备制造商,属于专用装备制造业。主营业务为半导体专用装备的研发、生产、销售及技术服务,次要产品为化学机械抛光(CMP)装备。作为目前国内唯一能够为集成电路制造商提供12英寸CMP商业机型的高端半导体装备制造商,华海清科也受到了二级市场上投资者的追捧。

    2022年 6月 10日
  • 华为诺亚调研200多篇文献,视觉Transformer综述入选TPAMI 2022

    华为诺亚方舟实验室联合北大和悉大整理了业界第一篇视觉Transformer综述。

    2022年 2月 23日
  • B站粉丝超130万,最火最直觉数学网站3b1b终于有了笔墨版!网友:点燃对数学的爱

    进修知识有更优雅的方法。如果你无法懂得高等数学、比特币、深度进修这些观念,可能有人会向你推荐 3blue1brown 的视频——这是一个专门制作可视化讲授视频的频道,其实质覆盖数学、人工智能等领域,每门课都配有直觉生动的动画演示,帮助观众加深对观念定理的懂得。它火到什么程度?除了 YouTube 上 380 万订阅者之外,3b1b 在 B 站上还有官方账号,粉丝数量超过 130 万,每个视频都是 10 万以上播放量,甚至有老师在课堂上播放该频道的视频。对于一个硬核教学 UP 主来说,这样的成

    2021年 8月 5日
  • 算法“视”界杯强势来袭,2021腾讯告白算法大赛正式开启!

    技无止竞!算法巅峰对决再起,技术大咖速来报名!

    2021年 3月 11日
  • 京东云发布618十大手艺,意在带动行业的新一轮变革

    6月15日,以“解码京东618:京东云发布十大手艺使用趋向”为主题的媒体沙龙在京东举办,这也是京东团体统合云、零卖、物流多方618手艺团队首次全面解密亿级消费洪峰、全供应链最复杂场景背面的手艺图景。活动现场,京东零卖逐层揭开了库存周转31.2天,这一世界级数字背面的奥秘,并由京东物流“接力”分享了如何通过一体化供应链完成全国超200座城市分钟级投递的过程,展示了商品从零卖到物流,最后送至消费者手中的全链路过程。与此同时,作为京东618的手艺基石,京东云全面展现了在面对

    2021年 6月 16日

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注