字节跳动CVPR2022 AVA比赛夺冠，技能方案可提升自动驾驶无障碍检测

近日，CVPR2022各项比赛结果陆续公布， 字节跳动智能创作AI平台 「Byte-IC-AutoML」团队在基于分解数据的实例肢解挑战赛（ Accessibility Vision and Autonomy Challenge ，下文简称AVA) 中，凭借自研的 Parallel Pre-trained Transformers (PPT) 框架脱颖而出，成为该比赛唯一赛道的冠军。

论文地址：https://arxiv.org/abs/2206.10845

本届AVA比赛由波士顿大学(Boston University)和卡耐基梅隆大学(Carnegie Mellon University)联合举办。

比赛通过渲染引擎得到一个分解的实例肢解数据集，其中包含与残疾行人交互的自治系统的数据样例。比赛目标是为无障碍相关人与物提供目标检测和实例肢解的基准和方式。 

数据集可视化

比赛难点分析

领域泛化问题：本次比赛数据集均为渲染引擎分解的图像, 数据 domain 和自然图像存在显著差异； 长尾/少样本问题：数据存在长尾分布, 如 "手杖" 和 "轮椅" 种别在数据集中更少, 肢解效果也更差；肢解鲁棒性问题：些种别的肢解效果非常差, 实例肢解 mAP 比目标检测肢解 mAP 低 30 多个点；

技能方案详解

Byte-IC-AutoML团队提出了一个Parallel Pre-trained Transformers (PPT)框架来完成。框架主要由三个模块组成：1）并行的大规模预训练的Transformers；2）Balance Copy-Paste 数据增强；3）像素级别的非极大值抑制和模型融会；

并行大规模预训练Transformers

最近很多的预训练文章表明，大规模数据集预训练的模型可以很好地泛化到不同的下游场景中。因此，团队使用 COCO 和 BigDetection 数据集先对模型进行预训练，这可以较大程度地缓解自然数据和分解数据之间的领域偏差，以便可以在下游的分解数据场景中用较少的样本快速训练。在模型层面, 考虑到 Vision Transformers 没有 CNN 的归纳偏置, 更能享受预训练带来的好处，团队使用 UniFormer 和 CBNetV2。UniFormer 统一了 convolution 和 self-attention，同时解决 local redundancy 和 global dependency 两大问题，实现高效的特征学习。CBNetV2 架构串接多个相同的骨干分组，这些骨干通过复合连接来构建高性能检测器。模型的骨干特征提取器都是 Swin Transformer。多个大规模预训练的 Transformers 通过并行的方式排列，输出的结果进行集成学习输出终究的结果。

不同方式在验证数据集上的mAP

Balance Copy-Paste 数据增强

Copy-Paste技能通过随机粘贴对象为实例肢解模型提供了令人印象深刻的结果，尤其是对于长尾分布下的数据集。然而，这种方式均衡地增加了所有种别的样本，并没能从根本上缓解种别分布的长尾问题。因此，团队提出了Balance Copy-Paste 数据增强方式。Balance Copy-Paste 根据种别的有效数量自适应地对种别进行采样，提高了整体的样本质量，缓解了样本数少和长尾分布的问题, 终究大幅提升了模型在实例肢解上的 mAP。

Balance Copy-Paste数据增强技能带来的提升

像素级别的非极大值抑制和模型融会

由于该数据集存在一些种别肢解特别困难的种别(例如细长的手杖, 样本少的轮椅等), 导致终究肢解效果不鲁棒, 因此团队提出把多个不一样模型输出的肢解掩码进行非极大值抑制，并对终究的掩码重新打分，终究把置信度低的结果进行丢弃，返回并行模型集成之后的结果, 实验表明掩码集成能得到更加鲁棒的肢解结果并进一步带来结果提升。

验证集上的模型融会消融实验

测试集上的模型融会消融实验

目前，城市和交通数据集更多的是通用场景, 只包含正常的交通工具和行人，数据集中缺乏关于残疾人及行动不便的人, 以及其辅助设备的种别，利用当前已有数据集得到的检测模型无法检测出这些人与物体。

字节跳动Byte-IC-AutoML团队的这项技能方案，对目前自动驾驶和街道场景理解有广泛应用：经过这些分解数据得到的模型可以识别出“轮椅”，“在轮椅上的人”，“拄手杖的人”等少见的种别，不但能更加精细地对人群/物体进行划分, 而且不会错判误判导致场景理解错误。此外, 通过这种分解数据的方式, 可以构造出真实世界中比较少见种别的数据, 从而训练更加通用, 更加完善的目标检测模型。

智能创作是字节跳动的多媒体创新科技研究所和综合型服务商。覆盖了计算机视觉、图形学、语音、拍摄编辑、特效、客户端、AI平台、服务端工程等技能领域，在部门内部实现了前沿算法-工程系统-产品全链路的闭环，旨在以多种形式向公司内部各业务线以及外部合作客户提供业界最前沿的内容理解、内容创作、互动体验与消费的能力和行业解决方案。团队技能能力正通过火山引擎对外开放。

火山引擎是字节跳动旗下的云服务平台，将字节跳动快速发展过程中积累的增长方式、技能能力和工具开放给外部企业，提供云基础、视频与内容分发、大数据、人工智能、开发与运维等服务，帮助企业在数字化升级中实现持续增长。