CVPR 2021 | 不需要标注了?看自监视进修框架如何助力主动驾驭

来自主动驾驭公司轻舟智航和约翰霍普金斯大学的学者提出了一个自监视进修框架,可从未标注的激光雷达点云和配对的相机图象中从事点云疏通估量,与现有的监视办法相比,该办法具有良好的性能,当进一步从事监视微调时,模型优于 SOTA 办法。

理解各种交通参与者的疏通对于主动驾驭汽车在动态环境中安全运行至关重要。疏通信息对于各种车载模块非常关键,涉及检测、跟踪、猜测、规划等多个任务。主动驾驭汽车通常配有多个传感器,其中最常用的是激光雷达(LiDAR)。因此,如何从点云中表征和提取疏通信息是主动驾驭钻研中一个基础的问题。总体来看,这一钻研方向存在如下挑战:

存在多个交通参与者的类型,每一个类型都表现出特定的疏通行为;

点云的稀疏性导致两次 LiDAR 扫描之间缺乏精确的对应关系;

计算过程需要满足严格的时间限制和有限的车载计算。

传统的主动驾驭系统通常通过识别场景中其它交通参与者,并根据所观测的历史信息来猜测交通场景会如何变化,从而实现疏通信息估量。但是,大多数识别模型都是为检测若干已知类型的物体而训练的。对于实际情况而言,这种封闭式场景(closed-set)显然不足以让模型识别那些在训练数据中未出现的物体类型。物体疏通信息作为一种与语义信息相比层次较低的信息,应该在开放环境(open-set)中被估量,而与物体是否属于已知类型无关。一种猜测类型无关(class-agnostic)疏通的办法是通过估量每一个点的 3D 疏通从点云中估量场景流(scene flow),但是这种密集疏通场的猜测目前在计算上还无法高效处理一次完整的 LiDAR 扫描,从而无法在需要实时大规模点云处理的主动驾驭中从事实际应用。表征并估量点云疏通信息的另一种方式是基于 BEV(bird’s eye view)的方式。在这种方式中,点云被离散化为网格单元,每一个网格单元被称为体柱,点云的疏通信息可以通过所有体柱的位移向量来描述,该位移向量描述了每一个体柱在地面上的移动大小和方向。这种表征办法成功简化了场景疏通,因为地面上物体的疏通是主动驾驭中主要考虑的因素,而垂直方向上的疏通则没有那么重要。此外,以这种形式表征点云非常有效。因为所有的关键操作都可以通过 2D 卷积从事,而 2D 卷积在 GPU 上的计算速度非常快。最近的一些钻研表明:这种表征可以很容易地推广到类型无关的点云疏通估量中。但是,这需要依靠大量带有标注的点云数据,例如将目标检测和跟踪作为间接的疏通监视信息,但是点云数据的标注成本高昂。另外统计发现,一辆主动驾驭汽车每天会产生超过 1TB 的数据,但仅有不到 5% 的数据被最终利用。因此,为了充分利用海量未标注的数据,在没有手工标注的数据上从事进修就显得尤为重要。虽然近年来人们对语言和视觉方面自监视进修的关注越来越大,但点云方面的自监视进修仍然相对比较落后。这一现状激发了轻舟智航和约翰霍普金斯大学学者的钻研兴趣。  

图片

论文链接:https://arxiv.org/pdf/2104.08683.pdf在这篇论文中,来自轻舟智航、约翰霍普金斯大学的钻研者提出了一个自监视进修框架,利用激光雷达和相机的自监视进修从事点云疏通估量。用于主动驾驭的自监视「点云疏通进修」如图 1 所示,为了充分利用 BEV 中疏通表征的优点,该钻研将点云组织成体柱(pillar),并将与每一个体柱相关的速度称为体柱疏通(pillar motion)。该钻研引入了一种基于点云的自监视进修办法,假设连续两次扫描之间的体柱或物体的结构形状是不变的。  

图片

图片

图 1:该钻研提出的自监视柱疏通进修概览。然而,这在大多数情况下是不成立的,因为 LiDAR 的稀疏扫描,连续两个点云之间缺乏精确的点与点的对应。该钻研的解决方案是利用从相机图象中提取的光流来提供跨传感器的自监视和正则化。如图 2 所示,这种设计形成了一个统一的进修框架,包括 LiDAR 和配对相机之间的交互:(1)点云有助于将自车疏通(ego-motion)导致的图象疏通从光流中分解出来;(2)光流为点云中的体柱疏通进修提供了辅助正则化;(3)反投影(back-projected)光流形成的概率疏通掩膜(probabilistic motion masking)提升了点云结构的一致性。注意,与相机相关的模块仅用于训练,在推理阶段不会被使用,因此,在运行时不会对相机相关的模块引入额外的计算。据了解,这项工作是首个能够在完全自监视框架下从事点云体住疏通猜测的进修范式。该钻研提出了新的自监视以及跨传感器(cross-sensory)监视信号,通过紧密整合 LiDAR 点云和配对相机图象来实现所需的自监视。实行表明,与现有的监视办法相比,该办法具有良好的性能。  

图片

图 2:用于点云体柱疏通估量的自监视进修框架。如图 2 所示,该钻研提出的疏通进修办法将点云的结构一致性自监视与跨传感器的疏通正则化紧密耦合。正则化包括从光流中分解出自我疏通,并在传感器之间执行疏通一致性(motion agreement)。该钻研还引入了一种基于反投影(back-projected)光流的概率疏通掩膜(probabilistic motion masking)来增强点云的结构相似性匹配。  

图片

图 3:概率疏通掩膜说明,左:投影点在前向相机图象上的光流(已将自我疏通分解)。右:点云的一部分,颜色表示非空体柱的静态概率。实行钻研人员首先从事了各种组合实行,以评估设计中每一个单独组件的贡献。如表 1 所示:  

图片

表 1:每一个单独组件的贡献,结果包括均值和中位误差。该钻研将所提办法与表 3 中的各种监视算法从事了比较。实行首先将提出的自监视模型与 FlowNet3D 、 HPLFlowNet 从事了比较,这些模型都在 FlyingThings3D 以及 KITTI Scene Flow 从事了预训练。在表 3 中,该钻研提出的模型在很大程度上优于这两种有监视的预训练模型。值得注意的是,该钻研提出的自监视模型甚至优于或接近一些在基准数据集上全监视训练的办法,如 FlowNet3D、HPLFlowNet、PointRCNN。实行结果表明该钻研提出的自监视设计的优越性,以及自监视训练在目标领域的重要性。当使用真值标签进一步微调该钻研提出的自监视模型时,该模型实现 SOTA 性能。如表 3 所示,对于快速疏通的目标,微调模型明显优于 MotionNet。这表明,该钻研提出的自监视模型为有效的监视训练提供了更好的基础,并且自监视进修的增益不会随着复杂的监视训练而减少。  

图片

表 3:与 SOTA 结果对比。实行分为三个速度组,表中记录了平均误差和中位误差。最后,实行展示了利用不同的自监视组合从事体柱疏通估量的定性结果。如图 5 所示,这些示例呈现了不同的交通场景。与该钻研的完整模型相比,仅使用结构一致性损失的基本模型倾向于在背景区域(第 1 列和第 5 列)和静态前景目标(第 2 列和第 3 列)中生成假阳性疏通猜测。与基本模型相比,完整模型还能够在移动目标上产生更平滑的体柱疏通(第 5 列和第 6 列)。此外,如第 4 列所示,基本模型中缺少场景右上角的移动卡车,但可以通过完整模型从事合理的估量。这再次验证了从相机图象中提取的疏通信息的有效性。  

图片

图 5:点云体柱疏通猜测对比。第一行显示真值疏通场,第二行显示的是该钻研全模型的评估结果,而只使用结构一致性的基础模型的猜测结果在第三行。每一列都演示了一个场景。

本篇论文中的一作和二作都是来自轻舟智航的学者。轻舟智航是一家近期备受关注的主动驾驭公司,作为一支始创于硅谷的全华人团队,轻舟智航不仅是国内唯一一家 Waymo 系的主动驾驭公司,还是国内首个启动 5G 无人公交常态化运营的公司。目前,轻舟智航在苏州、深圳、武汉、北京等地都部署有无人小巴,供普通市民通勤及体验。之所以能在不到两年就面向公众开放体验,跟其核心团队的构成息息相关。这支团队的创始团队都是硅谷的主动驾驭老兵,清一色都是技术大拿及海归博士。其他核心团队成员则是来自特斯拉、Uber ATG、福特、英伟达、Facebook 等等。本篇论文的作者:罗晨旭实习于轻舟智航,是约翰霍普金斯大学(Johns Hopkins University)计算机科学系的博士钻研生;杨晓东目前担任轻舟智航 Principal Scientist and Director of Research,曾任英伟达(NVIDIA Research)高级科学家;Alan Yuille 是约翰霍普金斯大学计算机科学系的 Bloomberg Distinguished Professor。

原创文章,作者:机器之心,如若转载,请注明出处:https://www.iaiol.com/news/cvpr2021-bu-xu-yao-biao-zhu-le-kan-zi-jian-shi-jin-xiu/

(0)
上一篇 2021年 5月 14日 下午4:55
下一篇 2021年 5月 18日 下午3:14

相关推荐

  • WAIC开发者日Workshop预告:华为昇思MindSpore基础模型创新试验

    昇思 MindSpore 是华为开源的新一代全场景 AI 框架,支持端、边、云全场景灵活部署,开创全新的 AI 编程范式,降低 AI 开发门槛,旨在实现开发友好、运行高效、部署灵活三大目标,同时着力构筑面向全球的人工智能开源社区,推动人工智能软硬件应用生态繁荣发展。昇思 MindSpore 原生支持大模型,联合合作伙伴推出了四大领域创新模型。鹏城实验室鉴于昇思 MindSpore 先后推出了业界首个 2000 亿参数中文预训练语言模型鹏程,盘古和面向生物医学领域的鹏程,神农大模型、中科院自动化所鉴于昇思 MindS

    2022年 9月 1日
  • DataWorks数据建模 – 一揽子数据模型管理解决方案

    作者:DataWorks产品经理 刘天鸢在当下的商业环境中,正确的数据管理策略对于数据增值是非常重要的。据统计,企业的数据一直都在以每年50%的速度增长,因此企业数据管理与整合的难度就不断加大了。DataWorks一直以来都致力于成为用户更方便、更快捷地从事数据开发与数据管理的好帮手。此次发布的数据建模,是对已有数据管理领域能力的补齐,为用户带来了在数据开发前,实施事前管理的能力。一、为什么要数据建模引用《大数据之路:阿里巴巴大数据实践》中的内容:“如果把数据看作图书馆里的书,我们希望它们在书架上分门别

    2021年 8月 25日
  • Interact Analysis 年度陈诉发布 见证极智嘉稳居全世界仓储机器人商场绝对领先地位

    近日,全世界权威研究机构Interact Analysis重磅发布《2022移动机器人商场陈诉》(The Mobile Robot Market-2022),对移动机器人在全世界仓储和制造范畴的运用现状、商场环境和发展趋势进行了全面分析和展望。陈诉指出,移动机器人商场在2021年大幅增进,从相对疲软的2020年有所回升,出货量增进超过70%。长期来看,劳动力稀缺、劳动力成本上升、电子商务增进、柔性制造转型这些驱动力将一如既往强劲,陆续推动着移动机器人商场发展。预测未来五年,移动机器人的出货量将继续以每年约50%的速度增

    2022年 11月 23日
  • 干货速递,baiduBML主动超参搜寻技术原理揭秘与实战攻略!

    在人工智能领域,算法工程师在训练神经网络模型的过程中,完成网络构建和准备好训练数据后,往往需要对模型从事各种参数优化,以获得更好的模型成效。但调参其实并不简单,背后往往是通宵达旦的参数调试与成效验证,并需要做大量的实验,不仅耗时也耗费大量算力。这个时候,往往想尝试主动超参搜寻,但又开始担心算力要求所带来的额外训练成本。莫慌!baidu全功能AI开发平台BML带着免费算力额度与主动超参搜寻能力来了!先来介绍baidu最近全新升级的BML,何方神圣?全功能AI开发平台BML(Baidu Machine Learning) ,是为企

    2021年 8月 11日
  • 硅谷精神导师凯文·凯利:70岁生日那天,人们把他网站冲瘫痪了

    「用密码管理工具吧」,凯文 · 凯利如是说。

    2022年 4月 30日
  • 神经搜集debug太难了,这里有六个实用技巧

    神经搜集的 debug 过程着实不容易,这里是一些有所帮助的 tips。

    2021年 6月 11日
  • 地平线征程6正式发布:2024年开启量产,2025年交付超10款车型

    官宣10家首批量产合作车企,地平线征程6发布即爆款

    AI 2024年 4月 25日
  • 百场讲演的万人峰会,AI开发者最应该看什么?(千元礼包现场抽)

    近年来,人工智能无疑是最火热的方向之一,想转行人工智能的小伙伴更是不在少数。但人工智能、机械进修的底层知识学起来显然是有门槛的,从编程语言开始,再到模型训练、调试,真是关关难过关关过,一关更比一关难……为了降低开发者的AI入门难度,更快、更好地解决其在动手阶段的难题,一直以来,亚马逊云科技都坚持将人工智能和机械进修打造为自己的核心竞争力。它不仅支持主流的机械进修框架,客户还可以通过容器部署的方式,自带机械进修框架;除了基于英伟达、英特尔、AMD、赛灵思等芯片厂商的最新处理器的强大算力,同

    2021年 7月 7日
  • 依图调理获全国首张孩子骨龄AI产物NMPA三类证

    近日,国家药品监督管理局(NMPA)正式批准杭州依图调理技能有限公司“孩子手部x射线影像骨龄协助评价软件”的第三类调理东西产物注册申请。这是国内第一张孩子骨龄AI产物三类证,该体系也成为目前唯一获批三类证的孩子骨龄AI产物。国家药品监督管理局调理东西技能审评中心发布的审评报告显示:试验东西的TW3-RUS和TW3-Carpal骨龄诊疗结果与金标准诊疗结果的绝对误差均值达到预期目标,同时软件操作便捷性、体系稳定性均为满意。临床试验无不良事件发生,无东西缺陷发生。骨龄是衡量青少年生长发育水平的重要目标,相较于身高、体重

    2021年 4月 2日
  • 优秀!2021年google博士生奖研金陆续揭晓,同济校友王鑫龙、南大校友李昀入选

    在近日公布的google2021博士生奖研金部分名单中,来自阿德莱德大学、新南威尔士大学、昆士兰科技大学和悉尼大学的四位博士生获得该殊荣。

    2021年 8月 31日

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注