本文介绍了将多模态大言语模型（MLLMs）调整到下一代主动驾驭体系中的模式。
随着大言语模型 (LLM) 和视觉基础模型 (VFM) 的出现，受益于大模型的多模态人工智能体系有潜力像人类一样全面感知现实世界、做出决策。在最近几个月里，LLM 已经在主动驾驭钻研中引起了广泛关注。尽管 LLM 具有巨大潜力，但其在驾驭体系中的关键应战、机遇和未来钻研方向仍然缺乏文章对其详细阐明。
在本文中，腾讯舆图、普渡大学、UIUC、弗吉尼亚大学的钻研人员对这个范围进行了体系调研。该钻研首先介绍了多模态大型言语模型 (MLLM) 的背景，使用 LLM 开发多模态模型的进展，以及对主动驾驭的历史进行回顾。然后，该钻研概述了用于驾驭、交通和舆图体系的现有 MLLM 工具，以及现有的数据集。该钻研还总结了第一届 WACV 大言语和视觉模型主动驾驭研讨会 (LLVM-AD) 的相关工作，这是使用 LLM 在主动驾驭范围的首个研讨会。为了进一步推动这一范围的发展，该钻研还讨论了关于如何在主动驾驭体系中使用 MLLM，以及需要由学术界和工业界共同解决的一些重要问题。
综述链接：https://arxiv.org/abs/2311.12320
研讨会链接：https://llvm-ad.github.io/
Github 链接：https://github.com/IrohXu/Awesome-Multimodal-LLM-Autonomous-Driving
综述结构
多模态大言语模型(MLLM) 最近引起了广泛的关注，其将 LLM 的推理能力与图像、视频和音频数据相结合，通过多模态对齐使它们能够更高效地执行各种任务，包括图像分类、将文本与相应的视频对齐以及语音检测。此外，一些钻研已经证明 LLM 可以处理机器人范围的简单任务。然而，MLLM 在主动驾驭范围的调整依然十分缓慢，我们不禁提出疑问，像 GPT-4、PaLM-2 和 LLaMA-2 这样的 LLM 是否有潜力改良现有的主动驾驭体系？
在本综述中，钻研人员认为将 LLM 调整到主动驾驭范围可以在驾驭感知、运动布局、人车交互和运动控制方面带来显著的范式转变，提供以用户为中心、适应性更强、更可信的未来交通方案。在感知方面，LLM 可以利用工具学习 (Tool Learning) 调用外部 API 来访问实时的信息源，例如高精舆图、交通报告和天气信息，从而使车辆更全面地懂得周围环境。主动驾驭汽车可以在读取实时交通数据后，用 LLM 推理拥堵路线并建议替代路径以提高效率和安全驾驭。对于运动布局和人车交互，LLM 可以促进以用户为中心的沟通，使乘客能够用日常言语表达他们的需求和偏好。在运动控制方面，LLM 首先使控制参数可以根据驾驭者的偏好进行定制，实现了驾驭体验的个性化。此外，LLM 还可以通过解释运动控制过程的每个步骤来提供对用户的透明化。该综述预计，在未来的 SAE L4-L5 级别的主动驾驭车辆中，乘客可以在驾驭时使用言语、手势甚至眼神来传达他们的请求，由 MLLM 通过集成视觉显示或语音响应来提供实时的车内和驾驭反馈。
主动驾驭和多模态大言语模型的发展历程
主动驾驭 MLLM 的钻研总结：当前模型的 LLM 框架主要有 LLaMA、Llama 2、GPT-3.5、GPT-4、Flan5XXL、Vicuna-13b。FT、ICL 和 PT 在本表中指的是微调、上下文学习和预训练。文献链接可以参考 github repo: https://github.com/IrohXu/Awesome-Multimodal-LLM-Autonomous-Driving
为了搭建主动驾驭和 LLM 之间的桥梁，相关钻研人员在 2024 年 IEEE/CVF 冬季计算机视觉使用会议 (WACV) 上组织了首届大言语和视觉模型主动驾驭研讨会(LLVM-AD)。该研讨会旨在增强学术钻研人员和行业专业人士之间的合作，探讨在主动驾驭范围实施多模态大型言语模型的可能性和应战。LLVM-AD 将进一步推动后续的开源实际交通言语懂得数据集的发展。
首届 WACV 大型言语和视觉模型主动驾驭研讨会 (LLVM-AD) 共接受了九篇论文。一些论文围绕主动驾驭中的多模态大言语模型主题展开，重点关注了将 LLM 调整到用户 – 车辆交互、运动布局和车辆控制中。还有几篇论文探讨了 LLM 在主动驾驭车辆中类人交互和决策方面的新使用。例如，”Drive Like a Human” 和”Drive as You Speak” 探讨了 LLM 在复杂驾驭场景中解释和推理，模仿人类行为的框架。”Human-Centric Autonomous Systems With LLMs” 强调了以用户为中心设计 LLM 的重要性，利用 LLM 来解释用户命令。这种方法代表了向以人为中心的自主体系的重大转变。除了融合 LLM，研讨会还涵盖了部分基于纯视觉和数据处理的方法。此外，研讨会也提出了创新的数据处理和评估方法。例如，NuScenes-MQA 介绍了一种新的主动驾驭数据集注释方案。总的来说，这些论文展示了将言语模型和先进技术调整到主动驾驭中取得的进展，为更直观、高效和以人为中心的主动驾驭车辆铺平了道路。
针对未来的发展，该钻研提出以下几点钻研方向：
1、主动驾驭中多模态大言语模型的新数据集
尽管大言语模型在言语懂得方面取得了成功，但将其使用于主动驾驭仍面临应战。这是因为这些模型需要调整和懂得来自不同模态的输入，如全景图像、三维点云和高精舆图。目前的数据规模和质量的限制意味着现有数据集难以全面应对这些应战。此外，从 NuScenes 等早期开源数据集注释的视觉言语数据集可能无法为驾驭场景中的视觉言语懂得提供稳健的基准。因此，迫切需要新的、大规模的数据集，涵盖广泛的交通和驾驭场景，弥补之前数据集分布的长尾（不均衡）问题，以有效地测试和增强这些模型在主动驾驭使用中的性能。
2、主动驾驭中大言语模型的硬件支持
主动驾驭汽车中不同的功能对硬件的需求各不相同。在车辆内部使用 LLM 进行驾驭布局或参与车辆控制需要实时处理和低延迟以确保安全，这增加了计算需求并影响功耗。如果 LLM 部署在云端，数据交换的带宽将成为另一个关键的安全因素。相比之下，将 LLM 用于导航布局或分析与驾驭无关的命令（如车载音乐播放）不需要高查询量和实时性，使得远程服务成为可行的方案。未来，主动驾驭中的 LLM 可以通过知识蒸馏进行压缩，以减少计算需求和延迟，目前在这一范围仍然有很大发展空间。
3、使用大言语模型懂得高精舆图
高精舆图在主动驾驭车辆技术中起着至关重要的作用，因为它们提供了有关车辆运行的物理环境的基本信息。高精舆图中的语义舆图层非常重要，因为它捕获了物理环境的意义和上下文信息。为了有效地将这些信息编码到下一代由 LLM 驱动的主动驾驭中，需要新的模型来映射这些多模态特征到言语空间。腾讯已经开发了基于主动学习的 THMA 高精舆图 AI 主动标注体系，能够生产和标记数十万公里规模的高精舆图。为了促进这一范围的发展，腾讯在 THMA 的基础上提出了 MAPLM 数据集，包含全景图像、三维激光雷达点云和基于上下文的高精舆图注释，以及一个新的问答基准 MAPLM-QA。
4、人车交互中的大言语模型
人车交互以及懂得人类的驾驭行为，在主动驾驭中也构成了一个重大应战。人类驾驭员常常依赖非言语信号，例如减速让路或使用肢体动作与其他驾驭员或行人交流。这些非言语信号在道路上的交流中扮演着至关重要的角色。过去有许多涉及主动驾驭体系的事故是因为主动驾驭汽车的行为往往出乎其他驾驭员意料。未来，MLLM 能够调整来自各种来源的丰富上下文信息，并分析驾驭员的视线、手势和驾驭风格，以更好地懂得这些社交信号并做出高效布局。通过估计其他驾驭员的社交信号，LLM 可以提高主动驾驭汽车的决策能力和整体安全性。
5、个性化主动驾驭
随着主动驾驭汽车的发展，一个重要的方面是考虑它们如何适使用户个人的驾驭偏好。越来越多的人认为，主动驾驭汽车应该模仿其用户的驾驭风格。为了实现这一点，主动驾驭体系需要学习并调整用户在各个方面的偏好，如导航、车辆维护和娱乐。LLM 的指令调整 (Instruction Tunning) 能力和上下文学习能力使其非常适合将用户偏好和驾驭历史信息调整到主动驾驭汽车中，从而提供个性化的驾驭体验。
总结
多年来，主动驾驭一直是人们关注的焦点，吸引着众多风险投资人。将 LLM 集成到主动驾驭汽车中会带来独特的应战，但克服这些应战将显着增强现有的主动驾驭体系。可以预见的是，LLM 支持的智能座舱具备懂得驾驭场景和用户偏好的能力，并在车辆与乘员之间建立更深层次的信任。此外，部署 LLM 的主动驾驭体系将可以更好地应对道德困境，涉及权衡行人的安全与车辆乘员的安全，促进在复杂的驾驭场景中更可能符合道德的决策过程。本文集成了 WACV 2024 LLVM-AD 研讨会委员会成员的见解，旨在激励钻研人员为开发由 LLM 技术支持的下一代主动驾驭汽车做出贡献。