从高速到城区，自动驾驶汽车正面临着更复杂的路况，强交互的长尾场景不计其数。而直接在城区进行测试存在极高的成本与风险。因此，在仿真测试基准上进行针对长尾场景的规控能力评测成为了业界的共同选择。但基于学习方法中的模仿学习方案高度依赖于对所有可能出现情况的全覆盖，强化学习方案又需要在仿真中进行大规模的试错探索学习规控策略，其低效性难以应对多达几十种的长尾场景。
针对当前技术难题，上海交通大学严骏驰老师领导的ReThinkLab提出了一种基于隐世界模型下的高效强化学习自动驾驶模型Think2Drive，并成为首个完成CARLA V2全部长尾场景的模型，实现100%的路线完成率。与Think2Drive相关的论文收录于ECCV 2024上。
Think2Drive通过训练世界模型建模自动驾驶环境的变化规律，并在隐特征空间中进行下游规控网络的策略探索。该模型有以下特点：1）隐世界模型可以进行快速状态推理，具备极高的数据效率；2）针对将强化学习应用到至自动驾驶任务面临的策略退化、长尾分布、驾驶不稳定性等挑战，提出了周期性重置、自动场景生成、终止优先回放等特制模块，可实现同一规控网络应对几十种复杂场景。
Think2Drive建模的世界模型是隐世界模型，通过在该低维空间上基于动作预测未来状态，以避免在高维空间上进行计算（像素空间、3D物理空间），极大地加速推理效率。经过训练，整个隐世界模型便可以作为一个低维的“小世界”，它可以对驾驶策略采取的动作给予奖惩，也可预测基于该动作的未来状态，此时它表现为一个神经网络模拟器，是对驾驶环境的一个最小仿真。
基于Think2Drive专家模型，上海交通大学ReThinkLab又推出了首个端到端自动驾驶综合能力闭环评估开放平台Bench2Drive。
Bench2Drive具有一个由最先进的专家模型Think2Drive收集的官方训练数据集，包含200万个完全标注的帧，来源于10000个片段。这些数据涵盖了44种不同的交互式场景。评估协议包括220条短路线，每条路线大约只有150米长，并包含一个特定的场景。
通过这种方式，对单个技能的评估被隔离出来，从而允许对44种不同技能集的自动驾驶系统熟练程度进行详细的比较。此外，每条路线的简短性减轻了指数衰减函数对驾驶分数的影响，使得不同系统之间的性能比较更加准确和有意义。该基准为研究人员提供了一种在现实、全面和公平的环境中细化和评估其端到端自动驾驶系统的重要工具。
7月31日晚7点，智猩猩邀请到论文一作、上海交通大学ReThinkLab严骏驰组在读博士李奇峰参与「智猩猩自动驾驶新青年讲座」第37讲，主讲《首解CARLA V2:基于隐世界模型的自驾强化模型Think2Drive》。
讲者
李奇峰，上海交通大学ReThinkLab严骏驰组在读博士
李奇峰，上海交通大学ReThinkLab在读博士，师从严骏驰老师。主要研究方向为基于强化学习的自动驾驶规控、端到端自动驾驶等。
上海交通大学ReThinkLab近年来在自动驾驶方向上的成果横跨自动驾驶中的感知、预测、决策领域，并开创性的深入探索了感知决策一体化自动驾驶。其中包括清华A/CCF-A类论文10余篇，CVPR2023最佳论文、CVPR2024最佳论文候选, 两篇Oral (<3%)工作。在CARLA V1/V2，nuScenes, Waymo等多个公开数据集上取得了国际领先的性能，尤其是在端到端自动驾驶方面的工作已成为领域经典算法。
第 37 讲
主 题
《首解CARLA V2:基于隐世界模型的自驾强化模型Think2Drive》
提 纲
1、CARLA v2 闭环仿真测评基准简介
2、隐世界模型概述及其在自动驾驶中的应用
3、基于隐世界模型的强化学习自动驾驶模型Think2Drive
4、端到端自动驾驶闭环评估开放平台Bench2Drive
5、先进E2E-AD方法测试及评估
直 播 信 息
直播时间：7月31日19:00
直播地点：智猩猩GenAI视频号
成果
论文标题1
《hink2drive: Efficient reinforcement learning by thinking in latent world model for quasi-realistic autonomous driving (in carla-v2)》
论文链接1
https://arxiv.org/abs/2402.16720
论文标题2
《Bench2Drive: Towards Multi-Ability Benchmarking of Closed-Loop End-To-End Autonomous Driving》
论文链接2
https://arxiv.org/abs/2406.03877
项目地址2
https://thinklab-sjtu.github.io/Bench2Drive/
入群申请
本次讲座组建了学习交流群。加入学习交流群，除了可以观看直播，并提前拿到课件外，你还能结识更多研究人员和开发者，所提问题也将会优先解答。
希望入群的朋友可以扫描下方二维码，添加小助手陈新进行申请。已添加过陈新的老朋友，可以给陈新私信，发送“自动驾驶37”进行申请。
