「自动驾驶新青年讲座」由智东西公开课企划，致力于邀请全球知名高校、顶尖研究机构以及优秀企业的新青年，主讲在环境感知、精准定位、决策规划、控制执行等自动驾驶关键技术上的最新研究成果和开发实践。

「自动驾驶新青年讲座」目前已完结19讲，错过往期讲座直播的朋友，可以点击文章底部“阅读原文”进行回看！

有兴趣分享的朋友，可以与智东西公开课教研团队进行邮件（class@zhidx.com）联系

正所谓，数据是推动自动驾驶的原动力。自动驾驶汽车（AV） 需要大量数据支持算法模型的训练，使其能够适应各种驾驶场景和复杂路况，提高系统的鲁棒性和泛化性。而传统的数据采集方法可能受限于实际道路条件和安全问题，无法获取到大量多样化的数据。在此过程中，生成式AI技术展现出了巨大的潜力。

生成式AI能够生成肉眼无法分辨真假的图像，结合自动驾驶模型训练的数据需求，生成任何人类想象到的驾驶场景。从而为模型训练提供高质量合成数据，破解自动驾驶数据和测试难题。

香港科技大学（广州）在读博士李乐恒等研究员尝试使用Generative NeRF生成驾驶场景中的自带标注的训练数据，但发现以GIRAFFE（CVPR 2021 best paper）为代表的NeRF无法生成与标注相匹配的多视图数据，从而阻碍了在下游任务的应用。

为解决这个问题，他们设计了一种2D-3D解耦的生成框架Lift3D。先利用2D GAN生成带有姿态标注的多视图图像，再使用Conditional NeRF将其升维至3D，这样生成的结果能同时具有逼真的纹理和多视图一致性，证明了生成式AI可以很大程度地提高下游感知模型的性能。相关论文发表在CVPR 2023上。

8月14日晚7点，「自动驾驶新青年讲座」第20讲邀请到香港科技大学（广州）在读博士李乐恒参与，主讲《生成式AI应用于自动驾驶感知数据生成的探索》。

讲者

李乐恒，香港科技大学（广州）在读博士。师从陈颖聪教授，研究方向包括计算机视觉和自动驾驶，近期的研究重心是生成模型在自动驾驶的应用。曾以第一作者在CVPR上发表相关成果，担任人工智能顶级会议AAAI等审稿人。曾在旷视科技、蔚来汽车进行科研实习。

第20讲

主 题

《生成式AI应用于自动驾驶感知数据生成的探索》

提 纲

1、基于GAN的Generative NeRF研究

2、GIRAFFE在多视图数据生成上的问题

3、基于2D升维的生成管线Lift3D解析

4、自动驾驶感知任务的实验结果对比

直 播 信 息

直播时间：8月14日晚19:00

直播地点：智东西公开课知识店铺

成果

论文标题

《Lift3D: Synthesize 3D Training Databy Lifting 2D GAN to 3D Generative Radiance Field》

论文链接

https://arxiv.org/pdf/2304.03526.pdf