「AI新青年讲座」将邀请世界顶尖AI研究机构和大学的科研新青年，主讲他们在计算机视觉、机器学习等人工智能领域的最新重要研究成果。

AI新青年是加速人工智能前沿研究的新生力量。AI新青年的视频讲解和直播答疑，将可以帮助大家增进对人工智能前沿研究的理解，相应领域的专业知识也能够得以积累加深。同时，通过与AI新青年的直接交流，大家在AI学习和应用AI的过程中遇到的问题，也能够尽快解决。

「AI新青年讲座」目前已完结122讲，错过往期讲座直播的朋友，可以点击文章底部“阅读原文”进行回看！

有兴趣分享学术成果的朋友，可以与智东西公开课教研团队进行邮件（class@zhidx.com）联系。

在自动驾驶等应用愈加炙手可热的背景下，三维深度学习和激光雷达视觉受到越来越多的关注。激光雷达为自动驾驶系统提供了精确的空间信息，然而如何处理采集到的三维点云给车上较为有限的硬件资源带来了巨大的挑战。

传统的三维深度学习方法大多都受限于较大的内存开销和不规则的内存访问。基于这些问题，麻省理工学院HAN Lab在读博士刘志健等人，在近年来对自动驾驶高效三维深度学习做了一系列的探索，包括如何设计高效的三维深度学习组件PVCNN、自动的搜索三维神经网络架构SPVNAS和加速三维稀疏卷积的计算TorchSparse等。

PVCNN（Point-Voxel CNN）将点云处理领域的两类思路： 基于栅格和直接处理点云的方法进行了结合，是一种在计算效率与内存利用率都更高效的3D点云处理框架。在语义分割和部件分割数据集上，PVCNN的性能比基于体素的基准高，且GPU内存减少到10%，同时，相比于基于点的方法，PVCNN实现了平均7倍的运算加速。值得一说的是，PVCNN可以部署在 Jetson Nano上并且达到实时的效果，其速度与精度都明显高于PointCNN和PointNet。

虽然PVCNN在小物体和较小的区域理解中展现了强劲的性能，但在大规模室外场景上仍然无法高效部署。为解决这一问题，刘志健等人又提出了一种新的三维点云计算模块稀疏点云-栅格卷积 (SPVConv) 和3D神经网络结构自动搜索 (3D-NAS)。这也是业界最早在3D计算机视觉领域，进行神经网络结构自动搜索的工作之一，SPVNAS在极具挑战的室外场景雷达点云语义分割任务上，完胜该领域此前的设计，在自动驾驶的权威评测榜SemanticKITTI 上，更是位列单帧3D场景语义分割榜首。

针对点云数据的处理计算，刘志健博士等人还开源了一个高性能神经网络加速库TorchSparse。该库最新版本在运行标准的稀疏卷积网络时能相对于此前学术界最先进的开源库MinkowskiEngine获得1.9倍的加速。同时，这项工作也获得了麻省理工学院-IBM沃森人工智能实验室、赛灵思、ON Semi、三星以及AWS的支持。

6月9日，「AI新青年讲座」第123讲邀请到麻省理工学院HAB Lab在读博士刘志健参与，主讲《高效的点云神经网络设计及开源加速库》。

讲者
刘志健，麻省理工学院HAN Lab在读博士；导师为韩松教授，2018年从上海交通大学获得学士学位，2020年从麻省理工学院获得硕士学位；研究兴趣主要是高效和硬件友好的深度学习及其在计算机视觉和机器人中的应用，在NeurIPS、CVPR、ICRA等国际一流会议上发表多篇学术论文。

第123讲

主 题
《高效的点云神经网络设计及开源加速库》

提 纲
1、点云算法在自动驾驶车辆上部署的难点
2、点云神经网络算法PVCNN设计
3、轻量级点云神经网络架构搜索SPVNAS
4、高性能开源神经网络加速库TorchSparse
5、在自动驾驶汽车上的部署和测试表现

直 播 信 息
直播时间：6月9日10:00
直播地点：智东西公开课知识店铺

成果
PV-CNN：《PV-RCNN: Point-Voxel Feature Set Abstraction for 3D Object Detection》
https://proceedings.neurips.cc/paper/2019/file/5737034557ef5b8c02c0e46513b98f90-Paper.pdf

SPVNAS：《Searching Efficient 3D Architectures with Sparse Point-Voxel Convolution》
https://arxiv.org/pdf/2007.16100.pdf

TorchSparse：《High-Performance Neural Network Library for Point Cloud Processing》
https://github.com/mit-han-lab/torchsparse