帝国理工学院戴森机器人实验室在读博士孔昕:NeRF与SLAM结合的向量化物体级解耦建图|AI新青年讲座

「AI新青年讲座」将邀请世界顶尖AI研究机构和大学的科研新青年,主讲他们在计算机视觉、机器学习等人工智能领域的最新重要研究成果。

AI新青年是加速人工智能前沿研究的新生力量。AI新青年的视频讲解和直播答疑,将可以帮助大家增进对人工智能前沿研究的理解,相应领域的专业知识也能够得以积累加深。同时,通过与AI新青年的直接交流,大家在AI学习和应用AI的过程中遇到的问题,也能够尽快解决。

「AI新青年讲座」目前已完结206讲。有兴趣分享学术成果的朋友,可以与智东西公开课教研团队进行邮件(class@zhidx.com)联系。

神经场(NeRF)三维表达由于其高效、简洁、精确且易于持续优化的特点,近期在同时定位及建图(SLAM)中被广泛应用。但是从隐式神经网络中提取独立的物体表达是困难的:1)网络参数与特定3D区域的关联不可知;2)难以满足SLAM的实时性要求;3)难以完全解耦不同物体的表达和训练。

在 CVPR 2023 上,来自帝国理工学院戴森机器人实验室的在读博士孔昕等人提出了一个使用神经场表示的物体级 SLAM 系统:vMAP。在 vMAP 中,每个物体都由一个小 MLP 神经网络表示,无需 3D 先验即可实现高效、稠密的对象建模。当RGB-D相机在没有先验信息的情况下浏览场景时,vMAP 会实时检测对象实例,并动态地将它们添加到其地图中。

由于高效地对多个神经网络进行向量化批训练,vMAP 可以在单个场景中同时优化 50 个物体对象,且具有 5Hz 地图更新的训练速度。与之前的神经场 SLAM 系统相比,vMAP 可以解耦 3D 场景为物体级表达,且重建质量显著提高。

5月16日晚7点,AI新青年讲座第207讲邀请到帝国理工学院戴森机器人实验室在读博士孔昕参与,主讲《NeRF与SLAM结合的向量化物体级解耦建图》。

讲者
孔昕,帝国理工学院戴森机器人实验室在读博士;浙江大学硕士,帝国理工戴森机器人实验室博士在读,导师为 Andrew Davison;研究方向为3D视觉,SLAM,机器人感知;曾在 CVPR、ICRA、IROS发表多篇论文。

第207讲

主 题
《NeRF与SLAM结合的向量化物体级解耦建图》

提 纲
1、NeRF和SLAM的研究概述
2、NeRF的解耦语义表达及挑战
3、结合NeRF和SLAM的物体级解耦建图方法vMAP
4、语义SLAM的三维表达及未来展望

直 播 信 息
直播时间:5月16日19:00
直播地点:智东西公开课知识店铺

成果

论文标题:《vMAP: Vectorised Object Mapping for Neural Field SLAM》
论文地址:https://arxiv.org/abs/2302.01838
开源地址:https://github.com/kxhit/vMAP