「AI新青年讲座」将邀请世界顶尖AI研究机构和大学的科研新青年,主讲他们在计算机视觉、机器学习等人工智能领域的最新重要研究成果。

AI新青年是加速人工智能前沿研究的新生力量。AI新青年的视频讲解和直播答疑,将可以帮助大家增进对人工智能前沿研究的理解,相应领域的专业知识也能够得以积累加深。同时,通过与AI新青年的直接交流,大家在AI学习和应用AI的过程中遇到的问题,也能够尽快解决。

「AI新青年讲座」目前已完结216讲;有兴趣分享学术成果的朋友,可以与智东西公开课教研团队进行邮件(class@zhidx.com)联系。

神经辐射场(NeRF)自 2020 年被提出以来迅猛发展,开启了用神经网络表征高清三维场景的新纪元。尽管 NeRF 在各个维度上都已取得了长足进步,但其渲染慢的问题仍未被很好解决。多数现有加速 NeRF 的方法仍依赖于高端 GPU,使得他们的方法难以迁移到移动端设备上(例如智能手机)。

最近兴起的一种加速 NeRF 的方法 R2L(ECCV 2022)是将训练好的 NeRF 模型通过知识蒸馏的方式转化为神经光场(NeLF)。但由于R2L中设计的神经网络结构未被优化,它仍然不能实现移动端上的实时渲染。

来自 Snap Inc 和美国东北大学的研究者们,在 CVPR 2023 上提出了 R2L 的进阶版本:MobileR2L。相比于其他同类型工作(如MobileNeRF),MobileR2L 不需要额外的 mesh 等几何信息,且保持了 NeRF 原有的紧凑表征的优点(存储一个场景仅需要8.3MB),并在 iPhone14 上达到 60fps 的渲染速度(图片分辨率 756*1008)。

美国东北大学在读博士王欢:加速NeRF的移动端实时渲染方法MobileR2L|AI新青年讲座

7月7日上午10点,「AI新青年讲座」第217讲邀请到 MobileR2L 作者、美国东北大学在读博士王欢参与,主讲《加速NeRF的移动端实时渲染方法MobileR2L》。在本次讲座中,王欢将详解如何通过网络结构优化实现移动端上的实时渲染。

讲者
王欢,美国东北大学在读博士;研究方向为高性能深度学习(efficient deep learning)和模型压缩,主要包含神经网络剪枝,知识蒸馏等具体技术;所提出的模型压缩方法被应用于图像分类、超分辨率、风格迁移、神经辐射场/神经光场、基础模型等多种场景、不同结构的网络中;工作成果在CVPR、ICCVECCV、ICLR、NeurIPS、IJCAI、TIP等会议或期刊上发表;此前在浙江大学获得学士与硕士学位。

第217讲

主 题
《加速NeRF的移动端实时渲染方法MobileR2L》

提 纲
1、NeRF的研究及渲染速度问题
2、R2L:通过数据蒸馏将 NeRF 转化为神经光场 NeLF
3、面向移动端的实时渲染方法 MobileR2L
4、同类方法效果对比及在iPhone14上的渲染速度

直 播 信 息
直播时间:7月7日10:00
直播地点:智东西公开课知识店铺

成果
论文标题:《Real-Time Neural Light Field on Mobile Devices》
论文地址:https://arxiv.org/abs/2212.08057
代码地址:https://github.com/snap-research/MobileR2L