哥伦比亚大学在读博士刘若石:Zero-1-to-3: 大模型时代的单视图三维重建|AI新青年讲座

「AI新青年讲座」将邀请世界顶尖AI研究机构和大学的科研新青年,主讲他们在计算机视觉、机器学习等人工智能领域的最新重要研究成果。

AI新青年是加速人工智能前沿研究的新生力量。AI新青年的视频讲解和直播答疑,将可以帮助大家增进对人工智能前沿研究的理解,相应领域的专业知识也能够得以积累加深。同时,通过与AI新青年的直接交流,大家在AI学习和应用AI的过程中遇到的问题,也能够尽快解决。

「AI新青年讲座」目前已完结208讲,有兴趣分享学术成果的朋友,可以与智东西公开课教研团队进行邮件(class@zhidx.com)联系。

单视图三维重建我们可能已经比较熟悉了,在给定一张单一视角的图像,就可以从中推断出物体的三维结构和形状。然而在大模型时代,单视图三维重建又会有什么样的变化?是否可以通过大模型完成单视图三维重建呢?

Zero-1-to-3 是哥伦比亚大学和丰田研究院的研究者们最新提出的一个单视图三维重建框架。该框架利用了大规模扩散模型对自然图像学习的几何先验知识。其中,条件扩散模型使用合成数据集学习相机视角的相对控制,从而可以在指定的相机转换下生成同一物体的新视图。尽管它是在合成数据集上进行训练的,但模型仍然具有强大的零样本泛化能力。

Zero-1-to-3 还可以用于单视图三维重建的任务。最后的实验结果也证明,该方法在单视图三维重建和新视图合成的效果明显优于现有其他方法。

哥伦比亚大学在读博士刘若石:Zero-1-to-3: 大模型时代的单视图三维重建|AI新青年讲座

5月26日,「AI新青年讲座」第209讲邀请到 Zero-1-to-3 一作、哥伦比亚大学在读博士刘若石参与,主讲《Zero-1-to-3: 大模型时代的单视图三维重建》。

讲者
刘若石,哥伦比亚大学在读博士;师从 Carl Vondrick;对计算机视觉和深度学习有广泛的兴趣,例如3D 重建、可微分渲染,以及最近的大规模生成模型;曾在各种行业和学术实验室工作,例如 Snap Research、索尼、欧洲核物理研究中心等等;近几年他以第一作者的身份在相关领域的顶级会议(例如CVPR)中发表多篇论文。

第209讲

主 题
《Zero-1-to-3: 大模型时代的单视图三维重建》

提 纲
1、基于预训练模型的单视图三维重建方法概述
2、结合条件扩散模型的视图合成框架Zero-1-to-3
3、单视图三维重建效果对比及与 Dall·E 2 结合的新视图生成
4、Hugging Face Demo展示

直 播 信 息
直播时间:5月26日10:00
直播地点:智东西公开课知识店铺

成果

论文标题:《Zero-1-to-3: Zero-shot One Image to 3D Object》
论文地址:https://arxiv.org/abs/2303.11328
开源地址:https://github.com/cvlab-columbia/zero123
Demo试用https://huggingface.co/spaces/cvlab/zero123-live