清华大学三维视觉实验室在读博士邵睿智:基于扩散模型的高质量人体三维重建系统DiffuStereo | AI新青年讲座

「AI新青年讲座」将邀请世界顶尖AI研究机构和大学的科研新青年,主讲他们在计算机视觉、机器学习等人工智能领域的最新重要研究成果。

AI新青年是加速人工智能前沿研究的新生力量。AI新青年的视频讲解和直播答疑,将可以帮助大家增进对人工智能前沿研究的理解,相应领域的专业知识也能够得以积累加深。同时,通过与AI新青年的直接交流,大家在AI学习和应用AI的过程中遇到的问题,也能够尽快解决。

有兴趣分享学术成果的朋友,可以与智东西公开课教研团队进行邮件(class@zhidx.com)联系。

扩散模型是最近比较热门的一种生成模型,主要是通过引入噪声,然后尝试通过去噪来生成图像。然后在一段时间内通过多次迭代,模型每次在给定一些噪声输入的情况下学习生成新图像。

在今年的ECCV 2022中,来自清华大学三维视觉实验室刘烨斌教授团队的邵睿智等人首次将扩散模型引入到三维重建领域,提出了一个仅使用稀疏视角就可以高精度重建人体三维模型的系统DiffuStereo。该成果已被收录为ECCV 2022 ORAL。

DiffuStereo的核心是基于扩散模型的立体匹配模块,它可以利用扩散模型高效地从有限的三维人体数据集中提取先验,并且不借助人体模板,在仅需要8个RGB相机的情况下实现了原先近百个相机阵列才能达到的重建精度。

10月20日晚7点,「AI新青年讲座」第165讲邀请到清华大学三维视觉实验室刘烨斌教授团队,也就是DiffuStereo一作邵睿智博士参与,主讲《基于扩散模型的高质量人体三维重建系统DiffuStereo》。

讲者
邵睿智,清华大学三维视觉实验室在读博士;师从刘烨斌教授;研究方向主要是三维视觉、神经渲染以及扩散生成模型;目前已在CVPR、ICCV、ECCV、SIGGRAPH等顶级会议上发表文章6篇,其中一作5篇,口头报告1篇。

第165讲

主 题
《基于扩散模型的高质量人体三维重建系统DiffuStereo》

提 纲

1、人体三维重建的方法总结
2、扩散模型的研究及应用
3、引入扩散模型立体匹配模块的人体三维重建系统DiffuStereo
4、在8个RGB相机阵列上的重建精度及对比

直 播 信 息
直播时间:10月20日19:00
直播地点:智东西公开课知识店铺

成果
DiffuStereo:《DiffuStereo: High Quality Human Reconstruction via Diffusion-based Stereo Using Sparse Cameras》
论文链接:https://arxiv.org/pdf/2207.08000.pdf
 开源地址:https://github.com/DSaurus/DiffuStereo