「智猩猩AI新青年讲座」由智猩猩出品，致力于邀请青年学者，主讲他们在生成式AI、LLM、AI Agent、CV等人工智能领域的最新重要研究成果。

AI新青年是加速人工智能前沿研究的新生力量。AI新青年的视频讲解和直播答疑，将可以帮助大家增进对人工智能前沿研究的理解，相应领域的专业知识也能够得以积累加深。同时，通过与AI新青年的直接交流，大家在AI学习和应用AI的过程中遇到的问题，也能够尽快解决。

随着三维视觉技术的快速发展，从单视图或多视图图像中重建三维对象成为了一个重要且具有挑战性的任务。传统方法如立体匹配、体积重建和多视角立体视觉等由于3D表征缺陷，往往在物体单目重建中存在3D几何不一致或渲染质量不佳的问题。

对于以上问题，来自加拿大西蒙菲莎大学GrUVi Lab在读博士母宇轩联合华为加拿大诺亚方舟实验室的研究人员基于最近先进的3D显式表示3DGS和扩散模型共同提出了一种新颖的3D重建方法GSD，朝着解决这些问题迈出了一步。相关论文为《GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction》，已收录于ECCV 2024。

GSD主要结合了高斯溅射（GS）表示和生成扩散Transformer（DiT）模型来改进高质量的单视图3D重建。

首先，使用GS表示来编码3D场景，其中每个GS椭球体由其中心位置、协方差、区域颜色和不透明度参数化。这种表示方法能够显式地编码3D几何和纹理信息。

其次，训练一个扩散模型来生成由GS椭球体表示的3D对象。这个模型学习从高斯噪声中生成数据，通过去噪过程学习数据的先验分布。

虽然扩散模型是无条件学习的，但它可以通过视图引导的重建来适应特定的输入视图，而无需进一步模型微调。这主要是通过高效而灵活的splatting渲染功能和梯度引导去噪采样过程传播细粒度的2D特征来实现的。

此外，进一步采用二维扩散模型来增强渲染保真度，并通过优化和复用生成视图来提高重建的GS物体质量。

最终的重建对象明确具有高质量的3D结构和纹理，并且可以在任意视角高效渲染。在具有挑战性的现实世界CO3D数据集上进行的实验证明了方法的优越性。

8月28日10点，智猩猩邀请到论文一作、加拿大西蒙菲莎大学GrUVi Lab在读博士母宇轩参与「智猩猩AI新青年讲座」250讲，主讲《单视图引导的3DGS物体重建》。

讲者

母宇轩

加拿大西蒙菲莎大学GrUVi Lab在读博士

师从Xue bin (Jason) Peng教授。主要研究方向为3D AIGC、具身智能、动作生成和控制等。在ICLR, CVPR, ECCV等会议上发表有多篇论文。

主题

单视图引导的3DGS物体重建

提纲

1、3DGS表征的最新进展与挑战
2、以扩散模型建模3DGS物体的数据分布先验
3、以梯度引导获取细粒度视图信息
4、总结与分析

直播信息

直播时间：8月28日10:00
直播地点：智猩猩GenAI视频号

成果

论文标题
《GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction》

论文链接
https://arxiv.org/abs/2407.04237

项目网站
https://yxmu.foo/GSD/

入群申请

本次讲座组建了学习交流群。加入学习交流群，除了可以观看直播，并提前拿到课件外，你还能结识更多研究人员和开发者，所提问题也将会优先解答。

希望入群的朋友可以扫描下方二维码，添加小助手米娅进行申请。已添加过米娅的老朋友，可以给米娅私信，发送“ANY250”进行申请。