清华大学三维视觉实验室在读博士孙景翔:基于StyleGAN2的高清3D感知人脸生成与编辑 | AI新青年讲座

「AI新青年讲座」将邀请世界顶尖AI研究机构和大学的科研新青年,主讲他们在计算机视觉、机器学习等人工智能领域的最新重要研究成果。

AI新青年是加速人工智能前沿研究的新生力量。AI新青年的视频讲解和直播答疑,将可以帮助大家增进对人工智能前沿研究的理解,相应领域的专业知识也能够得以积累加深。同时,通过与AI新青年的直接交流,大家在AI学习和应用AI的过程中遇到的问题,也能够尽快解决。

有兴趣分享学术成果的朋友,可以与智东西公开课教研团队进行邮件(class@zhidx.com)联系。

人脸生成具有广泛的应用,现有较好的基于StyleGAN的人脸生成方法,然而其仅能生成2D人脸,在3D人脸生成上无能为力。3D感知人脸生成旨在通过语义分割图生成3D人脸,而其目前主要面临两大问题,一是生成的人脸分辨率较低,二是对生成的高清人脸很难进行实时的编辑。

为了解决上述问题,清华大学三维视觉实验室在读博士孙景翔等人提出了三维人脸语义编辑系统IDE-3D,这是一个两全其美的系统,既能生成高清的3D人脸,也能对人脸进行实时地编辑。

IDE-3D主要由三个部分组成:

(1)一个基于StyleGAN2的3D语义感知人脸生成模型,用来生成视角一致的、纹理和几何相互解耦的人脸图像和语义掩码。
(2)一种混合GAN反演方法,通过语义和纹理编码器对单视角图像进行编码,得到初始的隐式编码,并通过进一步的优化策略实现高保真的人脸编辑。
(3)一个高效的正则空间人脸编辑器,将正则视角下编辑的语义掩码转化成隐式编码,从而产生高质量的局部编辑结果。

通过这三个部分,IDE-3D能够支持许多灵活和交互式的人脸任务,例如自由视角人脸生成、编辑和风格迁移,以及真实人脸的反演与实时编辑,并且在照片写实、忠实度和效率方面达到最先进的水平。

10月11日晚6点,「AI新青年讲座」第163讲邀请到清华大学三维视觉实验室在读博士孙景翔参与,主讲《基于StyleGAN2的高清3D感知人脸生成与编辑》。

讲 者

孙景翔,清华大学三维视觉实验室在读博士;师从刘烨斌教授,硕士毕业于伊利诺伊大学香槟分校,研究方向为三维视觉,特别是三维场景表征与生成,曾在CVPR、ECCV、SIGGRAPH Asia等会议和期刊发表文章多篇。

主 题

《基于StyleGAN2的高清3D感知人脸生成与编辑》

提 纲

1、现有3D感知人脸生成与编辑的困境
2、基于StyleGAN2的3D感知人脸生成模型
3、利用混合GAN反演实现高保真3D人脸编辑
4、在人脸生成与编辑任务中的应用

直播信息

直播时间:10月11日18:00
直播地点:智东西公开课知识店铺

成 果

IDE-3D:《IDE-3D: Interactive Disentangled Editing for High-Resolution 3D-aware Portrait Synthesis》
论文链接:https://arxiv.org/pdf/2205.15517.pdf
开源代码:https://github.com/MrTornado24/IDE-3D