从RGB视频中创建一个可驱动的数字人是困难的，尤其还要兼顾生成质量、真实感、表现力、实时性等方面。但是，目前主流的三维人体重建方法在观察和分离人体姿态与衣物形变之间面临很大挑战，无法生成穿着宽松衣服的数字人。
为了解决这个问题，在CVPR 2022会议上，清华大学郑泽荣博士等人在神经场景渲染技术的基础上引入了一种新的表示方法，其核心是将传统NeRF模型分解为一组结构化的局部辐射场。此局部辐射场表示方法可以从粗到细分为三个层次：第一层是骨架运动；第二层是节点残余平移；第三层是每个单独辐射场内的动态细节变化，这种结构化、多层次的表示不仅能够支持对衣服动态细节的建模，还便于与人体其他部分相组合，且非常有利于实时化加速。
实验证明，该方法无需预先扫描人体几何模型，就能够自动构建穿着各种类型服装的数字人。同时，给定任意新的姿势，此方法也能够生成具有动态细节的图像，还能够支持实时渲染。
2月13日晚7点，「AI新青年讲座」第194讲邀请到清华大学直博生郑泽荣参与，主讲《基于NeRF自动构建可驱动的实时全身数字人》。
第194讲
主题
基于NeRF自动构建可驱动的实时全身数字人
提纲
1、RGB视频中创建可驱动数字人的挑战
2、主流三维人体重建方法及局限性
3、采用结构化局部NeRF自动构建实时数字人
4、任意姿势下生成的衣服动态细节表现
讲者介绍
郑泽荣，清华大学直博生，本科毕业于清华大学自动化系，曾在美国南加州大学和Facebook Reality Lab实习；研究方向聚焦于三维视觉，主要围绕三维人体建模展开，研究内容包括了三维人体的运动捕捉、单图像三维人体重建、三维可驱动数字人学习；截至到目前，已在CVPR、ICCV、ECCV、TPAMI发表论文16篇，其中一作5篇，二作5篇，口头报告7篇，Google Scholar引用量超1000次。
课程信息
直播时间：2月13日19:00
直播地点：智东西公开课知识店铺
