「腾讯优图实验室专场」是腾讯优图实验室在智东西公开课开设的系列专场,主要讲解腾讯优图实验室在计算机视觉领域的最新研究成果与进展。

从7月开始,腾讯优图实验室研究员兴甲、志文、丹迪、繁续和佳祥五位老师,先后直播讲解了《弱监督目标定位的研究及应用》、《多模态图文内容的识别与定位》、《开源推理框架TNN模型部署加速与优化》和《基于模型剪枝的高效模型设计方法》。错过直播的朋友可以点击“阅读原文”观看。

12月15日晚7点,腾讯优图实验室高级研究员振宇将围绕《人脸3D重建前沿研究及热点趋势》这一主题带来第6讲的直播讲解。

人脸3D重建是计算机视觉和图形学领域研究的重要问题,在社交、游戏、影视等行业有广泛的应用。目前,人脸3D重建既可以通过学习调节参数化人脸模板来实现,也可以根据光线与几何间的相互作用来推断。

通过调节参数化人脸模板的方法主要是借助有效的先验辅助来进行求解,像经典的人脸3DMM优化方法,但由于这些先验知识表达能力有限,通常无法获得令人满意的重建效果,这使得摆脱先验知识依赖的非参数化人脸重建方法,逐渐受到了大家的关注。但因为没有可靠的先验知识,该方法容易受到输入图像质量的影响。而根据光线与几何间的相互作用推断的方法,重建结果的好坏一般由人像再光照任务来评估,人像再光照通常会采用基于光场相机采集的数据学习方法和球谐光方法,但这两种方法都面临这一些挑战,像前者会耗费大量的人力物力且泛化性差,后者则无法模拟真实世界的环境光照。

针对非参数化人脸重建易受输入图像质量影响的问题,腾讯优图实验室提出了一种基于开放图像集合的非参数化人脸重建方法。该方法利用合成数据和课程学习,将图像集合信息引入到训练过程中,使得非参数化方法也能够受限于ID一致性的约束,有效提升了人脸重建结果的细节和鲁棒性。

而对于人像再识别方法存在的成本高、泛化性差且无法模拟真实世界的环境光照的难点,腾讯优图又提出了一种基于物理本征学习的人像再光照方法,该方法首先对输入的人脸图像完成物理的本征分解,之后利用课程学习的,且基于可微分光线追踪的优化方法,生成了一个大规模人脸本征数据库,并利用神经网络进一步提升了本征分解的真实度。通过该方法预测的人脸本征分量,能够很好的模拟真实环境光线条件下不同的人像光照效果。

在本次专场中,振宇老师将对上面的两种方法进行详细分析,并就人脸3D重建的研究热点和未来趋势给出自己的见解。

振宇是腾讯优图实验室高级研究员,南京理工大学计算机视觉专业博士,2018-2019赴意大利特伦托大学公派访问。他专注于3D视觉相关领域前沿研究,研究方向涉及人脸3D重建、场景3D重建与深度估计以及多任务与迁移学习等。同时振宇老师在CVPR、ECCV、ICCV、AAAI、TPAMI等顶会顶刊发表多篇文章,同时担任AAAI、CVPR、TNNLS等多个会议及期刊审稿人。

本次专场包含主讲和问答两个部分,其中主讲环节40分钟,问答环节20分钟。同时,我们还组建了技术交流群,并邀请振宇老师进群,欢迎大家申请!

主题

人脸3D重建前沿研究及热点趋势

提纲

1、人脸3D重建方法与发展现状
2、基于开放图像集合的非参数化人脸重建
3、模拟真实环境光线条件的人像再光照方法
4、研究热点与趋势分析

讲师介绍

振宇,腾讯优图实验室高级研究员,南京理工大学计算机视觉专业博士,2018-2019赴意大利特伦托大学公派访问;专注3D视觉相关领域前沿研究,研究方向涉及人脸3D重建、场景3D重建与深度估计以及多任务与迁移学习等;在CVPR、ECCV、ICCV、AAAI、TPAMI等顶会顶刊发表多篇文章,同时担任AAAI、CVPR、TNNLS等多个会议及期刊审稿人。

课程信息

直播时间:12月15日19:00
直播地点:智东西公开课知识店铺