「智猩猩AI新青年讲座」由智猩猩出品，致力于邀请青年学者，主讲他们在生成式AI、LLM、AI Agent、CV等人工智能领域的最新重要研究成果。

AI新青年是加速人工智能前沿研究的新生力量。AI新青年的视频讲解和直播答疑，将可以帮助大家增进对人工智能前沿研究的理解，相应领域的专业知识也能够得以积累加深。同时，通过与AI新青年的直接交流，大家在AI学习和应用AI的过程中遇到的问题，也能够尽快解决。

目前，将单目视频中的内容从其它视角渲染出来仍然是一个具有挑战性的问题。对于静态场景，研究人员提出了针对场景的特定优化技术和通用的优化技术。相比之下，对于动态场景，只存在特定场景的优化技术，目前还没有针对给定单目视频的动态新视图合成的通用方法。

针对以上问题，伊利诺伊大学厄巴纳-香槟分校在读博士赵晓明在Apple实习期间提出了基于现有技术的解决思路。并且发现在几何和时间上进行一致性深度估计条件下，存在非场景特定外观优化的动态视图合成伪广义方法。相关论文为《Pseudo-Generalized Dynamic View Synthesis from a Video》，已收录于ICLR 2024。

ICLR’24收录！Apple实习研究成果：从单目视频中合成动态新视图 | UIUC赵晓明讲座预告

为了较大程度上减少场景特定的优化的需求，设计一种通用的方法，将静态和动态内容的渲染任务分别进行。
对于动态场景中的静态部分，利用改进预训练的基于Transformer的NeRF架构（GNT）合成高质量的渲染内容。即在GNT中引入masked attention使其有效地区分动态和静态内容，减少动态内容的影响，从而模型能够更准确地渲染静态内容。
对于动态内容的渲染，受以往工作的启发，提出了利用深度和时间数据先验探索通用的动态新视图合成方法。
通过实验证明，没有场景特定外观优化的伪广义过程是可能实现的，且提升了某些特定场景外观优化方法的合成视图质量。
ICLR’24收录！Apple实习研究成果：从单目视频中合成动态新视图 | UIUC赵晓明讲座预告
6月25日10点，智猩猩邀请到论文一作、伊利诺伊大学厄巴纳-香槟分校在读博士赵晓明参与「智猩猩AI新青年讲座」241讲，主讲《从单目视频中合成动态新视图》。
讲者

赵晓明

伊利诺伊大学厄巴纳-香槟分校在读博士

主要研究方向为三维视觉，导师为Alexander Schwing教授；在ECCV、ICCV、 NeurIPS、ICLR 等顶级会议上发表多篇一作论文。

第241讲

主 题
从单目视频中合成动态新视图
提 纲
1、单目视频视图合成研究概述
2、动态视图合成任务面临的问题与解决思路
3、改进基于Transformer的NeRF架构以生成静态渲染
4、利用深度和时间先验合成动态内容的伪广义方法

直播信息

直播时间：6月25日10:00
直播地点：智猩猩GenAI视频号

成果

论文标题
《Pseudo-Generalized Dynamic View Synthesis from a Video》
论文链接
https://arxiv.org/abs/2310.08587
项目网站
https://xiaomingzhao.github.io/projects/pgdvs

直播预约

本次讲座将在智猩猩GenAI视频号进行直播，欢迎预约~

入群申请

本次讲座也组建了学习群，讲者将会加入交流，希望入群的朋友可以扫描下方二维码，添加小助手米娅进行报名。已添加过米娅的老朋友，可以给米娅私信，发送“241”即可申请入群。

ICLR’24收录！Apple实习研究成果：从单目视频中合成动态新视图 | UIUC赵晓明讲座预告