南洋理工大学MMLab在读博士陈昭熹:利用文本生成虚拟HDR全景图 | AI新青年讲座

「AI新青年讲座」将邀请世界顶尖AI研究机构和大学的科研新青年,主讲他们在计算机视觉、机器学习等人工智能领域的最新重要研究成果。

AI新青年是加速人工智能前沿研究的新生力量。AI新青年的视频讲解和直播答疑,将可以帮助大家增进对人工智能前沿研究的理解,相应领域的专业知识也能够得以积累加深。同时,通过与AI新青年的直接交流,大家在AI学习和应用AI的过程中遇到的问题,也能够尽快解决。

有兴趣分享学术成果的朋友,可以与智东西公开课教研团队进行邮件(class@zhidx.com)联系。

在所有的图形学技术中,高动态范围全景贴图(HDRI)能够提供逼真的场景光照和沉浸式的环境纹理,然而能够直接应用的HDRI需要有足够多的场景细节、极高的分辨率和记录光照的高动态范围,这使得不论是采集还是编辑HDRI都变得十分困难和昂贵。

那么能否使用图像生成模型来合成HDRI呢?

南洋理工大学MMLab在读博士陈昭熹等人提出了一个基于零次学习文字驱动的HDR全景图合成框架Text2Light,能够根据输入的场景描述合成分辨率超4K的具有高动态范围的全景图。

Text2Light主要由两个阶段组成,分别对应着离散和连续的两种不同的表征。阶段一通过使用基于层级码本的离散表征,来实现文本驱动的低动态范围全景图合成;阶段二通过使用基于结构化球面场的连续表征,来实现超分辨率逆向色调映射,将阶段一的低动态范围全景图转化为高动态范围的高清全景图。

Text2Light能够根据任意输入文本来合成高清HDR全景图,生成的结果提供逼真的环境光照,且可以直接应用在Blender、UE、Maya等现代图形学渲染管线中,直接渲染数字资产。

11月21日晚7点,「AI新青年讲座」第172讲邀请到南洋理工大学MMLab在读博士陈昭熹参与,主讲《利用文本生成虚拟HDR全景图》。

讲 者

陈昭熹,南洋理工大学MMLab在读博士
师从刘子纬教授,本科毕业于清华大学;研究兴趣为三维计算机视觉和生成模型,尤其在三维数字内容生成和神经渲染方面,曾在ICCV、ECCV、SIGGRAPH Asia上发表多篇学术论文。

主 题

利用文本生成虚拟HDR全景图

提 纲

1、HDRI高动态范围全景贴图应用的局限
2、利用文本生成全景图面临的挑战
3、零次学习文字驱动的HDR全景图生成框架
4、分辨率超4K的360度全景图生成

直播信息

直播时间:11月21日19:00
直播地点:智东西公开课知识店铺

成 果

Text2Light:《Text2Light: Zero-Shot Text-Driven HDR Panorama Generation》
论文链接:https://arxiv.org/pdf/2209.09898.pdf
开源代码:https://github.com/FrozenBurning/Text2Light