伊利诺伊理工学院在读博士尚玉章:基于后训练量化加速扩散模型生成 |AI新青年讲座

「AI新青年讲座」由智东西公开课出品,致力于邀请青年学者,主讲他们在生成式AI、LLM、计算机视觉、机器学习等人工智能领域的最新重要研究成果。

AI新青年是加速人工智能前沿研究的新生力量。AI新青年的视频讲解和直播答疑,将可以帮助大家增进对人工智能前沿研究的理解,相应领域的专业知识也能够得以积累加深。同时,通过与AI新青年的直接交流,大家在AI学习和应用AI的过程中遇到的问题,也能够尽快解决。

「AI新青年讲座」目前已完结224讲;有兴趣分享学术成果的朋友,可以与智东西公开课教研团队进行邮件(class@zhidx.com)联系。

扩散生成模型,在生成逼真多样化数据方面取得了显著成果。但现有的去噪扩散模型在生成过程中因为长时间的迭代噪声估计而变得非常缓慢,这使得该模型难以在边缘设备上广泛部署。尽管之前的研究试图通过寻找更短但有效的抽样轨迹来加速扩散模型的生成过程,但它们忽视了每次迭代中用重网络估计噪声的代价。

来自伊利诺伊理工学院、后摩智能、腾讯 AI Lab 的研究者在 CVPR 2023 上从压缩噪声估计网络的角度对扩撒模型进行了加速生成。由于重新训练扩散模型的难度,他们采用了训练后量化(PTQ)来加速扩散模型。但由于噪声估计网络的输出分布会随时间步变化,常规的 PTQ 方法在扩散模型中不适用。为了解决这个问题,他们提出了一个特定于扩散模型的 PTQ 方法。

伊利诺伊理工学院在读博士尚玉章:基于后训练量化加速扩散模型生成 |AI新青年讲座

实验表明,最新提出的 PTQ 能够直接将全精度的扩散模型量化为 8 位模型,同时在无需训练的情况下保持甚至提高其性能。此外,PTQ 还可以作为一个即插即用的模块应用于其他快速采样方法。

伊利诺伊理工学院在读博士尚玉章:基于后训练量化加速扩散模型生成 |AI新青年讲座

9月19日上午10点,「AI新青年讲座」第225讲邀请到 PTQ 一作、伊利诺伊理工学院在读博士尚玉参与,主讲《基于后训练量化加速扩散模型生成》。

讲者
尚玉章,伊利诺伊理工学院在读博士;研究重点是高效/可扩展的人工智能,主要包含神经网络量化,知识蒸馏等具体技术;所提出的模型压缩方法被应用于等多种场景(后训练,zero-shot等)、不同结构(生成模型和大型语言模型)的网络中;工作成CVPR、ICCV、ECCV等会议上发表;此前在武汉大学获得应用数学和金融学双学士学位。

第225讲
主 题
《基于后训练量化加速扩散模型生成》

提 纲
1、加速扩散模型生成的方法概述及不足
2、常规的训练后量化 PTQ 方法
3、特定于扩散模型的训练后量化 PTQ4DM
4、int8 模型量化及在其他快速采样方法中的应用

直 播 信 息
直播时间:9月19日10:00
直播地点:智东西公开课知识店铺

成果
论文标题:《Post-training Quantization on Diffusion Models》
论文地址:https://arxiv.org/pdf/2211.15736.pdf
开源代码:https://github.com/42Shawn/PTQ4DM