「AI新青年讲座」由智东西公开课出品，致力于邀请青年学者，主讲他们在生成式AI、LLM、计算机视觉、机器学习等人工智能领域的最新重要研究成果。

AI新青年是加速人工智能前沿研究的新生力量。AI新青年的视频讲解和直播答疑，将可以帮助大家增进对人工智能前沿研究的理解，相应领域的专业知识也能够得以积累加深。同时，通过与AI新青年的直接交流，大家在AI学习和应用AI的过程中遇到的问题，也能够尽快解决。

「AI新青年讲座」目前已完结218讲；有兴趣分享学术成果的朋友，可以与智东西公开课教研团队进行邮件（class@zhidx.com）联系。

Stable Diffusion 已经表现出了强大的视觉生成能力。然而，它们在生成具有空间、结构或几何控制的图像方面常常表现不足。现有的 ControlNet 和 T2I-adpater 等工作实现了针对不同模态的可控图片生成，但在单一、统一的模型中适应各种视觉条件，仍然是一个未解决的挑战。

来自 Salesforce AI、美国东北大学和斯坦福大学的研究者们，针对这个问题，最新提出了一个各种条件下的统一可控图像生成模型：UniControl。

UniControl 在单一的框架内合并了各种可控的条件到图像（C2I）任务。同事为了使 UniControl 有能力处理多样的视觉条件，研究者们引入了一个任务感知的 HyperNet 来调节下游的条件扩散模型，使其能够同时适应不同的 C2I 任务。

在九个不同的 C2I 任务上进行训练后，UniControl 展示了强大的视觉生成能力和 zero-shot 泛化能力。

7月14日上午10点，「AI新青年讲座」第219讲邀请到 UniControl 一作、美国东北大学博士秦灿参与，主讲《UniControl：多模态的统一可控图像生成模型》。

讲者
秦灿，美国东北大学博士；研究方向为迁移学习和生成式AI，包括域迁移、小样本学习、多模态学习、扩散模型等；相关研究工作发表于NeurIPS、ICLR、CVPR、ICCV、KDD、TPAMI、Nature Communication等顶会和顶刊，并获ICCV19 RLQ最佳论文；此前在西安电子科技大学获得学士学位，博士就读于美国东北大学，曾在Adobe研究院，Salesforce AI研究院等机构实习。

第219讲

主 题
《UniControl：多模态的统一可控图像生成模型》

提 纲
1、生成式 AI 基础模型的应用
2、单一模态的可控图像生成模型及局限性
3、各种条件下统一可控的生成模型 UniControl
4、对开放环境中的 zero-shot 适应能力
5、可控视觉生成的展望

直 播 信 息
直播时间：7月14日10:00
直播地点：智东西公开课知识店铺

成果
论文标题：《UniControl: A Unified Diffusion Model for Controllable Visual Generation In the Wild》
论文地址：https://arxiv.org/abs/2305.11147
开源代码：https://github.com/salesforce/UniControl