「智猩猩AI新青年讲座」由智猩猩出品，致力于邀请青年学者，主讲他们在生成式AI、LLM、AI Agent、CV等人工智能领域的最新重要研究成果。

AI新青年是加速人工智能前沿研究的新生力量。AI新青年的视频讲解和直播答疑，将可以帮助大家增进对人工智能前沿研究的理解，相应领域的专业知识也能够得以积累加深。同时，通过与AI新青年的直接交流，大家在AI学习和应用AI的过程中遇到的问题，也能够尽快解决。

扩散模型虽然在轨迹规划方面展示了巨大潜力，但如何从抽象的人类语言指令生成连贯的轨迹，尤其是在需要多个连续技能组合的长视野任务中，仍然是一个难题。

为了解决以上问题，香港大学计算机系HKU-MMLAB在读博士梁志烜提出了端到端层次化规划框架SkillDiffuser，用于解决机器人轨迹规划中的挑战。相关论文为《SkillDiffuser: Interpretable Hierarchical Planning via Skill Abstractions in Diffusion-Based Task Execution》，已收录于CVPR 2024。

在多任务学习环境中，SkillDiffuser通过集成高层可解释的技能学习与低层条件扩散规划，来解决机器人轨迹规划问题。

在高层，技能抽象模块从视觉观察和语言指令中学习到离散的、人类可理解的技能表征。这些学习到的技能嵌入用于条件化扩散模型，用来生成与技能对齐的定制潜在轨迹，也就是符合可学习技能的多样化状态轨迹。

通过以上整合技能学习与条件轨迹的生成方法，SkillDiffuser能够根据抽象指令在多样化任务中产生连贯的行为。

在多任务机器人操控基准测试集如Meta-World和LOReL上的实验表明，SkillDiffuser展示了业界领先的性能和人类可理解的技能表征。

7月2日10点，智猩猩邀请到论文一作、香港大学计算机系HKU-MMLAB在读博士梁志烜参与「智猩猩AI新青年讲座」242讲，主讲《利用技能学习的扩散策略实现层次化机器人轨迹生成》。

讲者

梁志烜

香港大学计算机系HKU-MMLAB二年级博士生

导师为罗平教授，研究兴趣为生成式模型，具身智能，以及表征学习，在基于扩散模型的规划器方向发表多篇论文在顶级会议、期刊上，如ICML、CVPR等。

第242讲

主 题
利用技能学习的扩散策略实现层次化机器人轨迹生成
提 纲
1、扩散模型在轨迹规划的应用潜力与问题
2、端到端的机器人轨迹层次化规划框架SkillDiffuser
3、使用技能抽象模块从视觉和语言指令中学习表征信息
4、条件扩散模型生成与技能对齐的定制化潜在轨迹
5、实验效果可视化分析与总结

直播信息

直播时间：7月2日10:00
直播地点：智猩猩GenAI视频号

成果

论文标题
《SkillDiffuser: Interpretable Hierarchical Planning via Skill Abstractions in Diffusion-Based Task Execution》
论文链接
https://arxiv.org/abs/2312.11598
项目网站
https://skilldiffuser.github.io/

直播预约

本次讲座将在智猩猩GenAI视频号进行直播，欢迎预约~

入群申请

本次讲座组建了学习交流群。加入学习交流群，除了可以观看直播，并提前拿到课件外，你还能结识更多研究人员和开发者，所提问题也将会优先解答。

希望入群的朋友可以扫描下方二维码，添加小助手莓莓进行申请。已添加过莓莓的老朋友，可以给莓莓私信，发送“242”进行申请。