![](http://oss.zhidx.com/uploads/2024/06/667e8c269f48a_667e8c269c39c_667e8c269c374_640-1.png)
「智猩猩AI新青年讲座」由智猩猩出品,致力于邀请青年学者,主讲他们在生成式AI、LLM、AI Agent、CV等人工智能领域的最新重要研究成果。
AI新青年是加速人工智能前沿研究的新生力量。AI新青年的视频讲解和直播答疑,将可以帮助大家增进对人工智能前沿研究的理解,相应领域的专业知识也能够得以积累加深。同时,通过与AI新青年的直接交流,大家在AI学习和应用AI的过程中遇到的问题,也能够尽快解决。
扩散模型虽然在轨迹规划方面展示了巨大潜力,但如何从抽象的人类语言指令生成连贯的轨迹,尤其是在需要多个连续技能组合的长视野任务中,仍然是一个难题。
为了解决以上问题,香港大学计算机系HKU-MMLAB在读博士梁志烜提出了端到端层次化规划框架SkillDiffuser,用于解决机器人轨迹规划中的挑战。相关论文为《SkillDiffuser: Interpretable Hierarchical Planning via Skill Abstractions in Diffusion-Based Task Execution》,已收录于CVPR 2024。
在多任务学习环境中,SkillDiffuser通过集成高层可解释的技能学习与低层条件扩散规划,来解决机器人轨迹规划问题。
在高层,技能抽象模块从视觉观察和语言指令中学习到离散的、人类可理解的技能表征。这些学习到的技能嵌入用于条件化扩散模型,用来生成与技能对齐的定制潜在轨迹,也就是符合可学习技能的多样化状态轨迹。
通过以上整合技能学习与条件轨迹的生成方法,SkillDiffuser能够根据抽象指令在多样化任务中产生连贯的行为。
在多任务机器人操控基准测试集如Meta-World和LOReL上的实验表明,SkillDiffuser展示了业界领先的性能和人类可理解的技能表征。
7月2日10点,智猩猩邀请到论文一作、香港大学计算机系HKU-MMLAB在读博士梁志烜参与「智猩猩AI新青年讲座」242讲,主讲《利用技能学习的扩散策略实现层次化机器人轨迹生成》。
讲者
梁志烜
香港大学计算机系HKU-MMLAB二年级博士生
导师为罗平教授,研究兴趣为生成式模型,具身智能,以及表征学习,在基于扩散模型的规划器方向发表多篇论文在顶级会议、期刊上,如ICML、CVPR等。
第242讲
主 题
利用技能学习的扩散策略实现层次化机器人轨迹生成
提 纲
1、扩散模型在轨迹规划的应用潜力与问题
2、端到端的机器人轨迹层次化规划框架SkillDiffuser
3、使用技能抽象模块从视觉和语言指令中学习表征信息
4、条件扩散模型生成与技能对齐的定制化潜在轨迹
5、实验效果可视化分析与总结
直播信息
直播时间:7月2日10:00
直播地点:智猩猩GenAI视频号
成果
论文标题
《SkillDiffuser: Interpretable Hierarchical Planning via Skill Abstractions in Diffusion-Based Task Execution》
论文链接
https://arxiv.org/abs/2312.11598
项目网站
https://skilldiffuser.github.io/
直播预约
本次讲座将在智猩猩GenAI视频号进行直播,欢迎预约~
入群申请
本次讲座组建了学习交流群。加入学习交流群,除了可以观看直播,并提前拿到课件外,你还能结识更多研究人员和开发者,所提问题也将会优先解答。
希望入群的朋友可以扫描下方二维码,添加小助手莓莓进行申请。已添加过莓莓的老朋友,可以给莓莓私信,发送“242”进行申请。