控制人形机器人执行复杂的全身动作是机器人学领域的一个重大挑战。尽管，在人形机器人元年，一些研究推动人形机器人在全身控制方面取得了显著进展，但在执行复杂任务和适应性方面仍然面临诸多问题。

为此，意大利技术研究院(iit)博士生研究员王进等提出用于不同场景中基于任务学习、选择和规划行为的框架HYPERmotion。相关论文成果收录于CoRL 2024。

该框架能够结合强化学习与全身模型预测控制生成人形机器人全身动作，并将其开发为运动库中的一种技能。此外，通过将LLMs的在线规划和推理功能应用于复杂的移动操作任务，还形成了一个包含一系列基本行为的层次化任务图，以桥接低级执行和高阶自动化规划。通过利用提炼的空间几何和2D观测与VLM的交互，将知识嵌入构建的机器人形态选择器中，从而选择单臂或双臂、腿式或轮式运动的适当动作。

通过在仿真和现实环境中进行大规模实验，HYPERmotion展示了机器人所学的全身技能可以高效适应新任务，表现出从自由文本指令中获得的高自主性，并在非结构化场景中进行规划。

此外，王进博士等研究人员又提出基于LLM的人形机器人自主行为规划框架，机器人能够根据文本指令自主规划行为和低级执行，并观察和纠正任务执行中的失败。该框架提高了机器人在非结构化环境中的行动规划能力。王进博士等研究人员还设计了包含动作行为和感知行为的机器人行为库，将复杂任务分解为可执行的子任务，提高了任务执行的可靠性和可解释性。相关论文成果收录于IROS 2024。

10月24日晚7点，智猩猩邀请到意大利技术研究院(iit)博士生研究员王进参与「智猩猩具身智能前沿讲座」第14讲，主讲《HYPERmotion：结合语言模型实现人形机器人自主行为规划》。

讲者

王进
意大利技术研究院(iit)博士生研究员

师从Nikos Tsagarakis,是HHCM实验室的一员。其主要研究兴趣为机器人学习、具身智能以及仿人机器，具体为人形机器人的自主移动操作，在机器人任务中融合基础模型并通过学习的方式提高机器人的自主性。部分研究发表在IROS、ICRA、CoRL等机器人相关会议。

第 14 讲 

主 题 

《HYPERmotion：结合语言模型实现人形机器人自主行为规划》

提 纲 

1、利用RL与全身模型预测控制生成人形机器人全身动作
2、基于LLM分解复杂操作任务构建层次化任务图
3、结合VLM选择机器人形态和相应动作
4、在仿真和真实环境的实验中效果展示及分析

 直 播 信 息 

直播时间：10月24日19:00

成果

论文标题

《HYPERmotion: Learning Hybrid Behavior Planning for Autonomous Loco-manipulation》

《Autonomous Behavior Planning For Humanoid Loco-manipulation Through Grounded Language Model》

论文链接

https://arxiv.org/abs/2406.14655

https://arxiv.org/abs/2408.08282v1

项目地址

http://hy-motion.github.io/

如何报名

有讲座直播观看需求的朋友，可以添加小助手“莓莓”进行报名。已添加过“莓莓”的老朋友，可以给“莓莓”私信，发送“具身智能14”进行报名。对于通过报名的朋友，之后将邀请入群进行观看和交流。