近年来，基于人类示范数据的机器人模仿学习技术取得了显著进展，展现出了巨大的应用前景和发展潜力。然而，如何使这一过程更加高效，并得到更加通用的机器人操控策略，目前依然是一个挑战。提高真实世界中人类示范数据收集的效率，对于实现高效的模仿学习至关重要。
为此，上海交通大学卢策吾教授团队提出了大规模真实世界机器人操控数据集RH20T，包含超过11万个接触丰富的机器人操控轨迹，涵盖多种技能、场景、机器人和摄像机视角。这些轨迹通过人类遥操作收集，为模仿学习算法提供了丰富多样的资源。与RH20T相关的论文成果收录于RSS 2023和 ICRA 2024。
为了降低规模化双臂数据采集的成本，上交大卢策吾教授团队联合上海AI Lab引入了低成本的外骨骼系统AirExo。与AirExo相关的论文收录于ICRA 2024，其中上海交通大学与上海AI Lab联培博士生方泓杰为论文一作。
AirExo旨在采集野外环境中的双臂操作数据，减少机器人操控策略对于遥操作数据的需求，使低成本规模化双臂数据采集成为可能。该系统使机器人仅通过3分钟的遥控演示和收集到的野外数据学习的效果，超越了从20多分钟遥控演示中的学习效果。
在模仿学习方面，穹彻智能联合上交大卢策吾教授团队提出了基于3D感知的真实世界机器人操控策略RISE，显著提升了机器人操控策略对物体位置以及相机视角变化的泛化能力。与RISE相关的论文收录于IROS 2024。
RISE通过3D感知，能够有效地提取空间信息，并在多个机器人操作任务中取得了优于2D和3D基线方法的性能。并且，在不同物体位置、新工作空间和新相机视角下都表现出良好的泛化能力，增强了其在真实世界部署中的鲁棒性。
为进一步提高人类示范数据的利用效率，上交大卢策吾教授团队联合上海AI Lab又提出了具有极强泛化性的操控策略CAGE。该策略能利用仅50条单平台单相机视角采集的数据，无需任何预训练，即可将技能迁移至不同机械臂、不同相机视角和背景环境中。CAGE能够使机器人实现更加高效且通用的模仿学习，为机器人操控策略在复杂多变的真实环境中的应用提供了有力支持。
11月26日晚7点，智猩猩邀请到上海交通大学与上海AI Lab联培博士生方泓杰参与「智猩猩具身智能前沿讲座」第16讲，主讲《基于人类示范数据的高效机器人模仿学习》。
讲者
方泓杰，上海交通大学与上海 AI Lab联培博士生
方泓杰，上海交通大学计算机科学与工程系与上海人工智能实验室联培博士生，师从卢策吾教授。他于2022年获得上海交通大学计算机科学与工程学士学位，其研究兴趣主要集中在机器人操控与抓取领域，尤其关注基于人类示范的模仿学习技术，致力于提升机器人在复杂环境中的通用操作能力，使机器人能够更加精准和高效地完成多样化任务。
曾参与通用抓取算法AnyGrasp以及Open X-Embodiment大型数据集等项目（ICRA 2024最佳论文）。在ICRA、IROS等机器人领域会议以及T-RO、RA-L等期刊上发表近10篇论文
第 16 讲
主 题
《基于人类示范数据的高效机器人模仿学习》
提 纲
1、基于人类示范数据的机器人模仿学习面临的挑战
2、大规模真实世界机器人操控数据集RH20T
3、使用外骨骼系统实现低成本规模化的双臂数据采集
4、基于3D感知的真实世界机器人操控策略RISE
5、利用CAGE实现机器人高效且通用的模仿学习
直 播 信 息
直播时间：11月26日19:00
成果
论文成果1
标题：《RH20T: A Comprehensive Robotic Dataset for Learning Diverse Skills in One-Shot》
链接：https://arxiv.org/abs/2307.00595
项目地址：https://rh20t.github.io/
收录情况：RSS 2023、ICRA 2024
论文成果2
标题：《AirExo: Low-Cost Exoskeletons for Learning Whole-Arm Manipulation in the Wild》
链接：https://arxiv.org/abs/2309.14975
项目地址：https://airexo.github.io/
收录情况：ICRA 2024
论文成果3
标题：《RISE: 3D Perception Makes Real-World Robot Imitation Simple and Effective》
链接：https://arxiv.org/abs/2404.12281
项目地址：https://rise-policy.github.io/
收录情况：IROS 2024
论文成果4
标题：《CAGE: Causal Attention Enables Data-Efficient Generalizable Robotic Manipulation》
链接：https://arxiv.org/abs/2410.14974
项目地址：https://cage-policy.github.io/
入群申请
有讲座直播观看需求的朋友，可以添加小助手“莓莓”进行报名。已添加过“莓莓”的老朋友，可以给“莓莓”私信，发送“具身智能16”进行报名。对于通过报名的朋友，之后将邀请入群进行观看和交流。
