在具身智能和机器人操作实验室中,往往会选择固定的setting进行实验。但在现实环境中,实现机器人的空间泛化,以应对多样化的物体位置和复杂的场景布置,一直是个艰难的挑战。

近日,来自清华和NUS的团队,发现了具身智能空间泛化Scaling Law。在此基础上,提出了一个创新的机器人操作算法框架ManiBox。其中,清华大学计算机系TSAIL实验室博士生谭恒楷为论文一作。
具身智能空间泛化Scaling Law!清华联合NUS提出机器人操作算法框架ManiBox | 一作谭恒楷博士主讲预告
ManiBox深入探索了具身智能的空间泛化性 Scaling Law,并通过大量模拟器数据和Bounding Box这样的视觉低维特征引导,成功实现了空间泛化、背景泛化和物体泛化的抓取任务,能够从固定点到34440cm³最大操作空间范围的高效覆盖,抓取成功率高达90%。

此外,ManiBox 不仅能够完成常规抓取,还扩展到更复杂的任务,如倒水,抓取杯子把手,杂乱桌面抓取等等精细操作场景,展现了出色的 Sim2Real 能力。更为引人注目的是,用户只需输入一个物体的prompt,ManiBox 即可自动执行对应物体的抓取、倾倒等操作,显著提升了机器人操作任务的鲁棒性与灵活性。

具身智能空间泛化Scaling Law!清华联合NUS提出机器人操作算法框架ManiBox | 一作谭恒楷博士主讲预告

1月16日晚7点,智猩猩邀请到论文一作、清华大学计算机系TSAIL实验室谭恒楷参与「智猩猩新青年讲座具身智能专题」第19讲,以《探索具身智能空间泛化性的Scaling Law》为主题带来直播讲解。

讲者

谭恒楷,清华大学计算机系TSAIL实验室博士生

清华大学计算机系TSAIL实验室的二年级博士生谭恒楷(Hengkai Tan),本科毕业于清华计算机系,师从朱军教授。主要研究方向是具身智能和强化学习,此前一作论文FCNet发表在ICML 2024,ManiBox一作,也是清华 RDT 大模型的作者之一。还曾是全国青少年信息学奥林匹克竞赛(NOI)的银牌,全国84名。

第 19 讲 

主 题
《探索具身智能空间泛化性的Scaling Law》
提 纲
1、什么是空间泛化性
2、利用模拟器从视觉泛化转移到策略泛化
3、机器人操作算法框架ManiBox
4、sim2real经验分享
5、具身智能的空间泛化性Scaling Law
-空间泛化性、成功率和数据量的幂律
-Michaelis-Menten 动力学曲线

 直 播 信 息
直播时间:1月16日19点

成果

论文成果1

标题:《ManiBox: Enhancing Spatial Grasping Generalization via Scalable Simulation Data Generation》
链接:https://arxiv.org/abs/2411.01850
项目地址:https://thkkk.github.io/manibox
收录情况:ICLR 2025在投

论文成果2

标题:《Fourier Controller Networks for Real-Time Decision-Making in Embodied Learning》
链接:https://arxiv.org/abs/2405.19885
项目地址:https://thkkk.github.io/fcnet
收录情况:ICML 2024

论文成果3

标题:《RDT-1B: A DIFFUSION FOUNDATION MODEL FOR BIMANUAL MANIPULATION》
链接:https://arxiv.org/abs/2410.07864
项目地址:https://rdt-robotics.github.io/rdt-robotics/
收录情况:ICLR 2025在投

如何报名

有讲座直播观看需求的朋友,可以添加小助手“莓莓”进行报名。已添加过“莓莓”的老朋友,可以给“莓莓”私信,发送“具身智能19”进行报名。对于通过报名的朋友,之后将邀请入群进行观看和交流。

具身智能空间泛化Scaling Law!清华联合NUS提出机器人操作算法框架ManiBox | 一作谭恒楷博士主讲预告