双臂机器人操作在机器人技术中至关重要。但由于协调两个机械臂的固有复杂性以及训练数据的稀缺，开发基座模型极具挑战性。而现有的操作策略要么只局限于特定任务，要么仅限于小规模模型、数据和简单任务。
为此，清华大学人工智能研究院 TSAIL 团队构建了用于双臂机器人操作的扩散基座模型——Robotics Diffusion Transformer（RDT），是目前最大的用于机器人操作的扩散基座模型，拥有模型参数量1.2B，现已开源。
RDT模型以扩散模型作为基础，能够有效地表示多峰的人类动作分布，并采用可扩展的Transformer架构来处理异构的多模态输入，捕捉机器人数据中的非线性和高频特性。为了解决数据稀缺问题，该模型还引入了一种物理可解释的统一动作空间，用于统一各种机器人的动作表示，并保留原始动作的物理含义，方便学习可迁移的物理知识。
RDT模型为 ALOHA 硬件本体植入了 “小脑”，使其能摆脱人类的操控，自主完成没见过的任务。RDT 将 “小模型” 扩展为 “大模型”，是目前运动控制水平最接近人类的机器人小脑之一。在 RDT 模型的加持下，双臂机器人ALOHA 成功挑战 7 项高难度任务，平均成功率上比当前最好的模型还高出 56%。
12月18日晚7点，智猩猩邀请到论文一作、清华大学TSAIL团队博士生刘松铭参与「智猩猩AI新青年讲座」第258讲，主讲《双臂机器人操作扩散大模型RDT》。
刘松铭，清华大学TSAIL团队博士生
清华大学计算机系二年级博士生，主要研究方向是具身智能和 AI for Science。此前在 ICML 和 NeurIPS 等顶级会议发表多篇论文，本科期间曾获清华大学特等奖学金。
2、最大机器人操作扩散基座模型RDT预训练解析
3、在6k+条轨迹的双臂数据集上对RDT进行微调
4、基于双臂机器人ALOHA完成7项任务的效果分析
5、总结与展望
论文成果
标题：
《RDT-1B: a Diffusion Foundation Model for Bimanual Manipulation》
链接：
https://arxiv.org/abs/2410.07864
项目地址：
https://rdt-robotics.github.io/rdt-robotics/
