机器人前瞻（公众号：robot_pro）
作者 | 周加琦
编辑 | 漠影
机器人前瞻7月16日报道，今天，大规模强化学习基础设施项目RLinf，正式升级为RLinf v0.3。RLinf是由无问芯穹联合清华大学等共同研发、全球首个面向具身智能持续进化的项目。
▲（图源：无问芯穹）
此前已发布的RLinf v0.1和RLinf v0.2，分别完成了强化学习系统抽象与真实世界在线学习基础设施建设。
RLinf v0.3则升级为面向具身智能持续进化的一站式开发平台，打通数据采集、数据管理、监督微调（SFT）、强化学习（RL）、模型评测以及真机部署等环节，实现从仿真训练到真实机器人在线学习、再到持续迭代优化的统一开发闭环。
Github链接：
https://github.com/RLinf/RLinf
RLinf Tech Report：
https://arxiv.org/abs/2509.15965
一、五大维度升级，从模型到真机部署一站式解决
此次发布的RLinf v0.3，从模型、算法、真机、仿真、系统五个维度进行升级，为开发者降低了具身智能开发门槛。
在模型方面，新增6款具身模型，涵盖世界模型、VLA模型和系统级加速。
包含Dexbotic DM0模型、DreamZero模型、GR00T-N1.6/N1.7模型RL微调、ABot-M0模型、StarVLA模型（GRPO on LIBERO）、LingBot-VLA模型（RoboTwin环境SFT/RL）。
其中DreamZero模型，基于WAN2.1/2.2视频生成世界模型微调的VLA策略，集成进SFT工作流，通过FSDP2/CUDA Graph等系统级加速取得近4倍吞吐提升。
▲DreamZero（图源：RLinf）
在算法方面，RLinf v0.3在真机RL、仿真RL和人在环学习三个方向有新增。
真机强化学习算法将DSRL扩展至Pi0.5模型，可在真机上高效自我迭代，大幅提升泛化能力。
此外，还新增RECAP（基于离线优势估计的策略优化）训练流水线支持，SAC-Flow算法支持，并扩展到DOS-W1等真机场景，进一步降低模型真机优化的门槛。
仿真强化算法在RLinf v0.2的基础上扩展支持MLP等新策略，新增async DSRL配置，训练调度更灵活；新增D4RL离线IQL训练支持，可在仿真环境中，用存量离线数据完成模型训练。
人在环学习覆盖仿真和真机场景，新增DAgger在线模仿学习算法支持和HG-DAgger真机在线训练支持，大幅降低机器人实操学习难度。
在真机方面，打通数据采集到真机部署的闭环。
数据采集部分，新增3种遥操作方式，包含空间鼠标遥操作、VR遥操作、GELLO遥操作。训练链路部分，支持LeRobot格式数据采集，便于与HuggingFace LeRobot生态互通，同时还支持Pi0真机SFT部署、真机reward model数据采集。
在真机平台和末端执行器上，新增3款真机平台，包含双臂Franka平台、GimArm和DOS-W1真机平台；新增2款末端执行器，包含Franka DexHand灵巧手、Franka Robotiq夹爪后端、Franka Robotiq及ZED/LUMOS V4L2相机与夹爪后端。
此外，在仿真方面，RLinf v0.3提升场景覆盖，新增5种仿真器，包含Genesis仿真器、Polaris仿真器、RoboVerse仿真器、Libero+/LiberoPro变体环境、Embodichain（CartPole）环境、IsaacLab上π0.5 PPO finetuning、RoboCasa close-drawer等RL示例，还完善Behavior环境支持。
在系统方面，RLinf v0.3新增Reward Model、Value Model、SGLang推理服务化和解耦环境执行组件，同时还打通昇腾Ascend、AMD等国产及异构AI计算平台。
此外，RLinf v0.3为智能体RL场景提供了更强大的训练和评测基础，新增AgentLightning多轮单智能体RL训练与Calc-X评测、Megatron-Bridge actor后端与WideSeek judge的内置 sglang的支持。
结语：进化不止于此，持续打磨实用平台
RLinf自开源以来，在GitHub上已获得4100+Stars、600+Forks、100+Contributors，并且被Isaac Lab官方收录为其首个面向具身大模型的训练引擎。
RLinf经过三次版本迭代，走出一条从“好用”到“持续进化”的清晰路径。此次升级不仅仅是模型库的扩充或算法的叠加，更是为开发者提供了一条“开箱即用”方案。后续版本的演进方向，RLinf团队将结合开发者在实际项目中的反馈和需求，持续优化系统性能和算法覆盖。
