机器人前瞻（公众号：robot_pro）
作者 | 周加琦
编辑 | 漠影
机器人前瞻10月30日报道，昨天，北京通用人工智能研究院、北京理工大学、清华大学和德塔智能联合推出了Zero-HLM框架。
论文共有12位作者，分别为Dianyi Yang、Mengya Liu、Zhumei Wang、Yu Liu、Xiaochen Zhang、Yixuan Li、Le Ma、Yuhang Yang、Weiqi Huang、Wei Liang、Baoxiong Jia和黄思远（Siyuan Huang）。其中，黄思远是德塔智能联合创始人兼首席科学家，同时担任北京通用人工智能研究院具身机器人中心主任。
该框架基于Real-to-Sim-to-Real技术路线，能够将手机采集的真实场景数据与仿真中的初始示范结合，自动完成场景重建，并大规模生成用于人形机器人移动操作训练的数据。
结果显示，仅用45条仿真遥操作示范数据，该团队就通过Zero-HLM生成了4800条经过物理验证的训练数据，数据采集速度提升1.8倍。并且基于GR00T N1.7模型训练的纯仿真策略，在三项长时序任务中的平均成功率达到66.7%。
一、把真实场景搬进仿真，批量生成机器人训练数据
对于人形机器人来说，移动操作不仅涉及抓取、放置等手部动作，还要协调行走、下蹲、搬运等全身运动。要让机器人适应不同的环境，就需要大量覆盖不同场景的训练数据。
目前，这类数据主要依赖真实机器人遥操作采集，成本高且难以快速扩大规模。
仿真虽然提供了另一种选择，但仍面临两个问题：一是如何构建兼具真实视觉效果和物理交互能力的环境；二是如何生成能够成功执行的全身动作。
对此，Zero-HLM设计了一套包含四个环节的流水线，大规模生成经过物理验证的训练数据。
首先是利用手机拍摄真实场景，构建可交互的数字孪生环境。
该团队通过手机采集数据，利用3D高斯重建技术还原环境外观与空间结构。随后，引入多模态智能体，结合Blender MCP和IsaacLab，自动构建对应物理场景，并包含物体的质量、摩擦力等物理属性。
最终，将高斯视觉重建与物理模型结合，形成既接近真实视觉效果，又支持机器人抓取、放置等交互操作的仿真环境。
其次，利用少量初始示范数据，生成不同场景下的全身动作轨迹。
研究团队针对每项任务采集15条仿真遥操作示范，并将动作拆分为行走、操作和腿部交互等片段。随后，系统随机调整机器人的起始位置、物体摆放位置及交互目标，重新规划行走路径和全身运动轨迹。
再就是通过物理仿真验证动作，并自动修正执行偏差。
Zero-HLM利用SONIC全身控制器在仿真中执行生成的动作，检查任务是否成功、机器人是否稳定及碰撞情况。针对行走位置偏移等问题，系统会根据执行反馈调整场景中的物体位置或参考动作，并重新测试。
最后是生成高保真视觉数据，训练机器人策略模型。
系统将高斯重建的场景背景与仿真渲染的机器人、物体画面融合，生成第一人称视觉数据，并与机器人状态、任务指令及对应动作配对，形成训练数据。
通过上述流程，该团队利用45条仿真遥操作示范，生成了4800条经过物理验证的成功轨迹，覆盖三项长时序任务及不同场景配置。与真实世界遥操作采集相比，整体数据采集速度平均提高1.8倍。
二、宇树G1真机实测，纯仿真训练成功率达66.7%
研究团队将训练好的策略部署到宇树G1人形机器人上，测试了三项长时序移动操作任务。
其中任务一是移动拾取放置，机器人走到桌边，抓取香蕉并放入目标篮子。
任务二为低位取帽放置，机器人下蹲拾取帽子，起身后将其搬运并放置在柜边篮子。
任务三是腿部辅助篮子搬运，机器人双手搬运水果篮，用脚关闭挡路的柜门，最后将篮子放到凳子上。
在模型方面，该团队采用GR00T N1.7进行微调。对比了真实数据训练、仿真数据训练等不同情况下的真机表现。
结果显示，使用仿真数据训练的策略，在每项任务采用100条示范数据时，真机平均成功率为43.3%，与每项任务采用100条真机数据训练的策略（46.7%）基本相当。当仿真训练数据增加至每项任务800条时，其成功率提升至66.7%。
此外，研究团队还测试了模型在不同场景下的泛化表现，包括改变机器人起始位置、桌面抓取和放置位置，以及更换物体与目标组合等五种设置。
最终，纯仿真数据训练的策略在五种扩展场景下，综合成功率达到69%，而真实数据训练的基线仅为23%。其中，在更换物体与目标组合的测试中，纯仿真数据训练下的机器人成功率为100%。
结语：仿真数据能迁移，通用操作能力仍待拓展
Zero-HLM的实验结果表明，仿真生成的数据能够支持人形机器人完成部分长时序移动操作任务，并在特定场景泛化测试中取得较好的表现。
不过，此次测试仍集中在有限任务和场景中。如何将仿真训练中获得的能力进一步扩展到更多物体、任务和真实环境，仍需要更多实验验证。
