看过人形机器人跳舞、踢腿、翻身的视频后，我们很容易产生一个直觉：既然这些动作都能做，走进真实世界应该也不远了。

但把镜头拉远一点，问题就变了。舞台上的平地换成楼梯，脚边多出一个平台，原本伸手就能撑住的地面变成斜坡，同一段漂亮的动作，还能成立吗？

机器人前瞻10月20日报道，来自中国电信人工智能研究院（TeleAI）、伽马智能（Gamma Robotics）、上海交通大学、香港大学与浙江大学的研究人员联合提出了NEXUS[1]，这是一个面向人形机器人的跨地形感知运控基座。

NEXUS将广泛的全身行为覆盖与环境感知相结合，让机器人在保留动作特征与意图的同时，根据所处地形自主调整身体姿态与接触。

▲操作者在平地发出动作指令，Unitree G1人形机器人在斜坡、楼梯、高台等地形上执行相应的全身行为。（图源：NEXUS[1]）

对人来说，这些调整常常发生在不经意之间。走上台阶时，我们不会先在脑中重写一套全身关节轨迹；弯腰撑地时，也会自然地根据支撑面的高低调整身体。动作意图可以保持，身体的执行方式却必须改变。

人形机器人也需要这样的能力：既有丰富的动作储备，又能让动作适应眼前的环境。

近年来兴起的行为基座模型，正在尝试建立前一半能力。从统一全身控制接口，到学习可以复用的行为表示，再到通过规模化动作跟踪扩展行为覆盖，一系列工作让机器人逐渐拥有更丰富、更灵活的“身体能力”。而NEXUS[1]进一步追问：当人的动作指令来自平地，机器人却置身复杂地形，行为基座如何让机器人自主适应地形，并执行丰富的全身行为？

一、机器人需要怎样的身体能力

想象一个简单任务：走到桌边，蹲下，伸手取物，然后站起来。

从任务描述看，这只有几个词。但对机器人来说，腿部要支撑身体，躯干要调整重心，手臂要接近目标，所有关节还必须在时间上协调。只要一个环节失配，机器人就可能失去平衡。

一种思路，是为走路、蹲下、伸手分别准备控制策略，再设计策略之间的切换。如果任务种类有限，这样做可以有效。但行为越来越丰富时，每增加一个动作、一个控制接口或一种任务组合，都可能带来新的训练与集成成本。

于是，一个更有吸引力的问题出现了：能否先训练一个具有广泛身体能力的模型，让不同任务共享这些能力？

这正是行为基座模型（Behavior Foundation Model，BFM）的核心愿景。

可以把这种基座模型理解为具身“小脑”：负责全身协调与动作执行。上层给出动作参考、目标姿态或其他控制信号，具身“小脑”则把它们变成协调的身体运动。至于整个系统是否能理解语言、规划任务、识别物体，还取决于它连接了怎样的上层模块。

这一分层思路的吸引力在于：任务不断变化，身体能力仍然可以复用。机器人今天跟着人做动作，明天接受规划器给出的运动目标，底层不必每次都从零开始学习如何协调手脚。

但要让这样的设想落地，至少要回答几个问题：人类动作如何变成机器人能执行的动作？不同控制接口如何共用一个策略？动作覆盖面能否随着数据和训练规模扩大？

二、先把人的动作变成可执行的技能

大模型的成功，让数据在AI发展中的作用变得格外直观。海量互联网数据——从文本、代码到图像、视频——记录了人类的知识、表达与对世界的观察，为模型训练提供了丰富素材。通过从这些数据中学习，大模型逐渐拓展出写作、编程、图像理解等能力。数据的价值不仅在于数量，也在于内容与形式的多样性，让模型能够学习不同任务之间可以复用的规律。

然而，当AI的能力进一步延伸到物理世界，数据匮乏就成为一道现实障碍。互联网上有大量关于世界的描述和影像，但能够直接用于学习物理控制的数据，要稀缺得多。一段视频可以展示人怎样跳跃，却通常不会记录执行动作时的关节驱动、接触力和身体反馈。要让机器学会行动，还需要建立动作与物理结果之间的联系。

如果这些数据都依靠机器人逐项采集，就需要反复执行动作、记录反馈，还要面对硬件成本、采集效率和跌倒损坏等问题。覆盖的行为越丰富，获取训练数据的负担也越重。这使得全身控制很难直接照搬互联网数据驱动的扩展路径。

人类自身的动作示范，为缓解这一瓶颈提供了另一种来源。行走、转身、弯腰、跳跃，都蕴含着丰富的全身协调经验。动捕数据将这些经验记录为连续的身体运动，而BFM的一条重要路线，就是利用这些人类示范，让机器人学习可以复用于多种行为的全身协调控制能力。

人类示范提供动作参考，物理仿真中的学习则帮助机器人找到执行这些动作的控制方式。从示范到技能，还需要跨过一道物理门槛：动作数据记录了身体如何移动，却不直接告诉机器人每个电机应该怎样出力。

机器人和人的身体比例不同，关节结构不同，质量分布也不同。即使已经把人体动作重定向为机器人姿态，一段几何上合理的轨迹，也未必能在重力、惯性和接触约束下稳定执行。

因此，动作跟踪承担了一个关键角色：让控制策略在物理环境中学习追踪参考动作，把运动学示范转化为身体能执行的技能。参考动作提供“要做什么”，物理仿真和学习过程帮助策略找到“怎样做出来”。

BeyondMimic[2]展示了这条路径的价值。它建立了可扩展的动作跟踪流程，并将选取的技能策略蒸馏为统一扩散模型，在推理时用目标引导行为，展示了路径点导航、摇杆控制和避障等下游任务。

这带来一个值得关注的变化：学到的动作能够成为后续任务的素材。训练时获得的技能可以被组织起来，服务于新的控制目标。

用人的学习过程作一个类比：学会迈步、转身和保持平衡之后，沿着一条新路线行走，通常不需要重新学习每一个基础动作。对机器人而言，行为复用也希望达到类似效果。

三、会很多动作之后，还要接得住不同指令

技能丰富只是一个维度。真正使用机器人时，人们还会通过不同方式表达意图。

摇杆可能只给出移动速度；遥操作设备可能提供头部和双手位置；动作参考则可能描述整套身体姿态。如果每换一种输入，就要换一个控制器，底层身体能力仍然难以成为通用接口。

HOVER[3]把全身运动模仿作为不同任务的共同抽象，通过多模式策略蒸馏，将不同控制模式整合到统一策略中，使模型能够在多种指令模式之间切换。

它所回答的问题很直观：当输入只指定部分身体或部分运动目标时，统一策略能否仍然完成协调的全身控制？这也是基座走向实用的一步——上层不必始终提供完整的全身轨迹。

BFM4Humanoid[4]则将可复用行为知识建模为生成式表示，结合条件变分自编码器与掩码在线蒸馏，支持不同控制模式，并探索潜在空间中的行为组合，以及通过残差学习获取新行为。

这些工作的侧重点不同，但可以放在同一个问题下理解：如何让丰富的身体技能接受多样的控制信号，并在新任务中继续发挥作用？

当一个模型同时具备行为储备和灵活接口，“基座”的意义就更清楚了。上层可以改变目标、输入形式或交互方式，“小脑”则提供可共享的协调能力。这也让高层智能与低层控制之间，出现了更容易连接的接口。

四、将动作跟踪推向更大的规模

接下来的问题是规模。

假如统一模型可以掌握一批动作，那么增加动作数据、模型容量和训练计算，能否持续扩大它的能力？还是会很快遇到瓶颈，只能回到逐个技能训练？

SONIC[5]对这一问题进行了系统探索。研究团队将模型规模从120万参数扩大到4,200万参数，使用约700小时、超过一亿帧的动作数据，并研究模型、数据与计算规模对动作跟踪的影响。实验显示，增加计算和动作多样性能够改善性能，模型也能泛化到训练时未见的动作。

这让动作跟踪的角色更加突出：它既提供密集的学习目标，也有机会随着训练规模增长，成为更广泛的全身控制基础。

从这条路线看，人类动作数据的价值在于覆盖丰富的身体协调方式。一段动作中的姿态、速度变化和支撑转换，为模型提供了连续的学习信号。训练不再只围绕少数预先规定的行为展开，而可以利用更广的动作分布。

SONIC[5]还通过实时运动学规划器和统一token空间连接下游输入。通过这套接口，同一控制策略既能用于VR遥操作，也能支持VLA驱动的全身移动操作，服务于不同的上层系统。

围绕同一个规模化问题，ScaleBFM[6]进一步探索了动作跟踪目标、仿真交互数据量、参考动作多样性与模型容量之间的配合。HoloMotion[7]则将视频重建动作与高质量动捕数据结合，利用混合专家（MoE）Transformer扩展行为覆盖。HumanoidGPT[8]也通过扩大动作数据和Transformer模型规模，探索对未见动作的零样本跟踪能力。

从SONIC到这些工作，行为基座正在积累更丰富的身体技能。随着动作覆盖越来越广，一个新的问题随之浮现：这些已经学会的动作，换到不同的地形上，还能顺利执行吗？

五、从学会更多动作，到适应不同地形

这一问题触及了SONIC等地形无关行为基座模型（Terrain-Agnostic BFM）的共同能力边界。这类工作往往建立在平地场景下：动作参考在平地上采集，机器人也在相近的支撑条件下学习执行。动作库可以不断扩大，但动作与环境之间的对应关系并不会因此自动改变。

首先，动作数据总是在特定环境中产生的。平地上的行走、蹲起或手部撑地，都已经包含了对地面高度和支撑位置的依赖。大量可用的动捕数据来自受控场地，而覆盖不同地形、同时记录相应场景几何与接触关系的数据仍然稀缺。即使分别采集了平地和斜坡上的动作，也不天然构成“同一动作意图在不同环境中如何执行”的配对示范。

其次，基于动作跟踪的强化学习范式，需要以参考动作中的全身运动学轨迹作为跟踪目标。当地形发生变化，原始轨迹中的支撑条件可能已经不再成立：平地上刚好落地的脚，在台阶上可能穿入地面；原本能够撑地的手，换到斜坡上也可能悬空。直接把平地动作放进不同地形的仿真中训练，就可能让跟踪目标与实际接触约束发生冲突。数据记录了原环境中怎样执行动作，却没有直接给出换一个环境后应该怎样调整。

此外，策略还需要感知机器人实际所处的环境。以SONIC[5]为例，其底层控制策略根据动作指令和本体感知信息执行运动，并未直接接入地形相关的外部感知信息。上层VLA可以利用视觉生成指令，而底层具身“小脑”仍以对地形“盲跟踪”的方式执行这些指令。身体反馈可以帮助机器人应对一定的扰动，但要根据台阶高度和坡面方向调整支撑，还需要知道当前地形如何改变了动作的执行条件。

这些问题在跨地形遥操作中尤为直接：操作者在平地上抬腿，机器人却可能一只脚站在台阶上、另一只脚位于低处；操作者弯腰撑地，机器人面前的支撑面却可能是一段斜坡。完全照搬原轨迹，可能破坏支撑关系；大幅改变整套姿态，又可能丢掉操作者原本想表达的动作。

从丰富的行为基座走向复杂地形，需要同时补上跨环境的动作适配监督与机器人侧的地形感知，让具身“小脑”学会在保留动作意图的同时调整身体姿态与接触。

这正是NEXUS要解决的问题：操作者留在平地提供动作指令，机器人根据自己看到的地形，调整手脚支撑和全身姿态，让同一动作意图在不同环境中得到执行。

六、NEXUS：地形感知与全身行为自适应的运控基座模型

来自中国电信人工智能研究院（TeleAI）、伽马智能（Gamma Robotics）、上海交通大学、香港大学与浙江大学的研究人员联合提出了NEXUS[1]，一个面向人形机器人的跨地形感知运控基座。它将广泛的全身行为覆盖与环境感知相结合，让机器人在保留动作特征与意图的同时，根据所处地形自主调整身体姿态与接触。

NEXUS将平地动作与多样地形组合，生成保留动作意图的适配示范，再通过教师—学生训练，让机器人从自身感知中学会这种适配。 这条路径把数据生成、物理控制学习与真机执行连接起来：

平地动作×仿真地形→跨地形配对数据→感知策略学习→真机全身遥操作。

▲NEXUS方法总览：接触引导的动作适配、基于教师—学生范式的感知策略学习与真机全身遥操作部署。（图源：NEXUS[1]）

1、让同一动作获得不同地形上的执行版本

规模化训练首先需要解决监督从哪里来。NEXUS在仿真环境中规模化构建台阶、斜坡等地形，将已有平地动作与地形组合，离线生成适配版本。同一段动作因此可以对应多种支撑条件，无需逐一采集人在这些地形上的示范。

适配从接触关系出发。算法先根据末端高度和速度识别原动作中的手脚接触时段，再查询对应支撑位置的地形高度与法向，调整骨盆高度，并通过逆运动学修正支撑肢体。求解同时约束末端位置与关节活动范围，并加入对原始关节姿态的偏离惩罚；接触中的脚掌还会根据坡面方向调整朝向。随后，算法检查并修正肢体与地形的穿透，将关键帧上的修正平滑传播到整段动作。

只把身体整体抬高，无法同时满足高低不同的支撑点。例如，一只脚站在台阶上，另一只脚仍在低处，整体抬高身体会让低处的脚悬空，因此需要分别调整支撑肢体。与此同时，只让末端贴合地形，也可能扭曲原来的姿态。接触约束确定哪些部位必须调整，姿态约束则帮助保留动作本身的特征。例如，支撑腿随台阶高度改变，另一条正在伸展的腿仍应保留原动作的表达。

这一流程采用统一配置，无需为每个动作或每种地形单独调参。更关键的是，适配前后保持逐帧对应：训练数据同时给出“操作者在平地上做什么”与“机器人在当前地形上应怎样执行”。

▲同一动作序列在不同地形上的适配结果。从上到下依次为平地原始动作，以及离线生成的台阶、斜坡和波浪地形上的运动学适配版本；各列展示同一时刻的姿态。动作特征得以保留，身体姿态与支撑方式随地形调整。（图源：NEXUS[1]）

2、将适配监督转化为可部署的感知控制

有了配对数据，还需要让机器人学会在物理环境中执行。NEXUS采用教师—学生的两阶段学习范式，训练语料总量接近2000小时，包含生成的地形适配版本。

第一阶段，教师策略使用地形适配动作参考、精确地形高程、机体位姿与速度等特权信息，通过PPO强化学习掌握控制。奖励同时考虑动作跟踪、手脚接触、控制正则和存活：既跟踪根部运动与身体姿态，也约束接触时序、末端与地形的间距，以及支撑是否充分。几何上适配的轨迹，由此转化为动力学上能够执行的控制策略。

第二阶段，学生策略接收部署时能够取得的平地动作指令、本体感知历史与深度相机提供的视觉感知信息，学习教师策略给出的控制动作。训练会在学生实际访问到的状态上重新查询教师，使监督覆盖学生执行过程中遇到的偏差。

两个阶段通过配对数据连接：教师依据适配后的参考学习执行，学生接收同一时刻的平地指令并学习相应控制。动作指令仍来自操作者所在的平地，地形适应则由机器人侧的感知策略完成。部署时无需先为输入动作计算一条适配轨迹。

这也解释了为什么训练值得分成两步。在起伏地形上，全局位置漂移会改变机器人实际面对的支撑条件，进而影响局部动作执行。先利用特权信息学习控制，再训练学生从有限观测中复现这种能力，可以减轻感知、状态推断与跟踪控制同时学习的负担。后面的消融实验检验了两阶段训练带来的实际收益。

3、数据能否规模化生成，动作能否跨地形执行？

首先，适配数据需要同时满足生成效率、接触质量与动作保真。在55段动作与16种地形组成的880组组合中，NEXUS无需逐动作或逐地形调参即可完成适配。相较TCRS[9]，两组动作的接触保持率分别从29.63%提升至79.12%、从20.61%提升至71.21%，非接触关节的姿态偏差也更小。在计时评测子集中，平均生成速度分别约为TCRS的4.88倍和4.23倍。两组按动作是否包含手部接触划分，覆盖不同的全身支撑方式。这些结果表明，NEXUS能够高效、规模化地生成兼顾地形接触质量与原始动作特征的适配数据，为感知控制策略的训练提供可靠监督。

其次，地形适应能力需要建立在广泛的行为覆盖之上。控制评测使用160段动作，对比SONICv1.1[5]、HumanoidGPT[8]、HoloMotion[7]和PMT[9]的固定公开模型。平地测试中，NEXUS在三个动作子集上的完成率最高或并列最高；换到台阶与斜坡后，它仍在不同难度下保持最高完成率。在平地和非平地条件下，NEXUS的身体朝向误差最低，足部接触F1最高。结合完成率与跟踪指标来看，新增的地形适应能力保留了较好的平地行为覆盖与执行质量。

这一对比还包含对未见地形参数的检验：训练使用10厘米台阶与约16.7°斜坡，控制测试则分别使用5厘米、15厘米台阶及约8.5°、24.2°斜坡。策略需要将学到的适配能力用于不同于训练设置的支撑条件。

视觉感知帮助机器人完成复杂地形上的动作，教师—学生训练则进一步提高执行精度。在较难地形上，加入视觉感知后，动作完成率从 70.51%提升至78.10%。在五个地形等级的综合评测中，两阶段训练与单阶段强化学习的动作完成率接近，但根部和身体关键点位置误差明显降低。

视觉感知为本体感知提供了地形信息补充，帮助机器人根据当前支撑条件主动调整全身运动。两阶段训练则在保持完成率的同时改善跟踪质量。一种可能的解释是，在起伏地形上，全局位置漂移会使机器人实际面对的支撑条件与参考动作对应的地形发生错位，进而干扰局部动作跟踪。两阶段训练先利用特权信息训练教师策略，再由教师策略针对学生实际遇到的状态提供控制监督，有助于减轻学生同时学习环境感知、状态推断与跟踪控制的负担。

NEXUS无需微调即可部署到Unitree G1人形机器人，利用机载深度相机获取局部地形，策略在Jetson Orin NX上以50Hz运行。操作者的动作经重定向后传给机器人，机器人结合自身感知输出关节目标，在楼梯、坡道、高台及草坡等地形上展示蹲起、单膝或双膝跪姿、单腿平衡、踢腿、跳跃及侧手翻等行为。同一策略将广泛的动作覆盖与多种真实支撑条件结合起来，完成跨地形全身遥操作。

结语：从NEXUS，来看行为基座模型的下一站

从统一全身控制接口，到学习可复用的行为表示，再到规模化动作跟踪，行为基座逐渐将丰富的身体技能整合到同一模型中，为人形机器人建立起可供不同任务调用的通用全身控制能力。在这一基础上，行为基座的规模化扩展也开始沿着新的维度展开。

NEXUS就为行为基座模型开辟了一条沿环境多样性扩展的新路径：从规模化学习动作，走向“地形×行为”的联合扩展。在丰富的动作数据基础上，NEXUS通过大规模地形合成与动作适配，将同一行为拓展为不同支撑条件下的训练示范，并将环境感知融入全身控制。这使行为基座的能力增长从“掌握更多动作”进一步延伸到“让广泛的行为适应多样的环境”，推动模型在地形与行为空间中的泛化。

实验展示了这条路径的价值：适配数据可以高效生成，感知策略在不同地形上保持较高的动作完成率，两阶段训练进一步改善跟踪精度，真机则验证了多种地形与全身行为的组合执行。已有的动作储备因此能够服务于更广泛的物理环境。

沿着这一方向，行为基座模型将进一步面向物体交互、动态环境与长时序任务，在持续变化的接触和受力条件下，自主组织全身运动。与上层具身决策系统衔接后，丰富的身体技能将贯穿移动、操作与环境交互，从完成一段动作，走向连续完成一项任务；从适应脚下的地形，走向与周围世界协同交互。

论文名称：NEXUS: Perceptive Whole-Body Control for Terrain-Adaptive Teleoperation

论文链接：https://arxiv.org/abs/2609.39000

项目主页：https://nexus-humanoid.github.io/

参考文献

[1] Miao et al. NEXUS: Perceptive Whole-Body Control for Terrain-Adaptive Teleoperation. arXiv:2609.39000, 2026.

[2] Liao et al. BeyondMimic: From Motion Tracking to Versatile Humanoid Control via Guided Diffusion. Science Robotics, 2026.

[3] He et al. HOVER: Versatile Neural Whole-Body Controller for Humanoid Robots. ICRA, 2025.

[4] Zeng et al. Behavior Foundation Model for Humanoid Robots. ICRA, 2026.

[5] Luo et al. SONIC: Supersizing Motion Tracking for Natural Humanoid Whole-Body Control. Science Robotics, 2026.

[6] Zeng et al. Scaling Behavior Foundation Model for Humanoid Robots. arXiv:2607.15163, 2026.

[7] Chen et al. HoloMotion-1 Technical Report. arXiv:2605.15336, 2026.

[8] Qi et al. Humanoid Generative Pre-Training for Zero-Shot Motion Tracking. CVPR, 2026.

[9] Wang et al. Perceptive Behavior Foundation Model: Adapting Human Motion Priors to Robot-Centric Terrain. CoRL, 2026.