机器人前瞻(公众号:robot_pro)
作者 | 周加琦
编辑 | 漠影

机器人前瞻7月18日报道,在WAIC首日,极智嘉发布了统一具身智能框架Gravity,该框架面向长程、复杂、可泛化机器人任务,并推出首个落地模块Gravity 4D WAM(世界动作模型)

同时,极智嘉首次公开亮相的通用人形机器人Gino 1,既能搬箱,又能拣选,还能与移动机器人组队配合,在真实工作场景中同时展现多SKU泛化能力与端到端作业效率,在WAIC现场组团干活。

机器人“兼具泛化能力与作业效率”秘密武器:Gravity 4D的“物理脑”

▲人形机器人+AMR组团工作

机器人的长任务中往往环环相扣,一步错就可能步步错。环境一变、累积误差一上来,就需要机器人自己感知、调整。但行业里现有的方案很难兼顾“理解”与“预判”

Gravity要做的,就是把这根断裂的链条接上,让机器人学会理解,更懂得如何预判与生成。在训练时把世界的物理规律学透,推理时用简单的链路实时行动。部署之后,机器人在使用中持续进化,越用越强。

Gravity 4D作为首个落地模块,负责把“预判”这件事做实。

具体来说,它解决的是物理一致性问题。主流模型在RGB像素层预测未来画面,能生成视觉上“合理”的视频,却保证不了物理一致。而Gravity 4D能让世界模型从“预测画面”切换到“预判三维物理演化”

一、双脑协同,从“看见就干”到“想清楚再做”

行业内主流路线有两种,一种是VLA,能看懂场景、听懂指令并做出动作,但干完后下一步怎么样,它拿不准。另一种是WAM,能模拟未来变化,但听不懂复杂指令,不知道任务要拆几步走。两种都有点“偏科”。

Gravity正是围绕这个痛点构建了“双脑融合”架构:

AR Transformer担任“认知决策中枢”:负责理解指令、识别语义、解析目标,将复杂任务分解为可执行的阶段与子任务。比如“把箱子搬到A处”这种任务拆解为“抓取、抬升、移动、放下”等子任务。

Diffusion Transformer则负责动态推演与动作生成:在行动前先模拟一遍,抓取的物体会不会掉,路径会不会有阻挡物等,相当于在“脑子”里演一遍,提前识别各种风险,找出最优解。

两者在任务语义、环境状态与动作表征层面深度耦合,形成“感知—理解—规划—推演—执行”闭环。机器人不再是“看见啥就干啥”,而是“想清楚再动手”。

除了双脑协同架构,Gravity还有几个关键设计,让它在真实场景中站得住脚。

机器人“兼具泛化能力与作业效率”秘密武器:Gravity 4D的“物理脑”

▲Gravity 框架总体架构示意(图源:极智嘉)

一是重训练、轻推理。在训练阶段,模型引入3D空间结构、Flow、可供性、语义、动力学、物理属性、场景图等多维中间表征作为学习目标,把几何、运动、功能、物理规律学透。

在推理阶段,中间结果后处理与传输都被省去,只输出动作和任务进度,从而缩短推理路径,降低算力显存成本,提升控制频率和实时性。

二是引入力触觉。光靠视觉,机器人能看清位置和形状,但拿不准“手感”。Gravity把力触觉当作和视觉同等重要的信号,让机器人不仅“看得见”,还能“摸得准”。

三是构建分层记忆。Gravity给机器人配了两套记忆系统,其中短时记忆帮助机器人理解连续动作的因果关系,长期记忆解决“为什么执行、完成到哪、下一阶段是什么”。

四是封装机器人Skill。Gravity支持把操作手册、工艺规范、专家示范、安全规则等知识纳入训练与推理,让模型学习和执行。Robot Skill将复杂操作封装为标准化、可复用、可组合的能力单元,新场景下少量示范即可组合上岗,实现“少数据、快泛化”与“有边界、可审计、能管控”。

五是建立持续进化闭环。Gravity通过Evaluation Model与强化学习,让每一次成功、失败、人工接管都被结构化记录和自动评估。成功案例强化,失败案例纠偏,专家纠正直接修正长尾偏差。部署现场从“用能力”变成“产能力”,形成跨场景经验复用与能力迁移。

二、4D推演,从“看着对”到“物理对”

传统WAM主要在RGB/VAE latent空间预测未来,能保证“画面看着连贯”,但学不到三维世界里三件最关键的事:物体是否被成功抓取、末端执行器是否形成有效接触、物体运动是否符合几何约束。

机器人“兼具泛化能力与作业效率”秘密武器:Gravity 4D的“物理脑”

▲Gravity 4D 总体架构示意(图源:极智嘉)

而Gravity 4D,引入4D基础模型Gravity 4D-VAE提取的4D latent作为教师监督,让WAM同时学习三类信息:

RGB外观:未来长什么样;

Pointmap(三维空间结构):物体位于何处——机械臂在哪、目标在哪、空间关系如何;

Scene Flow(三维运动动态):物体如何运动——旋转、平移、抓取等运动轨迹;

Pointmap刻画稳定的几何关系,Scene Flow刻画由动作引起的三维状态变化,二者共同构成4D表征。

这里的关键是“先学再教”。让Gravity 4D-VAE先提取4D latent,再把知识蒸馏给WAM,省去机器人从零学习的成本,同时全程在latent空间建模。

机器人“兼具泛化能力与作业效率”秘密武器:Gravity 4D的“物理脑”

▲Gravity 4D 算法流程示意图(图源:极智嘉)

推演和决策分两步走:

WAM推演:基于历史观测、动作和指令,生成未来的RGB latent和4D latent——回答“三维世界接下来怎么办”;

IDM决策:根据未来的RGB和4D latent,输出接下来的动作序列——回答“什么动作造成这个变化”;

核心在IDM这步,传统方案只看RGB猜动作,相当于“画面变了→猜个动作”;现在引入4D,IDM看到了未来外观、三维结构、运动趋势,推理逻辑变成“三维世界变了→什么动作引起变化”。训练时WAM和IDM一起调,推理时分两步走。

机器人“兼具泛化能力与作业效率”秘密武器:Gravity 4D的“物理脑”

▲可视化:RGB、pointmap(Depth)与 scene flow(图源:极智嘉)

同样,数据也证明Gravity 4D的价值。在公开基准LIBERO-Plus上,零样本条件下,Gravity 4D的总体成功率从RGB-only基线73.73%提升至78.62%,最优role-embedded变体达79.25%。

提升最明显的三种干扰:相机视角、传感器噪声和光照变了,结果都只改变画面外观,并未改变底层三维结构,这说明它学的真是物理规律,不是画面规律。

消融实验还给了两个关键结论。一是只看空间结构信息,效果就相当不错,“东西在哪儿、空间关系如何”比“画面长什么样”更关键。二是增加一个depth预测,性能反而下降了,说明选对架构比堆数据更重要。

机器人“兼具泛化能力与作业效率”秘密武器:Gravity 4D的“物理脑”

▲LIBERO-Plus 扰动基准实验结果(图源:极智嘉)

数据跑通了,真机能不能扛住?极智嘉同样给出了答案。

三、4D大脑加持,Gino 1组队现场真干活

在WAIC现场,机器人干活的场景并不少见,但能协同组队、连续作业、不出岔子的,极智嘉是极少数。更别说,这是全场唯一在真实工作场景中,同时展现泛化能力和作业效率的具身智能方案。

机器人“兼具泛化能力与作业效率”秘密武器:Gravity 4D的“物理脑”

▲多SKU拣选(图源:极智嘉)

又快又稳的背后,是Gravity 4D WAM在发力。

传统方案把时间花在“看懂画面”上,光照、纹理、包装等等,这些信息占据模型大部分注意力,真实工作画面一变,模型就懵了,速度也上不去。

极智嘉选择让模型只关注物理操作最核心的东西,抓三维空间结构和运动状态。这种取舍带来两个效果:

一是效率高。Gino 1手脚协同、全身并行,在转身、移动的同时,手臂已经调整到拿取商品的高度。据技术人员透露,这种解决方案能将单任务作业缩短约30%。并且整个过程,Gino 1没有出现卡顿和掉落,很流畅地完成每一次任务。

30%这个数字,在其他成熟的领域或许只是一次优化。但对于具身智能行业来说,30%是突破,在同样多的时间里,可多完成近三分之一的工作量。

二是泛化能力强。展台上,Gino 1面对不同充气量的袋装薯片,会自己动态调整抓取位置和力度。毛绒玩偶边界模糊,Gino 1照样定位出稳定抓取点。

现场人员从随身包里随机取出未数采的商品,模型仍可稳定拣选,体现极强的泛化能力。

机器人“兼具泛化能力与作业效率”秘密武器:Gravity 4D的“物理脑”

▲陌生物品直拣(图源:极智嘉)

结语:让机器人从会运动走向会思考

WAIC展台上,Gino 1面对透明面包、毛绒玩偶、紧贴箱壁的物体,见啥抓啥、见招拆招,连续作业不出岔子,这是Gravity 4D赋予它的物理理解力。

长期以来,具身智能落地难,难的是在真实环境里搞懂物理世界规律、完成长时序任务。以前靠画面做判断,看着挺聪明,一到真实环境就露馅。

极智嘉正在改变这件事。

凭借出色的模型泛化能力和速度效率,在真实作业场景中的结合与落地,极智嘉获得央视新闻认可并报道。

机器人“兼具泛化能力与作业效率”秘密武器:Gravity 4D的“物理脑”

▲央视新闻报道极智嘉

理解、预判、行动、记忆、先验、进化——Gravity用一套双脑架构将其统一起来,目标始终就一个:让机器人在真实世界中真正干活,创造价值。Gravity 4D WAM已从物理推演层面跑通了这条路——当世界模型开始像工程师一样思考物理后果,机器人才真正具备了走进真实世界的资格