机器人前瞻(公众号:robot_pro)
作者 | 刘俐杉
编辑 | 许丽思

机器人前瞻7月15日报道,今日,小米推出了Xiaomi-Robotics-U0,这是一个拥有38B参数的自回归世界基础模型,还是首个将图像生成基座模型与具身世界建模相结合的统一具身生成模型。

与以往仅在机器人轨迹上训练的具身世界模型不同,Xiaomi-Robotics-U0 将具身生成视为基础图像和视频生成的扩展,在单个自回归框架内统一了多视图具身场景生成、具身迁移、机器人交互视频生成、通用文生图和图像编辑的功能

该模型在具身场景生成和迁移的效果上超越了GPT-Image 2.0,在World Arena的具身视频生成中排名第一,并在高难度的真机评测中,使用 Xiaomi-Robotics-U0扩增数据训练的策略任务完成进度平均提升超 26%

此外,小米引入了FlashAR+,采用轻量化训练后处理和加速适配技术,并结合 vLLM进一步提高效率,生成效率最高提升了82.9 倍。

另外,7月14日,小米还透露了小米机器人的最新进展。

今年年初,小米机器人在小米汽车工厂自攻螺母上件工站执行任务。经过一个季度的努力,其在自攻螺母上件工站双侧的作业成功率已提升至98%。于此同时,机器人在中控台侧盖板排序和料箱折叠回收的工作中也均达到了90%的成功率。

以下是Xiaomi-Robotics-U0的相关技术、开源链接:

项目网站:https://t.co/X0F85KWBgc

技术报告:https://t.co/1cvrD6ZA1t

模型权重:https://huggingface.co/collections/XiaomiRobotics/xiaomi-robotics-u0

一、首次将基础图像生成与具身世界建模统一在同一框架下

Xiaomi-Robotics-U0是首个能够在单一自回归框架下实现高质量多视角具身场景生成、结构化可控具身迁移以及零样本具身视频生成的统一具身生成模型,该模型涵盖了具身场景生成、具身迁移、机器人交互视频生成、通用文生图和图像编辑的功能。小米重磅开源380亿参数具身模型,生成效率飙升83倍

▲四类生成任务(图源:小米技术)

1、具身场景生成:

Xiaomi-Robotics-U0支持多视角具身场景生成,能够直接根据语言指令或文本描述,生成符合物理规律的多视图机器人观测数据。

小米重磅开源380亿参数具身模型,生成效率飙升83倍

▲具身场景生成示意图(图源:小米技术)

2、具身迁移:

Xiaomi-Robotics-U0具备可控具身迁移的能力,能够在保持机器人交互行为不变的前提下,将现有的具身场景迁移到新场景中。

该模型将具象场景拆为工作空间、背景、前景无关物品、目标对象、光照五个独立的控制维度,每个要素可自由重组改变,通过描述即可生成指数级多样化场景,且全程不影响机器人位姿与操作状态。

小米重磅开源380亿参数具身模型,生成效率飙升83倍

▲具身迁移示意图(图源:小米技术)

3、机器人交互视频生成:

Xiaomi-Robotics-U0还支持机器人交互视频生成,该模型基于初始观测和操作指令,就能预测出机器人在不同场景下的未来交互过程,生成后续视频,还支持生成场景滚动和多视角预测,能够兼顾动作连贯性和物理一致性,且可零样本泛化到任意场景。

小米重磅开源380亿参数具身模型,生成效率飙升83倍

▲机器人交互视频生成多视角预测(图源:小米技术)

4、通用文生图和图像编辑:

除了具身生成能力外,Xiaomi-Robotics-U0同时保留通用图像生成与编辑能力,使互联网视觉知识能够迁移到具身智能任务中。

在通用文本生成图像方面,该模型能够实现跨场景、跨目标及跨风格的高保真视觉合成,以极高的画质,生成出逼真视觉画面。

小米重磅开源380亿参数具身模型,生成效率飙升83倍

▲通用文本生成图像(图源:小米)

在图像编辑方面,该模型能够在改变意图的同时保持结构不变的指令跟随式编辑。即在接收到用户的新指令后,在重新生成画面时,会保留背景、布局等结构信息,只修改与指令相关的目标物体或动作意图,而非完全重新生成一张图。

小米重磅开源380亿参数具身模型,生成效率飙升83倍 小米重磅开源380亿参数具身模型,生成效率飙升83倍

▲图像编辑(图源:小米技术)

二、超越 GPT-Image-2.0,获World Arena第一

在技术报告中显示,在人工评测中,Xiaomi-Robotics-U0的具身场景生成、具身迁移效果优于GPT-Image-2.0。同时,该模型在 World Arena 基准上实现了最先进的性能。

小米在精细操作(耳机收纳)、可变形物体(毛巾折叠)、长程任务(物品装箱)中验证Xiaomi-Robotics-U0具身迁移对机器人任务的有效性。

小米重磅开源380亿参数具身模型,生成效率飙升83倍 ▲真机验证实操(图源:小米技术)

在未知光照、陌生背景等干扰场景下,使用 Xiaomi-Robotics-U0 扩增数据训练的策略任务完成进度平均提升 26.3%根据动图显示,面对反光、彩色灯光等极端视觉干扰,模型仍不会卡死且能够进行自校正。

小米重磅开源380亿参数具身模型,生成效率飙升83倍

▲真机任务成功率对比(图源:小米技术)

在保持同等水平的指令遵循性能的同时,与GPT-Image-2相比,Xiaomi-Robotics-U0在多视图一致性上、细粒度可控性方面均展现出明显优势。小米重磅开源380亿参数具身模型,生成效率飙升83倍

▲场景生成总体效果对比图(图源:小米技术)

对于可控具身迁移能力,相较于GPT-Image-2, 在不同的编辑具身场景中,Xiaomi-Robotics-U0 表现出了更强的迁移鲁棒性。同时,该模型还保持了与之相当的指令遵循性能。

小米重磅开源380亿参数具身模型,生成效率飙升83倍

▲具身迁移总体效果对比图(图源:小米技术)

而二者的核心差距在于:Xiaomi-Robotics-U0 的多视图几何完全统一,但GPT-Image-2.0 专注在文本信息上,普遍出现跨视图物体错位、空间畸变问题。

小米重磅开源380亿参数具身模型,生成效率飙升83倍

▲具身迁移效果对比:GPT-Image-2.0 vs Xiaomi-Robotics-U(图源:小米技术)

在机器人交互视频生成方面,Xiaomi-Robotics-U0 在由清华大学、北京大学等联合打造的WorldArena 评测基准上取得总分全模型第一名同时,该模型在可控性、跟随指令、交互质量、透湿性方面,均获得最高分,分别为91.6分、93.86分、87.3分、98.84分。

小米重磅开源380亿参数具身模型,生成效率飙升83倍

▲Xiaomi-Robotics-U0在WorldArena上100多个型号中排名第一(图源:WorldArena)

此外,Xiaomi-Robotics-U0 的视频生成能力展现出较强泛化性:面对完全 OOD 的初始帧与指令,仍能准确遵循指令生成视频,并较好保持物体材质与动力学、背景一致性等关键要素。

与此同时,背景人物并非静态贴图,而是在室内自然走动,说明模型在保留世界模型所蕴含的世界知识与常识基础上,进一步注入了机械臂动力学与物体交互模式,初步形成了面向开放世界的具身序列生成引擎。

三、自回归统一框架+FlashAR+极速推理,单图生成从450秒缩至5.44秒

Xiaomi-Robotics-U0采用多模态自回归架构。该模型采用 IBQ 作为图像 tokenizer,将多种模态表示在同一空间,使用标准多模态 Next Token Prediction 方式进行持续训练。

小米引入了 FlashAR+,这是一种高速度的推理加速方案,它将 FlashAR 的能力扩展到了 X2I任务。

在推理阶段,FlashAR+ 采用轻量化训练后处理和加速适配技术,并结合 vLLM 进一步提升效率。这使生成效率最高提升了 82.9 倍,并支持“任意输入到图像”的多参考图像编辑场景。

小米重磅开源380亿参数具身模型,生成效率飙升83倍

▲AR(自回归)和 FlashAR+ 的对比结果(图源:小米技术)

通过采用对角并行解码 vLLM 分页键值缓存批处理调度技术,1024 * 1024 分辨率下单样本的吞吐时间从每张图 450.77 秒缩短至 5.44 秒平衡了高品质的生成效果与工程部署落地速度。

四、结语:具身世界模型走向“统一合成”的关键转折

Xiaomi-Robotics-UO的核心突破在于将互联网规模的视觉知识迁移至具身场景,改变了以往仅依赖机器人轨迹数据进行微调的传统路径,为具身智能系统的可扩展数据引擎建设提供了新的技术方向。

今日,小米正式发布Xiaomi-Robotics-UO,一个380亿参数的多模态自回归世界基础模型。在评估、World Arena榜单和真实机器人任务中,该模型均展现出领先优势。Xiaomi-Robotics-UO的发布,是具身世界模型走向“统一合成”的关键转折。