机器人前瞻(公众号:robot_pro)
作者 | 许丽思
编辑 | 漠影

ICRA正在如火如荼进行中,在这场行业顶会上,行业首个面向物理交互能力的含触觉全模态评测基准登场了!

机器人前瞻6月3日报道,今天,戴盟机器人联合银河通用在ICRA上推出RobOmni,以含触觉的全模态仿真、围绕接触丰富操作的任务评测协议、贯通仿真评估与真机验证的全链路,为物理智能建立一套可复现、可比较、可拓展的统一评测入口。

一直以来,具身智能在运控、大脑这些方面飞速发展,但是操作能力的跃迁却迟迟没有出现。

这道难题,往往就卡在机器人的手上。机器人进入工厂、商业、家庭等真实场景,抓取、插入、装配、收纳等操作任务看起来只是几个简单的动作,但本质上是连续的物理交互过程——而视觉难以提供完整的物理接触反馈。

过去具身智能主流模型更多依赖视觉,但视觉只能告诉机器人目标在哪里,无法让机器人知道与物体接触的瞬间发生了什么;一旦视线被遮挡,视觉更无法工作。

触觉则弥补了视觉盲区,为机器人提供接触力、滑移、形变、材质、纹理等信息,让机器人从看见世界进一步走向理解物理世界,并最终学会在真实世界中进行物理交互、完成操作任务。

这就是为什么行业正在从“以视觉感知为中心”,迈向“以真实物理交互为核心”的物理智能阶段。物理交互能力是机器人在真实世界进行可靠操作的根本,而触觉正在成为机器人操作能力的关键输入,也被视为未来物理世界模型的基础模态之一。

但长期以来,触觉智能面临一个基础设施短板:行业缺乏面向触觉感知与灵巧操作的标准化统一评测框架,没办法衡量触觉智能的真实价值和能力边界。

RobOmni登场!戴盟联合银河通用,把机器人触觉和精细操作测明白了

RobOmni的出现,不仅聚焦丰富接触任务,打造了一个全模态的高保真含触觉仿真平台,还支持跨本体、大规模仿真验证,能实现数千个评测同时运行,赋能物理世界模型训练。

值得注意的是,RobOmni是戴盟机器人与银河通用联手发布。戴盟致力于发展机器人的触觉感知与灵巧操作智能,今年4月刚刚发布了全球最大规模含触觉全模态的物理世界数据集Daimon-Infinity。这次发布benchmark,延续了其在触觉操作领域长期深耕的路径。

而银河通用选择与戴盟联手,是对触觉感知与物理交互路线的认可。戴盟擅长视触觉感知技术、真实物理交互数据等,银河通用则在多模态具身大模型、操作策略学习方面有深厚积累——双方携手,能够推动物理交互能力标准收敛,加速机器人操作能力的进化。

对于正在走向真实物理世界的具身智能来说,这套评测基准就像一把标尺,决定行业能否真正看清触觉智能的价值边界,也决定精细操作能力能否 Demo 走向规模化落地。

一、具身智能行业,需要一把衡量机器人触觉操作能力的标尺

具身智能行业不缺少精彩的演示,机器人执行叠衣服、拧瓶盖、调酒、零件装配等精细操作任务看起来都挺像模像样。

但行业要回答的,不是某一次演示能不能成功,而是一个更尖锐的问题:在不同物体、不同环境、不同本体、不同任务下,机器人能不能稳定复现同样的操作能力?

这就必须对触觉能力进行标准化评测。比如,机器人抓住一个杯子,看起来只是一次普通抓取,背后却涉及接触力、滑移趋势、物体形变、表面纹理等多重信息。

如果没有统一评测基准,我们很难判断这次成功到底来自视觉识别、控制算法,还是触觉反馈真正发挥了作用。各个团队用不同任务、不同环境、不同指标来证明能力,最终很容易变成各说各话。

标准化评测的意义,也不只是给模型打分,还会反向定义行业的研发目标、数据采集方向等研发团队能够知道哪些触觉信息最关键,数据就该重点采什么;哪些能力最影响成功率,模型训练就该重点优化什么。

具体来说,比如机器人拧矿泉水瓶盖的时候,不能只知道有没有碰到了,还要知道接触发生在什么位置、水瓶有没有滑动、受力是否均匀、下一步动作会不会导致失败。标准化评测,就可以把这些细微变化转化为模型学习和评测的数据。

因此,这种评测基准本质上是在定义行业下一阶段要攻克什么问题

从更长周期看,触觉评测标准是具身智能基础设施的一部分。视觉大模型之所以能够快速发展,离不开数据集、Benchmark 和统一评价体系的长期积累。在共同标尺下,模型能力的提升才可以被持续追踪,不同路线之间也才有横向比较的基础。

随着具身智能进入物理智能阶段,触觉能力这一垂直领域也需要类似的基础设施。如果缺乏标准化评测,触觉操作智能可能只能停留在demo展示,无法大范围应用。有了标尺,触觉操作才能从经验判断走向量化验证。

二、RobOmni把触觉操作放进可验证的仿真与真机体系

RobOmni 首先解决了在哪里测的问题。触觉操作能力如果完全依赖真机测试,成本高、周期长,机器人反复试错也会带来损耗。

所以,RobOmni基于含触觉仿真平台和真机环境验证,为触觉操作模型提供统一评测入口,既提升验证效率,也降低真实机器人试错成本。

据了解,RobOmni 的高保真仿真平台基于 NVIDIA Isaac Sim 构建平台支持高频率高分辨率视触觉、RGB 腕部视觉、夹爪开合状态、TCP 运动轨迹、动作指令、外部相机等全模态观测。

依托于戴盟在触觉感知能力上的积累,RobOmni 打造了目前模态最全、精度最高的触觉仿真底座。

RobOmni登场!戴盟联合银河通用,把机器人触觉和精细操作测明白了

这里最大的亮点,是含触觉的全模态。戴盟自研的多维高频率高分辨率视触觉传感器,不仅能够感知接触力,还能提供接触形变、滑移、物体材质、形貌、纹理、软硬等高密度触觉信息。

RobOmni支持跨本体、大规模仿真验证,平台 1:1 数字孪生戴盟DM TacClaw触觉夹爪,后续将拓展至五指灵巧手构型;还内置人形机器人、机械臂等多类主流本体,支持在统一评测框架下进行跨本体评测。

RobOmni登场!戴盟联合银河通用,把机器人触觉和精细操作测明白了

未来,具身智能不会只有一种机器人形态,触觉操作能力要成为通用能力,就必须能够在不同本体之间被验证和迁移。

大规模并行能力则进一步提升了 RobOmni 的工程价值。它支持数千个评测同时运行,可以实现规模化、快速验证与评测,为模型迭代、算法对比和策略优化提供更高效的验证通道。

后续, RobOmni 还将开放真机验证入口贯通仿真评估与真实世界部署的完整验证通路。

三、从任务、指标到训练入口,RobOmni 想打通触觉操作模型迭代闭环

RobOmni 覆盖多场景、多任务评测,聚焦于以触觉为关键信息的接触丰富操作(contact-rich manipulation)的核心任务场景。

其任务体系涵盖抓取、放置、插入、工件装配等数十个接触密集型操作任务,这些不仅与真实操作任务高度对齐更是机器人真实落地时必须完成的高频能力,决定它能否真正进入生产和服务场景。

RobOmni登场!戴盟联合银河通用,把机器人触觉和精细操作测明白了

这些任务的难点,往往就出现在最后几毫米,考验机器人能否根据触觉反馈实时修正动作。比如,机器人在拿取一颗球时,需要根据球与手的接触位置、重心变化和滑移趋势实时调整。

RobOmni以任务成功率和任务完成度为核心指标衡量机器人是否真正完成操作目标。同时,其评测体系覆盖操作效率、精细操作程度、泛化鲁棒性等多维度能力,全方位关注机器人完成精细操作任务的过程质量。

其中一个关键设计,是RobOmni独家支持触觉消融测评,可以在同一套任务和指标下,清晰地对比“有触觉”和“无触觉”条件下的模型表现差异,从而量化触觉信息对物理交互智能的实际贡献。

RobOmni还同时支持真实数据训练和仿真器训练模型既可以基于真实世界采集的数据进行训练,并在平台内完成标准化验证;也可以直接在仿真环境中开展策略训练。平台全面支持强化学习、模仿学习以及不同算法之间的横向对比,为不同技术路线提供统一入口。

这就意味着,RobOmni远不只是一个评测基准,也可以成为模型训练、验证和迭代的统一入口,形成“数据沉淀-能力验证-模型迭代”的数据飞轮,真正赋能物理世界模型。

结语:从数据集到评测标准,戴盟构建可持续生长的物理智能生态

今年4月,戴盟发布全球最大规模含触觉全模态物理世界具身数据集 Daimon-Infinity,补齐行业稀缺的高质量触觉数据,为机器人从实验室演示走向规模化应用提供了一套最适合物理交互能力的标准化数据底座。

Daimon-Infinity 解决的是触觉模型训练需要什么数据、数据从哪里来的问题;而这次的RobOmni进一步解决的是,有了触觉数据之后,模型能力如何被统一验证和比较的问题

从数据集到评测基准,再到后续可能将推出相关操作模型,戴盟正在循序渐进搭建物理智能基础设施,推动机器人从“看见世界”走向“理解世界”与“操作世界”,加速机器人操作与泛化能力的系统性进化。

这背后指向的是一个可持续生长的物理智能生态:数据沉淀越多,模型训练越充分;评测越标准,能力差距越清晰;能力被验证后,又会反向牵引更高质量的数据采集和更有针对性的模型迭代。

那些让人眼花缭乱的精细操作Demo,也只有从单次演示沉淀为可验证、可复用、可规模化的能力,具身智能才真正具备走向产业深处的基础。