智东西(公众号:zhidxcom)
作者 | 周加琦
编辑 | 漠影
具身智能正在加速突破灵巧操作的能力边界,但不同灵巧手之间,仍然存在一道难以跨越的触觉数据鸿沟。
如何打破不同传感器之间的数据壁垒,成为实现通用灵巧操作的重要一步。
智东西11月10日报道,蚂蚁灵波正式开源面向灵巧操作的触觉预训练基础模型LingBot-Touch。该模型能统一处理压阻式、视触觉等不同类型的传感信号,将其编码为统一、可复用的触觉表征,供不同灵巧手和策略模型使用。

在真机测试中,LingBot-Touch与两款不同灵巧手和四种策略模型结合,完成26项真实操作任务。结果显示,四种策略模型在两款灵巧手上的平均任务成功率均得到提升。
其中,在Sharpa Wave灵巧手上,LingBot-VLA的平均成功率从45.60%提升至72.51%。
此次发布也进一步完善了蚂蚁灵波的具身原生机器人通用大脑。继空间感知、动态环境交互和灵巧操作之后,补齐其通用触觉感知能力。
项目主页:https://technology.robbyant.com/lingbot-touch
技术报告:https://github.com/Robbyant/lingbot-touch/tree/main/paper
GitHub:https://github.com/Robbyant/lingbot-touch
Hugging Face:https://huggingface.co/collections/robbyant/lingbot-touch
魔搭社区:https://www.modelscope.cn/collections/Robbyant/LingBot-Touch
一、打破触觉数据壁垒,让不同灵巧手共享“手感”
机器人灵巧操作能力的持续提升,对触觉感知也提出了更高的要求。在拧瓶盖、翻书、零件装配等精细化任务中,机器人不仅要判断物体的位置,还要感知手指接触后的受力变化、移动情况等,才能及时调整手部动作。
要让机器人真正理解这些接触信息,离不开大量真实触觉数据的训练。但触觉数据仍面临采集成本高、规模有限的问题。
今年5月,海外具身创企Genesis AI发布机器人基础模型GENE-26.5,并推出配套触觉数据采集手套和灵巧手,尝试通过动作映射,将人类操作经验直接用于机器人训练。
7月,美国具身企业Generalist AI披露了GEN-1的跨本体研究进展,让不同末端执行器共享对接触、摩擦、受力等物理规律的理解。
两家企业都在探索如何更高效地积累和利用物理交互经验。而蚂蚁灵波选择从触觉感知入手,尝试解决一个更为棘手的问题:打破不同传感器之间的数据壁垒,让触觉数据能够跨本体共享和复用。
目前,灵巧手使用的主流触觉传感器包括磁触觉、视触觉和压阻式等。这几类传感器在感知精度、响应速度、覆盖面积和成本等方面各有优势。虽然不同传感器记录接触的方式各不相同,但其背后的物理接触信息具有共性。
蚂蚁灵波此次推出的LingBot-Touch,正是利用这一共性,学习统一的触觉表征,让不同灵巧手共享对物理接触的理解。
具体来说,LingBot-Touch先分别处理三类传感器采集的原始信号,再通过共享模型学习其中共同的接触特征,例如手指碰到了哪里、受力如何变化等。最终,这些特征会被编码为统一的触觉Token,供不同灵巧手和策略模型使用。
这样,策略模型无需直接处理不同传感器复杂的原始信号,就能够利用提取出的接触信息做决策。
为了让模型掌握这些共同的接触规律,蚂蚁灵波还使用了4983小时真实触觉数据进行预训练,涵盖约46.4万段交互记录、13.3亿帧数据,覆盖抓握、旋转、装配等多种操作。

这些数据主要来自人类佩戴触觉手套采集的磁触觉数据和压阻式数据,以及通过遥操作采集的视触觉数据。
在训练过程中,蚂蚁灵波采用自监督学习方法,随机遮挡部分触觉信息,让模型根据其他触点的信号变化,预测被遮挡区域的特征,无需逐一标注接触位置、受力变化等信息。
通过这套模型架构和训练方法,不同硬件积累的真实触觉数据,也能转化为可以共同利用的训练资源。
二、26项真机任务验证,LingBot-Touch让四种模型集体涨分
模型的实际价值,最终还是要通过机器人的真实操作来验证。为此,蚂蚁灵波在Sharpa Wave和XHand1两款灵巧手上开展了26项真机任务测试,覆盖翻书、拧瓶盖、拉拉链、分拣物体、双手协同等精细操作任务。
同时,蚂蚁灵波还在测试中接入四种不同模型,包含Diffusion Policy、π0.5、LingBot-VLA和T-Rex,验证LingBot-Touch在不同硬件和模型中表现。
为了更直观地比较效果,测试中设置了三组对照实验:第一组不使用触觉信息,仅依靠视觉等;第二组直接向策略模型输入原始触觉数据;第三组则接入LingBot-Touch,使用其提前的触觉特征信息。
结果显示,在两款灵巧手上,接入LingBot-Touch后,四种策略模型的平均任务成功率均达到各自三组对照中的最高水平。

其中,在Sharpa Wave的20项任务中,LingBot-VLA的平均成功率由45.60%提升至72.51%,提高26.91个百分点;π0.5由47.56%提升至68.58%,提高21.02个百分点。
在XHand1的6项任务中,π0.5的平均成功率由49.71%提升至74.17%,提高24.46个百分点。
在具体操作中,LingBot-Touch带来的提升也很明显。以拧瓶盖任务为例,在Sharpa Wave灵巧手上,T-Rex不使用触觉信息的成功率为56.25%;直接输入原始触觉数据的成功率为62.50%;接入LingBot-Touch后,成功率进一步提升至90%。
拉拉链任务的结果更加值得关注。π0.5在不使用触觉信息时,成功率为39%;直接输入原始触觉数据后,成功率反而下降至15%;而使用LingBot-Touch提取的触觉特征后,成功率提升至59%。

这也说明,将触觉信号转化为能够被模型有效利用的接触特征,才是改善操作效果的关键。
除了提升任务成功率,LingBot-Touch在新硬件上的迁移能力也是一大看点。
此次测试使用的XHand1灵巧手搭载了磁触觉传感器,但该传感器型号并未出现在LingBot-Touch的预训练数据中,其触点布局等特征也与训练阶段使用的设备存在差异。
在接入XHand1时,蚂蚁灵波没有重新训练LingBot-Touch,而是固定其模型参数,仅针对具体任务训练下游策略模型。最终,使用LingBot-Touch触觉特征的策略模型,平均任务成功率仍然得到提升。
对于产业来说,LingBot-Touch有望能让不同灵巧手积累的触觉数据和学到的感知能力共享,减少企业在数据采集、模型训练和硬件适配上的重复投入,提高研发效率,加快灵巧操作能力在更多实际场景中的落地。
三、触觉模型走向真机,速度也是硬门槛
在具身智能加快走向实际应用的过程中,模型的计算开销和运行效率,是影响机器人落地部署的重要因素。
一台机器人往往需要同时运行视觉感知、动作决策等多个模型,有限的端侧算力需要在不同任务之间分配。尤其是触觉感知,需要持续处理手指与物体接触时产生的高频信号,对模型的响应速度提出了更高要求。
针对这一需求,蚂蚁灵波推出了LingBot-Touch Tiny和Small两个版本,在模型规模与触觉感知能力之间提供不同选择。
其中,Tiny版本仅有约532万参数,侧重降低触觉处理的计算开销。将其接入LingBot-VLA后,整体参数量仅增加约0.13%,上述26项真机任务均使用这一版本完成。
Small版本则拥有更大的模型容量,能够进一步提升触觉感知能力。结果显示,Tiny版本在使用约4000小时数据预训练后,部分感知性能逐渐趋于饱和,而Small版本在接近5000小时数据规模下仍能继续提升。

通用触觉能力能否真正进入产品,还需要兼顾模型性能、端侧算力和部署成本。 LingBot-Touch通过不同规模的模型设计,为企业根据实际硬件条件和操作需求选择触觉模型提供了空间。
结语:通用大脑再升级,让物理经验成为具身智能的共同资产
此前,蚂蚁灵波已推出LingBot-Vision、LingBot-Depth 2.0、LingBot-World 2.0、LingBot-VLA 2.0等不同类型模型。此次LingBot-Touch的加入,进一步完善了其机器人通用大脑的物理感知能力。
这一布局延续了蚂蚁灵波坚持的具身原生技术路线:从机器人在真实物理世界完成任务的需求出发,将不同机器人共同需要的智能能力构建为可复用的基础模型。
对于整个产业而言,如何降低不同硬件之间的能力迁移成本,也是规模化落地需要解决的问题。
这也是通用基础模型走向产业应用的重要价值。让真实世界中积累的经验持续沉淀,减少不同硬件和任务之间的重复开发,加快机器人能力向更多实际场景的迁移。