机器人前瞻(公众号:robot_pro)
作者 |  许丽思
编辑 |  漠影

具身智能要想从能跑能跳走向能干活的真实场景,除了身体的运动能力外,双手还必须能在复杂物理世界里稳定、可控地完成精细操作。

从家庭场景中的整理收纳,到物流仓库分拣形状各异的包裹,再到日化车间进行生产作业等等,这些看似简单的动作,背后都需要机器人的双手对力度、材质、接触状态的精准感知与判断。

机器人前瞻1月8日报道,近日,乐聚机器人正式开源首批 800 条高质量灵巧操作数据,这是国内首次面向真实作业场景的人形机器人灵巧操作真机数据,填补了国内填补高质量灵巧操作数据空白,已在乐聚OpenLET 社区上线。

国内首次!真实场景灵巧操作真机数据开源,拿来即用

国内首次!真实场景灵巧操作真机数据开源,拿来即用▲灵巧手指尖触觉&腕部六维力矩

乐聚OpenLET社区是乐聚机器人在开放原子开源基金会平台发起建立的开源社区,以LET人形机器人真机数据集为核心资产,聚焦人形机器人领域的真实数据开源与生态共建,为全球开发者、科研团队及企业搭建协作桥梁,加速具身智能技术的研发与产业落地。

值得一提的是,后续乐聚还将开放工业场景的灵巧操作数据,相关动态可通过乐聚 OpenLET 社区持续关注。

这一数据集的开源,填补了具身智能领域高质量灵巧操作数据的迫切需求,将为行业技术创新提供关键数据支撑。

一、高质量物理交互数据缺失,机器人“看得见摸不准”

大模型与多模态融合技术为具身智能产业带来了巨大的发展机会,机器人不再局限于预设程序的机械执行,而是具备了更强的环境适应性,能够在复杂多变的环境中完成任务,让行业看到了规模化落地的曙光。

大模型带来了强烈的机器人能力跃迁的观感,但聚焦到操作现场,我们会发现,机器人虽然拥有了更聪明的大脑,知道要干什么,但常常“控制不住手”。

高质量物理交互数据的缺失,正是制约具身智能技术落地的核心一环。在真实场景中采集数据时,受到环境复杂性、数据采集设备限制等因素的影响,数据质量参差不齐,远远无法满足模型训练的需求。

同时,行业长期高度依赖视觉方案,机器人在面对抓取、装配等精细操作时,力度、材质、摩擦这些关键信息很难被准确捕捉,自然容易陷入“看得见摸不准”的窘境。

高质量物理交互数据的缺失,还意味着行业容易陷入的“重复造轮子”的情况。不少企业、科研团队都需要从零开始搭建采集系统、积累数据,不仅造成了大量的资源浪费,更延缓了整个行业的技术迭代速度。

正是洞察到行业这些痛点,乐聚机器人选择开源灵巧操作数据集,打破了单一视觉数据的局限,为机器人模型训练提供了更多维、精细的多模态数据来源。

二、以真实场景为核心,数据维度更丰富

乐聚此次开源的灵巧操作数据集,聚焦于真实作业场景,覆盖家庭、物流、日化三大具身智能落地的关键领域,包含 800 条高质量真机操作数据,并且数据维度更加丰富。

该数据集最核心的升级,在于新增两类关键数据维度:触觉数据与六维力数据,这也是灵巧操作里最关键、却最难从视觉里获取的训练信号。

国内首次!真实场景灵巧操作真机数据开源,拿来即用

触觉阵列数据:6×12×5指尖触觉传感器采集的时序压力数据,能让灵巧像人手一样,在触摸到物体的时候就能感知到材质、形状和接触状态;

六维力数据:记录抓取、放置等动作的三维力和力矩信息,精度达±0.5%。

这两类数据,能够让机器人在物理交互时理解该怎么接触、该用多大力、力要往哪使,从而显著提升精细操作的稳定性、鲁棒性。

该数据集还包含了另外三大维度:

RGB-D视觉数据:提供高分辨率彩色图与稠密深度图,精准还原场景完整外观与三维空间信息,为机器人定位物体提供基础;

同步动作信息:配套手部关节角度、速度等实时数据,实现 “视觉 – 力触 – 动作” 的全链路对齐,让模型清晰理解感知与动作的关联逻辑;

多场景标注:涵盖快递分拣、快消上料、家庭物品抓取等典型任务,每条数据均附带场景类型、物体材质、操作目标等多维度语义标签,支持自然语言与动作对齐建模。

为确保数据的可用性与一致性,避免因设备差异导致的数据偏差,统一采集本体至关重要。该数据集基于乐聚新一代灵巧手完成统一采集,这款灵巧手以 “全感知升级” 为核心,还融合了实时力觉反馈与指尖触觉感知技术。

这款灵巧手160–185°/s 的关节速度确保操作高效响应,0.35 秒的开合响应时间能够适配物流分拣等高速作业场景,±0.2 毫米的定位精度实现毫米级精准控制,满足日化抓放、工业装配等精细操作需求。

从家庭场景稳定抓取水果、快消场景无损抓放物料到快递场景高效分拣,它都能精准地完成。

国内首次!真实场景灵巧操作真机数据开源,拿来即用
▲家庭场景稳定抓取水果

国内首次!真实场景灵巧操作真机数据开源,拿来即用
▲快消场景无损放料

国内首次!真实场景灵巧操作真机数据开源,拿来即用
▲快递场景高效分拣

三、从数据集到产业飞轮

相较于仿真数据在模型训练存在的Sim2real鸿沟,真实数据源自真实环境中的物理交互,能精准还原力觉反馈、环境干扰等仿真数据难以模拟的细节,同步采集多维度数据,优势显著。

对模型训练而言,优质的真实灵巧操作数据能够提升训练效能与实用性,推动机器人从“看得见”向“操作得准”跨越,把演示成功率变成持续可复现的真实作业能力,其核心价值已在多个真实场景中得到验证。

该数据集多模态的触觉-视觉融合、力控策略的不断优化,打破了纯视觉方案的局限,赋予灵巧手像人手一样的环境感知能力,构建的稳定物理交互闭环,提升复杂环境下的操作稳定性。

模型的泛化能力在数据集的赋能下大幅增强,数据集覆盖不同材质、不同形态、不同场景的多样化操作样本,使得模型能够灵活应对各类物体的操作需求,跨场景适配能力显著提升。

高质量的物理交互数据能够显著提升任务成功率,这一点已在纸箱拆垛、顺丰快递分拣等场景得到验证,机器人能实时感知物体状态和力度,就算遇到条码遮挡、物品破损、表面湿滑等复杂情况,也能通过触觉补偿快速调整操作策略,精准完成任务。

国内首次!真实场景灵巧操作真机数据开源,拿来即用
▲纸箱拆垛

国内首次!真实场景灵巧操作真机数据开源,拿来即用
▲快递分拣

除此之外,该数据集还有望降低了行业研发落地门槛,配套的数据工具包和示例代码开箱即用,能够快速将数据应用于模型训练,大幅缩短研发周期。

灵巧操作数据集的价值远不止于单一技术优化,还打通了“算法研究 — 模型训练 — 场景测试 — 产业验证”的全链路环节。它既能够支撑触觉识别模型的训练评估,又能为抓取策略、力控算法提供真实验证环境,更深度赋能多模态融合、具身推理等前沿方向研究,推动具身智能技术的快速迭代与规模化落地。

结语:高质量物理交互数据,加快机器人进化与落地

当各大机器人厂商加速把机器人推向工业、商业与家庭等更复杂的真实场景,行业对高质量物理交互数据的需求水涨船高,这是从展台演示跨越到长期稳定运行的关键一环。

在这样的背景下,乐聚选择开源灵巧操作真机数据,不只是一次资源共享,也是向行业输出了标准化数据建设的实践经验。这有望帮助机器人提升动作精度与环境适应能力,增强跨场景泛化能力,缩短从算法研究到场景验证、再到规模化部署的链路,加快更多应用落地,让真正的商业化更早发生。