当机器人开始向同伴学习：96台真机探索具身智能的规模化成长

机器之心发布 以 GPT-6 Astra 为代表的前沿通用智能模型，已经在部分操作任务上展现出不错的零样本能力。但落地部署不能只看零样本表现，模型策略是否可靠更为关键。哪怕是业内最强的通用模型，机器人也容易在接触交互、对齐以及长流程任务执行中反复出错。 研究发现，加入人类动作示范可以有效提升模型可靠性。可问题在于：倘若每次能力升级都需要人工示范，当机器人大规模部署时，能提供示范的专家人力将跟不上扩张需求。 大洋彼岸，Physical Intelligence 也在关注这一问题。联合创始人 Sergey Levine 在近期访谈中指出，机器人起初需要人类采集的高质量示范来建立基础能力；能力成熟之后，便可以在真实世界里自主试错，利用自己采集的数据继续迭代学习。 在相似的思考中，清华大学、智元与无问芯穹联合提出了群体经验学习（Collective Experience Learning，CEL）范式，并在 96 台机器人上完成了该学习范式的原型验证。 CEL 论文封面 在手机包装为代表的多阶段、长流程工业场景中，训练后的策略在两台未参与训练的同型号机器人上完成 120 次测试，成功率从 79.2% 提升至 98.3%。换成更直观的数字：同样 120 次测试，失败从 25 次降至 2 次，减少了 92%。 更值得关注的是规模带来的收益：在相同物理训练时间内，参与学习的机器人从 16 台增加至 96 台，测试成功率由 86.7% 提高至 98.3%。机器人数量的增加转化为了更可靠的任务执行能力。 CEL 论文概览图 技术报告：https://arxiv.org/abs/2610.25736 网站链接：https://cel-robot-learning.github.io/ 群体经验学习：机器人同伴，也能成为经验来源 机器人进化的现有路径高度依赖人类接管。无论是模仿学习还是人在环强化学习，都需要人类示范任务完成方式，或在机器人出错时介入。这不仅要求操作员动作流畅，还要熟悉接管时机，平衡自主探索与人类示教的数据比例。然而，随着训练机器人的数量增加，经验丰富的人类专家却难以同步扩展。 CEL 则改变了后续学习中动作监督的来源。 假设一台机器人在放置手机时遇到了困难，而另一台机器人曾在相似情境下成功完成操作。那么，后者的经验可以帮助共享策略弥补前者的不足，从而让一台机器人的练习惠及整个群体。 在这种范式中，人类的角色随之发生变化：从不断提供动作、协助探索，转向结果判定。 CEL 与之前学习范式的区别 要把 CEL 的思想变成可运行的学习过程，还需要跨过两道关。 第一，如何从仅有 0/1 反馈的大量执行经验中，找到真正值得学习的经验？ 第二，如何让规模化的机器人在线运转，在通信受限和局部故障的情况下持续稳定地积累经验？ 只有稀疏反馈，机器人究竟怎么学？ 一次任务的时长有 3 分多钟，4000 多步，但任务最终的反馈却只有一个比特：成功记为 1，失败记为 0。这样的反馈可以区分任务是否完成，却无法直接指出：策略在哪些环节存在不足，又有哪些成功经验值得重点学习。为此，团队提出了失败引导的经验检索微调算法 FERT。它区分了成功与失败样本的作用：成功轨迹提供可学习的动作，失败场景则指明学习的重点方向。 FERT 算法框架图 在 FERT 框架下，初始策略部署在各个机器人上异步执行任务。成功轨迹存入共享经验池，作为后续策略微调的学习素材。 失败轨迹的作用是定位模型需要重点学习的区域。算法会截取失败任务临近结束前的一段观测序列，对相机图像与机器人关节状态做联合编码，再凭借这段表征在成功经验池中检索相似的操作片段。 FERT 将成功轨迹与失败轨迹协同利用。和当前失败场景匹配的成功片段会被赋予更高采样优先级，引导训练重点聚焦于这些易出错环节。 更新完成的策略下发回机器人，持续生成新的成功与失败经验。群体经验的价值，一方面来自持续的数据积累，另一方面取决于能否把适配的经验精准送到模型最需要学习的地方。 96 台机器人同时训练，系统必须跟得上 让 96 台机器人持续积累经验，面对如下现实问题：有的执行快，有的复位慢；有的网络波动，有的需要充电，少数机器人还可能出现硬件故障。 如果局部故障就要重启整个训练，大规模的协同训练将无从谈起。 面对这一问题，团队设计了容错异步训练系统 FATS，将 100 台机器人、50 个边缘节点和 6 台云端服务器持续动态地组织起来，稳定支撑了大规模真实世界在线学习。FATS 将机器人视作和 GPU 同等的训练资源，实现了所有训练硬件的统一调度。 （1）SwarmLink：让数据高效流动 数据平面 SwarmLink 负责连通环境、推理与训练节点。每台机器人完成一轮任务后异步提交数据，训练侧可基于已抵达的经验数据实时更新策略，无需等待