由清华大学、智元机器人及无问芯穹组成的联合研究团队，提出了一种名为“集体经验学习”（CEL）的新范式，旨在解决大规模机器人集群中经验利用的难题。传统方法依赖人工远程监控和纠正，随着机器人数量增加，这种监督方式难以为继。CEL 的核心在于让已部署的机器人共享执行经验，共同优化同一策略，从而实现规模化的持续学习。
该方法的算法实现被称为“失败引导的经验检索微调”（FERT）。其运作机制是：当机器人执行失败时，系统会利用失败时的上下文信息，从整个集群共享的成功经验库中检索出相关的轨迹片段，并将这些片段中的动作作为监督信号来更新策略。整个过程无需额外收集专家示范或进行人工纠正，人类只需为每次执行标注成功或失败，并重置环境，所有动作均由机器人自身提供。
为了支持大规模集群的持续学习，团队还构建了“容错异步训练系统”（FATS）。该系统确保即使集群中部分机器人因故障、重置或维护而中断，经验采集、策略优化与策略分发仍能持续进行，不受个别节点影响。
在手机包装、插花、叠衣服等五项真实世界操作任务中，研究团队为每项任务进行了120次试验。参与评估的机器人均未参与训练数据采集。最终，策略的成功率达到了93.3%至99.2%。在固定每台机器人采集时长、仅增加机器人数量的实验中，集群规模越大，积累的经验越多，FERT 的成绩也越优。以多阶段手机包装任务为例，使用96台机器人进行学习后，任务成功率从79.2%提升至98.3%。
这些结果表明，集体经验可以成为一种可行的、可扩展的机器人学习基础。随着部署规模扩大，经验供给同步增长，而无需专家监督随之同比例扩张。这为机器人在部署过程中持续提高策略可靠性提供了一条路径。
一、研究方法
CEL 的算法与系统实现分别是 FERT 和 FATS。
FERT 的核心思想可以概括为：成功提供模仿对象，失败决定学什么。其具体流程分为四步：
- 第一步，异步经验采集。 集群中的机器人持续自主执行任务，每条完成的轨迹会被标注为成功或失败。成功轨迹存入集体经验缓冲区作为学习素材；失败轨迹不提供动作，仅用作检索线索。这保证了系统能从失败中学习，但不会模仿失败的动作。
- 第二步，经验编码。 将冻结的 VLA 视觉编码器的输出（经空间池化）与本体感知的关节状态分别归一化后拼接，形成统一的检索表示，使不同机器人之间的经验可以相互比较。
- 第三步，失败引导检索。 这是该方法的关键。二元标签只能说明一条轨迹失败了，但无法定位失败发生的位置。FERT 取失败终点前约3秒的观测序列作为查询，通过带斜率约束的子序列动态时间规整（S-DTW），在成功经验库中找到时间对齐、状态相似的成功片段。直观理解，就是回答“在类似情境下，怎样做才能成功”。
- 第四步，优先级微调。 检索命中的片段获得更高的采样优先级，反复出现的失败情境会让相关成功行为被更频繁地学习；同时优先级随时间指数衰减，保证学习始终聚焦于策略当前最容易失败的环节。策略更新采用动作块的对数似然拟合，无需价值函数、评论家或优势估计。理论上，团队证明了在成功重放与检索对齐条件下，FERT 的更新方向与提升任务成功率的目标一致，且检索加权带来一阶正贡献。
要在真实集群上运行 FERT 的学习循环，工程难度不亚于算法本身。团队指出两个关键特性：一是交互与经验的时序要求不同，机器人必须在毫秒级内收到推理结果，而训练需要的是完整的回合记录（GB级，但不必即时到达）。二是实体机器人随时可能中断，在96台机器人的实际运行中，平均每22分钟就有一台出现故障。
为解决这两项难题，FATS 采用了双平面架构。数据平面 SwarmLink 将机器人执行连接到共享云端推理与训练，推理请求汇入公共请求池，暂停的机器人自动让出算力；回合数据在执行过程中流式上传，已用于推理的观测在云端直接复用，避免重复传输；交互流量优先于批量训练数据。控制平面 HotSwarm 将集群建模为动态成员关系，“工位”（绑定节点、设备与机器人的固定位置）与“工作器”（占用工位的进程）生命周期分离，工位贯穿训练全程，工作器可随时替换。机器人故障时，系统就地重启其工作器、以新版本号重建连接、重放被中断的调用，其余机器人不受影响；为失败工作器计算的过期动作会被识别并丢弃，防止动作与观测错配的数据污染训练。恢复策略也分级设计：环境工作器随时就地重启，代价至多一个回合；训练工作器周期性存档并从最新检查点恢复，数小时积累的优化器状态得以保全。
二、实验结果
实验覆盖了五项真实桌面操作任务：插花（柔性物体）、叠衣服（可变形织物）、手机充电（插拔与精确对齐）、凳子组装（小物体与工具使用）、手机包装（多阶段放置，耗时2-3分钟）。硬件为双臂 AgiBot G2 机器人，基础模型为 π0。
在每项任务的最大集群规模下，多机器人 HG-DAgger 将五任务平均成功率从 SFT 的 36.3% 提升至 81.0%；FERT 在不使用任何额外专家数据的情况下，进一步将平均值提升至 97.3%，平均失败率相对降低 86.0%。其中，手机充电任务从 60.0% 提升至 97.5%，失败率相对降低 93.8%；手机包装任务从 79.2% 提升至 98.3%。
FERT 在全部五项任务上超过人类遥操作，平均高出 16.7 个百分点，手机充电任务上高出 25.8 个百分点；它也全面领先两个基线——单机器人在线强化学习 RLT（平均领先 12.3 个百分点）与同样使用集群数据但保留专家纠正的离线强化学习 RECAP（平均领先 11.5 个百分点）。
在固定单台机器人采集时间、仅增加机器人数量时，FERT 的成功率在五项任务上总体持续上升：手机包装任务中，训练集群从16台扩至96台，成功率从86.7%升至98.3%。与之对照，依赖人工干预的 HG-DAgger 在集群扩大后出现饱和甚至回落，有限的人类监控与干预能力构成了性能上限。而 FERT 的经验供给随集群规模自然增长，“机器人越多、学得越好”的扩展曲线得以成立。需要注意的是，小集群下 FERT 也可能低于初始策略，原因在于成功经验尚不足以覆盖策略遇到的各种失败情境。
最后，研究团队通过消融实验检验各设计选择的贡献。在手机包装任务（16台训练机器人，完整配置成功率86.7%）上的消融验证了各设计的作用。移除失败引导检索后，成功率跌至64.2%，下降22.5个百分点，是所有消融项中降幅最大的一项，直接验证了“按失败情境选择经验”的价值；去掉检索片段前后的动作上下文扩展，成功率降至57.5%，说明匹配片段前后的动作上下文对学习成功行为同样重要。策略同步频率以每500个优化器步最优，过疏会延迟新策略的使用，过密则每个策略版本下积累的经验不足；优先级保留因子以中等值0.88最优，体现了保留历史检索信息与响应最新失败之间的权衡。
在系统层面上，96台机器人在近8小时运行中共采集9,834个回合，期间30起故障仅造成1.3%的机器人时间损失。作为对照，若采用同步采集，采集量只剩实测的33%；若每次故障后整机重启5分钟，也只能保住86%。容错异步设计的价值由此得到量化。
研究团队也指出，评估限于单一平台（AgiBot G2）上的五个任务专属策略。更广泛的任务分布、异构机器人平台，以及更长运行周期中适应环境变化，都留待后续工作关注。
整体来看，CEL 带来了一种新的部署逻辑。机器人集群贡献的不仅是任务执行，还有可供整个集群学习改进的经验。通过一个共享策略，单台机器人的经验可以转化为整个集群的能力。随着部署规模扩大，经验来源同步增长。从而，机器人越多，不只是产能越大，更能越学越好，而且不受专家监督供给的制约。
更多技术细节，详见原论文。
本文来自微信公众号“学术头条”（ID：SciTouTiao），作者：张佳怡，36氪经授权发布。
