苹果公开人形机器人 HALO 系统,真实环境单项任务成功率 91%

11月4日,苹果研究团队在预印本平台 arXiv 提交论文《Perceptive Humanoid Motion from Simulation》,披露人形机器人自主控制系统 HALO。团队同时公开了数据生成、模型训练和部署代码,覆盖动作生成、动作跟踪、任务编排,以及仿真和真实机器人运行等环节。

苹果公开人形机器人 HALO 系统,真实环境单项任务成功率 91%

论文显示,研究团队在6个未预先扫描或建图的真实环境中进行了360次单项任务测试,平均成功率为91%。在长序列复合任务方面,单一真实场景中3种组合各进行10次测试,平均成功率为70%;其中“俯身通过障碍—走向目标—推箱子”这一组合在10次测试中成功5次,成功率为50%。

训练资源方面,团队使用250张英伟达H100 GPU,用时约48小时合成主要训练数据。动作生成器通过模仿学习训练,使用64张B200;动作跟踪器经强化学习、策略蒸馏等步骤训练,使用4张H100。

研究团队也说明了当前方法的限制。仿真生成数据并未完全摆脱人工参与,新增物理任务仍需人工编写提示词、设计动作关键帧,部分动作使用了人类视频或动捕素材。此外,机器人主要依赖视觉感知,难以直接感知接触情况;当物体离开相机视野或被遮挡时,涉及较多接触的任务表现会下降。团队表示,加入触觉感知将是后续改进方向之一。