《环太平洋》名神气之"用真东谈主摆布机甲"欧洲杯体育，如今照进实际了。

话未几说，请看 VCR：

本来，这是上海 AI Lab 最新推出的东谈主形机器东谈主"驾驶舱"——HOMIE（Humanoid Loco-Manipulation with Isomorphic Exoskeleton Cockpit） 。

一副机械臂外骨骼、一对看成感应手套，以及一块三轴脚踏板，东谈主们就能对双足东谈主形机器东谈主全身进行精确遥操作了。

这也意味着，无需闲雅看成捕捉缔造，东谈主形机器东谈主也能 1:1 复刻东谈主类看成。

左证相关团队的说法，HOMIE 主打一个"快准省"：

快：与传统最快 VR 手柄集聚决策比较，速率还要快200%，任务完成时刻裁汰50%；

准：处罚了传统东谈主形机器东谈主遥操作濒临的全身调解适度难（需同期适度出动与操作）和高精度指示获取难（依赖闲雅动捕缔造或视觉算法）两浩劫题，撑持其完成搬运、联结、开门等复杂出动操作任务；

省：整套硬件仅约3500 元东谈主民币，而且 HOMIE还开源了。

该系统由强化学习驱动的通顺适度框架和低资本同构外骨骼硬件构成，初次结束了单一操作家对双足东谈主形机器东谈主全身的精确遥操作。

由强化学习驱动的通顺适度框架

这第一步，咱们先来拆个箱，详备康康上头提到的"三件套"。

三大中枢组件

一直以来，传统东谈主形机器东谈主遥操作濒临两浩劫题：

全身调解适度难：需同期适度出动与操作

高精度指示获取难：依赖闲雅动捕缔造或视觉算法

而 HOMIE 的梗阻在于将"东谈主机同构"理念施展到极致，其驾驶舱包含三大中枢组件：

1、同构机械臂外骨骼：7 解放度机械臂与机器东谈主枢纽逐个对应，操作家只需像适度我方手臂一样通顺，即可精确映射机器东谈主看成，瑕疵小于 0.09 度，频率高达 260Hz。

2、看成感应手套：15 解放度传感器捕捉手指幽微看成，霍尔效应磁感时期结束低资本高精度（200 东谈主民币 / 只），可适配多种智谋手型号。

3、三轴脚踏板：通过踏板适度机器东谈主出动速率、转向与下蹲高度，撑持"踩油门式"直观操作。

挨个来看的话。

同构外骨骼机械臂是基于 Unitree G1 与 Fourier GR-1 机器东谈主形态定制，7 解放度枢纽与机器东谈主十足对应。

它遴荐 Dynamixel 伺服电机（精度 0.09 °），通过 URDF 模子对皆坐标系，确保操作家看成与机器东谈主通顺 1:1 映射。

浮浅情况下，它被固定于操作家背部与手掌，隐敝机器东谈主绝大部单干作空间且不法规东谈主体行径。

至于 200 元 / 只的看成感应手套，它每根手指配备 3 组霍尔传感器，捕捉指尖障碍、指节偏转等 15 解放度看成。

同期，磁铁随枢纽旋转改变磁场强度，通过微适度器及时调节为枢纽角度，撑持即插即用适配多种智谋手。

而眼下踩的三轴脚踏板，不错看到线性速率、转向角速率、下蹲高度永诀由三个踏板适度，压力信号经高精度电位器调节。

对了，模式切换按钮撑持前进 / 后退、左转 / 右转快速切换，操作逻辑雷同汽车油门。

以上想象能够让操作家如同"衣服"机器东谈主，澈底开脱传统 VR 手柄的蔓延与瑕疵。

实验结果走漏，HOMIE 的指示集聚速率比最快 VR 决策快 200%，任务完成时刻裁汰 50%。尤其当操作家伸手持取物体时，机器东谈主简直同步反馈。

而且，背后团队专门辅导：

由于外骨骼基于同构主张想象，仅手臂部分需要左证不同机器东谈主的手臂想象进行微调；不外因为现行东谈主形机器东谈主手臂想象基本是 7 解放度的范式，因此这个调理并不会很大。

手套和踏板部分对通盘市面上的东谈主形机器东谈主都是通用的。

其次，咱们来重心谈谈 HOMIE 背后所遴荐的强化学习。

在强化学习框架中引入三大改革时期

现存的强化学习顺序无法让东谈主形机器东谈主踏实、快速地下蹲到指定位置，同期现存顺序均依赖于大宗数据和通顺先验来实验机器东谈主通顺对上身姿势的适配。

前者很猛进度法规了机器东谈主的可操作空间，后者则提高了机器东谈主熟练的资本。

为了最猛进度拓展机器东谈主的操作空间，并保证任何机器东谈主都能快速学会在职何上身姿势下保持均衡，HOMIE 在其强化学习框架中引入三大改革时期：

1、上半身姿势课程学习

传统顺序径直就地采样上身枢纽角度，熟练初期机器东谈主常常失衡，导致熟练从容以至无法熟练。而 HOMIE 引入了想象渐进式课程学习的顺序，使得熟练历程中机器东谈主上肢看成的采样难度更平滑地普及：

开动阶段法规上身看成幅度（看成比率 ra=0），此时大致率上身姿势保持默许姿势，更容易训得踏实步态；

当速率追踪奖励达标后，徐徐扩大 ra 至 1，最终采样漫衍变为纯就地漫衍� � ( 0,1 ) ；

遴荐极端概率漫衍平滑过渡，幸免看成突变激勉的失衡。

2、高度追踪奖励函数

为拓展机器东谈主操作空间（如从大地捡物或高处摈弃），HOMIE 在通用的追踪高度的奖励函数基础上引入了一个新的赞成函数：

该函数通过膝枢纽角度与地点高度的动态耦合，带领机器东谈主自主调理蹲姿。

熟练中，每次对敕令的采样均保证有 1/3 环境专门学习下蹲，2/3 环境学习直立行走，褪色个环境在两种模式下不停切换，最终不错同期学会踏实的行走和下蹲。

3、对称性增强时期

为了充分应用东谈主形机器东谈主的傍边对称性，幸免东谈主形机器东谈主傍边分歧称看成易导致失衡，HOMIE 在数据集聚与熟练中引入镜像翻转：

将不雅测情状（枢纽角度、速率等）沿 x-z 平面镜像，生成对称样本。

在政策汇集优化时，独特谋略对称看成与价值的均方瑕疵亏蚀，强制汇集学习对称行动。

已通过从仿真到实际的全面考证

相关东谈主员针对 HOMIE 强化学习框架中提议的三个新的顺序永诀进行了蒸馏实验，将得到的结果在几个枢纽谋略上进行测试，最终发现：

1）上半身姿势课程学习不错充分匡助机器东谈主更快的学会在千般一语气变化的上身姿势下保持均衡并踏实行走，而况 HOMIE 的课程学习样式如实比径直应用就地概率进行课程学习愈加优厚；

2）高度追踪奖励函数的提议比较于只用高度追踪奖励函数，能够让机器东谈主更好、更快的学会踏实的下蹲，而浅易粉碎的调大高度追踪奖励的奖励函数比例反而会让机器东谈主的学习愈加攻击；

3）对称性增强时期的使用不啻让训得的政策愈加具有对称性，更是径直大幅提高了机器东谈主熟练的速率，从而提高了数据恶果。

上述论断都标明，HOMIE 的熟练框架很好的匡助机器东谈主更好的学习完成出动操作任务，不错使东谈主们赢得更好的出动操作底层适度政策。

而且，HOMIE 不啻能应用于 Unitree G1，相关东谈主员还使用相同的框架熟练了傅利叶 GR-1 机器东谈主。

结果讲明，即使 G1 和 GR-1 在结构和尺寸上隔离很大，HOMIE 的强化学习框架依然能够让 GR-1 快速学到踏实的行走和下蹲。

与此同期，相关东谈主员对 HOMIE 的硬件系统进行了系统性的测试，并发现收获于舵机和霍尔传感器的使用，这套低资本的硬件系统具有极高的反馈频率和姿势获取精度。

同期由于同构的想象，系统不需要独特进行姿势预计和求解，在无需 GPU 和 SoC 的前提下依然不错达到远超别的顺序的姿势获取频率。

此外，相关团队应用 HOMIE 在不同环境下完成了丰富的出动操作任务。

包括从低货架拿货色到高货架、两东谈主永诀用 HOMIE 统统完成物体在两台机器东谈主之间的传递、货色搬运、推东谈主前进、开微波炉、捡水平、捧花等复杂的看成，这些任务充分体现了 HOMIE 遥操东谈主形机器东谈主完成任务的千般性。

任务自身对机器东谈主全身调解智商的高条目也讲明了应用 HOMIE 框架熟练得到的政策的踏实性。

为了展示使用 HOMIE 的硬件系统进行桌面遥操任务的优厚性，相关东谈主员还在 4 项桌面任务中，用 HOMIE 和 VR 决策（OpenTelevision）永诀完成四个不同的桌面任务。

最终发现，HOMIE 在完成速率上具有权贵上风，尤其在需要精确径向出动的任务中完成速率超过 VR 决策的2 倍。

同期，相关东谈主员还初步尝试了用 HOMIE 集聚数据熟练效法学习算法的可能性。

通过鄙人蹲捡苹果和直立捡苹果两个任务上永诀集聚 50 条数据，并应用 Seer 模子进行熟练，从而部署到的确机器东谈主上，最终取得了超过 70%的见着力。

抽象而言，HOMIE 的价值不仅在于时期梗阻，更在于其开源与低资本特质（整套硬件仅约 3500 东谈主民币）。

当今主流的基于 VR 的顺序是 OpenTelevision，是基于 Apple 的 VisionPro 进行操作，当今一台最基本的 256G 的 Vision Pro 国内售价约 3 万东谈主民币，因此其资本唯有 VisionPro 的约 12%。

它让东谈主形机器东谈主开脱动捕依赖，像智高手机一样通过"直观化驾驶舱"走入仓库等复杂场景。

正如团队所言：

巧合不久的异日，每个机器东谈主都会领有我方的"神经聚首驾驶舱"，而 HOMIE 恰是这条征程上的第一块里程碑。

鉴于还是开源，动手智商强的小伙伴还是蠕蠕而动啰 ~

论文畅通：

https://arxiv.org/abs/2502.13013

技俩主页：

https://homietele.github.io/

代码苦求：

https://forms.gle/NSLiABo3bPWN89wZ8欧洲杯体育