DexPilot：用四只摄像头「遥控」一只机器灵巧手
🧠 一句话心智模型：要遥控一只 16 自由度的 Allegro 灵巧手 + 7 自由度 KUKA 臂（共 23 DoA），老办法得穿昂贵的外骨骼手套。DexPilot 说：四只 RGB-D 相机盯着你的裸手就够了。它把「看到人手」→「映射成机器手的关节目标」做成一条流水线，让灵巧手 teleop 从「实验室土豪装备」变成「桌面级」——从此灵巧模仿学习才有了批量采数据的可能。
🎯 为什么重要：灵巧 teleop 的「成本」瓶颈
灵巧手要学技能，先得有「人怎么做」的演示数据。可怎么把人的手部动作传给 16-24 DoF 的灵巧手？传统方案是动捕手套 / 外骨骼——贵、笨重、每人一套。结果：灵巧 IL 长期数据稀缺。DexPilot 的洞察是：瓶颈在采集接口的成本，用视觉把成本打下来。
核心矛盾：人手（论文模型 20 DoF）和机器手（Allegro 16 DoF）运动学不一致（指长、关节数不同），直接按关节角映射会失败（指尖够不到、接触点偏）。需要一个「retargeting」中间层。
💡 核心思想：视觉人手 → DART 跟踪 → 指尖距离切换的 retargeting → RMP 控制
图：DexPilot 流水线——4× 相机看人手 → PointNet++ 关键点 + DART 关节角精修 → 单一 SLSQP retargeting（指尖距离切换权重）→ 驱动 KUKA 臂 + Allegro Hand（30 Hz 实时，RMP 平滑轨迹）。
🛠️ 关键设计
| 设计 | 心智 | 为什么必要 |
|---|---|---|
| 指尖距离切换的 retargeting | 单一 SLSQP 连续优化，根据指尖-拇指距离自动切换权重（捏合时拉近、分开时保持） | 人手↔机器手 DoF 不匹配，单一映射会失败；切换权重让精准捏合与大幅张开都稳 |
| 无标记、无手套 | 4× RGB-D 相机 + DART 模型跟踪 + PointNet++ 裸手关键点 | 去掉手套/外骨骼——成本从「土豪」降到「桌面」，可规模化 |
| 两阶段自监督训练 | 先戴色手套让 DART 跟踪生成标注，再训 PointNet++/JointNet 处理裸手点云 | 免去人工标注；推理时无需手套，长时间稳定（神经网络先验防 DART 漂到局部极小） |
| KUKA 臂 + Allegro Hand (共 23 DoA) | 7 DoF 臂 + 16 DoF 灵巧手整套系统 | arm-hand 级别的灵巧 teleop（不只是手） |
🔮 关键洞察：DexPilot 真正的贡献不是「学会某个任务」，而是把「零穿戴设备遥控高 DoF 灵巧手」从科幻变成 demo。它确立的「感知人手 → retargeting → 跟踪机械手」三段式，是后续所有视觉/VR 灵巧 teleop 的模板（Bunny-VisionPro、Open-TeleVision、DexCap 全继承）。
📊 结果：桌面级、多任务、真能干活
| 维度 | 结果 |
|---|---|
| 硬件成本 | 4× RGB-D 相机（vs 动捕手套/外骨骼的万元级） |
| 系统 | KUKA 臂 (7 DoF) + Allegro Hand (16 DoF)，共 23 DoA 实时遥控 |
| 任务 | 整理薯片罐入碗、插杯子、四指同时抓两方块、从钱包取钱等 |
| 意义 | 首次证明「零穿戴设备 + 视觉」能稳定遥控高 DoF 灵巧手做精细任务 |
🌐 在领域中的位置
外骨骼/动捕手套（贵）→
DexPilot（视觉、无穿戴、retargeting）⭐→
AnyTeleop / dex-retargeting（通用化中间件）→
Bunny-VisionPro / Open-TeleVision（VR 灵巧 teleop）
DexPilot 是灵巧 teleop「视觉化、无穿戴、可规模化」的奠基，打开了灵巧 IL 的数据闸门。关联 T11 灵巧、T07 teleop。
❓ 常见误区
DexPilot 是端到端「像素→动作」吗？
不是。核心是分阶段流水线：4× RGB-D 点云 → PointNet++ 关键点 + JointNet 关节角 → DART 精修 → retargeting IK 优化 → RMP 控制。retargeting 这个「中间件」才是它能跨手复用的关键。
它的 retargeting 换个机器手还能用吗？
原版是手写针对 Allegro Hand 的。这个「专机专手」的局限后来被 AnyTeleop / dex-retargeting 解决（通用优化，给 URDF 就能算）。