Bunny-VisionPro：戴个 VR 头显，遥控两只灵巧手

Runyu Ding, Yuzhe Qin, Jiyue Zhu, Chengzhe Jia, Shiqi Yang, Ruihan Yang, Xiaojuan Qi, Xiaolong Wang（HKU + UCSD）。arXiv:2407.03162（arXiv preprint v1, 2024-07；PDF 未注明正式 venue）。 teleopdexterousbimanualT11/T07

🧠 一句话心智模型：双手灵巧 teleop 一直是「两只手怎么协调」的难题——老的视觉系统要么延迟大、要么手指跟踪不准。Bunny-VisionPro 用一个 Apple Vision Pro 头显捕捉操作员的双手与手腕姿态，配上自研的实时手指 retargeting（支持四连杆 loop joint）+ ERM 触觉反馈手指套，让人能实时遥控两只灵巧手做精细双手任务（开盖倒水、准备咖啡、擦玻璃等）。它把 DexPilot 的「单手视觉 teleop」扩到「双手」，并接入了消费级 VR。

🎯 为什么重要：双手灵巧 teleop 的协调难题

单手 teleop（DexPilot）已难；双手更难——两只手要协调（一只固定物体、另一只操作），且人手跟踪在双手遮挡时容易丢。现有系统要么靠动捕手套（贵），要么视觉延迟大。Bunny-VisionPro 用 Vision Pro 的手部追踪 + 低成本外设解决，让双手灵巧数据采集变可行。

核心矛盾：双手精细操作需要 (1) 手指级高精度跟踪 (2) 低延迟实时 (3) 双手协调映射。消费级 VR 之前难以同时满足。

💡 核心思想：VR 手腕追踪 + 双手 retargeting + 触觉反馈

图：Bunny-VisionPro——Vision Pro 手腕/手指追踪 → retargeting + ERM 触觉外设 → loop joint retarget → 双臂双灵巧手实时遥控。

🛠️ 关键设计

设计	心智	为什么必要
Apple Vision Pro 手部追踪	用消费级 VR 头显原生追踪双手（无需手套）	低成本、易得、手指级精度
ERM 触觉反馈外设	振动手指套（$1.2/个），把机器人指尖 FSR 触觉读数反馈给操作员	纯视觉 teleop 缺触觉，操作员「看不见」接触力；ERM 补回触觉通道
双手 retargeting	把人双手姿态协调映射到两个灵巧手	双手任务需要两手相对位姿准确，不能各映射各的
实时低延迟	整条管线实时，操作员所见即所得	精细操作对延迟极敏感

🔮 关键洞察：Bunny-VisionPro 把灵巧 teleop 从「单手」推到「双手协调」，并首次用消费级 VR（Vision Pro）做到——这是双手灵巧数据规模化采集的关键一步（双手任务的数据此前极难采）。

🌐 在领域中的位置

DexPilot（单手视觉 teleop）→ AnyTeleop/dex-retargeting（通用中间件）→ Bunny-VisionPro（VR 双手灵巧）⭐→ Open-TeleVision / Aloha 系（双手 IL 数据规模化）

双手灵巧 teleop 的代表作，关联 T11 灵巧、T07 teleop。

❓ 常见误区

为什么用 Vision Pro 不用普通摄像头？

Vision Pro 有原生的高精度手部追踪（手指级、低延迟、抗遮挡），普通 RGB 还做不到双手手指级的实时稳定跟踪。它是消费级里目前最好的手追踪硬件。

它和 ALOHA 的区别？

ALOHA 是夹爪双臂 teleop（主从机械臂）；Bunny-VisionPro 是灵巧手双手 teleop（VR 视觉）。后者自由度高一个量级（手指 vs 夹爪）。