T11 · 灵巧手操作（Dexterous Manipulation）

一、这条线索在解决什么

抓取（grasping）和灵巧操作（dexterous manipulation）经常被混用，但它们是两个层级的问题。抓取是几何/运动学问题：找到一组接触点让物体不动，DexNet [Mahler 2017] 这条线、parallel-jaw / suction 的 grasp planning 基本已工程化。灵巧操作是动态/多指协调问题：物体要在手里被持续地「转、捏、换手、重抓（regrasp）」，手指必须一边施加力一边滑动，接触状态在毫秒尺度变化。这条线索专攻后者。

灵巧手操作之所以是「最大的开放问题」，根本难度有四条，且彼此叠加：

1. 自由度高：Shadow Hand 24 DoF、Allegro 16 DoF、人手 27 DoF。比 7-DoF 单臂高一个量级，动作空间维度爆炸，加上接触后状态空间连续且不光滑。
2. 人手到机器人手的 retargeting 不匹配：人手指长、关节运动学各不相同，机器人手指往往更短、关节数不同，简单按关节角映射会导致指尖够不到、接触点偏移。
3. 接触动力学极难仿真：手指按压物体时，摩擦、滑动、形变、滚动同时发生，物理仿真（PhysX / MuJoCo / Isaac Sim）对接触的近似都很粗糙，导致策略在仿真学得好好的、到真机就崩。这是灵巧操作特有的 sim-to-real 困难（locomotion 是脚周期性落地，接触模式简单且重复；灵巧操作是 5 个指尖各做各的、还互相干扰）。
4. 触觉缺失：人类捏住一颗葡萄能感知「再用力一点就破了」，靠的是皮肤的力/振动感受。当前大多数灵巧手没有触觉传感（只有关节编码器），策略只能靠视觉开环，对滑动、压力、物体形变一无所知。

这四条叠加，让传统控制方法（规划 + 轨迹优化）几乎不可能：因为规划器要枚举接触状态，而接触模式组合爆炸。这就是为什么灵巧操作几乎是 RL/IL 的「专属战场」。

二、时间线（关键转折点）

灵巧操作的研究大致经历了四个阶段：(1) 2018–2019 DR + RL 开端（OpenAI Hand），(2) 2019–2023 视觉 teleop 让灵巧手可被「教」（DexPilot → AnyTeleop），(3) 2022–2024 in-hand 重定向 RL 突破（General Re-Orientation、Visual Dexterity、RotateIt），(4) 2024–2026 与人形/扩散/触觉整合（DexMimicGen、DexDiffuser、Figure Helix、GR00T N1、DOGlove）。

三、关键转折的深度解析

转折 1：OpenAI Hand（2018–2019）—— DR + 大规模 RL 的开创

• 前作的缺陷：经典灵巧操作要么用 motion planning（接触模式组合爆炸），要么用专门的控制器（每个任务手写），换个物体就废。
• 新方法的核心 idea：[Andrychowicz 2018, arxiv:1808.00177]（俗称 Dactyl）用 PPO 在仿真里训 Shadow Hand 把玩方块，训练时对物理参数（摩擦、物体大小、关节阻尼）和视觉纹理做大规模 domain randomization，让策略对参数不确定性鲁棒，从而零样本迁移真机。2019 年 [Akkaya 2019, arxiv:1910.07113] 把同一套思路推到单手解魔方，并把 DR 升级成 ADR（Automatic Domain Randomization）——DR 的范围本身被一个元目标自动调整。
• 为什么是分水岭：它把「灵巧手能学会精细操作」从科幻变成 demo 视频。一个关键实验是「扰动鲁棒性」：魔方操作过程中给手戴个塑料乌龟、戳手指、绑住两根手指，策略仍能继续——这种鲁棒性是传统方法做不到的，正是 DR 在仿真里强行学到的。

• 留下的新问题 / 为什么 OpenAI 后来不做了：成本极高（6400 CPU + 多 GPU 跑了几个月才收敛），Shadow Hand 单价 ~$100k+ 且极易坏，魔方成功率真机仅 ~20%（仿真 60%+），sim-real gap 在精细操作上仍然巨大。OpenAI 2020–2021 解散 robotics team，转向 LLM/GPT。这条线在工业界沉寂了几年，直到 2022 年才被学术界的 in-hand 重定向工作接续。

转折 2：DexPilot（2019）—— 视觉 teleop 灵巧手打开数据闸门

• 前作的缺陷：灵巧手 teleop 只能靠昂贵的外骨骼或穿戴式 IMU 手套，导致 IL 数据采集成本极高、样本极少。
• 新方法的核心 idea：[Handa 2019, arxiv:1910.03135]（NVIDIA Seattle，ICRA 2020）用 4 台 RGB-D 相机（Intel RealSense D415）观察操作员裸手，实时映射到 KUKA iiwa7 臂 + Wonik Allegro Hand（4 指 16 DoF，加 4 指尖 BioTac 触觉共 92 路；整系统 23 DoA）。retargeting 不按 grasp-type 分多套优化，而是用单一 cost function + task-space vector + switching weight：在人手/机械手上指定「primary finger → thumb」等离散向量集（local frame 表达，同时编码距离+方向+朝向），用 NLopt SLSQP 实时求解（30 Hz）让机械手指尖尽量贴合人手指尖运动，pinch 接触时 switching weight 自动把拇指-主指贴合到 0.1 mm、把主指互推到 30 mm 防撞——避免「人手到机器人手」自由度不匹配时直接关节映射会失败的问题；臂端用 RMP + torque-level impedance 控制（200 Hz）。手部追踪靠 DART 模型配准 + 两阶段 PointNet++ 提供 23 个 3D keypoint / 20 维关节角先验。
• 为什么是突破：第一次证明「零穿戴设备控制高自由度灵巧手」可行。它确立了「感知人手 → retargeting → 跟踪机械手」的三段式，后续整条视觉 teleop 线都是这个模板。

• 留下的新问题：专机专手——DexPilot 的 task-space vector 表是手写针对 Allegro Hand 的，换手就得重做。这个 gap 被 AnyTeleop 解决。

转折 3：AnyTeleop + dex-retargeting（2023）—— retargeting 通用化

• 新方法的核心 idea：[Qin 2023, arxiv:2307.04577, RSS 2023] 把 DexPilot 的「专机专手」抽象成通用优化问题：给人手关键点轨迹 + 机械手 URDF，自动求解关节角，让机械手指尖尽量贴合人手指尖运动。这套 retargeting 被开源成独立库 dex-retargeting（现 dexsuite/dex-retargeting），成为 Bunny-VisionPro、Open-TeleVision、DexCap 等几乎所有视觉/VR 灵巧 teleop 的「中间件底座」。
• 为什么重要：它把 retargeting 从「每篇论文手写一遍」变成「调库」，是灵巧 teleop 工程化的关键一步，也间接喂养了 2024 年的人形灵巧 teleop 爆发（详见 T07）。

转折 4：In-hand 重定向 RL 的连续突破（2022–2023）

OpenAI Hand 之后的几篇工作把「让物体在手里转」做到了跨物体泛化，是灵巧 RL 的真正长进：

• A System for General In-Hand Object Re-Orientation [Chen 2022, CoRL 2022]：模型无关 RL，让 Allegro Hand 朝上、朝下都能把物体转到目标朝向，是第一个能稳定朝下重定向的工作。
• Visual Dexterity [Chen 2023, Science Robotics 2023]：用单个 depth camera 对新物体、复杂形状做 in-hand reorientation，是把 in-hand 操作推向「泛化」的标志性工作。
• Hora [Qi 2022] / RotateIt [Qi 2023, CoRL 2023, arxiv:2309.09979]：RotateIt 的关键贡献是融合视觉和触觉做多轴指尖旋转，第一次明确把触觉当作 in-hand 操作的核心输入。

这条线的本质长进：从「方块/魔方这种单一刚体」到「新形状的泛化」，从「纯关节感知」到「视觉 + 触觉融合」。reward 设计仍是核心痛点——「转到位」很容易稀疏，要么靠稠密的朝向 tracking reward，要么靠 curriculum 从简单形状渐进到复杂形状。

转折 5：Diffusion / IL 进灵巧手（2023–2024）

• DexDiffuser [Weng 2024, arxiv:2402.02989]：用 diffusion model 在部分点云上生成、评估、refine 灵巧抓取位形，把 diffusion 从夹爪抓取推广到多指抓取——抓取姿态本身是高维多模态分布，正好适合 diffusion。
• DexMimicGen [Jiang 2024, arxiv:2410.24185, ICRA 2025]：把 MimicGen 的「少量人示教 + 仿真变换 → 大量自动数据」范式搬到双臂灵巧手，从几条人示教自动生成 >20000 条轨迹。这是当前解决灵巧 IL「数据荒」的最有希望路径。
• Diffusion Policy 在灵巧手的延伸：原版 Diffusion Policy [Chi 2023] 主要在 ALOHA 双臂上验证，灵巧手版的核心挑战是动作维度从 14 跳到 30+，diffusion 建模高维多模态分布的训练稳定性是关键技术问题。

转折 6：2024–2026 人形 + 灵巧手整合（当前最热）

人形硬件平价化（H1/G1 把人形压到 ~$20–90k）+ 平价灵巧手（Inspire Hand、Fourier Hand、Shadow 降价）+ IL/VLA 数据饥渴，三条线同时成熟，催生「全身 + 灵巧手」整合爆发：

• OmniH2O [He 2024, arxiv:2406.08858, ICML 2025]：把灵巧手关节纳入 kinematic pose universal interface（详见 T07 / P-OmniH2O-2024），是全身 teleop 接入灵巧手的关键。
• Bunny-VisionPro / Open-TeleVision：基于 Apple Vision Pro 手部追踪 + dex-retargeting，成为事实开源灵巧 teleop 标准。
• Figure Helix [Figure AI 2024]：业界第一个能输出整段人形上半身 + 手指高频连续控制的 VLA，把灵巧手纳入通用 VLA 范畴。技术细节未完全公开。
• NVIDIA GR00T N1 / N1.5 / N1.7 [2025, arxiv:2503.14734]：开源人形 foundation model，benchmark 显式包含 GR-1 + Fourier 灵巧手；N1.7 已支持 finger-level 灵巧控制做 contact-rich 任务（小件装配）。
• HumDex [Heng 2026, arxiv:2603.12260]：便携式全身灵巧 teleop 工具栈（USC Physical Superintelligence (PSI) Lab / WorldEngine AI，第一作者 Liang Heng），是 2026 年最新代表。

整合点为何是「最难的开放问题」：全身 WBC（locomotion）和灵巧手精细操作在控制频率、reward 设计、sim-real 困难上完全不同——前者 50–100 Hz、稀疏接触、reward 易写；后者 100+ Hz、密集接触、reward 难写、sim-real 极差。如何用同一个 policy 把两者统一起来（HOVER 式多模式蒸馏 + VLA 高层指令）是当前主线（详见 T10）。

2026 最新进展

2026 上半年灵巧操作沿「开源双臂-双手 VLA / 跨本体抓取 / 人类水平遥操 / 交互式 IL × 灵巧手 / 人类视频直接学」五条轴线深化：

• 开源双臂-双手 VLA 系统登场（× T06）：Dexora [Zhang et al., arxiv:2605.18722]（清华 + 同济 + 小米）是首个开源的原生支持双臂-双手高 DoF 操作的 VLA 系统，混合遥操管线（外骨骼背包采粗臂运动 + Apple Vision Pro 无标记手部追踪采手指）同时驱动物理双臂双手平台与 MuJoCo 数字孪生，构建 embodiment-matched 合成语料 + 真机示教的大规模训练集——填补了当前 VLA 多限于单夹爪或单灵巧手的空白，是 2026 双臂灵巧 VLA 基础设施代表作。
• 跨本体 6-DoF 抓取（× T14）：GraspGen-X [Han et al., arxiv:2606.00998]（NVIDIA，CVPR 2026）用程序化生成的夹爪 + 20 亿抓取样本训练，让扩散模型以夹爪 swept-volume 表示为条件生成 6-DoF 抓取；仿真与真机均实现对新物体、新场景、新夹爪形态的零样本泛化——首次把 6-DoF 抓取生成做到真正 cross-embodiment，对通用机器人抓取具有重要意义。
• 接近人类水平的灵巧遥操：TeleDexter [Li et al., arxiv:2607.11481]（BIGAI + UCLA）是手-物 co-tracking 控制器，把操作者意图映射到机器人灵巧手动作，支持工具使用、grasp 切换、in-hand 重定位等人类级技能；在两个机器人平台上用 7 个挑战性任务评估（含物体重定向与长程工具使用）——首次把灵巧遥操推到接近人类水平的 in-hand dexterity，是 2026 dexterous teleoperation 方向的标杆性系统工作。
• 交互式 IL × 灵巧手 VLA（gesture jump 被命名）：HandITL [Li et al., arxiv:2605.15157]（SJTU）针对高 DoF 灵巧手 VLA 的交互式 IL 方法，首次系统性指出『gesture jump』问题——人类遥操命令与策略执行在介入瞬间的 mismatch，方法是把人类纠正意图与策略当前输出做平滑混合。在三个长程灵巧任务上平均超过标准遥操数据训练的策略 19%——把 IIL 从低 DoF 夹爪推到高 DoF 灵巧手。
• 人类视频 → 灵巧手策略（无需机器人演示）：Dexterous Point Policy [Kim et al., arxiv:2606.10614]（KAIST）直接从人类视频学灵巧手操作策略，无需任何机器人示教——核心是把任务相关的物体与人手表示成统一的 3D keypoint 序列，训练自回归 transformer，在腕与指尖层级人/机器人行为天然对齐从而可直接迁移。把「人类视频 → 灵巧手策略」推到 75% 真机成功率（相较 SOTA VLA 基线的 1% 是数量级跃升），证明 3D keypoint 是跨本体策略迁移的高效桥梁，直接缓解灵巧手遥操采数昂贵的核心瓶颈。同期 DexImit [Liu et al., arxiv:2602.10105, RSS 2026] 走另一条路：四阶段 pipeline（单目视频重建人手 → retarget 到机器人灵巧手 → 检测双手协调模式 → 训双臂策略）从单目人类视频学双臂灵巧操作，开源代码——把「人类视频 IL」从单手推到双臂、从单物推到长程协调。
• 触觉从“传感器”走向“高频策略组件”（灵巧操作最大瓶颈的 2026 攻坚）：PTLD [Chen et al., arXiv:2603.04531]（NVIDIA+ETH+Berkeley）用 privileged tactile latent distillation 跨越触觉 sim-to-real gap；Beyond Binary [Pan et al., arXiv:2605.28812] 提出 Center-of-Pressure 物理可解释触觉表征；TacImag [Zhang et al., arXiv:2607.01684] 让无触觉硬件的机器人由视觉「想象」触觉表征；FTP-1 [arXiv:2606.13102] 用 morphology-aware 编码器把异构触觉投影到共享 latent token。两篇更直接回答“如何把触觉接入 VLA”：T-Rex 用 100 小时触觉丰富数据、temporal tactile VQ-VAE 与可变频 Mixture-of-Transformers，让高频触觉反应与慢速视觉语言推理分工；TouchWorld 则把触觉同时作为未来接触的预测目标和在线残差纠正信号。它们共同把问题从“有没有触觉”推进到“触觉以什么表征、频率和闭环接口进入策略”。
• 双手灵巧抓取 + 跨手统一（scaling 与跨本体）：UltraDexGrasp [Yang et al., arXiv:2603.05312]（CUHK）用大规模合成数据训出双手 universal 抓取（按物体自动切换单/双手）；KPGrasp [Huang et al., arXiv:2606.09314]（PKU+THU）用 keypoint + flow matching 绕开昂贵 contact optimization、让抓取生成可 scale；XL-VLA [Jiang et al., arXiv:2603.10158]（Berkeley+UCSD）在异构灵巧手（LEAP/Allegro/Shadow）间共享统一 latent action space 做跨手 VLA 迁移——灵巧手这一高 DoF、强异构本体的「跨本体统一」首次被系统处理。同期 MoDex [arXiv:2606.05407]（KTH）用 diffusion policy 研究单手顺序多物体连续抓取，扩展抓取任务设定；Handroid [arXiv:2607.16187] 则给出一台 27-DoF 桌面级双形态机器人——同一电机械本体可作灵巧手（0.33 m / 2.05 kg）或桌面人形，用单一可重构硬件桥接「灵巧操作」与「全身人形交互」两个此前互不相通的研究栈，整机开源。

四、相似概念辨析

五、与其他线索的交叉点

• 与 T01（sim2real）：DR / ADR 是 OpenAI Hand 的核心，灵巧操作的 sim-real gap 比 locomotion 严重得多，是 T01 方法最难的考场。
• 与 T05（Diffusion Policy）：DexDiffuser、DexMimicGen 是 diffusion + 灵巧手的直接交叉，高维多模态动作分布建模是关键开放点。
• 与 T07（人形 teleop）：DexPilot / AnyTeleop / dex-retargeting 是 T07 视觉 teleop 子线的根基；Bunny-VisionPro 是两者交叉点。
• 与 T10（VLA + WBC 分层）：全身 + 灵巧手的统一是 T10 当前最难整合点（Figure Helix、GR00T N1）。
• 与 T08（physics-aware 动作生成）：DexMimicGen 用仿真 rollout 把人示教转成大量数据，是「仿真即数据源」的灵巧手版本。

六、当前局限与开放问题（研究机会）

1. 触觉传感与反馈：DOGlove [2502.07730] 等低成本力反馈手套刚开始；DIGIT / GelSight / Digit 360（Meta 2024）等触觉传感器在灵巧手上的集成仍不普及；sim-to-real 触觉策略（Tac2Motion [2509.17812]、real-to-sim image translation）是新兴子方向。这是灵巧操作的最大瓶颈——没有触觉，易碎物体、滑动检测、力度调节几乎无解。
2. 跨物体泛化：训了方块/杯子，能不能直接迁移到瓶子、不规则物体？Visual Dexterity 走出第一步，但真机跨形状泛化仍脆弱。
3. 精细操作上的 sim-to-real 特殊困难：接触、摩擦、形变在仿真里近似粗糙；OpenAI Hand 真机成功率远低于仿真；这是灵巧 RL 与 locomotion RL 的本质差别。
4. 长程多步操作：当前多数工作只解决「抓」「转」单步；真正有用的任务是「抓 → 转 → 放 → 用工具」，需要 hierarchical policy 与 subtask 分割，DexMimicGen 的 segmentation 思路是候选方案。
5. reward 设计：精细操作的 reward 极难写（「捏住但不破」「转到位且不掉」），Eureka / DrEureka 式 LLM 自动 reward 在灵巧手上还远未成熟。
6. 数据规模化：DexMimicGen 生成 >20k 轨迹，但真实人示教规模仍远小于 locomotion MoCap；灵巧 IL 的「OpenX / DROID 时刻」还没到来。

七、涉及里程碑论文

• [Andrychowicz 2018, arxiv:1808.00177] Learning Dexterous In-Hand Manipulation（OpenAI Dactyl） —— DR + PPO 学单手操作方块，sim-to-real 灵巧操作的开山之作。详见 P-OpenAIHand-2018.md（含 ADR 机制深度解析）。
• [Akkaya 2019, arxiv:1910.07113] Solving Rubik's Cube with a Robot Hand —— ADR 把 DR 自适应化，单手解魔方，DR 范式的工业化顶点。ADR 数学机制详见 P-OpenAIHand-2018.md。
• [Handa 2019, arxiv:1910.03135] DexPilot —— 视觉 teleop 灵巧手开创，详见 P-DexPilot-2019.md。
• [Qin 2023, arxiv:2307.04577] AnyTeleop —— dex-retargeting 通用化，灵巧 teleop 中间件底座。
• [Chen 2022, CoRL] A System for General In-Hand Object Re-Orientation —— 第一个稳定朝下重定向。
• [Chen 2023, Science Robotics] Visual Dexterity —— 单 depth camera 跨新物体的 in-hand reorientation。详见 P-VisualDexterity-2023.md（teacher-student + 点云目标 + 选择性 DR 深度解析）。
• [Qi 2023, arxiv:2309.09979] RotateIt —— 视觉 + 触觉融合的多轴 in-hand 旋转。
• [Weng 2024, arxiv:2402.02989] DexDiffuser —— diffusion 学多指抓取分布。
• [Jiang 2024, arxiv:2410.24185] DexMimicGen —— 灵巧 IL 的「自动数据放大器」。
• [Wang 2024, arxiv:2403.07788] DexCap —— 便携式灵巧手 mocap 数据采集。
• [Zhou 2025, arxiv:2502.07730] DOGlove —— 低成本触觉反馈手套，bilateral teleop 代表。
• [Figure AI 2024] Helix —— 业界首个全身 + 手指高频控制的 VLA。
• [NVIDIA 2025, arxiv:2503.14734] GR00T N1 —— 开源人形 foundation model，灵巧手在 benchmark 内。

八、参考文献与延伸阅读

• 本仓库内相关论文笔记：P-DexPilot-2019.md（DexPilot 深度笔记）、P-OpenAIHand-2018.md（Dactyl + ADR 深度笔记，转折 1 方法论根基）、P-VisualDexterity-2023.md（Visual Dexterity 深度笔记，转折 4 跨物体泛化代表）；T07 系列笔记（OmniH2O、Bunny-VisionPro）。
• 相关线索：T01（sim2real）、T05（diffusion policy）、T07（人形 teleop）、T10（VLA + WBC 分层）。
• 综述/Tutorial：CoRL 2024 Tutorial「Learning Robot Fine and Dexterous Manipulation」（dex-manipulation.github.io/corl2024）。
• 仓库内论文列表：YanjieZe/Paper-List topics/dex_manipulation.md。