概念辨析 · 机器人的表征学习（Visual / Motor / Cross-embodiment）

为什么表征是隐藏的关键

机器人 policy 的输入是图像（+语言）。图像是高维（224×224×3 = 15 万维），直接学 policy 极难。表征学习先把图像压成低维 meaningful feature（如 512 维），policy 在这个 feature 上学。

经典发现（R3M/VC-1/Voltron 2022-2023）：用「为机器人任务预训练的视觉编码器」比用通用 ImageNet 编码器显著更好。表征决定了 policy 的上限。

三条表征学习路线

路线 1 · 借用通用视觉表征（ImageNet/CLIP/DINO）

最简单：直接用 ImageNet 分类、CLIP、DINO/DINOv2 的预训练编码器。

优点：免费、通用。缺点：这些编码器为「分类/检测」优化，对「机器人关心的细节」（物体姿态、接触点、深度）不敏感。比如 DINO 对纹理敏感，但机器人要的是几何。

OpenVLA 的 trick：用 SigLIP（语义）+ DINOv2（空间）双流融合，弥补单编码器的不足。这是当前 VLA 的主流。

路线 2 · 机器人专用视觉预训练（R3M / VC-1 / Voltron）

2022-2023 年一批工作专门为机器人学视觉编码器：

• R3M（Nair 2022, arxiv:2203.12601，站内深笔记待补）：用「人类第一人称视频（Ego4D / EPIC-Kitchens / Something-Something）+ 时间对比学习」学表征。想法：同一视频相近帧的 embedding 应相近，远的应远。架构 backbone 用 ResNet-50 + 投影头（2-3 层 MLP 到 128 维）。三路损失：时间对比（同一视频近帧为正、远帧为负）、视频-语言对齐（视频帧与其 narration 文本为正，CLIP 式）、稀疏化（L1 稀疏正则）。
• VC-1（Majumdar 2023, arxiv:2303.18240，站内深笔记待补）：用「ImageNet + Ego4D + 机器人数据 + 自监督 MAE」多源混合预训练。架构是ViT-Large + MAE decoder（mask 75%，重建 masked patch 像素），finetune 阶段加 MoCo-v3 对比损失。核心贡献是系统性 benchmark：定义 17 个下游任务（CortexBench：DeepMind Control、Franka Kitchen、Cabinet/Drawer 等，覆盖 locomotion/navigation/manipulation 三大类），横评 ImageNet / CLIP / DINO / TimeSformer / MVP / Voltron / R3M，发现「单域预训练（自监督 + 多数据源混合）」最好。
• Voltron（Karamcheti 2023, arxiv:2302.12766，站内深笔记待补）：用「语言-视频对齐」学表征。架构是ViT + BERT 系语言 encoder 双塔，预训练任务有三种：(a) 帧-语言对比（CLIP 式）；(b) language-conditioned masked patch reconstruction；(c) visually-grounded captioning（生成帧描述）。强调「语言引导的视觉表征」比纯视觉对比更强。

架构差异总结：

核心 insight：通用视觉编码器（ImageNet）对机器人任务次优，用机器人相关数据预训练能显著提升。但后续发现：当 VLA 模型足够大（如 OpenVLA 7B），专用预训练表征的优势变小——大 VLM 自己会学表征。即 R3M/VC-1 这类专用表征对小 policy（< 100M）提升明显，在大 VLA（7B+）上提升收窄（具体数字因下游任务/基准而异，待核）。一句话：表征的价值随下游模型规模递减。

路线 3 · 动作感知表征（Motor Representation / Policy-aware）

更进一步：不只学视觉，学「视觉-动作联合表征」。

• VIP（Ma 2022, arxiv:2210.00030，站内深笔记待补）：用「时间对比 + value-implicit 预训练」学既能当视觉表征、又能当 dense visual reward 的统一嵌入（LIV 的前身）
• MVP / Masked Visual Pre-training for Motor Control（Xiao 2022, arxiv:2203.06173）：MAE 式预训练（mask 75% patch 重建），然后接 policy head，是 VC-1 的方法学前身
• π0 的 action expert：把 action token 和 image token 放进同一个 transformer，让视觉和动作联合学。这是「表征 + policy 端到端」的极端。

趋势：从「先学表征再训 policy」走向「表征和 policy 端到端一起训」。VLA 就是这个趋势的产物。

对比学习的数学（核心工具）

上述方法的核心数学是对比学习（contrastive learning）。统一形式 InfoNCE（Oord 2018）：

给定 anchor $x$、正样本 $x^+$（语义相近）、负样本集 $\{x^-_i\}_{i=1}^{N}$，学 encoder $f$ 使：

$$\mathcal{L}_{\text{InfoNCE}} = -\log \frac{\exp(\text{sim}(f(x), f(x^+))/\tau)}{\exp(\text{sim}(f(x), f(x^+))/\tau) + \sum_{i=1}^{N} \exp(\text{sim}(f(x), f(x^-_i))/\tau)}$$

其中 $\text{sim}(u,v) = u^\top v / (\|u\|\|v\|)$ 是余弦相似度，$\tau$ 是温度（典型 0.07-0.5），$N$ 是负样本数（典型 256-65536，越大越接近真实分布）。

InfoNCE 的概率论推导

InfoNCE 的目标是最大化 anchor 与正样本的互信息的下界。设候选集 $S = \{x^+, x^-_1, \dots, x^-_N\}$，正样本位置 $c \in \{1, \dots, N+1\}$ 均匀分布。一个识别模型 $p(c=i \mid x, S)$ 用 softmax 参数化：

$$p(c=i \mid x, S) = \frac{\exp(\text{sim}(f(x), f(x_i))/\tau)}{\sum_{j=1}^{N+1} \exp(\text{sim}(f(x), f(x_j))/\tau)}$$

最大化 $\mathbb{E}[\log p(c \mid x, S)]$ 即最小化 $\mathcal{L}_{\text{InfoNCE}}$。由互信息不等式：

$$I(x; x^+) \ge \log(N+1) - \mathcal{L}_{\text{InfoNCE}}$$

直觉：负样本越多，模型越要真正区分正负，而不是记住表面统计；$\log(N+1)$ 是「盲猜的上界」，loss 越小则真实互信息越大。当 $N \to \infty$ 时 $\mathcal{L}_{\text{InfoNCE}} \to -I(x;x^+)$（精确互信息估计）。

梯度形式

对正样本编码 $z^+ = f(x^+)$ 求 loss 梯度，记 $w_i = \exp(\text{sim}(z, z_i)/\tau)$：

$$\frac{\partial \mathcal{L}}{\partial z^+} \propto \frac{1}{\tau}\left(\sum_{j} p_j \cdot z_j - z^+\right)$$

其中 $p_j = w_j / \sum_k w_k$ 是 softmax 概率。直观：拉 $z^+$ 远离所有负样本的加权平均、推向 $z$（即 anchor），这就是「对比」的几何意义。

负样本采样策略（决定表征质量的关键）

不同方法的核心区别在「正负样本怎么定义」：

假负样本（false negative）问题：当负样本里混入了语义相近的样本（如 R3M 把「抓杯子」视频的另一段也当负样本），对比损失会强行推开语义相近的表征，损害下游任务。Mitigation：① 大 batch + 难负样本挖掘（只挑最难的负样本）；② 聚类后排除同簇负样本（ProPos、NNCLR）；③ 跨视频采样时只用不同语义类别的视频。

R3M/VIP 的机器人专用 insight：它们不用「图像增广」（crop/color 这些对机器人没用），改用时间增广（同一任务的时间相邻帧是天然的「语义相近」），更适合机器人「同一动作的多视角」分布。

跨本体表征（cross-embodiment）

更深层的问题：不同机器人（机械臂、人形、四足）的视觉表征能共享吗？

数学定义

设本体集合 $\mathcal{E} = \{e_1, \dots, e_K\}$（如 Franka、Sawyer、H1、G1、Spot……），每个本体 $e \in \mathcal{E}$ 有自己的观测空间 $\mathcal{O}_e$ 和动作空间 $\mathcal{A}_e$。跨本体共享表征指存在一个映射 $\phi: \mathcal{O} \to \mathbb{R}^d$（$\mathcal{O} = \bigcup_e \mathcal{O}_e$，对所有本体的视觉观测统一编码），使得对任何本体 $e$，下游任务都可写为：

$$a = g_e(\phi(o), \ell)$$

其中 $g_e: \mathbb{R}^d \times \mathcal{L} \to \mathcal{A}_e$ 是本体特化的 policy head，$\ell$ 是语言指令。表征 $\phi$ 跨本体不变，只有 $g_e$ 随本体变。

OpenX-Embodiment 的发现：能。22 种本体共用一个 $\phi$（统一的 ViT 视觉 backbone；后续 VLA 如 OpenVLA/π0 在此基础上换用 PaliGemma / SigLIP），只在 action head（最后几层 + 本体特化的归一化/padding）做本体分支（$g_e$ 各不同）。这验证了「视觉-语义」跨本体是可学的，是 RT-X / OpenVLA / π0 的理论基础。

但物理跨本体（不同 morphology 的运动学）仍难——22 种本体的 URDF/动力学不同，VLA 学到的是「语义-视觉」跨本体（同一杯子的视觉表征跨本体一致），不是「运动学」跨本体（机械臂 vs 人形手抓杯子的轨迹完全不同，需要 $g_e$ 分别学）。

形式化：跨本体泛化误差 $\Delta(e, e') = \|g_e \circ \phi - g_{e'} \circ \phi\|_{\text{task}}$。OpenX 的结论是 $\phi$ 跨本体可共享（视觉对齐好），但 $g_e$ 不可——所以 RT-X 走「混合本体数据训一个 $\phi$ + 每个本体的 action token 归一化分支」，而非「一个 policy 通吃」（⚠️ RT-X 实际是单 policy + per-embodiment action 归一化，并非字面意义的多个 head，此处的 $g_e$ 是抽象记法）。

LAPA：latent action 预训练的跨本体表征

LAPA（Ye 2024, arxiv:2410.11758，站内深笔记待补）是另一条跨本体路线：用 latent action 作为跨本体的桥梁。

核心想法：不同本体动作空间 $\mathcal{A}_e$ 不同，但「意图」是跨本体一致的。把每个本体的动作编码成统一 latent $z$：

$$z = E_e(a, o) \in \mathbb{R}^{d_z}, \quad \hat{a} = D_e(z, o) \in \mathcal{A}_e$$

其中 $E_e, D_e$ 是本体特化的 latent action encoder/decoder（VAE 形式），$z$ 维度固定（如 $d_z=16$）。预训练阶段先在大规模跨本体视频（EgoExo4D、OpenX）上学「预测下一帧的 latent action」：

$$\mathcal{L}_{\text{LAPA}} = \|\hat{z}_{t+1} - E_e(a_{t+1}, o_{t+1})\|^2 + \beta \, D_{\mathrm{KL}}(q(z|o,a) \| \mathcal{N}(0, I))$$

第一项是 latent 重构，第二项 KL 把 latent 压向标准正态（信息瓶颈，防止 latent 退化成直接复制 $a$）。预训练后，policy 直接在 latent 空间决策：$\pi(z \mid o, \ell)$，再用 $D_e$ 解码到具体本体动作。

与 R3M/VC-1 的区别：R3M/VC-1 只学视觉表征 $\phi(o)$，不管 action；LAPA 学视觉-动作联合表征，让 latent $z$ 同时承载「图像里有什么」和「下一步怎么动」。在跨本体泛化上比纯视觉表征更鲁棒（因为 $z$ 已经隐式编码了「意图」），是 GR-2、LAWM 等 2025 后续 VLA/世界模型采用的预训练范式（π0.5、GR00T N1 是否在内部使用 latent action 预训练待核）。

何时用什么（实用指南）

与相关线索的关系

• T05 Diffusion Policy：DP 用 1D CNN 编码图像，没用 fancy 表征——因为任务简单
• T06 VLA：OpenVLA 的 SigLIP+DINOv2 双流是表征学习的集大成
• T10 VLA+WBC：分层接口里 latent 也是一种「动作表征」
• T02 数据集：OpenX 跨本体表征的数据基础

关键论文

• [Nair 2022, arxiv:2203.12601] R3M —— 时间对比 + 视频-语言对齐 + L1 稀疏（站内深笔记待补）
• [Majumdar 2023, arxiv:2303.18240] VC-1 —— MAE + MoCo-v3 多源预训练 + CortexBench 17 任务（站内深笔记待补）
• [Karamcheti 2023, arxiv:2302.12766] Voltron —— 语言-视频对齐预训练（站内深笔记待补）
• [Ma 2022, arxiv:2210.00030] VIP —— value-implicit 表征 + reward（站内深笔记待补）
• [Xiao 2022, arxiv:2203.06173] MVP / Masked Visual Pre-training for Motor Control —— MAE 式 motor 预训练（站内深笔记待补）
• [Ye 2024, arxiv:2410.11758] LAPA —— latent action 预训练（站内深笔记待补）
• [Brohan 2023, arxiv:2310.08864] OpenX-Embodiment —— 跨本体表征的数据基础
• [Kim 2024, arxiv:2406.09246] OpenVLA —— SigLIP+DINOv2 双流

相关

• 概念：C-action-representations.md（action 的表示）、C-diffusion-flow-matching.md（action 生成）
• 线索：T06-vla-five-stages.md、T02-dataset-infrastructure.md