Beyond Binary (CoP)：给触觉找一个「物理量」做中间语言
🎯 为什么重要：触觉的 sim-to-real 一直是个「死结」
视觉的 sim-to-real 已经基本通了（域随机化、rendering noise 一加就能跑）。但触觉一直是 sim-to-real 的死穴，原因论文点得很清楚（§1）：
· 简化表征（binary 0/1、ternary）→ sim 与 real 容易对齐，但丢了细粒度接触信息，做不了 peg-in-hole 这种精细任务。
· 原始表征（raw taxel 数组）→ 信息丰富，但仿真器建模不准（硅胶形变、剪切力、传感器噪声），policy 学了也迁不过去。
这就是论文标题「Beyond Binary」的字面意思：得跳出「要么 1 bit 要么原始信号」的二元选择，找一个物理上 grounded 的中间层。论文的答案就是 Center-of-Pressure（CoP）。
💡 核心思想：CoP 是触觉的「通用语」
CoP 的形式非常简单——就两个量，都在传感器坐标系 S 下：
$\^S f_{cop} \in \mathbb{R}^3$（3D 接触合力） + $\^S p_{cop} \in \mathbb{R}^3$（3D 接触位置）
这个量在仿真端是免费的——IsaacSim / MuJoCo 等刚体仿真器原生就提供 world frame 下的 3D 接触力和接触位置（论文实现用的是 IsaacLab 的 ContactSensor API）。难点在真机端怎么从 taxel 读数把它估出来。论文的招数是一个可微的应力分布模型：
这套设计的关键判断是：taxel 之间不是独立的。一个 taxel 受力，会通过硅胶层扩散到周围 taxel（论文叫「stress distribution」）。直接求和或平均会有偏差。CoP 用一个简单的高斯径向衰减 + 切平面投影，把这个扩散过程建模成一个 $3\times3$ 的矩阵 $M_i$，让 taxel 力和 CoP 力之间成为一个线性可逆系统。
🛠️ 工程化：4 个让它在真机上跑通的设计
| 设计 | 心智 | 为什么必要 |
|---|---|---|
| ① 可微应力模型 M_i | 用一个低参数高斯模型描述硅胶层力的扩散；闭式最小二乘求解 CoP 力 | 既可微（能接梯度优化），又紧凑（少参数→sim/real 易对齐），还双向（仿真可生成 taxel 仿真读数，真机可反推 CoP） |
| ② 可微动力学标定 taxel 朝向 | 不知道每个 taxel 局部坐标系的旋转 $R_i$？保持固定关节位置 → 施加随机接触 → 用「静平衡下 $\tau = -J^\top f$」作为监督，反向梯度求 $R_i$ | 指尖曲面复杂，手动标定 N 个 taxel 的 3D 朝向不现实；用关节扭矩做 ground-truth-free 监督，巧妙绕开「没有真值力测量」的死结 |
| ③ 只用法向力分量 | CoP 在仿真和真机两端都只用 surface-normal 分量，丢弃 shear（剪切） | IsaacLab 对指尖几何生成的 shear 分量不可靠——与其带噪，不如砍掉，两端保持一致。这是「保 transferability」的工程取舍 |
| ④ Recurrent policy + 直接迁移 | 不用 history stacking，用 RNN；不用 teacher-student distillation | CoP 已对齐 → 不需要蒸馏；RNN 比 stack 更省 observation 维度，sample efficiency 更好 |
标定 taxel 朝向的传统做法需要已知的外部力（力传感器）。但 XELA uSkin 这种传感器表面是曲面，难以安装外力参考。论文的妙招：让机械手 PD 控制器锁住关节，外部戳它一下 → 关节电机自动产生扭矩维持平衡 → 这个扭矩 $\tau$ 就满足 $\tau = -J^\top f$（静力学基本方程）。用 关节扭矩当 ground-truth，反向传播调整 $R_i$，让「taxel→CoP→$\hat\tau$」尽量贴近实测 $\tau$。整个流程不需要任何力真值。
📊 关键结果：两个「盲操」任务上的全面胜出
任务设计本身是论文的一个亮点：两个任务都禁用视觉，必须靠触觉。这让「触觉表征好坏」的影响被完全隔离出来。
| 任务 | 评价方式 | CoP 表现 | 主要对比 |
|---|---|---|---|
| Peg-in-Hole 插入 （6 种形状：圆/菱/椭/六/方/三） | 10 trials × 6 shape 的成功率 + 完成时间 | 总体成功率 0.78（最高） OOD 初始化下 0.63（衰减最小） | binary 0.53、taxel 0.48、vec 0.67、pos 0.50 |
| Ball Balancing 平衡球 （4 种球：网球/棒球/月球/冰球） | 10 trials × 4 球的时间到掉落（TTF） | 总体 TTF 4.60s（机器人策略中最高，与 vec 接近） | vec 4.52、taxel 1.49（崩）、binary 1.99 |
| 鲁棒性 - 40% taxel 遮挡 | 随机 mask 40% taxel 读数 | 0.62 成功率（仍可工作） | 说明：精细表征对单点 taxel 更敏感，但 CoP 仍优于 binary |
| 涌现：隐式质量识别 | PCA 投影 256 维 RNN latent | 不同质量的球自动聚成不同簇，Silhouette Coefficient 随时间递增 | policy 从未被告知「质量」——它是从 CoP 反推出来的涌现产物 |
taxel 表征居然在两个任务上都败给了简化表征——原因是「imperfect tactile simulation + higher dimensionality + sensor-specific mismatch」三连击。这正面证明了：「表征越原始越好」是个错觉；只有物理 grounded 的中间表征才能既保留信息又跨域。
🌐 在领域中的位置
谱系定位：在「sim-to-real 触觉表征」的轴上，CoP 处于「物理 grounded 中间层」的位置。它不试图把触觉建模到像素级（那是 tactile encoder 路线，如 AnyRotate、PTLD），也不退化到 1 bit（如 RotateIt / Qi '23 的 binary）。同期工作 Twisting Lids（Lin '24）走的是另一条路（privileged + distillation）。CoP 给出了一个清晰的折中点。
❓ 常见误区
CoP 是新发明的物理量吗？
不是。CoP（Center of Pressure）在接触力学、人体步态分析里是成熟概念。论文的贡献不是「发明 CoP」，而是把它作为 sim-to-real 触觉表征的中间层，并设计了一套可微的 taxel↔CoP 双向映射 + 标定流程。
为什么不直接用 raw taxel？信息论上不是更丰富吗？
理论上是的，但论文实测 taxel baseline 全面败给 CoP。原因：触觉硅胶的应力扩散很难精确仿真，raw taxel 携带的「传感器特异细节」在 sim/real 之间是系统性对不齐的——这比「信息少」更致命。CoP 通过物理建模把这部分细节主动抛弃，反而迁得过去。
为什么不用 teacher-student distillation？
蒸馏是为了弥合「sim 端有 privileged、real 端只有 taxel」的差距——前提是 sim 与 real 的触觉不对齐。CoP 在表征层就解决了对齐，policy 直接迁移（direct sim-to-real），不需要蒸馏这个额外阶段。这是表征选择的工程红利。
CoP 用了 shear 信息吗？
论文模型里有 shear 分量（Fig.1b 的 $f_s$），但实际部署时只用 normal 分量。原因是 IsaacLab 对指尖几何生成的 shear 不可靠。这是论文 §6 明确列出的 limitation——「等仿真器的 shear 准了再加回来」。