StableMoFusion：把 diffusion 动作生成「调校」到 0.5 秒、还顺手治好了脚滑

Yiheng Huang, Hui Yang, Chuanchen Luo, Yuxi Wang, Shibiao Xu, Zhaoxiang Zhang, Man Zhang, Junran Peng（BUPT + CASIA + HKISI + USTB）。arXiv:2405.05691 (2024)。项目页 · action generationtext-to-motiondiffusion 加速

🧠 一句话心智模型：这篇与其说是「新方法」，不如说是「对 diffusion 动作生成做了一次彻底的系统 ablation」——网络架构、训练策略、推理加速、脚滑处理四件事，每件都做了对比实验 + 挑出最佳组合。结果：1000 步压到 10 步、推理 0.5s、FID/R-Precision 双 SOTA、脚滑基本消失。

🎯 为什么重要：扩散动作生成的「三只拦路虎」

文本到 3D 动作生成在 2022–2024 出了一堆方法（MDM、MLD、MotionDiffuse、ReMoDiffuse…），看起来很热闹，但论文一上来就指出三个让人头疼的现实问题：

三只拦路虎：

缺乏系统性对比：每个方法用不同网络（UNet/Transformer/RetNet）、不同训练策略、不同采样器，你不知道是哪个组件在起作用。
推理太慢：DDPM 默认 1000 步去噪，MDM+CFG 一句推理 24.74s、MotionDiffuse 14.74s——根本不能实时，虚拟角色和人形机器人都用不了。
脚滑（footskate）：脚在地面上的位置每帧漂移，角色像在冰上滑——这是 diffusion 动作生成的典型物理瑕疵。

这篇论文的野心是：三个问题一起治。所以它不是某一个新 trick，而是一套「把已知零件调到最佳组合」的工程方法论。

💡 核心思想：四件事各做一次 ablation，组合起来就是 SOTA

整个 StableMoFusion 可以拆成四个独立可替换的模块。论文对每个模块都做了「baseline → 改进」的对照实验，最后挑出最优组合。

图 1：StableMoFusion = CondUNet1D（架构）+ EMA/CFG（训练）+ 四件套（推理）+ Footskate Cleanup（后处理）。每个零件都经过对比实验挑出。

🛠️ 四个模块的最佳选择（每个都有 ablation 支撑）

模块	选项	胜者 + 理由
① 网络架构	Conv1D UNet / DiT / RetNet	Conv1D UNet + Cross-Attn + GroupNorm Tweak（即 CondUNet1D）。UNet 的卷积窗口让帧间过渡更平滑；DiT/RetNet 的全局注意力反而对动作生成不利。GroupNorm 从「序列维」改为「特征维」，解决了 KIT-ML 这种长度分散数据集上的 padding 敏感问题。
② 训练策略	EMA / CFG / 都用	EMA + CFG（10% drop）。EMA 平滑「文本-动作一致性」和「动作质量」之间的震荡；CFG 让模型同时学条件和无条件分布，推理时可以用 $s$ 调节一致性 vs 多样性。
③ 推理加速	采样器 / 缓存 / 精度	四件套叠加：DPM-Solver++ SDE 2nd-order（Karras sigma）→ Embedded-text Cache → Parallel CFG → FP16。1000→10 步、AITS 99.06s→0.499s。
④ 脚滑处理	训练时 loss / 推理时优化	推理时优化（Footskate Cleanup）：用 UnderPressure 模型预测 vGRF 找出脚滑帧 → 把脚部关键点钉住 → 梯度下降修正动作。还可以把这套清理塞进 diffusion 去噪过程（StableMoFusion*）。

🔮 直觉：为什么 Conv1D UNet 赢 Transformer？
图像生成里 DiT 已经压过 UNet，但动作是一维时间序列，帧间过渡的「平滑性」比「全局语义」更重要。卷积核窗口天然做局部平滑；Transformer 的全局注意力反而容易引入帧间不连续。论文 GroupNorm tweak 也呼应这点：原本 Conv1D 后做 GroupNorm 等于「按序列归一化」，对 padding 极敏感；改成「按特征归一化」之后，KIT-ML 上 FID 从 0.658 降到 0.237。

📊 关键结果（源自论文 Table 2 / 3 / 5）

数据集	指标	对比 SOTA
HumanML3D (Table 2)	FID ↓	0.098 ± .003（ReMoDiffuse 0.103；MDM 0.544）
	R-Precision top3 ↑	0.841 ± .002（ReMoDiffuse 0.795；MDM 0.611）
	Diversity / MultiModality	9.748 / 1.774（接近真实 9.503）
KIT-ML (Table 3)	FID ↓	0.258（ReMoDiffuse 0.155 最佳；本方法第二）
KIT-ML (Table 3)	R-Precision top3 ↑	0.782 ± .004（最佳，超过 ReMoDiffuse 0.765）
推理加速 (Table 5, Figure 1)	AITS（V100）	0.499s（base DDPM1000 99.06s；MDM 24.74s；MotionDiffuse 14.74s；MLD 0.217s）
推理加速 (Table 5, Figure 1)	去噪步数	10 步（原始 1000 步，−99%）
四件套消融 (Table 5)	+ DPM-Solver++	AITS 99.06s → 1.004s（−99%）
	+ Embedded-text Cache	1.004s → 0.690s（−31%）
	+ Parallel CFG	0.690s → 0.544s（−21%）
	+ FP16	0.544s → 0.499s（−8%）
架构消融 (Table 4, HumanML3D)	Conv1D UNet baseline → +cross-attn → +GroupNorm tweak	FID 0.245 → 0.074 → 0.089（在 KIT-ML 上 GroupNorm tweak 把 0.658 降到 0.237）

关键洞察：StableMoFusion 的「胜」不是靠单个惊艳 trick，而是靠四个模块都做到次优以上。比如单看 FID 它只比 ReMoDiffuse 好 0.005，但叠加 100× 推理加速 + 脚滑清理后，它是唯一一个能「实时可用」的 SOTA。

🌐 在领域中的位置

MDM（Transformer-based 扩散）→ MLD（latent space 扩散，0.217s 但牺牲编辑能力）→ ReMoDiffuse（retrieval-augmented，FID 0.103）→ StableMoFusion（系统化 + 加速 + 治脚滑）⭐→ MotionLCM（latent consistency model，进一步实时化）

横向比较：和 PhysDiff、UnderPressure、GroundLink 这些「物理约束派」相比，StableMoFusion 不把物理塞进训练，而是推理时用 vGRF 做后处理——更轻、更模块化。和 MLD 相比虽然慢一倍（0.499 vs 0.217s），但保留了「编辑和控制能力」（MLD 的 latent 空间无法直接操作输入）。

❓ 常见误区

EMA 不就是「老掉牙」的训练 trick 吗？为什么还要拿来发论文？

重点不是 EMA 本身，而是「系统化 ablation」本身是贡献。EMA 在图像扩散里很常见，但动作扩散社区并没有统一用。论文通过实验证明它在 motion-denoising 网络上的具体效果（平滑 consistency 与 quality 的震荡），是在帮社区做「最佳实践确认」。

Footskate Cleanup 算「物理仿真」吗？

不算。它没有引入物理引擎，只是用 vGRF 预测模型定位脚滑帧 → 梯度下降把脚钉住。所以它是「几何/运动学后处理」，不是 PhysDiff 那种物理约束。优点是即插即用，缺点是无法解决更一般的物理失真（比如穿模）。

GroupNorm tweak 到底是改了什么？

原始 Conv1D 后直接 GroupNorm，归一化是「沿着序列维」算的——序列里有 padding 时，统计量会被 padding 拉偏。Tweak 把特征维度 rearrange 后做 GroupNorm，归一化变成「沿着特征维」，对 padding 鲁棒。这对 KIT-ML 这种长度分散的数据集尤为关键（FID 0.658→0.237）。

为什么不用一致性模型（Consistency Model）加速？

StableMoFusion 走的是「training-free 加速路线」——不重训模型，只改推理。同期 MotionLCM 才走 consistency model 路线。两条路线各有取舍：training-free 改动小但加速上限有限，consistency 要重训但能到实时。