RepWAM: World Action Modeling with Representation Visual-Action Tokenizers¶
论文阅读笔记 — 用于后续讨论的概览
1. 基础信息¶
- 题目: RepWAM: World Action Modeling with Representation Visual-Action Tokenizers
- 作者: Junke Wang¹, Qihang Zhang², Shuai Yang², Yiming Luo², Yujun Shen², Zuxuan Wu¹†, Yu-Gang Jiang¹†, Yinghao Xu³²†
- ¹ Institute of Trustworthy Embodied AI, Fudan University
- ² Robbyant, Ant Group（蚂蚁集团机器人团队）
- ³ Hong Kong University of Science and Technology
- † 通讯作者：Zuxuan Wu, Yu-Gang Jiang, Yinghao Xu
- arXiv 编号: 2606.13674 (submitted 2026-06，LaTeX 使用 TEAI 模板，pdflatex/TeXLive 2025)
- 项目页 / 代码: https://wdrink.github.io/RepWAM / https://github.com/wdrink/RepWAM
- 关键词: World Action Model (WAM), semantic visual tokenizer, latent action model, representation alignment, flow matching, causal diffusion transformer, bimanual manipulation, RoboTwin 2.0
Figure 1：RepViTok 的两级结构——上半部分是与冻结 Vision Foundation Model 对齐的 ViT 视觉 tokenizer（temporal-causal attention + 重建损失 + 对齐损失），下半部分是在这个语义 latent 空间里学 latent action 的 IDM/FDM 对，其中 FDM 把 4 维 latent action 展开为 transport 矩阵 K_t 和残差 δ_t，以 ẑ_{t+1}=K_t z_t+δ_t 重建下一个视觉 latent。核心主张一图即明：latent action 是"语义视觉状态之间的变换"，而非从像素差里抽出来的孤立编码。
2. 文章介绍¶
2.1 解决的领域和问题¶
这篇文章属于机器人操作里的 World Action Model (WAM) 方向。三种范式的位置关系：
| 范式 | 建模对象 | 代表 | 特点 |
|---|---|---|---|
| VLA | \(p(a \mid o, y)\)，观测直接映射动作 | π0.5, RDT | 无显式未来预测，靠大规模异构数据泛化 |
| World Model | \(p(o_t \mid o_{<t}, y)\)，被动预测未来 | Ha & Schmidhuber, Cosmos, WAN | 只预测不控制，动作需外接 policy/IDM |
| WAM | 联合 \(p(o_t, a_{t-1} \mid o_{<t}, y)\) | Lingbot-VA, DreamZero, Motus, Fast-WAM, 本文 | imagine-then-execute：先想象场景演化，action expert 以 inverse dynamics 方式解出动作 |
论文瞄准的具体问题不是架构也不是数据，而是一个更底层的选择：WAM 到底应该运行在什么样的 latent 空间上？ 现有 WAM 几乎都直接继承预训练视频生成模型（典型是 WAN2.2 VAE）的 reconstruction-oriented tokenizer。作者论证这个继承在两个维度上都是错配的：
- 视觉侧：以像素重建为目标的 tokenizer 把 latent 容量花在背景纹理等低层外观上，而操作任务真正需要的 object identity、空间关系、交互线索在 latent 里表达不足。结果是 instruction-conditioned world modeling 缺乏语义 grounding——语言目标谈论的是"哪个物体、什么交互"，latent 空间的主轴却是外观变化。
- 动作侧：视觉 latent 和 motor command 分属两个不相交的空间，action expert（本质是 IDM）在每一步都要跨越 modality gap。
用论文自己的话说，现有 WAM 的表征是 "visually shallow and structurally decoupled from action"。
2.2 Motivation¶
驱动性的问题是引言里那句 "what kind of representation does a world action model actually need?"。背后的直觉可以看成把 REPA 式 representation alignment 从图像生成搬到机器人控制：既然把 diffusion 特征对齐到视觉基础模型能显著改善图像生成，那把 video tokenizer 的 latent 对齐到 Perception Encoder，是否能让 world model 更容易学 instruction-following dynamics、让 action expert 更容易 ground 到场景内容？
更进一步的一步棋是：如果 latent action 直接定义为这个语义空间里两个视觉状态之间的变换（而不是像 LAPA/Genie 那样从像素变化里抽离散 code），那么 visual token 和 action token 天然同构、共享几何，WAM 的 joint 建模就不再需要跨模态搭桥——这就是标题里 "representation visual-action tokenizer" 的含义：视觉和动作被同一个 tokenizer 家族编码进同一个语义空间。
另一个隐含但重要的 motivation 是算力经济学：Lingbot-VA、DreamZero 都依赖 WAN 这类视频生成大模型的预训练权重，而 RepWAM 想证明换一个语义化的 latent 空间后，完全 from scratch 训练就能逼近 WAN-pretrained pipeline——如果成立，机器人团队就不必绑定在视频生成社区的预训练产物上。
2.3 之前工作的问题¶
| 类别 | 代表工作 | 缺陷 |
|---|---|---|
| WAN-pretrained WAM | Lingbot-VA (RSS'26), DreamZero, Motus | 继承 reconstruction-oriented 视频 tokenizer，latent 容量偏向外观而非语义；依赖视频生成预训练权重（算力昂贵）；视频分支继承了对 CFG 的依赖，推理要多跑 unconditional 分支 |
| WAM 推理效率 | Fast-WAM | 证明部署时可跳过 future imagination 而不掉点，但只回答了"要不要想象"，没回答"训练时该用什么 representation" |
| Latent action models | Genie (ICML'24), LAPO (ICLR'24), LAPA (ICLR'25), Moto (ICCV'25) | latent action 直接从原始像素变化中提取，与 world model 使用的视觉 token 空间脱节；LAPA 的 action latent 响应弥散（本文 Fig. 3 可视化），冻结后训 IDM 解码真实动作的 loss 更高 |
| VLA | π0.5 (CoRL'25) | 无显式未来预测；本文真机 3 任务上均大幅落后（10-50% vs RepWAM-5B 的 60-80%），长程与精细任务上尤其弱 |
| 视觉 tokenizer | WAN2.2 VAE, OmniTokenizer, ViTok | 纯重建目标。本文消融的反直觉发现：ViTok（无对齐版）OLS 开环指标更高（16.29 vs 13.68）但真机成功率反而掉到 10%（vs WAN 的 20%），"重建好/开环准"都不等于"闭环能用" |
2.4 论文解决方案（一句话）¶
先训一个与冻结视觉基础模型（Perception Encoder）对齐的 ViT 视频 tokenizer（RepViTok），再冻结它、在其语义 latent 空间上用 IDM+FDM（transport 矩阵 + 残差分解）学出 4 维连续 latent action；然后 from scratch 用 flow matching 预训练一个双 expert 的 causal diffusion transformer，联合生成未来视觉 latent 和 latent action，最后在真机轨迹上把 action expert 适配成可执行的 motor command。
2.5 与前序工作的关系¶
这篇论文的"血缘关系"非常清晰，几乎是同一批人研究线的直接延续：
- Lingbot-VA (li2026causal, RSS'26)：Qihang Zhang、Yiming Luo、Shuai Yang 同时是 Lingbot-VA 和本文作者。RepWAM 的 causal WAM 骨架（causal diffusion、训练时 chunk size 从 [1,4] 采样、RoboTwin 50 任务及 horizon 分组协议）都明确 follow Lingbot-VA。变化量 = 把 WAN2.2 VAE + WAN 预训练权重，换成 RepViTok + from scratch + latent action 两阶段预训练。可以把 RepWAM 读作"Lingbot-VA 的 tokenizer 消融研究长成的一篇正文"。
- OmniTokenizer (NeurIPS'24)：一作 Junke Wang 正是 OmniTokenizer 的一作。RepViTok 的 ViT autoencoder 架构、patch/tubelet 切分和重建损失权重（\(\lambda_1{=}1, \lambda_{\mathrm{perc}}{=}1, \lambda_{\mathrm{gan}}{=}0.1\)）直接沿用 OmniTokenizer。
- Perception Encoder / PerceptionLM (Meta)：PE 作为视觉对齐 teacher（冻结），PLM 文本编码器作为指令编码（冻结）。
- LAPA / Genie / LAPO / Moto：latent action 思想来源；RepWAM 把 action 的定义从"像素变化的离散 code"改成"语义 latent 空间中的连续变换"，并用冻结-迁移实验正面对比了 LAPA。
- OmniGen-AR (wang2026omnigen)：block-causal mask 的序列组织方式来自一作自己的自回归生成工作。
- 数据侧全部复用公开资产：Panda-70M（tokenizer 训练）、AgiBot World（WAM 预训练）、AgiBot+RoboMIND+RoboCOIN+InternData-A1（embodiment adaptation）。
3. 方法介绍¶
3.1 形式化¶
符号约定（按论文定义）：
| 符号 | 含义 |
|---|---|
| \(o_{1:T}\), \(y\), \(a_{1:T-1}\) | 视觉观测序列、语言指令、机器人动作序列 |
| \(z \in \mathbb{R}^{T'L \times d_v}\) | 视觉 latent：\(T' = 1 + (T-1)/4\) 个 latent 帧 × 每帧 \(L\) 个空间 token，\(d_v = 96\) |
| \(\ell \in \mathbb{R}^{(T'-1) \times d_\ell}\) | latent action 序列，\(d_\ell = 4\) |
| \(K_t \in \mathbb{R}^{L \times L}\), \(\delta_t \in \mathbb{R}^{L \times d_v}\) | FDM 输出的 transport 矩阵与残差 |
| \(u_{t:t+k}\), \(s\), \(c\) | 视觉-动作 chunk、完整 token 序列、文本 condition token |
WAM 把操作分解为两阶段因果过程：
两个 expert 都运行在 video tokenizer 产出的 latent \(z_{1:T}\) 上而非像素上。论文的核心命题：这个分解的保真度被 \(z_t\) 和 \(a_{t-1}\) 所在的 latent 空间卡住了——\(z_t\) 偏外观、\(a_{t-1}\) 与 \(z_t\) 脱节。RepWAM 的解法分两块：RepViTok（§3.2/§3.3）重造 latent 空间，causal WAM（§3.4）在其上做联合生成。两步 tokenization 是顺序执行的：先学视觉 latent，再从视觉 latent（而非像素）诱导 latent action。
3.2 RepViTok：语义视觉 tokenizer¶
架构：ViT autoencoder（OmniTokenizer 风格）。首帧 \(o_1\) 切成 16×16 patch，后续帧 \(o_{2:T}\) 切成 4×16×16（时间×高×宽）tubelet，沿序列维拼接送入 encoder \(E_\theta\)——堆叠的 attention block，帧间 temporal-causal masking、帧内全空间 attention。encoder 输出经过一个 attention-based projection 层 + LayerNorm 得到视频 latent \(z\)。decoder \(D_\theta\) 对称，末端用转置卷积 unpatchify 回像素。时间下采样率 4×，即 \(T' = 1 + (T-1)/4\) 个 latent 帧。
损失分两部分。重建目标：
对齐目标——把 latent 拉向冻结的 Perception Encoder \(G\)：
其中 \(\mathrm{avg}\) 是沿时间的 average pooling（follow PE 的用法），\(W_{\mathrm{align}}\) 是匹配 teacher 维度的线性投影。总目标 \(\mathcal{L}_{\mathrm{vis}} = \mathcal{L}_{\mathrm{rec}} + \lambda_{\mathrm{align}}\mathcal{L}_{\mathrm{align}}\)，权重 \(\lambda_1{=}1\)、\(\lambda_{\mathrm{perc}}{=}1\)、\(\lambda_{\mathrm{gan}}{=}0.1\)、\(\lambda_{\mathrm{align}}{=}1\)。
这一步本质上是 tokenizer 版 REPA：让 latent 既能重建像素、又落在视觉基础模型的语义流形附近。§4.3(e) 的重建评测说明这个对齐几乎不牺牲重建质量（ImageNet PSNR 甚至更高）。
3.3 Latent Action Tokenizer (LAT)¶
先冻结视觉 tokenizer，再在其 latent 空间上训练 IDM \(q_\phi\) + FDM \(f_\psi\)（都是 4 层 MLP，hidden 256）。对相邻 latent 帧 \(z_t, z_{t+1} \in \mathbb{R}^{L \times d_v}\)：
三个关键设计：
- 极窄瓶颈防泄漏：\(\ell_t \in \mathbb{R}^{d_\ell}\)，\(d_\ell = 4 \ll d_v = 96\)。latent action 模型的经典失败模式是 IDM 把 \(z_{t+1}\) 的内容直接"走私"进 action code（content leakage，导致 FDM 退化成复读机）。压到 4 维从容量上堵死了这条路。
- Transport + 残差分解：FDM 不直接回归 \(\hat{z}_{t+1}\)，而是输出 \(L \times L\) 的软 transport 矩阵 \(K_t\)（沿空间 token 维左乘，受 RAFT optical flow 启发，在语义 token 空间里"搬运"内容）加残差 \(\delta_t\)（吸收 transport 解释不了的变化，如新出现的内容）。这给 latent action 注入了"运动 = 语义内容的重排"的归纳偏置。
- 双向一致性：损失 = forward next-latent 预测 + 把 \((z_{t+1}, z_t)\) 反序喂入 LAT 得到的 backward consistency：
由于变换定义在视觉状态上而非某个机器人的 motor 坐标系上，论文主张 \(\ell_t\) 是 embodiment-agnostic 的 task-level transition，天然可跨本体迁移（这个宣称的实验覆盖情况见 §5.2 第 7 条）。
3.4 Causal World Action Model¶
序列组织：把视觉 latent 和 latent action 按时间窗打包成 chunk：
前缀是文本 condition token \(c\)（冻结 PLM 编码、cross-attention 注入）和初始视觉上下文 \(z_1\)。block-causal mask（follow OmniGen-AR）：每个 chunk 能 attend 到全部前缀 \(s_{<t}\)，但看不到未来 chunk。块内视觉 token 与 action token 共享 attention 权重、但各用一套 modality-specific FFN——这就是"双 expert"的具体形态：不是两个独立网络，而是同一 transformer 里按模态分叉的 FFN。
Flow-matching 目标：teacher forcing 下，对每个目标 chunk 采样噪声 \(\epsilon_{t:t+k} \sim \mathcal{N}(0,I)\) 和时间 \(\alpha \sim \mathcal{U}(0,1)\)，构造线性插值：
网络 \(F_\theta(x_\alpha, \alpha, s_{<t})\) 回归速度场，视觉分量 \(v\) 与动作分量 \(a\) 的损失加权求和：
uniform SNR sampler 同时作用于两个 expert。
3.5 三阶段训练流程¶
| 阶段 | 数据 | 规模 | 监督信号 |
|---|---|---|---|
| 1a. RepViTok 视觉 tokenizer | Panda-70M（互联网视频，无动作标签） | — | 重建 + PE 对齐 |
| 1b. LAT（冻结视觉 tokenizer） | 同上 | — | \(\mathcal{L}_{\mathrm{fwd}} + \mathcal{L}_{\mathrm{cons}}\) |
| 2. WAM 预训练 | AgiBot | 约 100G video-action latent tokens | flow matching 联合生成视觉 latent + LAT 产出的 latent action（此阶段不需要真机动作标签进入 action 流） |
| 3. Embodiment adaptation | AgiBot + RoboMIND + RoboCOIN + InternData-A1 混合 | 约 300G tokens | 连续 motor command（EE 运动 + 夹爪控制）与视觉轨迹对齐 |
这个流程的叙事价值：阶段 2 的 action 流监督完全来自 LAT 的伪标签，理论上可以扩展到任何无动作标签的视频——不过本文实际只在机器人域数据（AgiBot）上做了预训练，互联网视频只用于训 tokenizer（见 §5.2 第 7 条）。
3.6 Implementation Details¶
模型与训练超参数一览：
| 组件 / 配置 | 取值 |
|---|---|
| 视觉 tokenizer | encoder/decoder 各 12 层 ViT、hidden 768；\(d_v = 96\)，时间下采样 4× |
| LAT (IDM \(q_\phi\) + FDM \(f_\psi\)) | 各 4 层 MLP、hidden 256；\(d_\ell = 4\) |
| WAM-1.3B | world model expert 30 层、\(h_v = 1536\)；action expert 同深度、\(h_a = 768\)（约 +350M 参数） |
| WAM-5B | 30 层、\(h_v = 3072\)；action expert 同上 |
| Expert 耦合方式 | attention 权重共享，FFN 按模态独立 |
| 文本编码 | 冻结 PLM (PerceptionLM) text encoder，cross-attention 注入 |
| 优化器 | Muon，peak LR 1e-2，weight decay 0.01，cosine annealing + linear warmup |
| 数值/稳定性 | bfloat16 混合精度，梯度裁剪 2.0，uniform SNR sampler，\(\lambda_a = 1\) |
| Chunk size | 训练时从 [1,4] 随机采样（follow Lingbot-VA），推理固定为 2 |
| 序列打包 / 算力 | 1.3B：200K token 序列、64 张 H20；5B：160K token、128 张 H20；消融：1.3B、40K steps、32 张 H20 |
| 真机微调 | 每任务 50 条演示、500 步、LR 1e-5、序列长度 150K |
两个补充观察：
- 两个尺度均 from scratch，不加载任何视频生成预训练权重——这是与 Lingbot-VA/DreamZero 最大的训练成本差异点，也是 §4.2 差距归因的核心变量。
- 值得注意的缺失：论文没有报告任何推理延迟、denoising 步数或控制频率。唯一与部署成本相关的定量线索是 §4.3(d)：CFG=1.0 最优 → 可以只跑 conditional 视频分支，省一半视频侧算力和激活显存。
4. 结果对比¶
4.1 真机实验（Franka 双臂，每任务 10 次 rollout）¶
三个任务的难度设计有梯度：
| 任务 | 考察点 |
|---|---|
| Pick the fruits and put them into the plate | 杂乱场景中的目标定位、变姿态/变实例的 top-down 抓取、指定容器内精确放置（短程） |
| Push the drawer and put the building block into it | 长程多步：正确的拉手运动学 → 取小积木 → 无碰撞放入抽屉 |
| Insert the test tube into the test tube rack | 精细空间对齐：管尖相对插孔的定位 + 紧公差下的柔顺接触 |
成功率（数字取自论文 Figure 2 柱状图，正文给出差值验证）：
| 方法 | PickFruit | PushDrawer | InsertTube |
|---|---|---|---|
| π0.5 | 10% | 50% | 10% |
| Lingbot-VA | 50% | 70% | 40% |
| RepWAM-1.3B | 60% | 50% | 30% |
| RepWAM-5B | 60% | 80% | 60% |
逐任务解读：
- PickFruit（短程）：两个尺度打平在 60%，作者归因为瓶颈在感知与抓取而非模型容量；对 π0.5 +50 pt、对 Lingbot-VA +10 pt。
- PushDrawer（长程）：5B 达 80%（全场最佳，+30 over π0.5、+10 over Lingbot-VA），1.3B 只有 50%——多步铰接操作对容量的需求最明显。
- InsertTube（精细）：最难任务，5B 60%（+50 over π0.5、+20 over Lingbot-VA），1.3B 30%。
整体上 RepWAM-5B 三个任务全部最佳或并列最佳，且增益集中在"world model expert 需要长程滚动出连贯视觉动态"的场景。但注意 1.3B 其实在 PushDrawer 和 InsertTube 上都输给 Lingbot-VA（50 vs 70、30 vs 40）——"竞争力"主要由 5B 撑起，尺度是这套 from-scratch 方案的必要条件。
Figure 2：三个真机任务的成功 rollout（左/中/右分别为 PickFruit、PushDrawer、InsertTube，每列含双腕相机+头部相机视角）。看点是双臂协同和抽屉、试管架这类接触密集场景的执行连贯性——但注意论文只展示成功案例，全文没有失败模式分析。
4.2 RoboTwin 2.0（50 任务，官方域随机化，Easy/Hard）¶
RoboTwin 2.0 是大规模双臂仿真 benchmark，对场景组成、光照、相机视角、物体物理做强域随机化（Easy/Hard 对应官方两档随机化强度），评测遵循官方设置报成功率。任务按 horizon（子步骤数）分组，划分 follow Lingbot-VA。
| 方法 | Backbone 预训练 | Easy（50 任务均值） | Hard（50 任务均值） |
|---|---|---|---|
| π0.5 | 是 | 82.7 | 76.8 |
| Motus | 是 | 88.7 | 87.0 |
| Lingbot-VA | 是 | 92.9 | 91.6 |
| RepWAM-1.3B | 否 (from scratch) | 86.6 | 83.1 |
| RepWAM-5B | 否 (from scratch) | 89.3 | 88.4 |
按 horizon 分组：
| 方法 | hor=2 Easy/Hard | hor=3 Easy/Hard |
|---|---|---|
| π0.5 | 79.3 / 73.0 | 78.6 / 67.4 |
| Motus | 85.2 / 80.9 | 85.0 / 84.2 |
| Lingbot-VA | 85.3 / 86.9 | 89.6 / 90.6 |
| RepWAM-1.3B | 85.7 / 84.0 | 92.0 / 85.4 |
| RepWAM-5B | 87.4 / 87.6 | 88.0 / 90.4 |
要点：
- RepWAM-5B 超过 π0.5（+6.6/+11.6）和 Motus（+0.6/+1.4），但没有超过 Lingbot-VA（-3.6 Easy / -3.2 Hard）。作者的解释：Lingbot-VA 吃了 WAN 视频生成预训练的红利，RepWAM 完全 from scratch；并用 §4.3(b) 的 VAE 互换实验间接支撑。
- 一个 LaTeX 源码里的细节：正式表格中 hor=1 那一行被注释掉了。注释掉的数据显示 hor=1 上 π0.5 85.1/80.2、Motus 91.0/90.6、Lingbot-VA 94.2/93.6、RepWAM-1.3B 86.2/83.1、RepWAM-5B 90.4/88.5——即 hor=1 是 RepWAM 相对 Lingbot-VA 差距最大的分组（-3.8/-5.1），最终呈现只保留了对己方相对有利的 hor=2/3 分解和总平均。
4.3 关键消融（1.3B WAM，40K steps，32 张 H20，AgiBot seen/unseen 划分）¶
指标：视觉生成质量 gFVD（越低越好）/ PSNR / SSIM，开环动作精度 OLS（open loop score，阈值 0.03，出自 RoboInter），闭环 = 真机 PickFruit 成功率（10 rollouts）。
(a) 视觉 tokenizer 对 WAM 的影响
| Tokenizer | Seen gFVD/PSNR/SSIM/OLS | Unseen gFVD/PSNR/SSIM/OLS | PickFruit |
|---|---|---|---|
| WAN2.2 VAE | 67.42 / 17.34 / 0.67 / 13.68 | 83.98 / 16.86 / 0.64 / 11.21 | 20% |
| ViTok（无对齐） | 69.23 / 17.21 / 0.68 / 16.29 | 80.14 / 17.19 / 0.67 / 13.81 | 10% |
| RepViTok | 61.01 / 18.47 / 0.70 / 18.82 | 72.91 / 17.72 / 0.67 / 14.15 | 30% |
RepViTok 相对 WAN2.2 VAE：gFVD 降 9.5%（seen）/ 13.2%（unseen），OLS 13.68→18.82 / 11.21→14.15，真机 20%→30%。反常点：ViTok 的 OLS 比 WAN 高但真机反而 10%——作者自己承认开环动作精度不足以预测闭环表现（这一承认对论文其他依赖 OLS 的结论构成反噬，见 §5.2 第 9 条）。
(b) VAE 互换实验（RoboTwin，1.3B，检验"差距来自预训练"假说）
| Tokenizer | hor=1 Easy/Hard | hor=2 Easy/Hard | hor=3 Easy/Hard | 50 任务均值 Easy/Hard |
|---|---|---|---|---|
| WAN2.2 VAE | 81.1 / 78.4 | 75.5 / 73.9 | 67.2 / 68.0 | 78.0 / 76.0 |
| RepViTok | 86.2 / 83.1 | 85.7 / 84.0 | 92.0 / 85.4 | 86.6 / 83.1 |
同一个 from-scratch 1.3B WAM，仅换 tokenizer 就 +8.6 Easy / +7.1 Hard；horizon 越长收益越大（hor=3 Easy 暴涨 +24.8 pt）——语义 latent 对长程任务的滚动预测帮助最大，这是全文最有说服力的一张表。
(c) Latent action 的引入方式
| 方案 | Seen gFVD/PSNR/SSIM/OLS | Unseen gFVD/PSNR/SSIM/OLS | PickFruit |
|---|---|---|---|
| w/o（RepViTok 但直接用机器人动作训练） | 61.01 / 18.47 / 0.70 / 18.82 | 72.91 / 17.72 / 0.67 / 14.15 | 30% |
| Joint Pred（额外预测头同时出视频+动作 latent） | 94.25 / 15.24 / 0.61 / 18.52 | 98.77 / 15.09 / 0.55 / 15.22 | 20% |
| Two Stages（先 latent action 预训练再适配，本文） | 48.23 / 22.86 / 0.75 / 19.87 | 58.83 / 19.93 / 0.74 / 16.98 | 50% |
Joint Pred 严重破坏视觉动态（gFVD 61→94，SSIM 0.70→0.61），说明简单加个动作头会把状态预测和动作监督搅在一起；Two Stages 全指标最优（gFVD 48.23/58.83，PSNR 22.86/19.93），真机从 30% 提到 50%。latent action 两阶段预训练是本文最大的单项收益来源。
Figure 3：左——LAPA 的 action latent 可视化呈弥散噪声状，RepWAM 的 latent 明显聚焦在被操作物体和接触区域（红色高响应块）；右——冻结各自的 action latent、训练同一 IDM 解码真实机器人动作，RepWAM 收敛到约 0.095 的 action loss，低于 LAPA 的约 0.13。"latent action 质量"这个通常只能讲故事的东西被做成了可测量的对比。
(d) Video CFG 消融（RoboTwin 成功率 vs CFG scale，数字取自曲线图）
| CFG scale | RepWAM Easy/Hard/Avg | Lingbot-VA Easy/Hard/Avg |
|---|---|---|
| 1.0 | 89.3 / 88.4 / 88.9 | 91.4 / 90.2 / 90.8 |
| 1.25 | 90.6 / 85.5 / 88.0 | 92.0 / 90.2 / 91.1 |
| 2.0 | 88.4 / 87.8 / 88.1 | 91.7 / 90.6 / 91.2 |
RepWAM 平均在 CFG=1.0 最优 → 部署时可跳过 unconditional 视频分支，省延迟省显存。但注意两点（详见 Figure 4 caption 和 §5.2）：Lingbot-VA 的曲线本来也几乎是平的；且 Hard 上 RepWAM 在 CFG=1.25 反而跌到 85.5，稳定性存疑。
Figure 4：video CFG 扫描。RepWAM（蓝）在 CFG=1.0 平均最优、无需 CFG 外推；但红线 Lingbot-VA 从 1.0 到 2.0 也只波动 0.4 pt（90.8→91.2），"RepViTok 消除了继承自视频生成的 CFG 依赖"这个对比论证其实不强——对手本来也不怎么依赖 CFG，而且全程压着 RepWAM。另注意此图中 Lingbot-VA 最高 92.0/90.6，与 Table 1 引用的 92.9/91.6 对不上，疑似不同评测轮次。
(e) 重建质量不掉点（tokenizer 本身的重建评测）
| Tokenizer | ImageNet256 rFID/PSNR/SSIM | ImageNet512 rFID/PSNR/SSIM | UCF101 256×17 rFVD/PSNR | UCF101 512×17 rFVD/PSNR |
|---|---|---|---|---|
| WAN2.2 VAE | 0.50 / 28.16 / 0.87 | 0.20 / 30.48 / 0.90 | 4.28 / 36.61 | 0.68 / 41.45 |
| ViTok | 0.96 / 28.65 / 0.89 | 0.24 / 30.77 / 0.92 | 1.23 / 35.52 | 0.16 / 40.68 |
| RepViTok | 0.80 / 28.90 / 0.89 | 0.23 / 31.00 / 0.92 | 1.09 / 36.03 | 0.16 / 41.12 |
语义对齐几乎没有牺牲重建能力：PSNR/SSIM 持平或更好，UCF101 rFVD 大幅好于 WAN（1.09 vs 4.28 @256），仅 ImageNet rFID 稍差（0.80 vs 0.50）。
5. 引申问题 / 讨论¶
5.1 做得好的地方¶
- 把 REPA 式对齐从"生成质量技巧"升级成"控制性能主张"，并给出全栈证据链。Table (a) 从 gFVD（视觉动态）→ OLS（开环动作）→ 真机闭环成功率三个层级验证同一次 tokenizer 换血，(b) 再在 RoboTwin 上做 VAE 互换（78.0→86.6 Easy，hor=3 +24.8）。多数 tokenizer 论文停在 rFVD 就宣布胜利，这里一路打穿到闭环，是方法论上最扎实的部分。
- LAT 的 transport+残差分解是一个便宜但聪明的归纳偏置。\(\hat{z}_{t+1} = K_t z_t + \delta_t\) 把"运动 = 语义 token 的重排"显式建模（optical flow 的 token 空间类比）；\(d_\ell = 4 \ll d_v = 96\) 的瓶颈从容量上根绝 content leakage；backward consistency 保证变换双向可解释。Figure 3 的两个证据（响应聚焦于接触区域 vs LAPA 的弥散噪声；冻结 latent 训 IDM 的 transfer loss 0.095 vs 0.13）把"latent action 质量"做成了可测量的量。
- Two-Stage vs Joint Pred 的消融直接击中一个流行设计的痛点。很多 unified 模型习惯加个预测头联合出动作，Table (c) 显示这样做 gFVD 从 61 恶化到 94、真机掉到 20%；先 latent action 预训练再适配则全指标最优（真机 50%）。这个负结果对社区有独立价值：动作监督直接搅进视频生成流会腐蚀视觉动态。
- From scratch 训到 5B 还能逼近 WAN-pretrained 系统，工程配方本身有信息量：Muon + peak LR 1e-2 + 200K token 序列 packing + chunk size [1,4] 随机采样 + 双 expert 共享 attention/分叉 FFN，64-128 张 H20。对没有视频生成预训练家底的团队，这条路线证明了可行性，也把"预训练权重值多少点"变成一个可以讨论的量（RoboTwin 上约 3-4 pt）。
- CFG=1.0 即最优是语义空间带来的真实部署红利：无需 unconditional 分支意味着视频侧前向计算直接减半。虽然论文没给绝对延迟（见 5.2 第 4 条），这仍是少数能落到部署账本上的收益。
- Tokenizer 的主张在机器人域之外也做了体检。Table (e) 在 ImageNet 256/512 和 UCF101 上验证语义对齐不牺牲重建（ImageNet PSNR 28.90 vs WAN 的 28.16，UCF101 rFVD 1.09 vs 4.28），消融同时覆盖 AgiBot seen 与 unseen 划分。相比只在自家评测里自证的常见做法，这套"通用重建 + 域内生成 + 闭环执行"的三面验证让 RepViTok 作为独立组件的可信度高不少——它可以被别的 WAM 直接拿去用。
5.2 做得不够好的地方 / 值得质疑的地方¶
- 头号问题：主 benchmark 上没打赢最强 baseline，归因却停留在假说层面。RoboTwin 上 RepWAM-5B 89.3/88.4 vs Lingbot-VA 92.9/91.6。作者归因于"我们 from scratch、对方有 WAN 预训练"，但支撑证据只有 1.3B 的 VAE 互换实验——它证明的是 RepViTok > WAN2.2 VAE（同为 from scratch），并不能证明 RepViTok from scratch ≥ WAN VAE + WAN 预训练权重。缺一个决定性实验：给 RepWAM 配上视频生成预训练，或把 RepViTok 对齐蒸馏进 Lingbot-VA 的 pipeline。现在的逻辑是"我们输了，但如果对手没有预训练我们就赢了"——这恰好是论文没有验证的反事实。
- hor=1 行被注释掉，表格呈现有选择性。LaTeX 源码里 RoboTwin 表格保留着被注释的 hor=1 数据（Lingbot-VA 94.2/93.6 vs RepWAM-5B 90.4/88.5，全部分组中差距最大：-3.8/-5.1），正式表只展示 hor=2/3（己方相对好看的分组）+ 总平均。总平均仍在、不算造假，但删掉最不利的分解行属于 presentation cherry-picking——审稿人看不到源码，读者看得到。
- 真机评测统计功效太低，叙事却很满：3 任务 × 10 rollouts，10% 差距 = 1 次成功与否；RepWAM-1.3B 在 PushDrawer/InsertTube 都输给 Lingbot-VA（50 vs 70、30 vs 40），正文总体叙述却是"competitive closed-loop behavior"。π0.5 在 PickFruit 只有 10% 也可疑——π0.5 以 open-world 泛化著称，而微调协议（50 demos、500 步、LR 1e-5、150K 序列长度）显然是为本文模型设计的，论文没说明是否为 baseline 单独调参。
- 零延迟数据，部署可行性成谜。WAM 推理要先 denoise 未来视觉 latent 再出动作（imagine-then-execute），5B 模型 + chunk size 2 的控制频率是多少？一次推理多少毫秒、多少 denoising 步？论文引用了专门质疑这一点的 Fast-WAM，却不报任何 wall-clock 数字，也没做 skip-imagination 变体。"CFG=1.0 省一半视频算力"的卖点反而暴露了作者清楚推理成本是痛点。
- 对齐目标里的 temporal average pooling 把时序语义抹掉了。\(\mathcal{L}_{\mathrm{align}}\) 对齐的是 \(\mathrm{avg}(G(o))\)——PE 是图像级模型，特征沿时间平均后，对齐信号里只剩静态外观语义，运动/交互的时序语义完全靠 LAT 事后弥补。没有对齐粒度消融（逐帧对齐？video-native teacher 如 V-JEPA？），而这恰是"semantic tokenizer for dynamics"这一核心主张下最该消融的设计。
- \(d_\ell = 4\) 的容量上限没有被检验。一个 latent action 要概括双臂系统（≥14 DoF）在 4 个真实帧跨度上的联合运动，4 维显然有损。防 leakage 和保容量是一对矛盾，论文只取了防 leakage 一端、没有扫 \(d_\ell\)；InsertTube 只有 60%、Hard 设置下 CFG=1.25 掉到 85.5 的不稳定，都可能与这个瓶颈有关。
- latent action 的两大卖点（跨本体、吃无标签视频）都没被行使。方法部分强调 \(\ell_t\) 是 embodiment-agnostic 的 task-level transition，但全文没有任何 cross-embodiment 迁移实验（训练与评测都在双臂平台域内）；latent action 让"无动作标签的互联网视频可用于 WAM 预训练"，但预训练只用了 AgiBot 机器人数据，Panda-70M 只训 tokenizer。作者在结论里把后者留作 future work——即宣传的核心红利在本文中是期票。
- 消融存在算力/训练预算不对等的嫌疑。Two Stages 比 w/o 多了一整个 latent-action 预训练阶段；Joint Pred 与 Two Stages 的 40K steps 是各阶段 40K 还是总计 40K 论文没写清。gFVD 61→48 的巨大改善里有多少来自额外训练预算，无法排除。
- OLS 指标在论文内部自相矛盾。作者用 ViTok 的例子亲口说明"OLS 高不代表闭环好"（OLS 16.29 / 真机 10%），却在 Table (a)(c) 里继续把 OLS 当主要证据。既然真机每格只有 10 次 rollout，整个消融的闭环结论实际建立在 1-3 次成功差异 + 一个被自己证伪的代理指标上。
- Tokenizer 之间的压缩率/token 预算没有对齐说明。WAN2.2 VAE（卷积 VAE）与 RepViTok（16×16 patch、\(d_v{=}96\)、时间 4×）给下游 WAM 的 token 数和信息预算未必相同，Table (a)(b) 的对比可能混入序列长度/容量差异；同理 Figure 4 中 Lingbot-VA 的数字（92.0/90.6）与 Table 1（92.9/91.6）对不上，评测轮次/协议差异未说明。
5.3 值得继续探讨的方向¶
- 把归因假说补完：用 RepViTok latent 适配一个 WAN 初始化的 WAM（或把 PE 对齐蒸馏进 WAN2.2 VAE 再接 Lingbot-VA），直接测"预训练权重 vs 语义空间"各值多少点。这是当前叙事里最大的洞，也是最便宜的补法之一。
- 行使 latent action 的真正卖点：用 LAT 给 Panda-70M / Ego4D 这类无动作视频打伪 action 标签、纳入 WAM 预训练（作者自己的 future work），看数据 scaling 曲线是否比纯机器人数据更陡；这才是 latent action 路线相对直接动作监督的决定性优势所在。
- Video-native 对齐 teacher：把 \(\mathrm{avg}(G(o))\) 换成 V-JEPA 2 / VideoMAE 的时序特征做逐帧或逐 clip 对齐，消融"静态语义 vs 动态语义"各自对 gFVD 与闭环的贡献。
- 扫 \(d_\ell\) 与结构化 latent action：4/8/16 维对比，或按双臂分解为 per-arm token；用 Figure 3 的冻结-IDM-transfer 协议把 leakage-容量 tradeoff 做成曲线。
- 推理成本画像 + Fast-WAM 式变体：报告 denoising 步数、chunk=2 下的控制频率与端到端延迟；测部署时跳过视觉生成分支、只跑 action expert 的性能保持率——RepViTok 的语义空间也许恰好让"不想象"更可行（训练时的视频监督已把语义写进共享 attention）。
- Cross-embodiment 零样本验证：冻结 LAT 与 WAM，只在新本体（单臂、人形手）上适配 action decoder，检验 "embodiment-agnostic transition" 的宣称；失败的话，分析 \(\ell\) 里到底编码了多少本体特定信息。
- 连续 vs 离散 latent action 的正面对比：同一 RepViTok 空间上跑 VQ 版（Genie/LAPA 式 codebook）对比连续 4 维向量，厘清 Figure 3 的优势来自"语义空间"还是"连续表示"。
- \(K_t\) transport 矩阵的可解释性利用：\(K_t\) 本质是语义 token 间的 soft correspondence，可用于失败检测（预测 transport 与实际观测不符即报警）、affordance 可视化，甚至作为 MPC-style replanning 的置信信号。
参考资源¶
- 论文 PDF: paper.pdf
- LaTeX 源码: source/
- 项目页: https://wdrink.github.io/RepWAM，代码: https://github.com/wdrink/RepWAM
- 关键 baseline / 相关论文:
- Lingbot-VA — Causal World Modeling for Robot Control (RSS 2026)：本文的直接前序与最强对手，作者团队重叠；§5.2 第 1/2 条围绕它展开
- Motus — A Unified Latent Action World Model (arXiv 2512.13030)：MoT 架构的 unified latent action WAM
- π0.5 — a VLA with open-world generalization (CoRL 2025)：VLA baseline
- Fast-WAM — Do World Action Models Need Test-time Future Imagination? (arXiv 2603.16666)：与 §5.2 第 4 条的延迟质疑直接相关
- LAPA — Latent Action Pretraining from Videos (ICLR 2025)：latent action 对比对象（Figure 3）
- Genie (ICML 2024) / LAPO (ICLR 2024) / Moto (ICCV 2025)：latent action 思想源头
- OmniTokenizer (NeurIPS 2024)：视觉 tokenizer 架构来源（同一作）
- Perception Encoder / PerceptionLM (Meta, NeurIPS 2026)：对齐 teacher 与文本编码器
- RoboTwin 2.0 (arXiv 2506.18088)：主仿真 benchmark
- DreamZero — World Action Models are Zero-shot Policies (arXiv 2602.15922)：零样本 WAM 路线