跳转至

LingBot-VA: Causal World Modeling for Robot Control

论文阅读笔记 — 用于后续讨论的概览

1. 基础信息

  • 题目: Causal World Modeling for Robot Control
  • 作者: Lin Li*, Qihang Zhang*†, Yiming Luo*, Shuai Yang, Ruilin Wang, Fei Han, Mingrui Yu, Zelin Gao, Nan Xue, Xing Zhu, Yujun Shen, Yinghao Xu‡ — RobbyAnt / 蚂蚁集团（*共同一作，†项目负责人，‡通讯作者）
  • arXiv 编号: 2601.21998（submitted 2026-01，RSS 2026）
  • 项目主页: https://technology.robbyant.com/lingbot-va
  • 代码 / 权重: https://github.com/robbyant/lingbot-va / https://huggingface.co/robbyant/lingbot-va
  • 关键词: autoregressive diffusion, video-action world model, Mixture-of-Transformers (MoT), flow matching, teacher forcing, inverse dynamics, KV cache, asynchronous inference, bimanual manipulation

LingBot-VA teaser Figure 1：一图给出全部卖点——预训练（机器人数据 + 继承 Wan 的视频先验）、真机/仿真全面超过 π0.5、附带 video prediction 与 inverse dynamics 双能力，以及两个 emergent properties（长程时间记忆、few-shot 适应）。这是 RobbyAnt "LingBot-VA 研究线" 的起点论文，后续 RepWAM、Next Forcing、LingBot-VA 2.0 全部以它为基座或主要 baseline。

2. 文章介绍

2.1 解决的领域和问题

属于机器人操作策略学习中"用视频世界模型替代反应式 VLA"这个子方向。主流 VLA（π0、π0.5、GR00T-N1 等）学的是 \(a_t \sim \pi_\theta(\cdot \mid o_t)\) 的前馈映射，一张网络同时要学视觉理解、物理动力学、运动控制，论文称之为 representation entanglement：异构知识（高维视觉语义 vs 低维电机指令）被压进同一表示空间，导致样本效率低、泛化受限，且模型倾向 pattern matching 而非真正理解动力学。

本文提出的替代范式：先"想象"未来（视觉动力学预测），再从想象的未来倒推动作（inverse dynamics）——并且把这两件事放进同一个因果自回归序列里联合建模，边执行边用真实观测刷新上下文，形成闭环。

2.2 Motivation

摘要第一句话就是命题：video world modeling 与 vision-language 预训练并列，是机器人学习的一条独立的新基座路线。物理世界本质上是因果且自回归的——现在只依赖过去，未来在发生之前不可观测。而已有把世界模型引入机器人的尝试恰恰违背了这一点，作者归纳为三宗罪：

  1. Reactivity gap：open-loop / chunk 式生成一次滚出长序列，执行期间无法吸收实时反馈、无法纠错；
  2. Limited long-term memory：chunk 之间独立生成、历史不持久缓存，长 horizon 下漂移和不一致；
  3. Causality violation：chunk 内部的双向 attention 让"未来影响过去"，与物理因果结构不符，也使实时观测无法无缝插入。

自回归 + causal attention + KV cache 恰好同时解决三者，论文将其提炼为 AR 世界建模对 chunk 式 diffusion 的三个关键优势：

  1. Persistent memory：causal attention + KV cache 显式 condition 在完整观测历史上，避免 chunk 式方法的 "amnesia"；
  2. Causal consistency：单向依赖结构与闭环执行天然对齐，新观测随到随插；
  3. Efficiency：chunk 内并行生成 + chunk 间自回归，兼顾生成效率与闭环纠错频率。

另一个隐含动机是训练/部署一致性：机器人执行时真实观测会不断替换生成帧进入上下文，这让语言模型式的 teacher forcing（纯生成任务里因 train-test mismatch 而臭名昭著）在机器人场景反而是"对的训练方式"——这是本文方法论上最特别的一步棋，也是后来 Next Forcing 重新审视的对象。

2.3 之前工作的问题

类别 代表工作 缺陷
反应式 VLA π0、π0.5、GR00T-N1、X-VLA observation→action 前馈映射，表示纠缠；VLM 的静态图文预训练缺少时序/动力学先验，非 Markov 场景（需要记忆）无能为力
记忆增强 VLA MemER、CronusVLA 外挂 memory module 补历史，但仍是反应式映射，无法推理物理交互的因果/时序结构
交互式神经模拟器 UniSim 面向仿真/游戏域，难以直接迁移到精细操作的闭环控制
chunk 式视频-动作 diffusion UVA、UWM chunk 内双向 attention 违背因果；chunk 间无持久记忆，长程漂移
离线视频生成做子目标 UniPi、Gen2Act、Act2Goal、Dreamitate open-loop：生成视频与真实动力学错位 + 执行误差累积；视频生成延迟高，难以实时
解耦式"先预测视频、再解动作" Vidar、VPP、Moto 视频预测与动作推断两阶段分离，二者不能互相条件、联合优化
游戏/开放域交互世界模型 Genie、Genie 2、Sora action-conditioned 交互或开放式生成，精度与控制接口都不面向机器人操作

2.4 论文解决方案（一句话）

把 Wan2.2-5B 改装成自回归 diffusion 世界模型：视频 latent 与动作 token 按时间交错成单一因果序列，由双流 Mixture-of-Transformers 联合去噪（视频流做 flow-matching 动力学预测、动作流做 inverse dynamics 解码），以 teacher forcing + noisy history augmentation 训练，部署时靠 KV cache、半程去噪（partial denoising）和 FDM-grounded 异步流水线实现闭环实时控制。

2.5 与前序工作的关系

继承的现成组件：视频流从 Wan2.2-5B 初始化（\(d_v=3072\)，30 层），tokenizer 用 Wan2.2 causal VAE（4×16×16 压缩），指令用冻结 T5 经 cross-attention 注入；MoT 架构引自 MoT/BAGEL/Motus 一系；"预测未来帧 + IDM 解动作"的分解承接 UniPi/Vidar/Seer；训练数据是 6 个公开源（AgiBot、RoboMind、InternData-A1、OXE 的 OpenVLA 子集、UMI 系、RoboCOIN）+ 内部采集，共约 16K 小时。注意：它自己的预训练语料全是机器人/UMI 操作数据，"in-the-wild 视频先验"完全来自 Wan 的初始化权重，而非本文亲自共训——这一点埋下了 2.0 的伏笔（见 §5.2）。

更重要的是它作为祖先的地位——本仓库已有三篇后继论文的笔记，v1 是它们共同的原点：

  • RepWAM（arXiv 2606.13674）：完整保留 v1 的 causal WAM 骨架——causal diffusion、imagine-then-execute 分解、训练时 chunk size 从 [1,4] 随机采样（明确 "follow Lingbot-VA"）、RoboTwin 50 任务 + horizon 分组协议；但把 v1 的 Wan2.2 重建式 VAE + Wan 预训练权重，换成对齐视觉基础模型的语义 tokenizer（RepViTok）+ 4 维 latent action + 完全 from scratch。结论耐人寻味：RoboTwin 上 RepWAM-5B 89.3/88.4 仍输给 v1 的 92.9/91.6——Wan 视频预训练权重约值 3–4 个点。
  • Next Forcing（arXiv 2606.11187）：同组续作（Qihang Zhang、Xing Zhu、Yujun Shen、Yinghao Xu 四人重叠），以 v1 为唯一同协议主 baseline，架构、teacher forcing、KV cache 全部原样保留，只诊断并修复其训练目标：teacher-forced next-chunk denoising 是 myopic supervision，诱导 appearance shortcut（抄上一个干净 chunk 的外观而非建模动力学），在 50 fps 高帧率下收敛显著变慢、终点更低；解法是 multi-chunk prediction（MCP）辅助模块。
  • LingBot-VA 2.0（arXiv 2607.08639）：直接后继。保留 v1 的 causal world modeling 命题与 MoT 双专家架构、异步推理思想（Foresight Reasoning 即 v1 FDM grounding 的升级版），但否定其"双向 backbone → 因果模型的 retrofit"路线——retrofit 只靠稀缺机器人数据完成，可能灾难性遗忘 web 先验——改为原生因果 from scratch 预训练（tokenizer 来自 RepWAM、multi-chunk 来自 Next Forcing）；并把 v1 的单一 action MLP encoder + linear head 泛化为 per-embodiment 的 \(E_d/P_d\) 以吞人类视频。RoboTwin 上 2.0 对 v1 只 +1.4 pp（92.2→93.6），但内部真机四任务平均 59.0→72.5、74.0→87.8。

读这篇 v1，本质上是在读一条工业研究线的"公共祖先"：它定下的 causal AR + MoT + teacher forcing + 变长 chunk + 异步部署骨架被三篇后继全部继承，而它的三个具体选型（重建 VAE、next-chunk 监督、双向改装）恰好被三篇后继各拆掉一个：

后继论文 从 v1 继承 对 v1 的批判 替换方案
RepWAM (2606.13674) causal WAM 骨架、imagine-then-execute 分解、chunk \(K\in[1,4]\) 随机采样、RoboTwin 协议 Wan2.2 重建式 VAE 的 latent 偏外观非语义；绑定视频生成预训练权重；继承 CFG 依赖 对齐 Perception Encoder 的语义 tokenizer + 4 维 latent action，from scratch（RoboTwin 上仍输 v1 约 3–4 pt）
Next Forcing (2606.11187) 全套框架：MoT、teacher forcing、IDM 解码、KV cache 闭环（同组续作，v1 为唯一同协议 baseline） teacher-forced next-chunk denoising = myopic supervision → appearance shortcut，50 fps 下收敛慢、终点低 主干旁挂 next¹/²/³ chunk 的 MCP 辅助去噪模块（causal chain），推理可零开销丢弃
LingBot-VA 2.0 (2607.08639) causal world modeling 命题、MoT 双专家、FDM-grounded 异步思想、机器人数据配方 双向 backbone → 因果模型的 retrofit 依赖稀缺机器人数据、侵蚀 web 先验 原生因果 from scratch 预训练（整合 RepWAM tokenizer + Next Forcing MCP + MoE），action 接口泛化为 per-embodiment \(E_d/P_d\)

3. 方法介绍

3.1 形式化：两阶段分解与自回归 chunk 生成

预备：flow matching。全文的生成机制统一为 conditional flow matching：给定数据 \(x_1\) 与噪声 \(\epsilon\sim\mathcal{N}(0,I)\)，沿线性插值路径 \(x^{(s)}=(1-s)\epsilon+s x_1\) 学速度场

\[ \mathcal{L}_{\text{FM}} = \mathbb{E}_{s,\epsilon,x_1}\left[\|v_\theta(x^{(s)}, s) - (x_1-\epsilon)\|^2\right], \]

推理时从 \(s{=}0\) 解 ODE 积分到 \(s{=}1\)。与 DDPM 系相比，线性路径 + Euler 少步积分对"半程去噪即可用"的 partial denoising 设计特别友好（见 §3.4）。

POMDP 设定下，反对直接学 \(\pi(a_t \mid o_t)\)，改为两阶段：

\[ \text{(Stage 1) 视觉动力学预测: } o_{t+1} \sim p_\theta(\cdot \mid o_{\le t}), \qquad \text{(Stage 2) inverse dynamics: } a_t \sim g_\psi(\cdot \mid o_t, o_{t+1}). \]

Stage 1 可以吃大规模视频数据学物理先验，Stage 2 只需机器人演示做 grounding。实际建模按 chunk 自回归进行：每步用 conditional flow matching 并行生成 \(K\) 帧，chunk 内双向、chunk 间因果：

\[ z_{t+1:t+K} \sim p_\theta(\cdot \mid z_{\le t},\, a_{<t}), \qquad a_{t:t+K-1} \sim g_\psi(\cdot \mid \hat{z}_{t+1:t+K},\, z_{\le t},\, a_{<t}). \]

两点值得注意：(1) 视频预测同时 condition 在动作历史上——因为动作是 world 坐标系下的绝对 end-effector pose，\(a_{<t}\) 本身就编码了机器人构型轨迹，等价于把本体状态喂给了世界模型；(2) inverse dynamics 不只看 \((z_t, z_{t+1})\) 相邻对，而是带完整观测/动作历史——观测历史提供多步交互上下文（例如物体是否已被抓住），动作历史约束可行动作。

Framework overview Figure 2：单一因果序列中 Video Model 与 Action Model 交替出现——每个 AR step 视频流先经 flow matching 去噪出未来 latent 帧，动作流再以预测出的视觉转移为条件解码动作；执行后真实观测（下方输入流）替换生成帧进入上下文。语言指令经冻结 T5 从最左侧注入。

3.2 状态编码与视频-动作交错序列

  • 视频：Wan2.2 causal VAE 压缩，\(4\times16\times16\)（时×高×宽）+ patchify 再降 2×；多相机视图沿宽度拼接后每 latent 帧共 \(N=192\) 个 spatial token。
  • 动作：统一双臂表示，每臂 \(7_{\text{EEF}}+7_{\text{joint}}+1_{\text{gripper}}\)，共 30 维；不足 7 关节的补零；per-dimension quantile normalization。输入侧经轻量 MLP \(\phi\)（单层，hidden 256）投影成 token embedding。
  • 交错：视频在时间上按 \(\tau=4\) 降采样，动作保持原频率，于是每个 latent 帧挂 4 个动作 token，形成统一序列 \([z_t, a_{t,1}, a_{t,2}, a_{t,3}, a_{t,4}, z_{t+1}, \ldots]\)——预测 \(K\) 个视频帧即产出 \(4K\) 个动作，"低频想象、高频控制"。RoboTwin 上具体对应 50 Hz 动作 / 12.5 Hz 视频。

3.3 Mixture-of-Transformers 双流架构

两个平行 transformer 骨干：视频流 = Wan2.2-5B（\(d_v=3072\)，30 层），动作流同深度但宽度缩 4×（\(d_a=768\)，约 +350M 参数，总计 5.3B）。非对称容量的理由：动作分布远比视觉简单。两流各用 RoPE。

MoT block 的具体做法（每层）：视频/动作两流各自独立的 QKV 投影，维持模态专属特征空间；为了做 joint attention，动作 token 先经 linear 层升维到视频维度参与联合 self-attention，再投回原维度并走 residual 保住动作专属表示。动作输出端是一个 linear projection head 映回低维动作向量。两模态经 attention 互相影响，但参数化互不干扰。

Action Network Initialization（一个容易被略过但实验上很关键的细节）：动作流从零随机初始化会导致早期输出分布与视频分布严重错位，扰乱 joint attention，训练震荡、收敛慢。解法：对视频流预训练权重按动作维度插值（interpolate）得到动作流权重，再乘缩放因子 \(\alpha=\sqrt{d_v/d_a}=2\) 保持输出方差。论文 Figure 6（loss_comparison）显示：随机初始化梯度范数爆炸式波动；直接复制权重不缩放次优；插值 + 缩放最平滑、loss 最低。

Variable Chunk Size Training：训练时随机采样 chunk size \(K\)（方法节举例 \([1,8]\)，implementation 节实际为 \([1,4]\)——两处不一致，见 §5.2），推理时可自由选择 \(K\) 权衡"每步计算量 vs 闭环纠错频率"，部署取 \(K=4\)。这项设计被 RepWAM 原样继承。

3.4 Teacher Forcing 训练与 Noisy History Augmentation

把交错序列当成语言模型式的单一序列做 next-token prediction：teacher forcing——训练时上下文永远用 ground-truth token，causal attention mask 保证每个 token 只看时间上更早的 token，一次前向并行监督全部时间步。作者的辩护很有意思：teacher forcing 在纯生成任务里有 train-test mismatch，但机器人闭环部署时真实观测天然会替换生成帧进入上下文，与训练机制恰好对齐——这正是后来 Next Forcing 攻击的靶点（对齐是对齐了，但监督因此只覆盖"下一个 chunk"，是短视的）。

Noisy History Augmentation（本文最实用的训练技巧）：推理瓶颈在视频 token（数量多 + 多步去噪），但动作解码并不需要像素级完美的未来帧，语义结构鲁棒即可。训练时以概率 \(p=0.5\) 给视频历史按 flow-matching 插值路径加噪：

\[ \tilde{z}_{\le t} = (1-s_{\text{aug}})\,\epsilon + s_{\text{aug}}\, z_{\le t}, \qquad s_{\text{aug}} \sim \text{U}[0.5, 1],\ \epsilon \sim \mathcal{N}(0, I), \]

于是动作解码器学会了从半去噪的视频表示中提取动作信息。推理时视频只需从 \(s=0\) 积分到 \(s\approx0.5\)（实现中 3 步 Euler 到 \(s=0.6\)）即可交给动作流，视频去噪步数直接砍半。

训练目标 = 视频动力学 loss + 动作 inverse dynamics loss（均为 flow matching 速度场回归，uniform SNR sampler）：

\[ \mathcal{L}_{\mathrm{dyn}} = \mathbb{E}\left[\|v_\theta(z_{t+1}^{(s)}, s, \tilde{z}_{\le t}, a_{<t} \mid c) - \dot{z}_{t+1}^{(s)}\|^2\right], \quad \mathcal{L}_{\mathrm{inv}} = \mathbb{E}\left[\|v_\psi(a_t^{(s)}, s, \tilde{z}_{\le t+1}, a_{<t} \mid c) - \dot{a}_t^{(s)}\|^2\right], \]

\(\mathcal{L} = \mathcal{L}_{\mathrm{dyn}} + \lambda\,\mathcal{L}_{\mathrm{inv}}\)，\(\lambda=1\)。注意 \(\mathcal{L}_{\mathrm{inv}}\) 的条件包含（可能带噪的）下一帧 \(\tilde{z}_{t+1}\)——动作确实是从"想象的未来"里倒推出来的。

3.5 部署：KV Cache、异步流水线与 FDM Grounding

Asynchronous pipeline Figure 3：同步范式（A）中机器人在模型计算期间空转；朴素异步（B-1）用上一轮的 stale 预测 \(\hat{z}\) 填上下文继续滚——视频模型偏好时间平滑，会"顺着幻觉继续编"，无视真实反馈；FDM-grounded 异步（B-2）先用最新真实观测 \(z_{t-1}\) + 正在执行的动作 \(a_t\) 跑一次 forward dynamics 重新想象 \(z_{t+1}\)，把 KV cache 里的 stale 预测替换为 feedback-grounded 预测，再往前滚。

  • KV cache：AR 公式天然支持——历史 token 的 KV 全部缓存，每步只对新 token（最新观测 + 待预测 chunk）做完整 attention。同步版推理循环（论文 Algorithm 1）：
z_0 = E(o_0);  C = {z_0}                    # 初始化 cache
loop:
  ẑ_{t+1:t+K} = ∫₀^0.5 v_θ(·|C) ds          # 视频 chunk：只去噪到 s=0.5（半程）
  a_{t:t+K-1} = ∫₀^1   v_ψ(·|ẑ, C) ds       # 动作 chunk：完整去噪到 s=1
  执行 a_i，逐步收集真实观测 o_{i+1} → z_{i+1}
  C = C ∪ {z_{t+1:t+K}, a_{t:t+K-1}}        # 真实观测替换生成帧入 cache
  t = t + K

注意第 5 行：写进 cache 的是真实观测的 latent，不是模型生成的 \(\hat{z}\)——这就是"闭环"的机制含义，也是 teacher forcing 训练与部署对齐的原因。 - 异步流水线：机器人执行 \(a_t\) 的同时，模型基于最近真实观测预测 \(a_{t+1}\)，把推理延迟藏进执行时间（论文 Algorithm 2 为双线程版本：Branch A 执行动作并把观测塞进线程安全队列，Branch B 出队真实观测→FDM 重锚→预测下一 chunk）。 - FDM grounding：朴素异步会 open-loop 退化（消融里 RoboTwin Easy 从 92.9 掉到 74.3，Horizon-3 崩到 32.9）。修复方法是在每轮预测前插入一次 forward dynamics pass：用真实反馈 \(z_{t-1}\) 和在执行的 \(a_t\) 重新"想象" \(z_{t+1}\)，以此替换 stale forecast 进 cache。post-training 阶段相应加一项正向动力学 loss：

\[ \mathcal{L}_{\mathrm{fdm}} = \mathbb{E}\left[\|v_\psi(\tilde{z}_{t+1}, s, z_t, a_t, \tilde{z}_{<t}, \hat{a}_{<t} \mid c) - \dot{z}_{t+1}^{(s)}\|^2\right]. \]

这个"用 FDM 把异步预测重新锚定在真实反馈上"的思想后来演化成 LingBot-VA 2.0 的 Foresight Reasoning（2.0 配合蒸馏 + FP8 把它推到峰值 225 Hz）。

3.6 Implementation Details

训练数据构成（~16K 小时，各源均匀采样，每源 90/10 切训练/验证）：

数据源 内容
AgiBot 移动操作平台大规模多任务数据
RoboMind 多 embodiment 操作演示
InternData-A1 大规模仿真数据（sim-to-real 用途）
OXE 多 embodiment 数据，取 OpenVLA 子集
UMI 系 手持夹爪采集的人类演示（UMI/MV-UMI/ViTaMIn/FastUMI/ManiWAV 等，excl. DexUMI）
RoboCOIN 跨 embodiment 双臂数据
内部采集 自采演示（规模未披露）

这份配方几乎被 LingBot-VA 2.0 原封不动继承（2.0 再加数千小时内部数据 + Qwen 重打标）。

关键超参与配置：

项目 数值
总参数 5.3B（Wan2.2-5B 视频流 + ~350M 动作流）
预训练数据 ~16K 小时机器人操作数据（6 个公开源 + 内部采集），90/10 训练/验证
预训练量 1.4T tokens；AdamW，peak LR 1e-4，wd 0.01，cosine + warmup，bf16，grad clip 2.0
序列打包 多 episode 打包至 10K tokens（LLM 式 packing + attention mask）
Chunk size 训练 \(K\in[1,4]\) 随机采样，部署 \(K=4\)（即每 AR step 出 16 个动作）
去噪步数 视频 3 步 Euler（积分到 \(s=0.6\)），动作 10 步（到 \(s=1.0\)）
CFG 视频 5.0，动作 1.0；text dropout 0.1
Noise augmentation \(p=0.5\)，\(s_{\text{aug}}\sim\text{U}[0.5,1]\)
Post-training 50 条演示即可部署：LR 1e-5 / 3K 步（或 LR 1e-4 / 1K 步的快速档）；真机六任务用 LR 1e-4 / 500 步 / 序列长 150K
RoboTwin 频率 视频 12.5 Hz / 动作 50 Hz（\(\tau=4\)）
硬件 / 延迟 论文通篇未报：GPU 型号数量、训练时长、单步推理毫秒数、真机控制频率全部缺席，只有"异步比同步快 2×"的相对数；真机平台型号也未具名

4. 结果对比

4.1 RoboTwin 2.0（50 任务双臂仿真，Easy/Hard）

多任务设定：2,500 条 clean（50/任务）+ 25,000 条随机化场景演示（500/任务）训练，50K 步 @ LR 1e-5。按任务 horizon（子步骤数）分组，Easy = 固定初始配置 / Hard = 随机物体位姿与场景布局：

方法 Easy H=1 Hard H=1 Easy H=2 Hard H=2 Easy H=3 Hard H=3 Easy 平均 Hard 平均
X-VLA* 81.6 82.5 59.3 55.9 61.2 66.0 72.9 72.8
π0 66.5 61.6 66.1 54.7 61.6 50.2 65.9 58.4
π0.5 85.1 80.2 79.3 73.0 78.6 67.4 82.7 76.8
Motus（第二名） 91.0 90.6 85.2 80.9 85.0 84.2 88.7 87.0
LingBot-VA (Ours) 94.2 93.6 90.4 87.0 93.2 93.3 92.9 91.6

* X-VLA 数字转引自 Motus。核心 pattern：horizon 越长优势越大——H=3 上对第二名 +8.2（Easy）/ +9.1（Hard），而 H=1 只 +3.2/+3.0；印证 AR + KV cache 的长程记忆叙事。另外 Easy→Hard 平均只掉 1.4 pt（π0.5 掉 5.9、π0 掉 7.5），域随机化下的稳健性也是世界模型侧的加分。

从附录 50 任务全表挑几处有代表性的赢面与硬骨头：

任务（Horizon） Ours (Easy/Hard) 最强对手 说明
Blocks Ranking Size (3) 94 / 96 Motus 75 / 63 长程 + 尺寸推理，领先 ~20–30 pt，长记忆优势最典型
Stack Blocks Three (3) 99 / 98 Motus 91 / 95 X-VLA 在此崩到 6 / 10
Handover Block (2) 99 / 78 Motus 86 / 73 双臂交接
Scan Object (2) 96 / 91 π0.5 72 / 65 X-VLA 只有 14 / 36
Hanging Mug (2) 40 / 28 Motus 38 / 38 全场最难任务之一，谁都不及格，Hard 下还输 Motus
Turn Switch (1) 44 / 45 Motus 84 / 78 最大单任务失利（-40 pt）：小幅度精细旋转，视频想象帮不上忙

4.2 LIBERO（四套件 × 10 任务 × 50 demos，3 seeds × 500 trials/套件）

微调 4K 步 @ LR 1e-5（follow OpenVLA 过滤失败演示）：

方法 Spatial Object Goal Long Avg
Octo 78.9 85.7 84.6 51.1 75.1
OpenVLA 84.7 88.4 79.2 53.7 76.5
SmolVLA 93.0 94.0 91.0 77.0 88.8
GR00T-N1 94.4 97.6 93.0 90.6 93.9
π0 96.8 98.8 95.8 85.2 94.1
FLOWER 97.1 96.7 95.6 93.5 95.7
CronusVLA 97.3 99.6 96.9 94.0 97.0
OpenVLA-OFT 97.6 98.4 97.9 94.5 97.1
X-VLA 98.2 98.6 97.8 97.6 98.1
LingBot-VA (Ours) 98.5±0.3 99.6±0.3 97.2±0.2 98.5±0.5 98.5

新 SOTA，但该 benchmark 已高度饱和（前三名差距 <1.5 pt），Goal 套件还略低于 OpenVLA-OFT。真正有信息量的是 LIBERO-Long 98.5%——又是长 horizon 上拉开。

4.3 真机六任务（20 trials/任务，与 π0.5 交替评测，各 50 条演示微调）

任务定义（附录）：Make Breakfast 10 步（抓盘→抓面包→抓叉→放面包→按烤面包机→抓杯→抓水壶→倒水→抓苹果→上桌）；Pick Screws 5 步（拿纸→倒螺丝→逐个插入 3 颗）；Unpack Delivery 5 步（抓美工刀→推刀片→换手→割封条→开盖）；Insert Tubes 抓 + 插 3 根试管；Fold Clothes 6 步（对折→左袖→右袖→再折→抚平→放置）；Fold Pants 3 步。逐 trial 打分：一次成功 1 分、重试成功 0.5、失败 0；全步满分才算 success。评测采用与 π0.5 逐条交替的 protocol 以消除场景漂移偏差。

任务（步骤数） Ours SR Ours PS π0.5 SR π0.5 PS
Make Breakfast（10 步长程） 75.0% 97.0% 70.0% 73.0%
Pick Screws（5 步精细） 70.0% 82.5% 50.0% 74.0%
Insert Tubes（抓+插 3 管） 40.0% 85.8% 30.0% 79.2%
Unpack Delivery（5 步，用刀开箱） 65.0% 84.5% 25.0% 73.0%
Fold Clothes（6 步柔性） 35.0% 48.8% 30.0% 62.9%
Fold Pants（3 步柔性） 70.0% 76.7% 30.0% 30.0%

亮点是 Unpack Delivery（SR +40 pt：π0.5 大量卡在"割封条"步，step 均分 0.43 vs 我方 0.68）和 Fold Pants（SR/PS 均 +40 pt 以上：π0.5 呈全或无，14/20 条 trial 得 0 分）；但注意 Fold Clothes 的 PS 其实输给 π0.5（48.8 vs 62.9），正文"在两个指标上全面 SOTA"的说法与附录明细矛盾（详见 §5.2）。结论里 "对 π0.5 挑战性任务 >20% 提升、仅需 50 demos" 的 headline 主要由这两个任务贡献。

Real-world deployment Figure 4：六个真机任务的 SR/PS 对比条形图。长程任务（Make Breakfast）PS 差距最大（97.0 vs 73.0）——π0.5 的失败多为中途丢步骤，而 LingBot-VA 几乎每条 trial 都推进到 9/10 步以上。

4.4 关键消融与分析

部署方式与预训练来源（RoboTwin Easy）：

配置 平均 H=1 H=2 H=3
LingBot-VA（同步基线） 92.9 94.2 90.4 93.2
FDM-grounded Async（快 2×） 90.4 92.5 87.7 85.6
Naive Async 74.3 83.3 70.3 32.9
Wan2.2 直接微调（无 video-action 联合预训练） 80.6 84.9 76.3 67.6

两个信息量很大的对照：(1) 朴素异步在 H=3 上崩到 32.9——"视频模型顺着自己的幻觉滚"的 open-loop 退化是真实且致命的，FDM grounding 把它救回 85.6；(2) 跳过 16K 小时联合预训练、直接从 Wan 微调掉 12.3 pt，且同样是长 horizon 掉得最狠——video-action 联合预训练的价值主要体现在时序上。

Action 初始化：随机初始化 → 梯度范数剧烈震荡 + 收敛慢；复制视频权重不缩放 → 稳定但次优；插值 + \(\sqrt{d_v/d_a}\) 缩放 → 最优（论文 Figure 6 仅给 loss 曲线，无端到端成功率数字）。

样本效率（few_shot_bar 图）：在真机 Make Breakfast 与 RoboTwin Easy 上扫 post-training 数据量，全数据档均领先 π0.5，且数据越少差距越大——10 条演示时 Make Breakfast PS 领先 15.6 pt、RoboTwin Easy 领先 10.3 pt。归因链条：视频流的动力学先验充当隐式正则，动作流只需学"grounding 到本体"这一小步；π0.5 没有显式动力学建模，只能从零学任务行为。这也是"world modeling 是独立预训练基座"这一开篇命题最直接的证据。

时间记忆（本文最有辨识度的实验设计）：

Memory test Figure 5：两个反应式策略原理上做不对的任务——Wipe Plate 要求恰好擦 6 下（需要计数），Search Box 中演示数据里积木左右各半、测试时永远在左箱，无记忆的策略开完右箱（空）后有 50% 概率重新开右箱。LingBot-VA 大幅超过 π0.5，KV cache 里的完整交互史 = 显式工作记忆。

机制解释：训练时 teacher forcing 使每个预测都 condition 在完整历史上，推理时 KV cache 原样保留全部交互史——"记忆"不是外挂模块，而是架构副产品。

泛化（generalization 图，定性为主）：单物体 pick-and-place 训练 → 换形状/纹理物体测试（novel object）；固定 ID 区域摆放训练 → OOD 区域随机摆放测试（spatial）。两轴上均给出成功示例，作者归因为 video prediction 学到 object-agnostic 的物理先验；但没有配套的定量表（见 §5.2-8）。

5. 引申问题 / 讨论

5.1 做得好的地方

  1. 把"因果性"从哲学立场落成三件工程实事：causal attention mask（训练）、KV cache 持久上下文（记忆）、每个 AR step 吞真实观测（闭环）。特别是 Search Box 实验——用数据分布 50/50、测试分布 100/0 的构造把"有没有记忆"变成可证伪的行为差异，比笼统报长任务成功率有说服力得多。
  2. Noisy History Augmentation 是个便宜且聪明的推理加速：不改架构、不加蒸馏，只在训练时按 flow 插值路径给历史加噪（\(p=0.5\)，\(s_{\text{aug}}\in[0.5,1]\)），就让动作解码容忍半去噪视频，推理时视频 3 步 Euler 到 \(s=0.6\) 即可出动作。"动作只需要语义结构、不需要像素保真"这个直觉抓得准。
  3. Action 流初始化的方差匹配：识别出"动作 token 输出分布与视频分布错位会毁掉 joint attention"这一失败模式，用插值 + \(\sqrt{d_v/d_a}\) 缩放解决——是那种论文里一段话、复现时能省两周的细节，且给了训练曲线证据。
  4. FDM-grounded 异步是被消融支撑的真发现：naive async 在 H=3 崩到 32.9 暴露了"视频生成偏好时间平滑 → 忽略真实反馈"的系统性缺陷，用一次 forward dynamics pass 重新锚定即恢复到 85.6，同时保住 2× 加速。这也是后来 2.0 Foresight Reasoning 的雏形。
  5. teacher forcing 与机器人部署的适配论证成立：闭环执行时真实观测天然替换生成帧，训练/部署上下文分布一致——这解释了为什么不需要 diffusion forcing 式的自回归-去噪混合训练也能闭环稳定（尽管代价见 5.2-1）。
  6. 交错序列的频率解耦干净利落：\(\tau=4\) 让视频 12.5 Hz "想象"、动作 50 Hz 控制，一个 \(K=4\) 的 AR step 产出 16 个动作，视频算力被摊薄到每个动作上。

5.2 做得不够好的地方 / 值得质疑的地方

  1. 【后继盖章】next-chunk teacher forcing 是短视监督。Next Forcing 系统性地展示了：v1 的监督只覆盖"下一个 chunk"，模型可以走 appearance shortcut——从干净历史里抄外观就能压低 loss，而不必真正建模动力学；帧率越高相邻 chunk 越相似，捷径越好走。证据硬：50 fps Random 设定下 v1 训练 50K 步才到 85.2%（12 fps 下同步数 91.8%），FVD 在 50K 步仍有 225/204，而 Next Forcing 10K 步就到 ~140/125。v1 自己在 RoboTwin 用 12.5 Hz 视频，恰好停在捷径不那么致命的帧率上。
  2. 【后继盖章】重建式 VAE 的 latent 偏外观、非语义。RepWAM 指出 Wan2.2 VAE 是 reconstruction-oriented，latent 容量花在外观保真上，且视频分支继承了对 CFG 的依赖——v1 推理确实挂着 video CFG 5.0，意味着每步视频去噪要跑 conditional + unconditional 两个分支，本已昂贵的视频流再 ×2。（有趣的是 RepWAM 自己的扫描显示 v1 对 CFG 其实不敏感（1.0→2.0 只差 0.4 pt），CFG=5.0 这个默认值很可能是从视频生成社区无脑继承的，白白多花一倍视频算力。）
  3. 【后继盖章】双向→因果 retrofit 可能侵蚀 web 先验。v1 的因果化改装只在 16K 小时机器人数据上完成——teaser 宣称 "pretrained on diverse in-the-wild videos"，但数据清单里没有任何开放域视频，web 先验全部来自 Wan 初始化，随后 1.4T token 的纯机器人数据训练有多少灾难性遗忘？论文没有任何视频质量/通用性保持的评测。VA 2.0 直接以"retrofit erodes priors"为立论重建整个栈（尽管 2.0 自己也没做受控验证）。
  4. 零延迟披露，"real-time" 是没有数字的形容词。全文找不到一个毫秒数：单 AR step 多少 ms、端到端控制频率多少 Hz、什么 GPU 上部署、KV cache 显存占多少，全部缺席；唯一的效率数字是相对的"async 快 2×"。对比 VA 2.0 大方地报 142 ms/chunk、峰值 225 Hz、FP8 TensorRT 管线，v1 的沉默很难不解读为"数字不好看"。5.3B 模型 + 每步 3 次视频去噪 ×CFG 双分支 + 10 次动作去噪，粗算不是小数目。
  5. "真机两指标全面 SOTA"与自家附录矛盾。Fold Clothes 上 PS 48.8% vs π0.5 的 62.9%——输了 14 pt，正文却写 "consistently achieves state-of-the-art performance across all six tasks and both evaluation metrics"。且明细表暴露失败模式是双峰的：20 条 trial 里 9 条卡死在第一折（progress ≤0.5/6），成了要么全对要么全崩——这恰是柔性物体上视觉想象与真实动力学错位后闭环救不回来的形态，值得分析而非掩盖。
  6. 数字与文本的多处不一致，暴露赶工痕迹：方法节说 chunk \(K\in[1,8]\)、实现节说 \([1,4]\)；Algorithm 1 写视频积分到 \(s=0.5\)、实现节是 3 步到 \(s=0.6\)；结论说 RoboTwin 92.0%、表里是 92.93/91.55；正文把 Unpack Delivery 归为长程/Pick Screws 归为精细，图 caption 恰好反过来。均无伤大雅，但一篇开源旗舰技术报告不该出现四处对不上。
  7. 真机平台匿名 + 单一 embodiment + 单一 baseline。部署平台型号从未具名（从图看是某双臂系统），跨 embodiment 的 zero-shot 只有一句"exhibits zero-shot generalization to seen embodiments"无表格支撑；真机对照只有 π0.5 一个，且其微调协议是否与自家同等调优未说明（RepWAM 笔记同样质疑过这条线的 π0.5 微调公平性）。
  8. 记忆与泛化实验的统计口径缺失。Wipe Plate/Search Box 各多少 trials？memory_test 图给了柱状图但正文无 N；Search Box 的机会水平（50%）也没画在图上。泛化实验（novel object / OOD position）只有定性图 + 一个柱状图，没有任务数、trial 数、物体清单。这些恰是论文最有辨识度的主张，实验强度却是全文最弱的。
  9. "causal" 的粒度其实是 chunk，不是帧。chunk 内部（\(K=4\) latent 帧 = 16 动作）仍是双向 attention 并行生成，闭环纠错的最小周期是一个 chunk（约 0.32 s @50 Hz）；引言对 chunk-based 方法"双向 attention 违背因果"的批判，在自家 chunk 内部同样成立，只是尺度更小。真正逐帧因果 + 逐帧反馈的形态（以及 chunk 边界上的 reactivity-latency 权衡曲线）没有被探索。
  10. KV cache 无限增长与 10K token 训练打包的错配。部署时 cache 随 episode 线性膨胀（Make Breakfast 10 步长任务，每 latent 帧 192 token × 多视图），而训练时序列被 pack 到 10K token——超出训练长度后 attention 的长度外推行为、以及显存上限，均未讨论；异步算法描述里又出现"discard all history before \(t-1\)"的表述，与"persistent memory over the entire trajectory"的核心卖点之间的张力没有讲清楚（若部署时真的截断历史，Search Box 式记忆从何而来？）。

5.3 值得继续探讨的方向

  • 多 chunk 稠密监督：在 teacher forcing 旁挂 next²/next³ chunk 的辅助去噪目标，治短视监督——这正是 Next Forcing 做的（2.3× 收敛加速 + 高帧率下反超），且推理零开销。
  • 换语义 tokenizer / latent action：用对齐视觉基础模型的 tokenizer 替换重建式 VAE，把动作也 latent 化——RepWAM 的路线；开放问题是如何既要语义空间又不放弃 Wan 预训练权重（RepWAM from scratch 输 3–4 pt 的教训）。
  • 原生因果预训练 + 真·web 视频共训：不做双向改装，直接以因果形式在 web 级图像/视频上预训练，机器人数据只是其中一路任务——LingBot-VA 2.0 的路线；但"native > retrofit"的受控对比（同算力同数据）至今没人做，仍是这条线最大的悬案。
  • 把延迟做成一等公民：consistency distillation 把视频去噪压到 1 步、FP8/TensorRT 部署、按任务动态调 \(K\)（精细阶段小 chunk 高反应、搬运阶段大 chunk 省算力）——2.0 已给出 225 Hz 的答案，但 v1 框架内"CFG=1 + 蒸馏"能到多少 Hz 值得单独量化。
  • KV cache 的长度治理：滑窗 + 关键帧锚点、cache 压缩/合并、或 linear attention 混合，让"持久记忆"在小时级任务上真正可持续；顺带把 Search Box 扩成一个系统的记忆 benchmark（变延迟、变干扰、变计数上限）。
  • 动作表示的坐标系依赖：绝对 world-frame EE pose 让 \(a_{<t}\) 携带本体状态，是记忆能力的隐性支柱之一，但也把模型钉死在标定好的固定基座设定；移动底盘 / 相机外参变化下 relative action 或 proprioception token 如何接入交错序列？
  • 触觉/力觉进序列：作者自己的 future work——接触密集任务（Insert Tubes SR 只有 40%）里，视觉想象对接触瞬态几乎盲，交错序列天然可以再插一路 tactile token，值得在 v1 框架上先做小规模验证。
  • 失败模式的闭环自愈：Fold Clothes 的双峰失败说明世界模型预测一旦偏出分布，FDM grounding 也拉不回来；能否用预测-现实差异（surprise）触发显式的重置/重试策略，把 world model 的"知道自己错了"变成行为？

参考资源