LingBot-VA 2.0: Native Video-Action Pretraining for Generalizable Robot Control¶

论文阅读笔记 — 用于后续讨论的概览

1. 基础信息¶

题目: Native Video-Action Pretraining for Generalizable Robot Control
作者: Qihang Zhang, Lin Li, Luyao Zhang, Shuai Yang, Yiming Luo 等 29 人 + 10 名 contributors；Project Lead: Yinghao Xu；Supervision: Yujun Shen, Xing Zhu, Nan Xue（RobbyAnt，蚂蚁集团旗下具身智能团队 — 模板同时带 Ant Group 与 RobbyAnt 双 logo，工业实验室技术报告风格）
arXiv 编号: 2607.08639（2026-07 提交，onecolumn 技术报告，无投稿会议痕迹）
项目主页: https://technology.robbyant.com/lingbot-va-v2
关键词: video-action model, native causal pretraining, semantic visual-action tokenizer, latent action, sparse MoE DiT, multi-chunk prediction, asynchronous inference, bimanual manipulation

LingBot-VA 2.0 整体框架 Figure 1：全栈概览 — VLM Planner 产出结构化子任务文本，SemVAE（语义 visual-action tokenizer）把机器人观测与 human 视频 prompt 都编码进同一 latent 空间，MoE 视频专家 + 稠密动作专家共享 causal attention 自回归地滚出未来视觉 latent 与动作 chunk；MCP 头只在训练时提供多步未来监督。关键信息：动作不是"外挂"在视频模型上，而是与视觉 latent 同居一个原生预训练的空间。

2. 文章介绍¶

2.1 解决的领域和问题¶

属于 video-action model / world-action model（WAM） 子领域：不像反应式 VLA（π0/π0.5/RT-2）那样直接从观测映射到动作，而是联合预测"场景将如何演化"与"该如何行动"，用物理动态为控制提供 grounding。

论文针对的具体问题是：当前所有 video-action 模型都是把为数字内容创作设计的视频生成组件（重建式 VAE + 双向注意力 video diffusion backbone）"改装"给机器人用，这个出发点本身就是错的。改装带来三个具体缺陷：(1) 表征为外观而非动态优化 — 像素重建 latent 保留视觉细节但缺乏语义和物理结构，外挂的动作模块与世界状态处在对齐很差的两个空间；(2) 推理太慢 — 高维视频 token + 迭代去噪撑不起真机所需的闭环频率；(3) 预训练信号无法向控制扩展 — 通用视频目标不教"动作如何改变世界"，动作信号仍然绑死在昂贵的真机数据上。

2.2 Motivation¶

还有一个更结构性的错配：视频 backbone 用双向注意力预训练，而闭环控制严格单向向前展开。前作 LingBot-VA 1.0 的做法是把双向模型 finetune 成因果 video-action 模型，但这个 retrofit 依赖稀缺的机器人数据，且可能侵蚀 web-scale 预训练获得的先验。本文的核心主张是走原生（native）路线：把整个栈 — 包括语义 visual-action tokenizer 和 causal DiT — 从零开始、直接以因果形式在 web-scale 图像视频数据上为机器人控制预训练，让广泛先验"生来就是因果的"，而不是"先继承再被侵蚀"。

另一个关键动机是让动作信号摆脱真机数据的规模限制：通过自监督的 latent action，无标注的 web 视频也携带动作相关的监督，控制知识以 web 视频的规模获得，而非机器人数据集的规模。

2.3 之前工作的问题¶

类别	代表工作	缺陷
反应式 VLA	RT-2, OpenVLA, π0, π0.5, X-VLA	直接学 observation→action 映射，不建模场景演化，长时程一致性与样本效率差
改装式 video-action（joint denoising）	DreamZero	把预训练视频 diffusion 直接改装做联合视频-动作建模，双向 backbone 与因果控制错配
改装式 video-action（causal retrofit）	LingBot-VA 1.0	双向→因果的 retrofit 依赖稀缺机器人数据，可能灾难性遗忘 web 预训练先验
重建式 tokenizer	WAN2.2 VAE 等	latent 只为像素重建优化，缺语义/物理结构；本文 ablation 显示预测 horizon 越长掉得越狠（Table 2：hor=3 Easy 67.2% vs 本文 92.0%）
latent action 系列	Genie, LAPO, LAPA, Moto, UniVLA	恢复了动作变量，但世界状态与动作仍在分离的空间；多与重建式 VAE 搭配
同步推理	第一代 WAM 普遍	模型延迟直接变成控制延迟：机器人执行完等模型去噪，模型算完等观测回传

2.4 论文解决方案（一句话）¶

从零预训练一个原生因果的 video-action 基础模型：先用语义 visual-action tokenizer 把世界状态与 latent action 放进同一个对齐视觉基础模型的 latent 空间，再在其上以 T2I/T2V/TI2VA/ICL/human 共训五任务混合配方预训练一个 sparse MoE causal DiT（视频流 13B 总参 / 1.9B 激活），配 multi-chunk prediction 防止"抄外观"，部署时用 Foresight Reasoning 异步推理 + consistency 蒸馏 + FP8 TensorRT 把闭环控制推到峰值 225 Hz。

2.5 与前序工作的关系¶

这是一篇典型的自家研究线整合报告，LingBot-VA 2.0 几乎每个组件都来自 RobbyAnt 团队近半年的独立论文：

LingBot-VA 1.0（arXiv 2601.21998）：直接前作，causal world modeling + MoT 双专家架构被保留；2.0 换掉了它的"双向改装"预训练方式；
RepWAM（arXiv 2606.13674）：语义 visual-action tokenizer 整个第一阶段"following RepWAM"；
Next Forcing（arXiv 2606.11187）：Multi-Chunk Prediction 的出处，连 loss 权重 (0.5, 0.2, 0.1) 都直接沿用；
Zero-WAM（GitHub 技术报告）：human 视频 in-context learning 及其数据管线；
LingBot-Video（arXiv 2607.07675）：通用图像/视频语料与 MoE 视频预训练经验直接复用；
外部借用：MoE 配方来自 DeepSeekMoE / DeepSeek-V3（group-limited top-k、loss-free balancing）与 Moonlight（auxfree bias 更新）；语义对齐 teacher 是冻结的 Perception Encoder；human 数据 retargeting 沿用 "What Matters when Cotraining..."（arXiv 2606.06627）；异步推理与 GEN-0 的 Harmonic Reasoning 同动机，但用学到的 forward dynamics 做 re-grounding。

换句话说，单看任何一个组件都不新，这篇的贡献是把它们装配成一个从 tokenizer 到 TensorRT 引擎的完整原生栈，并给出工业级的部署数字。

3. 方法介绍¶

3.1 形式化¶

视频 tokenizer 时间下采样系数 \(f_t\)，把原始动作流按 latent 帧间隔分组成 action chunk：

\[ a_t = u_{t f_t:(t+1)f_t-1}, \qquad t=0,\dots,N-1, \]

与 latent 转移 \(z_t \to z_{t+1}\) 对齐。video-action 模型建模条件分布：

\[ p_\theta\big(z_{1:N}, a_{0:N-1} \mid z_0\big) = \prod_{t=0}^{N-1} \underbrace{p_\theta\big(z_{t+1} \mid z_{\le t}, a_{<t}\big)}_{\text{video generation}}\; \underbrace{p_\theta\big(a_t \mid z_{\le t}, a_{<t}, z_{t+1}\big)}_{\text{inverse dynamics}}. \]

两个条件分别由 flow-matching 损失监督。记插值噪声目标 \(z_{t+1}^{(s)}=(1-s)\epsilon^z_t+s\, z_{t+1}\)、\(a_t^{(s)}=(1-s)\epsilon^a_t+s\, a_t\)：

\[ \mathcal{L}_{\text{vid}} = \mathbb{E}\!\left[ \big\| v^{\text{vid}}_\theta\big(z_{t+1}^{(s)}, s \mid z_{\le t}, a_{<t}\big) - \big(z_{t+1}-\epsilon^z_t\big) \big\|^2 \right], \quad \mathcal{L}_{\text{act}} = \mathbb{E}\!\left[ \big\| v^{\text{act}}_\theta\big(a_t^{(s)}, s \mid z_{\le t}, a_{<t}, z_{t+1}\big) - \big(a_t-\epsilon^a_t\big) \big\|^2 \right], \]

总损失 \(\mathcal{L}_{\text{VA}}=\mathcal{L}_{\text{vid}}+\lambda_{\text{act}}\mathcal{L}_{\text{act}}\)。架构上沿用 LingBot-VA 1.0 的 Mixture-of-Transformers（MoT）：视频专家与动作专家共享一套 causal self-attention，但各有独立的 feed-forward 通路 — 视频专家先预测下一视觉 latent \(\hat{z}_{t+1} = v^{\text{vid}}_\theta(z_{\le t}, a_{<t})\)，动作专家再对预测出的转移做 inverse dynamics 解码 \(\hat{a}_t = v^{\text{act}}_\theta(z_{\le t}, a_{<t}, \hat{z}_{t+1})\)。对比 DreamZero 的 joint prediction（视频/动作 token 拼在同一去噪流里），MoT 把"转移监督"写成显式的两段，动作永远以预测出的下一状态为条件 — 这是 video-action 模型区别于反应式 VLA 的机制核心。

3.2 第一阶段：语义 Visual-Action Tokenizer¶

语义 visual-action tokenizer Figure 2：tokenizer 双分支 — 左：视觉 tokenizer 在重建之外用 L_align 把 latent 拉向冻结的 Perception Encoder 特征；右：latent action tokenizer 用 inverse dynamics 提取紧凑转移变量、forward dynamics 重建下一 latent。世界状态和动作从 tokenizer 阶段就住进同一个语义空间。

视觉 tokenization + 语义对齐。ViT autoencoder：首帧编成 16×16 空间 patch，后续帧编成 4×16×16 时空 tubelet（时间下采样 4×）；encoder 帧内全空间注意力、帧间因果注意力。损失 = 像素 L1 + perceptual + GAN 重建项，再加语义对齐项：

\[ \mathcal{L}_{\text{align}} = \big\| \operatorname{avg}(W_{\text{align}}\, z) - \operatorname{avg}\big(G(o)\big) \big\|_2^2, \]

其中 \(G\) 是冻结的 Perception Encoder，avg 为时间平均池化 — 对齐 clip 级语义、保留逐帧重建信息。

latent action tokenization。冻结视觉 tokenizer，训练 IDM \(q_\phi\) + FDM \(f_\psi\)（思路承自 Genie/UniVLA/Moto 一系）：IDM 从相邻 latent 提取低维转移变量

\[ \ell_t = q_\phi(z_t, z_{t+1}) \in \mathbb{R}^{d_\ell}, \qquad d_\ell \ll \dim(z_t), \]

信息瓶颈防止 \(\ell_t\) 抄走全部视觉状态、逼它只装"控制相关的变化"。FDM 把 \(\ell_t\) 解码成 transport map + 残差：

\[ \hat{z}_{t+1} = f_\psi(z_t, \ell_t) = K_t\, z_t + \delta_t, \]

关键设计：\(K_t\) 负责跨空间 latent token 搬运信息（物体移动/相机运动的显式归纳偏置），\(\delta_t\) 兜底 transport 解释不了的变化（新出现的物体、光照）。另有反向 transport \(\bar{f}_\psi(z_{t+1}, \ell_t) \to \hat{z}_t\)，训练目标是前向预测 + 反向一致性之和：

\[ \mathcal{L}_{\ell} = \sum_t \big\| \hat{z}_{t+1} - z_{t+1} \big\|_2^2 + \big\| \hat{z}_t - z_t \big\|_2^2 . \]

tokenizer 最终对每段视频输出配对的 \((z_{0:N}, \ell_{0:N-1})\)，第二阶段直接令 \(a_t \equiv \ell_t\) — 于是无标注 web 视频也自带"动作"监督，这是"控制知识以 web 视频规模获取"叙事的技术支点。

3.3 第二阶段：Sparse MoE Causal DiT¶

视频动态承担主要建模负担，所以两条流不对称扩容：视频专家把每个 causal DiT block 的 dense FFN 换成 sparse MoE routed 层，动作专家保持 dense。路由是 DeepSeek-V3 式的 group-limited top-k：router 用 sigmoid 打分 \(r_i(h) = \sigma(g_i^\top h)\)，先按组选出最强的少数组、再在组内取 top-\(k\)（选择时加 expert-wise 修正偏置 \(b\)），选中分数归一化并缩放为权重 \(\alpha_i(h)\)，输出为

\[ \operatorname{MoE}(h) = E_{\mathrm{shared}}(h) + \sum_{i \in \mathcal{R}(h)} \alpha_i(h)\, E_i(h), \]

主配置 \(N_e{=}128\) 个 routed SwiGLU expert、\(k{=}8\)、1 个 shared expert — 每 token 只激活 expert 池的一小部分。负载均衡不加辅助损失，走 Loss-Free Balancing / Moonlight 的 auxfree bias 路线：每个优化步后按各 expert 实际接到的 token 数 \(c_i\) 与均值 \(\bar c\) 的偏差符号更新选择偏置，

\[ b_i \leftarrow b_i - \eta_{\mathrm{lb}}\Big(\operatorname{sign}(c_i-\bar{c})-\tfrac{1}{N_e}\textstyle\sum_j \operatorname{sign}(c_j-\bar{c})\Big), \]

压过载 expert、提欠载 expert，而不往 diffusion 目标里注入大的均衡梯度。routing 发生在 causal self-attention 之后的 token-wise FFN 位置，因此扩容不改变因果依赖结构；前向用 grouped expert matmul 支撑长序列训练。

MoE 是否值得：作者自己给出了颇为诚实的对照 — MoE-13B-A1.9B vs Dense-5B 在同训练设置下，按 step 对齐 dense 损失还略低，按 wall-clock 对齐两者几乎重合。即 MoE 的卖点不是训练更优，而是推理时激活参数 1.9B < 5B，为高频控制省算力。

Causal chunked generation：chunk 级自回归，block-causal + 滑窗注意力；训练时 chunk 大小从 1-4 latent 帧、窗口从 1-64 chunk 均匀重采样，一个模型支持推理期任意配置（评测用 chunk=2、窗口 64）。以 0.5 概率对干净历史帧做 diffusion-forcing 式噪声增强，缓解自回归 rollout 的 exposure bias。

3.4 Multi-Chunk Prediction（MCP）¶

标准 teacher forcing 只监督下一 chunk，高帧率下相邻 chunk 视觉上几乎一样，模型抄外观就能降损失 — "myopic supervision"。MCP（沿用 Next Forcing）在主干上外挂轻量模块，一次监督未来 \(K=3\) 个 chunk：

\[ p_\theta\big(z_{t+1:t+K} \mid z_{\le t}, a_{<t}\big) \approx \prod_{k=1}^{K} p_{\theta,k}\big(z_{t+k} \mid h_t^{(k-1)}\big), \]

注意 \(h_t^{(k-1)}\) 是穿过堆叠 MCP 模块的内部特征态，不是干净或预测出来的未来观测 — horizon \(t+k\) 的预测器复用前一 MCP 模块的特征，而不条件在 \(z_{t+1:t+k-1}\) 上。每个 horizon 用与主模型相同的 flow-matching 目标：

\[ \mathcal{L}^{\text{MCP}}_k = \mathbb{E}\!\left[ \big\| v^{\text{MCP}}_{\theta,k}\big(z_{t+k}^{(s)}, s \mid h_t^{(k-1)}\big) - \big(z_{t+k}-\epsilon^k_t\big) \big\|^2 \right], \qquad \mathcal{L}_{\text{MCP}} = \sum_{k=1}^{3} w_k \mathcal{L}^{\text{MCP}}_k . \]

实现上每个 horizon 模块从主干层 {3, 11, 19, 29} 融合特征（两层 SiLU MLP，4×2048→2048→2048），3 组深度 × 每组 3 个 transformer block（配置与主干 block 相同、含动作专家），深层模块级联条件于浅层输出，让近未来预测喂给远未来；对 MCP 分支用更大的 timestep shift（=10），让它无法从自己的噪声输入解题、必须依赖主干表征。loss 权重 \((w_1,w_2,w_3)=(0.5,0.2,0.1)\) 照抄 Next Forcing。未来 chunk 去噪的梯度回流主干，构成稠密时间监督 — 把 latent 组织在轨迹级动态而非局部外观周围；MCP 只作用于视觉流，但通过共享注意力与 inverse-dynamics 通路间接改善动作解码。部署时两种模式：丢掉 MCP 头 → 零开销纯训练期增益；或保留 → 与当前 chunk 并行预测下一视觉 chunk，降低 rollout 延迟。

3.5 Planner、ICL 与 Human-Robot 共训¶

分层规划：高层 planner 是 LoRA 微调的预训练 VLM（视觉塔冻结，保住开箱即用的视觉 grounding），后台 ~2 Hz 异步跑，往共享 buffer 写结构化 JSON，策略在每个 chunk 边界读取最新上下文 — planner 延迟不阻塞执行环。输出 schema 被设计约束为与策略训练时见过的条件字段严格一致（否则策略在推理时收到 out-of-distribution 条件）：

字段	内容	消费者
`done`	当前子任务继续 or 切换下一个	仅高层调度器
`instruction`	紧凑执行指令（如 "Pick up the red bottle on the table"）	策略的主条件字段
`generation_instruction`	期望机器人运动/物体交互的更丰富描述	策略（更具体的执行线索）
`local_scene_description`	观测 grounded 的空间布局与物体状态	策略（局部场景上下文）

训练数据用 boundary-crossing sampling 构造，直接对齐在线部署情形：观测点 \(t^*\) 落在段 \(g_i\) 内 → 输出当前子任务四字段（done=false，"复读"）；\(t^*\) 刚跨过 \(g_i \to g_{i+1}\) 边界 → 必须从视觉观测和任务历史预测下一子任务（done=true）。输入 = \(t^*{-}2\)s / \(t^*{-}1\)s / \(t^*\) 三个关键帧 + episode 级任务目标 + 已完成段落全文历史（done=false 样本额外给当前子任务描述）。训练集按任务均衡采样。

In-context learning：human 演示视频经同一 tokenizer 编码为 \(z_{\mathrm{icl}}\)，作为外部任务 prompt 条件到每个机器人 chunk 上：

\[ p_\theta\big(z_{1:N}, a_{0:N-1} \mid z_0, z_{\mathrm{icl}}\big) = \prod_{t=0}^{N-1} p_\theta\big(z_{t+1} \mid z_{\le t}, a_{<t}, z_{\mathrm{icl}}\big)\, p_\theta\big(a_t \mid z_{\le t}, a_{<t}, z_{t+1}, z_{\mathrm{icl}}\big). \]

\(z_{\mathrm{icl}}\) 来自另一段 human 演示而非机器人轨迹的未来，全量可见不违反 robot 侧因果性。human 视频不需要与机器人共享物体实例/视角/场景布局，只提供"任务该怎么展开"的时序程序性指引 — 这是语言指令在稀有物体、多物体交互、长时程任务上给不出的。

Human-robot 共训（HCT）：直接联合训练面临两个 gap — 人手 vs 夹爪的 action-space mismatch，和自然人类运动 vs 机器人运动学的 motion gap。对 video-action 世界模型这两个 gap 格外致命，因为过去动作会反馈进预测上下文（式 \(p_\theta(z_{t+1}|z_{\le t}, a_{<t})\)），错位的 human 动作会污染共享动态。解法分两层：

Retargeting 消 action-space mismatch：动作统一到 30 维跨本体布局（缺失通道补零 + mask），其中双臂 end-effector 切片 = 每手 6-DoF root pose + 1 维标量夹爪开度。人手通过 \(\Phi\) retarget：保留 6-DoF 手根位姿不变，把 22 个手指关节角经正运动学折算成"虚拟平行夹爪"开度 \(\varphi(q)\)（拇指一侧 vs 四指一侧沿闭合方向的距离；用整个手指包络测量比单一拇指-食指对更抗单指 mistrack），按数据集 quantile 归一化 — human 动作因此也监督"何时抓取"，而不是像早期共训那样填 no-op 占位。
Per-domain 头吸收 motion gap：retarget 后两域动作表示完全相同，但同一 tuple 对人手和机器人 end-effector 的分布与物理含义仍不同；共享世界模型 + 双专家 + causal attention，只有 per-domain 动作 encoder/decoder \(E_d, P_d\)（\(d\in\{R,H\}\)）分开：

\[ \hat a^{(d)}_t = P_d\big(v^{\text{act}}(z_{\le t},\,E_d(a_{<t}),\,\hat z_{t+1})\big), \qquad \mathcal{L}_{\text{co-train}} =\mathbb{E}_{\mathcal{D}_R}\!\big[\mathcal{L}_{\text{vid}}+\mathcal{L}^{R}_{\text{act}}\big] +\mathbb{E}_{\mathcal{D}_H}\!\big[\mathcal{L}_{\text{vid}}+\mathcal{L}^{H}_{\text{act}}\big]. \]

human 头从 robot 头初始化以稳定起步；部署只用 robot 分支 \((E_R, P_R)\)，共训零推理开销。

3.6 训练配方：五任务混合共训¶

拒绝 T2I→T2V→VA 的串行 curriculum（后期窄化到稀缺具身数据会灾难性遗忘），改成全程五任务共训、只随进度 \(\tau\) 调整采样分布 \(\pi(\tau)\)：

任务	内容	作用
T2I	单帧文生图	视觉-语义 grounding，latent 空间对齐语言
T2V	文生视频	web-scale 通用时序动态先验
TI2VA	核心控制任务：video prediction + inverse dynamics（含 MCP）	学"动作如何改变世界"
ICL	给定演示视频生成新实例的 video-action rollout	免权重更新的 few-shot
HCT	人-机共训	廉价 human 数据迁移到控制

形式上，训练进度 \(\tau\in[0,1]\) 处从分布 \(\pi(\tau)\) 采样任务并最小化

\[ \mathcal{L}(\tau) = \sum_{i\in\mathcal{T}} \pi_i(\tau)\,\mathcal{L}_i, \qquad \mathcal{T}=\{\text{T2I, T2V, TI2VA, ICL, HCT}\}, \]

schedule 是 coarse-to-fine：早期重 T2I（先立外观与语义对齐）→ 中期重 T2V（巩固时序动态）→ 后期集中到 TI2VA/ICL/HCT（向控制特化），但早期目标始终保留非零质量作正则 — 这是对"分阶段 curriculum 后期灾难性遗忘"问题的直接回答。所有任务共享同一 tokenizer latent 空间和同一 causal DiT，只在条件与监督上不同。另一个从零训练的理由很实际：自研 tokenizer 的语义 latent 空间与任何现成生成器都不同，想 continue-train 也没有对齐的 backbone 可借。

3.7 数据配方¶

ICL 数据管线 Figure 3：ICL 数据是"机器人视频 → 合成人类视频"的生成式管线：Gemini 解析任务并产出编辑 prompt，Nano Banana Pro 把机器人首帧改成第一人称人手视角，WAN-2.6 / Kling-V3 生成人类操作视频，再由 VLM 按语义保持与物理合理性打分过滤 — 最终 >10 个数据源、>5,000 任务、>50,000 human-robot 配对。注意：所谓"human 演示"其实是视频生成模型的产物。

通用图像/视频：直接复用 LingBot-Video 的 web-scale 语料；
机器人数据：保留 1.0 的公开+半公开+自采混合（AgiBot、RoboMind、InternData-A1、OXE 含 DROID、UMI 系、RoboCOIN），再加数千小时内部演示；全部经统一标注管线重处理 — 长轨迹切成原子动作片段，用 Qwen3.5-397B 重打语言 prompt；
自我中心 human 数据：内部语料数千小时、65.4k episodes，覆盖厨房/餐桌/梳妆台/办公桌/工具台 5 类环境、>600 名操作者、>3.0k 场景-任务组合；逐帧标注双手 6-DoF 世界系根位姿 + 每手 22 个手指关节角。

3.8 Foresight Reasoning：异步推理 + FDM re-grounding¶

Foresight Reasoning 异步流程 Figure 4：预测流与执行流异步并行 — 机器人执行 a_t 的同时，模型把 a_t 追加进 KV cache，用自身视频专家当 forward dynamics"想象"其视觉结果 ẑ_{t+1}，据此提前解出 a_{t+1}；真实观测一到就覆写想象 latent（Grounded Obs Cache），predict-then-correct 保证闭环不漂移。

串行推理是自阻塞的：模型算完机器人才能动，机器人动完模型才有新观测。Foresight Reasoning 把 rollout 拆成异步双流：执行 \(a_t\) 期间，预测流先做 \(C_{\mathrm{tmp}}=C_t\cup\{a_t\}\)，再用策略自己的视频专家（而非 tokenizer 的冻结 FDM）跑一次 forward dynamics：

\[ \hat{z}_{t+1} = v^{\text{vid}}_\theta\big(z_{\le t},\, a_{\le t}\big), \]

动作专家据此从 \(C_{\mathrm{tmp}}\cup\{\hat{z}_{t+1}\}\) 提前解出 \(a_{t+1}\) — 执行结束时下一动作已就绪，预测延迟藏进运动时间里。但纯开环会漂：如果预测流一直把自己的 \(\hat z\) 喂回上下文，视频 backbone 偏好时间平滑，会顺着幻觉轨迹走下去、无视物理反馈直到无法挽回。所以每当真实观测返回，就把它编码成真 latent \(z_{t+1}\)，连同已执行的 \(a_t\) 一起覆写 KV cache 里的过期想象 latent — 下一步预测从 feedback-grounded 的 \(C_{t+1}\) 出发。为了让视频专家胜任这个角色，post-training 加了 FDM grounding 损失：

\[ \mathcal{L}_{\text{FDM}} = \mathbb{E}\!\left[\, \big\| v^{\text{vid}}_\theta\big(z^{(s)}_{t+1}, s \mid z_{\le t},\, a_{\le t}\big) - (z_{t+1} - \epsilon) \big\|^2 \,\right], \]

与预训练的 \(\mathcal{L}_{\text{vid}}\)（只条件 \(a_{<t}\)）的区别在于额外喂入正在执行的 \(a_t\)，把视频专家变成当前转移的真 forward-dynamics 预测器 — 训练条件与异步推理条件严格一致。与 GEN-0 的 Harmonic Reasoning 同为并发推理，但这里的 look-ahead 由学到的世界模型给出、且逐观测校正；与 Multi-Stream LLM 的差别是这里的流承载"预测的未来世界状态"，闭环成立与否完全取决于 re-grounding — 语言场景没有这个对应物。Foresight Reasoning 与 MCP 相互独立，可分别开关。

3.9 Post-training 与推理加速¶

Consistency distillation：以 post-trained 模型 \(v_\theta\) 为冻结 teacher，在离散化的 \(s\) 网格上做一步 Euler 教师步 \(\hat{x}^{(s_{n+1})} = x^{(s_n)} + (s_{n+1}-s_n)\, v_\theta(x^{(s_n)}, s_n)\)，学生 \(f_\xi\) 被要求在相邻两点给出一致预测：

\[ \mathcal{L}_{\text{CD}} = \mathbb{E}\!\left[\, d\big(f_\xi(x^{(s_n)}, s_n),\; f_{\xi^-}(\hat{x}^{(s_{n+1})}, s_{n+1})\big)\right], \]

其中 \(\xi^-\) 是 stopgrad 的 EMA target，\(d\) 取平方 \(\ell_2\)。两个专家都蒸：视频专家 5 步 → 2 步、动作专家 10 步 → 2 步，部署时每个 chunk 每专家只需 2 次函数求值。

推理加速再分三层，各打一处瓶颈：

模型级（每次 DiT 前向）：ONNX→TensorRT 编译，KV cache 显式化为引擎输入输出（满足静态接口、固定执行 profile），transformer 内部 linear 层 FP8（NVIDIA Model Optimizer 插量化节点），首尾层保 BF16；
序列级（长时程自回归注意力）：paged/ragged KV-cache 原地更新 + 显式跟踪有效长度/页元数据，换掉 TensorRT 通用注意力子图、接 FlashInfer attention 插件直接消费紧凑 cache，免 padding 稠密化；
系统级（host 侧摊销）：缓存 TensorRT bindings/shape、复用运行时张量与 layer view、预计算 cross-attention KV、缓存 frame-id/调度步元数据、去掉多余 CPU-GPU 同步点。

3.10 Implementation Details¶

项目	数值
视频 backbone	30 blocks，hidden 2048，共享注意力空间 3072（24 heads × 128），FFN → 128 routed SwiGLU experts（per-expert intermediate 512）+ 1 shared，top-8
动作专家	hidden 768（注意力宽度的 1/4），dense FFN 3072，输出头 768→30
参数量	视频 ≈13.0B 总 / ≈1.9B 激活；动作 ≈0.6B；MCP 头 ≈1.7B；共 ≈15.3B 训练参数，推理每 token 激活 ≈2.5B
latent	96 通道，patchify 1×2×2；tokenizer 时间下采样 4×
动作空间	统一 30 维，per-dataset quantile 归一化，缺失维补零 + mask
文本条件	dense UMT text encoder，4096 维 token 嵌入（≤512 tokens），cross-attention 注入；CFG 文本 drop 0.1
timestep shift	图像 2 / web 视频 2 / 机器人 video-action 5 / MCP 分支 10 / 动作 1（视频与动作噪声独立采样）
优化器	混合 Muon（transformer 内所有 2D 矩阵，lr 2e-3，momentum 0.95，wd 0.1）+ AdamW（其余，lr 1e-4，β=(0.9,0.95)，wd 0.01）；2000 步线性 warmup 后恒定；梯度裁剪 1.0
系统	FSDP 全参数分片（无 TP/PP/CP），bf16 + FP32 梯度规约，全量激活检查点，每 rank 单条 packed 序列（local batch 1），1% 数据留作验证
推理延迟	142 ms/chunk（全加速后），chunk 含 K=32 个低层控制步 → 异步峰值 225 Hz；蒸馏后每 chunk 2 次函数求值/专家

未披露：GPU 数量与型号、总训练步数/token 数、训练时长 — 工业报告的常见留白。

4. 结果对比¶

4.1 真机多任务评测（自建 benchmark）¶

4 个任务（Fruit Sorting / Pen Collection / Drawer Tidying / Plate Handover），每任务 20 条遥操作演示，单一 generalist 策略多任务 SFT、同一 checkpoint 跨任务部署。数字取自论文真机评测柱状图（论文未提供表格）：

Success Rate (%)

方法	Pen Collection	Fruit Sorting	Drawer Tidying	Plate Handover	均值
π0.5	50	42	64	45	50.3
LingBot-VA 1.0	75	42	64	55	59.0
LingBot-VA 2.0	77	67	82	64	72.5

Progress Rate (%)

方法	Pen Collection	Fruit Sorting	Drawer Tidying	Plate Handover	均值
π0.5	73	75	69	64	70.3
LingBot-VA 1.0	83	79	70	64	74.0
LingBot-VA 2.0	88	90	89	84	87.8

真机结果柱状图 Figure 5：真机四任务对比。相对 1.0 的增益集中在 Fruit Sorting（42→67%）与 Drawer Tidying（64→82%）；Pen Collection 上 1.0 已经 75%，2.0 只 +2pp — 增益并不均匀。

4.2 RoboTwin 2.0 仿真（双臂，多任务）¶

训练：2,500 条干净场景演示（50/任务）+ 25,000 条重随机化演示（500/任务）。成功率 (%)：

方法	Clean	Randomized	Avg.
X-VLA	72.9	72.8	72.9
π0.5	82.7	76.8	79.8
Motus	88.7	87.0	87.9
LingBot-VA 1.0	92.9	91.6	92.2
LingBot-VA 2.0 (Ours)	93.8	93.4	93.6

vs π0.5 +14.0 pp（论文 headline），vs 自家 1.0 仅 +1.4 pp；clean-randomized 差距 0.6 pp 显示域随机化鲁棒性。

4.3 关键消融¶

Tokenizer 消融（1.3B video-action 模型从零训练，同 token 预算，RoboTwin 50 任务成功率 %）：

指标	WAN2.2 VAE Easy	WAN2.2 VAE Hard	本文 tokenizer Easy	本文 tokenizer Hard
Avg (hor=1)	81.1	78.4	86.2	83.1
Avg (hor=2)	75.5	73.9	85.7	84.0
Avg (hor=3)	67.2	68.0	92.0	85.4
Avg (50 任务)	78.0	76.0	86.6	83.1

重建式 VAE 随预测 horizon 变长单调劣化（Easy 81.1→67.2），语义 tokenizer 反而 hor=3 最高（92.0）— 直接证据：重建 latent 丢掉了对世界-动作建模有用的状态信息。

MCP 消融（5B 基线，RoboTwin post-training）：50 fps 下训练 5k 步时 MCP 在随机化设置上领先 29.7 pp；20k 步即达到基线 45k 步的精度 — 2.3× 训练加速；12 fps 下同样更快收敛、更高终点。帧率越高（相邻 chunk 越像）增益越大，与"防抄外观"的动机自洽。

推理加速逐项累积：

配置	推理时间 (ms/chunk)	Async Hz
BF16 PyTorch 异步 rollout 基线	927	35
+ Consistency distillation	466	69
+ FP8 TensorRT 编译执行	369	87
+ 长时程注意力优化（paged KV + FlashInfer）	272	118
+ 运行时开销削减	142	225

端到端 6.5× 加速。注意 Async Hz = (1000/142) × K，K=32 为每 chunk 低层控制步数 — 是 chunk 内动作吞吐率，不是重规划频率（见 §5.2）。

MoE vs Dense：MoE-13B-A1.9B 与 Dense-5B 同步数对齐时 dense 损失略低、同 wall-clock 对齐时几乎重合（论文 MoE/Dense 训练损失对比图）— MoE 未证明训练收益，价值在推理激活参数减半以上。

4.4 定性演示¶

四个真机演示各测一种能力：Desk Tidying（长时程规划）、Conveyor Belt（对移动物体的时序 grounding）、Chip Picking（无触觉传感的薄片轻柔抓取）、Air Hockey（快速反应控制）。ICL 演示：4 个训练任务 × 15 demos 微调后，对 4 个未见任务组合（如"把葫芦放进绿盘"）仅凭 human 参考视频零参数更新执行成功（定性展示，无量化成功率）。

5. 引申问题 / 讨论¶

5.1 做得好的地方¶

Tokenizer 消融是全文最干净的实验：同 1.3B 架构、同 token 预算、同下游 post-training，只换 tokenizer，且按预测 horizon 分解（Table 2）。hor=3 时 Easy 67.2→92.0（+24.8 pp）的单调分化模式是"重建 latent 缺物理结构"这一核心论点目前能拿到的最强证据 — 比整系统对比有说服力得多。
MCP 用"高帧率下抄外观"这个具体失败模式立论，而且消融设计正好验证了机制：50 fps（相邻 chunk 最像、最该抄）时增益最大（5k 步 +29.7 pp、2.3× 加速）。辅助头训练完可丢弃 → 零推理开销白拿收益，也可保留做并行 next-chunk 预测，一个模块两种部署语义。
Foresight Reasoning 的 re-grounding 设计闭环严谨：naive 异步会条件在过期想象 latent 上开环漂移（视频先验偏好时间平滑会"顺着幻觉走"，作者对失败模式的刻画很诚实）；解法是每个真实观测覆写 KV cache，且 post-training 用 \(\mathcal{L}_{\text{FDM}}\)（条件 \(a_{\le t}\)）让训练条件与异步推理条件严格一致 — 不是推理期 hack，是把推理模式训进模型。
Human 数据 retargeting 的工程细节到位：手指→"虚拟平行夹爪"开度用整个手指包络（抗单指 mistrack）、quantile 归一化对齐 robot 夹爪通道、functional opening 替代 no-op 占位让 human 数据监督"何时抓"；per-domain 动作头吸收 motion gap、世界模型全共享、部署零开销。每个选择都有明确的失败模式在背后。
加速消融按栈分层、逐项累积可复算（Table 3：927→466→369→272→142 ms），consistency 蒸馏、FP8 TRT、paged KV、运行时开销各自贡献清晰 — 学术论文里少见的部署工程透明度。
对 MoE 的自我报告诚实：损失曲线图明说同步数下 Dense-5B 还略低 — 没有把 MoE 包装成训练增益，只主张"容量扩了、优化没坏、推理激活省了"。

5.2 做得不够好的地方 / 值得质疑的地方¶

全文核心论点"native 从零预训练 > 双向改装"从未被受控验证。设计原则 #2 是整篇的 thesis，但没有任何一个实验在匹配算力/数据下对比"从零因果预训练"vs"Wan 类双向 backbone 改装"（tokenizer 消融是受控的，causal-native 这条恰恰不是）。目前的证据只有端到端 vs 1.0 的 +1.4 pp（RoboTwin），而 1.0 与 2.0 之间同时变了 tokenizer、MoE、MCP、数据量、蒸馏——归因完全不可分解。"retrofit 侵蚀先验"停留在叙事层面。
相对自家前作的增益其实很小：RoboTwin 92.2→93.6（+1.4 pp，接近饱和区）；真机 Pen Collection 75→77%。headline 的"+14.0 pp"是对 π0.5 的，而 π0.5 连视频预测都不做。花 15.3B 参数从零预训练 web-scale 视频，换来对 1.0 的边际提升，投入产出比这笔账论文避而不谈。
"225 Hz"是有利的指标定义：Async Hz = 每秒 chunk 数 × K(=32)，衡量的是动作吞吐率；模型每 142 ms 才重规划一次（约 7 Hz chunk 级决策频率），且异步模式下 \(a_{t+1}\) 是从想象的 \(\hat{z}_{t+1}\) 解出的 — 对突发扰动的最坏反应延迟仍是一个完整 chunk + 推理时间。拿 225 Hz 对标传统"控制频率"语义上是偷换。Air Hockey 演示是定性的，没有反应延迟的量化测量。
真机评测规模小且全内部：4 任务 × 自建 benchmark，rollout 次数、方差/置信区间全部未报；结果只有柱状图没有表格；π0.5 的微调配方是否等量调优不可知。50→72.5% 的均值差可能显著，但 Pen Collection 上 +2 pp 这种粒度在未知试次数下无法解读。
"web-scale 学动作"的故事与实际监督链有断层：latent action \(\ell_t\) 只在预训练里当 \(a_t\) 用；真机部署的 30 维真实动作仍要靠机器人标注数据训练动作专家与 \(E_R/P_R\)。latent action 预训练对下游真实动作解码到底贡献多少，没有"去掉 latent-action 目标预训练"的消融；\(a_t \equiv \ell_t\) 到真实动作的接口切换（何时换、怎么换）论文语焉不详。
ICL 的"human 演示"绝大部分是合成视频：管线是 Gemini 改 prompt → Nano Banana Pro 编辑首帧 → WAN-2.6/Kling-V3 生成 → VLM 打分过滤。模型学到的可能是"生成视频分布里的人手"而非真实人类演示；ICL 真机验证只有 4 个训练任务 → 4 个同场景物体重组的定性 demo，本质是场景内组合泛化，撑不起"unseen open-world tasks"的措辞。
Planner 有完整方法小节、零量化评测：无 planner-ablation（长时程任务去掉 planner 掉多少）、无 done 判断准确率、无子任务切换失败分析；结论亦承认 planner 与策略分开训练、接口固定。整个 §2.3.1 目前只是"我们也有 dual-system"的存在性声明。
Intro 的泛化主张与实验错位："10-15 条演示适配"（实验用的是 20 条）、"跨本体迁移无需大规模重采集"（实验章节没有任何跨本体实验）、"某些设置 zero-shot"（只有 ICL 定性 demo）。三条卖点两条半没有对应实验。
可复现性接近于零：数千小时内部机器人数据 + 65.4k episode 内部 ego 语料 + 内部 benchmark + 未公布训练规模（GPU/步数/token 数），连模型权重是否开放都未说明。作为"foundation model"宣称，社区只能引用不能检验。
MoE 的下游价值未闭环：既然同 wall-clock 损失与 Dense-5B 重合，真正该报的是 MoE-13B-A1.9B vs Dense-5B 的下游成功率与端到端延迟对比 — 论文只给了预训练损失曲线，"容量更大所以更好"的暗示没有落到控制指标上。

5.3 值得继续探讨的方向¶

补上 thesis 级消融：匹配数据/FLOPs 下 "native causal from scratch" vs "双向 backbone 因果 retrofit"（如从 Wan2.2 改装同规模模型），这是让本文从"系统报告"升级为"科学结论"的一步。
latent action 的价值隔离：预训练时去掉 latent-action 目标（只做视频预测）→ 下游真机成功率变化多少？以及用 LAPA/UniVLA 式离散 latent action 替换连续瓶颈 \(\ell_t\) 的对比。
RL / 交互信号 sharpening latent action 空间（结论自提）：passive 视频学出的 \(\ell_t\) 是否系统性偏向"可见变化"而漏掉力控相关维度（Chip Picking 无触觉抓取的成功是否只是视觉伺服的极限）。
Planner-policy 联合训练：把 planner 的 done/instruction 输出接进策略梯度，或干脆用同一 backbone 统一 System-1/System-2；boundary-crossing sampling 能否扩成 planner 的 closed-loop 微调。
真实反应延迟的度量学：为异步 WAM 建立扰动注入 → 首个纠正动作的 latency benchmark，替代 Async Hz 这类吞吐指标；量化 re-grounding 频率与漂移幅度的关系。
MCP 头当 speculative decoding：保留 MCP 头并行预测下一 chunk 的部署模式论文只提了一句 — 接受/拒绝准则怎么定、精度损失多少，值得单独量化。
合成 ICL 数据的 sim2real 问题：用真实人类第一视角数据（如自家 65.4k ego 语料）替换生成视频构造 ICL 对，对比合成管线 — 顺便回答"生成视频先验是否在污染 human prompt 语义"。
跨本体验证：30 维统一动作布局声称支持任意本体，但实验只有双臂 — 加入灵巧手/移动操作平台检验 zero-padding+mask 方案的可扩展性。

参考资源¶

论文 PDF: paper.pdf
LaTeX 源码: source/
项目主页: https://technology.robbyant.com/lingbot-va-v2
关键 baseline / 相关论文:
- LingBot-VA 1.0: "Causal World Modeling for Robot Control" (arXiv 2601.21998) — 直接前作
- RepWAM: "World Action Modeling with Representation Visual-Action Tokenizers" (arXiv 2606.13674) — tokenizer 出处
- Next Forcing: "Causal World Modeling with Multi-Chunk Prediction" (arXiv 2606.11187) — MCP 出处
- Zero-WAM: In-context World Modeling for Zero-shot Task Generalization (github.com/jiaming-zhou/Zero-WAM) — ICL 出处
- LingBot-Video: "Scaling Mixture-of-Experts Video Pretraining for Embodied Intelligence" (arXiv 2607.07675) — 通用视频语料与 MoE 经验
- π0.5 (Physical Intelligence, CoRL 2025)、DreamZero (arXiv 2602.15922)、Motus (arXiv 2512.13030)、X-VLA (arXiv 2510.10274) — 对比基线
- GEN-0 Harmonic Reasoning (Generalist AI blog, 2025) — 异步推理同期工作
- DeepSeek-V3 / Loss-Free Balancing / Moonlight — MoE 配方来源
- RoboTwin 2.0 (arXiv 2506.18088) — 仿真 benchmark