Reka 19B全模态模型Rho-1直出机器人动作

一个模型既能“看懂”世界、又能直接“出手”操作的阶段，可能正在到来。据Reka官方博客及其GitHub、Hugging Face页面信息（数据核实于2026年10月5日），这家公司发布了从零训练的19B全模态推理模型Rho-1的研究预览版。与当下“感知归感知、控制归控制”的主流具身智能方案不同，Rho-1用一个神经网络完成文本、图像与视频的理解、生成和推理，并把机器人连续动作作为token直接输出，这也是本次发布最核心的卖点。

取消“交接”：一个上下文窗口装下所有模态

当今大多数多模态方案本质上是流水线：一个中央模型负责规划，再把任务分派给图像、视频或目标检测等专用模型。Reka指出，每一次交接都会增加延迟，而每个专用模型只能看到一段狭窄的请求。Rho-1则取消了全部交接环节——文本、视觉与机器人动作都以token的形式进入同一个上下文窗口，由单一网络统一推理与生成。

为了证明这条链路完整可用，Reka展示了一段未经剪辑的真实会话：模型先画出一座灯塔，为它标注边界框，接着把灯塔制作成动画，随后将视频剪辑成暴风雪场景，最后解释两个版本画面之间的差异。整个闭环在5轮对话内完成，全程没有调用任何外部工具，也没有第二个模型参与。

用Reka的说法，Rho-1是“在模态专用模型之间传递工作的智能体流水线”的直接替代品。

双流架构：两条专家流共享一份KV缓存

架构上，Rho-1的每个输入与输出都采用两种原生格式之一：离散token承载文本、符号推理与高层指令；连续token承载图像潜变量、视频帧、机器人动作以及本体感知信号——后者即机器人对自身关节位置与姿态的感知。每个Transformer块内含两条专家权重流：理解流负责语言与视觉解析，生成流负责将潜变量去噪为图像和视频；两条流共享注意力机制，并运行在同一份KV缓存之上。当回复需要像素时，理解流会发出一个离散的交接token，生成流随即基于完整累积的状态进行渲染。

训练目标同样“一分为二”：离散序列采用下一词元预测，连续输出采用流匹配（flow matching）。这套设计带来两个可以直接感受到的效果：其一，边界框以坐标token的形式直接给出，不再依赖外挂的独立检测器；其二，生成视频首帧时可以复用上下文中已有的图像表示，而不必对同一张图重新编码。

速度账：0.79倍实时与“8步去噪”

速度是统一模型绕不开的质疑。基础版Rho-1的视频生成中位数达到0.79倍实时，大约6秒即可出现可观看的画面流；Reka团队实测7.0秒产出首段视频，而他们给出的一个多智能体流水线示意对照则需要13.8秒——单模型路线在端到端时延上的优势由此显现。

蒸馏版进一步提速：去噪步数从99步压缩到8步，官方称质量损失极小，一段5.3秒的短片约1秒即可返回。在Reka的内部测试中，该蒸馏版追平了最快的专用图像模型，同时也是所有受测模型中首个文本token出现最快的。不过必须强调，以上均为厂商自测数据，尚无独立基准佐证。

世界模型与机器人：画面与动作出自同一潜状态

作为世界模型，Rho-1能够一段接一段地持续流式生成；新指令通过理解流进入，并在滚动推进（rollout）过程中实时更新状态。Reka演示了一个开场画面分叉出“向左压坡”与“向右压坡”两种后续走向的案例，说明模型可以在生成中途接受新指令并改变走向。

机器人方向是本次发布最受关注的部分：动作与未来帧从同一份潜变量状态解码而来。在LIBERO仿真环境的一段任务中，Rho-1输出了7个动作通道。针对远程操控日志稀缺这一行业数据瓶颈，Reka让Rho-1与自研的逆动力学模型（Inverse Dynamics Model）配对使用——后者可以从原始视频中推断控制信号，从而低成本地规模化扩充机器人训练数据。

同台对比：封闭路线对阵开放权重阵营

与同期同类工作相比，Rho-1的差异化相当清晰：原生视频生成（分辨率上限672×384）、连续rollout式的实时操控，以及原生的连续动作token输出。字节跳动Seed团队的BAGEL总参数14B、激活7B（MoT架构），输入输出限于文本与图像，不生成原生视频，也不输出动作，但已按Apache 2.0协议在Hugging Face与GitHub开放；BAAI的Emu3.5参数量34B，处理交错的文本与图像，虽有具身操作演示却没有原生视频片段，同样以Apache 2.0开放，可经Hugging Face与emu.world应用使用。

谷歌DeepMind的Genie 3则走了另一条路：参数量未公开，接收文本提示与导航输入，可生成720p、24fps的交互式视频世界，并支持通过可提示的世界事件进行实时干预；它会执行导航动作但并不输出动作本身，目前经Project Genie面向Google AI Ultra订阅者开放。相比之下，Rho-1选择封闭：不开放权重，仅提供研究预览，需通过[email protected]联系获取，暂无公开API与定价；其训练动用了320块H100、历时3个月。

接下来的看点有两个：一是独立评测能否印证0.79倍实时、672×384分辨率上限以及“蒸馏后质量损失极小”这些厂商口径；二是机器人动作直出能否走出LIBERO仿真、在真机上稳定复现——若能，现有“感知—规划—控制”分层的具身智能技术栈将被明显压缩。在多模态竞争从“拼接专用模型”转向“统一token空间”的当口，Reka用19B的体量交出了一份激进答卷，开放与封闭两条路线的赛跑才刚刚开始。