单次RL后训练耗资260万美元，小米MiMo-V2.6把强化学习推向规模化

在大模型训练成本普遍讳莫如深的当下，小米罕见地公开了MiMo-V2.6的强化学习训练账本：单次RL后训练（post-training）花费约260万美元，训练过程中每一步要消耗37亿Token。这一披露迅速在中文AI社区引发热议，因为它把此前只在传闻中出现的'规模化强化学习'成本，第一次摆到了台面上。

强化学习后训练被认为是当前提升模型推理与决策能力的关键环节，但其投入规模外界几乎无从得知。小米此番直接给出260万美元这一量级的数字，等于为整个行业提供了一份可参照的'标价'。

从MiMo系列看小米的大模型野心

MiMo是小米自研的大模型系列，早期版本以参数量适中、推理能力突出为特点，一度在小尺寸推理模型的开源评测中取得亮眼成绩。MiMo-V2.6是这一系列的最新迭代，延续了对数学、代码等强推理场景的重点打磨。

与单纯堆参数的预训练路线不同，小米在MiMo系列上更强调后训练阶段的能力挖掘，强化学习正是其中的核心抓手。这种策略与近期多家头部团队的做法趋同：预训练带来的边际收益递减后，RL阶段成为拉开模型差距的主战场。

规模化强化学习：用Token洪流换能力跃升

此次披露中最引人注目的数据是'每步37亿Token'。强化学习训练中，模型需要对海量任务进行试错、生成多个候选答案并接受奖励信号反馈，Token消耗量远超直觉。随着任务难度提升和Rollout次数增加，单步消耗的Token规模会持续攀升。

这正是所谓'规模化强化学习'（Scaled RL）路线的直观体现：不再把RL当作轻量的调优手段，而是像预训练一样投入算力与数据，通过规模的累积换取推理能力的质变。260万美元的单次成本，正是这条路线的直接代价。

成本透明化背后的行业博弈

训练成本长期是各家大模型公司最敏感的数字之一。OpenAI、Anthropic等海外厂商从未公布过单次RL训练的具体花费，国内团队也大多语焉不详。小米选择主动披露，可以视为一种技术自信的表态，也为开源社区与潜在合作伙伴提供了成本预期。

对比来看，业界普遍传闻头部推理模型的RL后训练成本已达数百万美元量级，MiMo-V2.6的260万美元若属实，说明小米在训练效率上具备一定竞争力。当然，260万美元仅指后训练阶段，不含预训练、数据清洗、评测与多轮消融实验的隐性投入。

对手机厂商AI战略的启示

小米的财报显示其拥有庞大的手机与IoT用户基数，MiMo系列承担着为'人车家全生态'提供端云一体智能底座的角色。自研并公开训练细节，既是吸引开发者的姿态，也是在供应链之外强化自身AI话语权的尝试。

对整个行业而言，这份成本账本的意义在于：规模化强化学习的门槛虽然高昂，但已不再是不可企及的天文数字。当260万美元成为可讨论的公开参照，中小团队与云厂商的自建模型路线也有了更清晰的预算锚点。

展望后续，MiMo-V2.6在具体基准上的表现将成为验证这笔投入的关键。如果能力的提升与投入成正比，'规模化RL'将进一步确立为主流范式；反之，成本透明化也会倒逼行业更冷静地评估RL路线的投入产出比。小米这次'晒账单'，可能只是训练成本公开化的第一步。