阿里Qwen发布QwenGyre：面向超长程智能体的弹性强化学习框架

阿里Qwen团队正式发布QwenGyre，一套面向“超长程（XLong-horizon）”智能体训练的弹性强化学习框架。与以往发布模型权重不同，这次Qwen交出的是一个训练系统：它通过未经修改的黑盒智能体框架（harness）训练编程智能体，可承载持续数小时、接近100万token的单次rollout。团队在Qwen 3.6 122B和旗舰Qwen 3.8 2.4T（按Qwen口径激活参数约95B，即A95B）模型上完成了验证，单条rollout平均约70万token。

超长程训练的两大痛点

研究团队将“XLong-horizon”任务定义为持续数小时、包含数百次模型与工具交互的智能体运行，典型例子是根据需求说明生成完整代码仓库，如NL2Repo-Bench基准。在这样的尺度下，传统强化学习基础设施暴露出两个结构性问题。

其一是rollout的长尾效应。在Colocate（共置）架构下，训练必须等待最慢的执行完成，大量GPU在此期间空转；在Async（异步）架构下，固定的GPU池之间无法互相借用闲置算力。其二是智能体框架自身的复杂性：以Claude Code为代表的harness会压缩上下文、派生子智能体、进行重试，一次执行实际演化成一棵分支树而非单条轨迹。若把每条路径都展开训练，共享前缀会被重复计算，训练成本急剧膨胀。

弹性调度器：GPU在角色间自由切换

QwenGyre的核心设计之一是弹性调度器。系统将GPU划分为共享同一训练布局的“单元（cell）”，每个单元既可执行rollout，也可承载完整的训练副本。核心单元持有权威权重与优化器状态，卫星单元可中途加入训练。调度器通过“水位线”跟踪排队与运行中的rollout数量，随着任务陆续完成，只要剩余单元仍能服务全部在线任务，空闲单元即切换为训练角色。模型调用经由代理重定向，harness进程全程不中断。

关键机制包括：重路由时KV-cache块通过RDMA迁移，减少前缀重复计算；卫星单元经Mooncake的Transfer Engine拉取核心权重并加入进行中的批次；流式训练让单元在数据就绪时即可认领微步骤。实测平均角色切换耗时仅8.52秒（rollout转训练）和3.46秒（训练转rollout）。整个系统由Megatron负责训练、SGLang负责rollout推理，规模上122B模型使用24至32个节点，2.4T模型则动用192个节点（4个单元、每单元48节点），GPU型号未披露。

轨迹处理器：把分支树变成有界样本

第二个核心组件是轨迹处理器。代理层记录精确的token ID与行为对数概率，采用token-in、token-out（TITO）方式，将调用存储为前缀共享的轨迹树。在此基础上有四项处理规则：超时的执行仍会基于其保留的工作区进行部分打分；评测器故障被剔除，绝不当作零奖励处理；有界采样为每次执行最多保留5条轨迹，按主轨迹、主摘要、子智能体、子智能体摘要的优先级排序；去重确保共享目标只计一次，且仅对策略生成的token进行训练。

此外，损失在每次执行内部取平均，避免额外分支虚增其权重。实测显示，5条上限与不设上限的训练得分相当，但前向-反向耗时降低25.2%。训练算法采用改造后的GSPO，每组16条rollout。

基准测试：最高1.85倍端到端加速

所有测试均以Claude Code 2.1.220作为harness，GPU预算相同且陈旧度对齐。在Qwen 3.6 122B上：NL2RepoBench（48步）相比Async提速1.42至1.53倍，相比Colocate提速1.36至1.47倍；DeepSWE（24步）分别提速1.569至1.572倍和1.610至1.824倍；TerminalBench（24步）分别提速1.383至1.430倍和1.809至1.849倍。最好成绩是在TerminalBench上相对Colocate取得1.85倍端到端加速。

在2.4T旗舰模型上，QwenGyre完成48步训练耗时75.42小时，Async需134.55小时、Colocate需91.47小时，对应1.78倍和1.21倍加速——最差情形正是2.4T模型上的1.21倍，原因是大量查询逼近超时上限。效果层面，NL2RepoBench评测通过率从52.48%升至58.54%。

与同类框架的横向对比

与现有智能体RL框架相比：字节跳动Seed与社区的veRL采用灵活设备映射与HybridEngine重分片，支持671B模型训练，Apache-2.0开源；清华IIIS与蚂蚁集团的AReaL主打全异步，宣称相对同步方案最高2.77倍加速（v0.3），Apache-2.0开源；微软的Agent Lightning以近零代码改动接入黑盒harness，MIT协议开源。QwenGyre的特色在于弹性单元可在rollout中途切换角色，且规模声明最大（Qwen 3.8 2.4T），但其许可证与代码均未公开，这是目前最受关注的短板。

需要提醒的是，各家框架的加速数据均来自各自的实验设置，并不具备直接可比性。

展望未来，QwenGyre展示了智能体强化学习基础设施的下一阶段方向：当任务时长从分钟级迈向小时级，算力调度与轨迹管理将比模型本身更决定训练效率。弹性资源分配、部分奖励计算与前缀共享采样，有望成为长程智能体训练的标配技术。若Qwen后续公开代码或将其集成进训练栈，将显著降低社区复现门槛，也可能直接影响veRL、AReaL等开源框架的演进路线。