阿里发布QwenGyre：弹性强化学习加速AI智能体训练

阿里巴巴 Qwen 团队发布了名为 QwenGyre 的弹性强化学习训练框架，专门解决”超长程”（xLong）AI 智能体训练中的算力浪费难题。需要强调的是，QwenGyre 并不是一款新模型，而是一套训练系统：它要让那些单次任务动辄运行数小时、消耗近百万 token 的智能体，也能被高效地”练”出来。Qwen 官方 X 账号于 10 月 12 日宣布了这一成果，论文已同步挂上 arXiv，由阿里 Token Hub 团队与中国科学技术大学、清华大学合作完成，多家海外科技媒体在 10 月 13 日跟进报道。

事件详情：两套机制攻克两大瓶颈

论文指出，大语言模型智能体正越来越多地承担极长程任务：单次执行可达数小时、涉及数百次模型与环境的交互、每个 rollout（采样轨迹）消耗 70 万到近 100 万 token。把在线强化学习直接套用在这种任务上，会撞上两个根本性挑战：

• 执行方差大、rollout 延迟长，导致 GPU 大量闲置。传统方案要么把同一批 GPU 在采样和训练之间来回切换（Colocate），训练只能干等最慢的任务跑完；要么把 GPU 固定划分成两拨（Async），两边都借不到对方的空闲算力。
• 复杂的非线性分支产生海量冗余轨迹，拖慢训练效率。智能体在执行中不断试错、分叉，大量重复的轨迹被送进训练，成本失控。

QwenGyre 的回答是两个核心设计。Elastic Scheduler（弹性调度器）把硬件组织成可独立切换的”cells”，根据未完成 rollout 的工作量，在采样生成和模型训练之间动态重分配 GPU，且不中断正在执行的任务：模型请求会被实时路由到剩余的 rollout 引擎，KV 缓存经 RDMA 迁移避免重复计算。角色切换很快——从采样切到训练平均 8.5 秒，反向只要 3.5 秒，相对动辄数小时的任务可以忽略不计。Trajectory Processor（轨迹处理器）则把分支化的执行历史重建成有界的训练样本：记录调用 ID 与行为对数概率，把调用存成前缀共享的轨迹树，对部分进展打分、去重冗余路径，每个执行最多保留 5 条轨迹。

实验规模相当可观：在 Qwen 3.6 122B（24 到 32 个节点）上验证，并扩展到旗舰模型 Qwen 3.8 2.4T（192 个节点、4 个 cell）。122B 测试中，单次 rollout 平均执行 1.93 小时、单个查询 2.96 小时；在 2.4T 上，有完整时长记录的查询里 61.1% 耗时至少 4 小时——这正是”超长程”的真实写照。结果上，2.4T 模型在 NL2RepoBench（长程软件工程基准）上 48 个训练步从 52.5% 提升到 58.5%，绝对增益 6 个百分点；同样 48 步耗时 75.42 小时，而 Colocate 基线要 91.47 小时、Async 基线 134.55 小时。论文称，相对 Colocate 最高提速 1.85 倍、相对 Async 最高 1.78 倍。

一些值得注意的细节：训练侧用 Megatron、rollout 服务用 SGLang，GPU 型号未披露；据 MarkTechPost 指出，论文目前没有附带公开的代码仓库。

背景分析：训练效率正在成为新的竞争维度

智能体任务的形态正在变化：从”修好单个仓库里的一个 issue”，走向”从零构建整个代码库”。NL2RepoBench 这类新基准衡量的正是这种长程软件工程能力。而当单次任务就要烧掉近百万 token，训练的瓶颈就从”模型有多大”转移到了”训练系统工程做得多好”——这正是 QwenGyre 切入的位置。

放在更大的产业图景里看，这一步踩在了点上。AI 资本开支仍在狂奔：腾讯刚发 50 亿美元债券加码 AI、大部分资金用来买芯片，AI 封测报价最高涨 30%。当算力越来越贵，”把闲置的 GPU 用起来”本身就是一种成本优势。这也呼应了英特尔 CEO 陈立武那句”中国 AI 模型够用且便宜”——QwenGyre 正是工程效率层面的注脚：不靠堆更多的卡，靠调度把每一张卡的空转时间挤掉。

竞争对手也没闲着。Meta 刚发布面向智能体的 Muse Wonder 系列，主打跨对话记忆与长程任务执行；Anthropic、OpenAI 同样在加码智能体训练。可以说，智能体训练方法论已经从”预训练 scaling”进入了”后训练与训练系统”的下半场。

影响与展望

对开发者和行业而言，QwenGyre 这类框架的意义在于：智能体在长程多步任务上的可靠性，天花板不只取决于基座模型，还取决于训练它的”脚手架”。当训练效率提升近一倍，过去因为太贵而不敢尝试的长程训练任务，会变得可行。

对阿里来说，这是 Qwen 在智能体基础设施层面的一次话语权建设——从发布模型，到发布”训练模型的方法”。与中科大、清华的合作也延续了其产学研路线。不过也要泼点冷水：目前所有数字都来自论文自报的实验，第三方独立复现尚未出现；在代码公开之前，其真实的工程复用价值还有待验证。

接下来值得观察的是：QwenGyre 会不会开源？如果开源，它很可能像当年的 Megatron、DeepSpeed 一样，成为智能体训练的公共基础设施之一。