Article content is shown in its original language.
阿里千问发布面向超长程智能体任务的在线强化学习框架QwenGyre。官方实验显示相同GPU预算下相对异步方案实现1.78倍端到端加速。
业务原问题：当AI从“写十行函数”变成“连续几小时重构整个代码库”
在软件研发、自动化运维与复杂工程排查场景中，企业对大模型的要求早已越过了“单轮问答生成一段代码片段”的初级阶段，转向让智能体（Agent）独立接管连续数小时、与编译器和终端环境交互数百轮、单次执行累计吞吐七十万乃至上百万Token的超长程任务。然而当算法团队试图用在线强化学习（Online RL）训练这类长程智能体时，底层GPU算力集群却陷入了严重的效率瘫痪。
同日英特尔CEO陈立武与博通CEO陈福阳在接受CNBC采访时双双发出预警：尽管AI算力需求到2029年仍大于供给，但高昂的资金消耗与投资回报率（ROI）疑问正成为AI扩张的最大瓶颈；与此同时，微软发布配备288GB HBM4内存的2nm芯片Maia 300，AMD推出可扩展至32768核的Helion智能体机架。硬件巨头拼命堆高内存带宽，而软件工程团队面临的真问题则是：在不增加硬件采购预算的前提下，如何把被长程智能体任务白白耗掉的GPU空转时间夺回来？阿里千问团队10月12日发布的 QwenGyre 在线强化学习框架，交出了一份针对这一工业痛点的架构答卷。
采用前流程与三大痛点：长尾任务拖垮集群、前缀重算与超时样本报废
在引入 QwenGyre 之前，业界训练长程软件工程智能体平日采用传统的同地同步（Colocate）或基础异步（Async）强化学习流水线。面对单次 rollout 动辄数十万 Token 的复杂代码仓库任务，旧流程暴露出三个致命的工程瓶颈：
第一是“木桶长尾效应导致GPU大面积陪跑”。在同一批次启动的几百个代码修复任务中，简单任务颇为钟就能跑完测试，而复杂的跨模块重构任务可能卡在编译调试循环里跑上两个小时。传统调度下，先跑完任务的GPU计算单元只能原地空转等待最慢的那个任务结束，集群有效算力利用率断崖式下跌。
第二是“多轮对话前缀重复展开的显存与计算浪费”。智能体与环境交互数百轮时，每一轮都是在历史上下文基础上追加工具输出；若按每一步独立展开训练样本，相同的数十万Token历史前缀会被反复拷贝与重算。第三是“超时未完结任务的算力全额打水漂”——当某个长程任务达到时间上限仍未完全通过最终测试时，传统零或一（0/1）二元奖励机制会径直将该轨迹作废，哪怕智能体在前90%的步骤中已成功定位了缺陷并修好了三个子模块，消耗掉的数亿次浮点运算也换不回半点梯度更新。
解决方案核心架构：GPU弹性单元拆解与缓存无损迁移
公开技术资料显示，阿里千问 QwenGyre 框架围绕“计算资源解耦、轨迹树组织、部分评分回收”三层架构改写了在线强化学习底座。在硬件调度层，QwenGyre 打破了固定批次同步屏障，将整个 GPU 集群切分为若干细粒度的弹性计算单元。
其核心调度机制好比一个动态流转的工程项目组：当一批智能体交互任务（Rollout）正执行时，只要其中一部分任务率先交卷，空出来的 GPU 计算单元无需等待同批其他慢任务，立即原地转身投入模型参数训练；与此同时，那些仍在环境里苦战的长尾任务完全不受打扰，其执行进度、环境状态乃至此前已计算好的 KV 缓存（Key-Value Cache）被整体保留并无损搬移，绝不重头再来。
随着后续任务陆续完成，新空出的 GPU 单元动态并入当前训练池，遵循“谁算得快谁多干活”的负载均衡原则，最终由核心协调单元汇总梯度完成一次参数更新。这种设计从物理调度上消灭了长尾等待时间窗。
算法与数据管道协同：Token-in Token-out轨迹树与Partial Scoring
在数据表示与奖励信号层，QwenGyre 解决了长序列重算与超时浪费两大难题。针对数百轮交互产生的庞大文本流，系统引入了 Token-in Token-out 真实上下文记录机制：不再把每一次工具调用切碎成孤立样本，而是严格记录每段输出生成时的精确 Token 序列，并按照共享历史前缀将同一任务的多次尝试与分支组织成一棵“轨迹树（Trajectory Tree）”。进入训练阶段时，调度器只把被选中路径的增量分支展开为训练样本，共享前缀只算一次，大幅压缩了显存带宽占用。
针对超时截断但尚未走完最后一公里的长程任务，QwenGyre 引入了部分评分（Partial Scoring）反馈接口。系统不再粗暴丢弃超时轨迹，而是对智能体在超时前已完成的中间里程碑（如正确定位文件、通过部分单元测试、缩小错误范围）进行量化打分，将其转化为有效的强化学习梯度信号，确保每一分算力消耗都能转化为模型能力的增量。
量化结果、证据等级与单方披露边界核验
在评估任何大模型基础设施案例时，必须严格区分“企业官方实验数据”与“第三方独立复现结果”。根据阿里千问官方披露并经IT之家等媒体报道的实验数据，在面向真实代码仓库级任务的 NL2RepoBench 在线强化学习实验中，团队以单次 rollout 约 70 万 Token 的超长任务开展训练：经过 48 步在线强化学习后，模型任务通过率由初始的 52.5% 提升至 58.5%（提升 6 个百分点）。
在算力效率对比上，官方披露在完全相同的 GPU 预算下，QwenGyre 相对传统异步（Async）方案实现了 1.78 倍的端到端训练加速，且最终收敛的训练分数与 Async 及 Colocate（同地部署）基线保持接近。此外，在 Qwen3.6-122B 模型上开展的跨任务验证显示，NL2RepoBench、DeepSWE 与 TerminalBench 三类长程软件工程与终端操作基准均获得了端到端训练提速。
【证据边界与验证缺口声明】上述 52.5% 至 58.5% 的通过率提升及 1.78 倍加速比，证据等级属于“研发主体官方基准实验披露”。公开报道尚未披露训练所使用的具体 GPU 卡型数量、单步训练的绝对电力与资金账单、跨机架通信带宽开销，以及 Partial Scoring 奖励函数在非代码类开放业务场景下是否容易诱发奖励黑客（Reward Hacking）行为。外部团队在引入类似架构前，需在自有业务数据集上开展独立压测。
适用条件、失败点与中国企业可复制的最小试点方案
QwenGyre 的工程经验并非放之四海而皆准，其生效高度依赖三项前提条件：第一，业务任务本身具有显著的执行时长方差（如代码自动修复、复杂网页自动化测试、多步财务报表稽核），如果只是毫秒级响应的单轮客服分类，弹性拆解带来的调度开销反而得不偿失；第二，底层运行环境支持沙箱快照与 KV 缓存跨节点迁移；第三，业务流程具备可量化的中间检查点以支撑 Partial Scoring。
对于国内正构建垂直行业智能体（如工业软件排错、金融合规长文档审查、自动化运维）的研发团队，可按以下三步执行最小成本试点：第一步，先不急于采购新显卡，而是统计现有智能体任务的耗时分布直方图，计算 P99 最慢任务与 P50 中位数任务的时长比值——若比值超过 3 倍，说明长尾空转正是算力黑洞所在；第二步，在数据收集管道中落地 Token-in Token-out 共享前缀存储，停止把多轮对话展开为重复的扁平文本行；第三步，为超时任务设计三档可由确定性程序判定的中间奖励（如语法编译通过得 0.2 分、接口调用成功得 0.5 分、最终测试全过得 1.0 分），用低成本规则评分先把被丢弃的超时轨迹利用起来。
原稿日期：2026-10-13。