强化学习新突破：清华团队提出「单rollout异步优化」方法：可稳定训练1000步

在长程 Agent和coding 任务中，如何提升强化学习（RL）效率，仍是当前的核心难题。

目前，现有LLM RL流水线多采用同步、批量式流程，往往需要等待整批 rollout 完成后才能更新，效率提升受限。异步 RL虽然可缓解同步等待问题，但现有方法多侧重提升系统吞吐，较少兼顾训练稳定性与任务效果；此外，GRPO 方法依赖组式采样，也难以直接适配异步 Agent 训练。

针对这个问题，来自清华大学KEG实验室的研究团队提出了单rollout异步优化（Single-rollout Asynchronous Optimization，SAO）方法。SAO 用单rollout采样替代 GRPO 的组式采样，即每个输入任务只生成一条可立即用于训练的rollout，从而降低离策略影响并提升泛化能力。

论文链接：https://arxiv.org/abs/2607.07508

研究结果显示，SAO 可稳定训练 1000 步，并在Agent 编码和数学推理基准上持续优于 GRPO 及其变体；同时，单rollout RL 在模拟在线学习任务中也展现出对动态环境的适应能力。

这项工作为高效 RL 训练提供了一种可行思路，并已部署到GLM-5.2（750B-A40B）的Agent RL的训练流水线中。

图｜SAO 在推理和代码基准上的表现。

SAO是如何稳定异步训练的？

在整体框架上，SAO 采用单 rollout异步优化：每个输入任务只生成一条训练 rollout ，完成后立即进入训练。为了让流程平稳运行，SAO 设计了直接双边重要性采样、价值模型强化和多轮 Agent 轨迹处理机制，并扩大价值模型预训练数据规模。具体流程如下：

1.直接双边重要性采样（DIS）：用于减少异步训练中的离策略偏差。由于 rollout 生成和模型训练不同步，SAO 无需保存大量历史模型，直接使用 rollout 阶段记录的 token 对数概率来计算重要性采样比，超出设定区间的 token 不参与梯度更新。

2.提高价值模型更新频率：用于降低单 rollout 优化中的梯度估计方差。单 rollout 训练的梯度方差更高，因此需要更可靠的价值模型估计优势信号。SAO 解耦策略模型和价值模型的更新频率，每更新一次策略模型，就更新两次价值模型，从而降低训练方差。

3.固定注意力模块参数：负责稳定价值模型训练。研究团队发现，价值模型的波动主要来自全注意力层，混合专家层（MoE）相对稳定。因此，SAO 在训练价值模型时固定注意力模块参数，只优化 MoE 投影层，以减少价值模型训练波动。

4.跳过观察信息的 token 级 GAE：用于减少多轮 Agent 轨迹中的环境反馈噪声。多轮轨迹中，模型动作和环境反馈会交替出现；如果环境观察信息直接参与优势计算，就会引入噪声。因此，SAO 会跳过环境反馈的的观察信息 token，只在模型生成的动作之间传播优势信号。

图｜带有单 rollout 设计的 SAO 概览。

SAO的实验结果如何？

实验结果显示，SAO 在数学推理、代码任务和模拟在线学习中都有更好表现；在多个基准上，它超过对应基线模型和 GRPO 系列方法，并能在较长训练过程中保持稳定。具体结果如下：

数学推理和代码任务

SAO 的评估覆盖带 Python 工具的奥赛数学推理、复杂数学问答和真实代码修复等场景。结果显示，SAO 在这些任务中都超过对应基线模型和 GRPO 方法。在 AIME2025 上，SAO 达到 97.3% 准确率，高于 GRPO 的 84.2%。

图｜数学推理基准上的实验结果（准确率%）。

在代码任务SWE-Bench Verified 上，SAO 的准确率达到 29.8%，也高于基线模型的23.0% 和 GRPO（w/ DIS）的 27.0%。

图｜SWE-Bench Verified 上的实验结果。

训练稳定性

从训练曲线看，SAO 在不同基准上基本保持领先，训练过程也更稳定。普通 GRPO 较早出现性能崩溃；加入 DIS 后，GRPO 可以稳定训练，说明直接双边重要性采样能过滤偏离过大的 token 更新；相比之下，SAO 在保持稳定的同时，训练中后期评估表现继续提升。

图｜SAO 与 GRPO（w/ DIS）在训练过程中的性能比较。

训练动态

实验结果显示，SAO 的稳定性与其框架设计相关。更频繁的价值模型更新使价值估计与真实回报更一致；固定注意力模块参数后，价值模型训练更平稳；DIS 则通过过滤偏离过大的 token 更新来控制离策略影响。相比之下，基于价值模型的 VAPO 对照方法若不使用 DIS，会在约 90 step 时出现训练崩溃。

图｜异步单 rollout 强化学习的训练动态。

消融实验

研究团队进一步检验了各项框架设计的作用。他们分别调整了 SAO 的关键组件：减少价值模型更新次数、改用全参数价值模型训练，并加入未使用 DIS 的 VAPO 对照和滑动平均基线。结果显示，这些设置的表现都低于完整 SAO；在 BeyondAIME 上，完整 SAO 的准确率为 74.8%，去掉更快价值更新后，准确率降至 69.8%。

图｜价值模型训练策略和 critic 更新频率的消融结果。

在线学习模拟

研究团队通过模拟在线写作任务测试 SAO 在非平稳环境中的适应能力。任务中，奖励偏好会在可爱风、中二风和古典风之间切换。结果显示，SAO 能在奖励偏好切换后快速对齐新的目标风格，并在训练奖励上保持更高水平；相比之下，滑动平均基线存在明显适应滞后，收敛水平也更低。

图｜变化写作风格偏好下的在线学习模拟。

不足和未来方向

不过，研究团队指出，尽管 SAO 在多类 Agent 任务中表现稳定，仍存在适用范围、部署基础设施和真实在线应用限制。若要扩展到更广泛场景，仍需要解决以下问题：

1.验证更广泛的适用性

当前实验主要集中在基于 Qwen3-30B-A3B 的大规模 Agent 推理、代码任务和模拟在线写作任务上。未来，仍需验证 SAO 是否能够迁移到更小模型、非 Agent 类型的 RLHF 场景，以及奖励更密集、rollout 更短的任务环境中。

2. 完善部署基础设施

SAO 依赖训练好的价值模型和rollout 对数概率。未来若要实际部署，需要训练基础设施在异步生成过程中可靠保存这些概率信息。

3. 完善真实在线适应的安全保障

在线学习实验仍停留在受控模拟环境。研究团队指出，未来若要用于真实用户场景，还需要更强的安全防护、监控机制和隐私审查。

4.加强发布与监控机制

研究团队指出，如果系统缺少适当的数据过滤、访问控制和评估机制，SAO 相关能力可能被用于优化有害目标。未来，基于 SAO 的系统仍需要负责任的发布和持续监控。

更多技术细节，详见原论文。