吴翼

大模型强化学习结合了两类负载并不均衡的工作：生成经验和更新模型。吴翼的AReaL系统发表于NeurIPS 2025，彻底将两者解耦，使数据采样和训练能够在共享加速器资源上异步进行。团队报告称，在测试硬件上训练速度最高提升至2.77倍，并将系统开源。这项贡献不只是调度优化。它还提供了控制过时经验和维持策略一致性的机制，处理学习过程不再同步推进时产生的科学问题。AReaL已不再只是论文实现，模型开发团队已开始实际使用。其影响兼具实践和方法论意义：实验速度更快、加速器利用率更高，也为研究大规模强化学习提供了更清晰的系统基础。