文章摘要
强化学习后训练（RLVR）是提升大模型推理能力的关键技术，但成本高。清华与腾讯研究者提出GPS方法，通过可泛化预测模型和合理策略筛选样本，实验证明其能提升预测质量、训练效率及性能，还可优化测试预算，为大模型训练提供新思路。

强化学习后训练（RLVR）已经成为提升大模型推理能力的关键技术路径，在数学推理、代码生成和复杂逻辑任务中得到广泛应用。该方法通过让模型针对同一prompt生成多条链式推理回答，结合可验证奖励判断对错并更新策略，但面临着显著的成本难题：每个训练步骤都需要大量rollout操作，反复调用大模型生成长答案，带来了极高的计算和显存开销。

更值得关注的是，并非所有prompt都具备同等训练价值。过于简单的题目无法提供有效梯度信号，难度过高的题目同样难以产生学习反馈，真正有价值的训练样本往往是那些模型有时答对、有时答错的中等难度prompt。如何在训练前精准筛选出这类高价值样本，成为了降低RL后训练成本的核心问题。

来自清华大学与腾讯的研究者提出了Generalizable Predictive Prompt Selection（GPS）方法，通过轻量型可泛化Prompt预测模型，提前判断不同prompt在当前模型下的训练价值，从而减少无效rollout操作，大幅提升训练效率。

GPS的核心设计思路

GPS的目标并非替代大模型或改变RLVR算法本身，而是作为训练数据选择环节的"导航器"，通过两个关键模块实现高效样本筛选：

1. 可泛化的Prompt预测模型

传统针对单个prompt的预测方法存在明显局限，仅基于该prompt的历史数据进行难度估计，无法适配模型训练过程中的动态变化。GPS引入全局潜变量"difficulty context"，记录模型在优化过程中积累的整体难度信息，能够基于完整训练历史，结合候选prompt本身的特征，预测该prompt的成功率。这种设计让模型即使面对从未充分采样过的prompt，也能参考相似样本的历史表现进行难度评估，显著提升了预测的泛化能力。

2. 兼顾难度与多样性的batch选择策略

GPS的样本选择标准包含两个核心维度：

  • 难度收益：优先选择成功率接近0.5的prompt，这类样本在二值奖励场景下更容易产生非零奖励方差，为GRPO等算法提供有效梯度信号
  • 多样性收益：避免batch内的prompt来自过于相似的题型，同时保持当前batch与上一轮batch之间的探索性，防止模型在局部题型上反复训练
这种被称为"history-anchored diversity"的设计，既保证了训练样本的质量，又覆盖了更多的题型分布。

3. 测试阶段的预算分配复用

GPS的另一大亮点是训练得到的PPM模型不仅服务于训练阶段，还可以迁移到测试阶段。在测试时，大模型通常会采用Best-of-N采样策略，但如果为所有题目分配相同的采样次数会造成预算浪费。GPS可以根据预测的prompt难度，将样本分为不同区间：为简单题和近乎不可解的题分配较少采样预算，为中等偏难、仍有解决希望的题目分配更多计算资源，从而在固定预算下提升整体性能，或在保持性能的前提下节省推理成本。

实验设置与对比方法

研究团队在两类代表性推理任务上验证了GPS的效果：

数学推理任务：使用包含40.3k个竞赛级数学问题的DeepScaler作为训练集，采用DeepSeek-R1 Distill 1.5B和7B模型，评测集包括MATH500、OlympiadBench、Minerva Math、AMC23、AIME24等，并使用MMLU-Pro、ARC-c、GPQA-diamond测试泛化能力。

逻辑推理任务：采用Countdown Number Game，在Countdown-34的20k子集上训练，在CD34和更难的CD4数据集上评测，使用Qwen3-4B-Base、Qwen3-8B-Base以及Llama-3.2-3B-Instruct模型。

对比方法包括：

  • Uniform：随机采样prompt
  • MoPPS：为每个prompt维护独立Beta后验
  • PCL：使用大模型估计prompt难度
  • GRESO：基于历史奖励统计进行概率过滤
  • DS / DS Oracle：通过真实额外评估筛选prompt，效果优异但成本高昂

实验结果与分析

1. PPM的预测质量

实验结果显示，GPS仅需少量训练步数就能快速建立预测难度与实际成功率之间的有效相关性，随着训练推进，相关性持续提升。GPS的难度预测质量显著优于MoPPS，同时在有效样本比例（ESR）上也明显高于Uniform和MoPPS，说明GPS能够筛选出更多具备训练价值的样本。

2. 训练效率与性能提升

在多种模型配置下，GPS都比Uniform采样更快达到相同性能水平，训练步数加速达到1.4×–2.0×。如果将横轴从训练步数替换为rollout数量，GPS的优势更加明显：相比需要真实评估的DS Oracle基线，GPS最多减少69%的rollout成本，同时训练时间减少28%–47%，且保持相近甚至更优的最终性能。

在数学推理任务中，DSR-1.5B模型下GPS的ID平均准确率达到56.5，与DS Oracle持平，但训练时间仅为16小时，远低于DS Oracle的30小时；在OOD平均准确率上，GPS达到33.5，为该组最佳结果。在DSR-7B模型下，GPS的ID平均准确率达到67.4，超过DS Oracle的67.0，OOD平均准确率达到51.5，同样为最优结果，训练时间49小时也明显低于DS Oracle的77小时。

逻辑推理任务中，Qwen3-4B模型下GPS平均准确率达到66.6，高于DS的66.2，训练时间3.4小时低于DS的4.9小时；Qwen3-8B模型下，GPS平均准确率达到68.6，略高于DS的68.5，训练时间5.0小时明显低于DS的6.9小时。总体而言，相比Uniform采样，GPS在数学任务上带来1.6–1.9个点的平均提升，在逻辑任务上带来4.1–5.7个点的平均提升。

3. 测试阶段的预算分配优化

GPS训练得到的PPM模型可以有效迁移到测试阶段，相比默认固定采样分配策略，GPS可以在固定预算下最高提升3.2%的相对性能，或者在性能无损的情况下最多节省36.4%的计算预算。

4. 消融实验验证

消融实验结果表明，去掉history-anchored diversity会造成明显性能下降；仅去掉跨步骤探索机制也会带来一定性能损失；将生成式PPM改为不含潜变量的确定性模型，效果同样变差。这验证了GPS设计的各个模块都对最终效果起到关键作用：共享历史提升了难度预测的泛化能力，batch多样性减少了样本冗余，潜变量则用于刻画训练过程中不断变化的模型状态。

总结与启示

这项工作的核心价值不在于提出更复杂的RLVR更新算法，而是将prompt选择这个关键环节单独优化。在大模型训练成本持续走高的背景下，GPS提供了清晰的优化方向：未来的大模型后训练，不应只是简单增加GPU资源和rollout次数，而应先精准判断哪些prompt值得投入计算资源，让训练过程更加高效智能。

GPS不仅降低了训练阶段的计算成本，还将训练阶段学到的难度判断能力迁移到测试阶段，实现了全流程的计算效率优化，为大模型推理能力提升提供了全新的优化思路。

塔猴是一个专注于为用户提供系统学习、内容创作与商业连接的AIGC综合服务平台，致力于为每一位AI探索者打造理想的创作、成长家园。在塔猴，你不仅可以学习众多AIGC类实战课程，获得与时俱进的AIGC技能和视野，还有机会获得长期商业合作和接单机会！点击进入：https://www.tahou.com/

AI生成内容提示：本文由人工智能辅助创作，内容仅供参考，不代表平台观点。请注意核实信息的准确性，并理性判断。

以上内容不代表本平台立场，仅供读者参考