信号噪声比视角下的LLM RL：从mid-training到精准优化
在研究大语言模型的强化学习（LLM RL）时，有一个看似矛盾的现象始终令人困惑：单条rollout仅能获得一个标量奖励，为何RL反而比逐token监督的SFT能更快提升模型能力？
从直观逻辑来看，预训练或SFT在每个token上都有明确的监督信号，而LLM RL需要模型自回归生成整条rollout，可能包含数万甚至数十万token，但最终仅能获得一个成功或失败的二元奖励。不仅如此，RL的rollout生成需要逐token解码，计算成本通常比prefill更高。
按照这个逻辑，LLM RL应该既耗费算力又缺乏有效信息，但现实却恰恰相反：很多模型经过几百到几千步RL训练就能出现明显的能力提升，有时甚至十几步就能看到基准测试性能的变化。
一篇相关博客给出了值得深入讨论的解释：决定训练效率的，不只是获取了多少比特的信息，还要看这些信息是否真正服务于你关注的目标任务。
我们可以这样理解：LLM RL的关键优势不在于信息总量更多，而在于将有限的信息集中到了非常窄且明确的任务目标上。用信噪比（SNR）的语言来说，RL的信号总量少但纯度更高；预训练的信息量巨大，但对于某个具体任务而言，其中大量梯度其实属于噪声。
原文：How can LLM RL Work Despite Information-Theoretic Inefficiency
核心矛盾：看似低效的RL却效果显著
我们可以从信息量的角度做一个直观对比。对于下一个token预测任务，每一个token都有明确的监督信号。假设词表大小为V，单条序列长度为L，那么一条序列最多可以提供L*log₂(V)比特的信息。
而LLM RL则完全不同：模型需要自回归生成整条rollout，可能包含数万甚至数十万token，但最终仅能获得一个二元奖励。如果一次rollout有几十万token，这个信息量差距会非常夸张。
RL不仅监督信号少，数据生成成本也更高。预训练可以一次性prefill整段文本，而LLM RL需要当前策略自回归生成rollout，长序列解码通常受内存带宽限制。
总结来看，RL存在两层明显的低效性：首先需要耗费更多计算资源生成训练数据；其次生成大量token后，仅能获得一个标量奖励。除此之外，RL的奖励往往非常粗糙，比如数学任务只看最终答案是否正确，哪怕推理过程大体正确，只是漏写了某个步骤或者工具调用格式有误，整条rollout就会被判定为失败，这也导致了信用分配（credit assignment）的难题。
但实际经验中我们观察到：
- RL可以在几百到几千步内，将模型从“偶尔做对”推进到“稳定做对”
- 有时仅训练十几步，就能看到基准测试性能的上升
- 对模型自身的成功轨迹进行迭代SFT，通常无法达到同等效果
- 简单的GRPO风格策略梯度，往往比包含价值函数、回放缓冲区的经典RL组件效果更好
信息量的误区：比特数不等于有效性
原文最关键的转折在于：比特的数量不等于这些比特对目标任务的有效性。
预训练确实提供了大量信息，但它优化的是下一个token预测目标，模型需要预测句子措辞、标点格式、推理时的同义表达选择、不影响结果的中间token，以及互联网上各种无关的文本模式。这些信息对于训练通用语言模型固然重要，但如果目标是让数学题最终答对，很多token级别的梯度和最终正确性并没有强关联。
RL的情况则恰好相反。它可能只有一个奖励信号，但这个信号直接对应我们真正关心的目标：这条rollout是否完成了任务。可以这样理解：预训练给了模型大量的信息集合，其中确实包含“如何正确完成任务”的相关信号，但这些信号被大量下一个token预测的目标所包围；而RL直接剔除了其他目标，仅保留“成功或失败”的判断。
因此，我们不能只问“每个样本包含多少比特的信息”，还应该追问：这些比特中有多少直接服务于我们关心的目标任务？这也是单纯的信息量计算会低估RL效率的原因：它统计了监督信号的总带宽，却没有考虑这些信号和目标任务之间的对齐程度。
用信噪比理解：信号少但更纯粹
原文用信噪比重新描述了这个问题。假设我们真正关心的是任务奖励，对于预训练来说，每个token都会产生梯度，但其中只有一部分梯度与提升任务奖励有关，其余梯度从RL目标的角度来看更像是噪声。我们可以粗略表示为：g_pretrain = g_task + g_incidental，其中g_task是有助于任务成功的梯度，g_incidental是预测措辞、格式和其他token级细节的梯度。
而轨迹级别的RL则更接近：g_RL ≈ gradient of expected task reward。虽然RL存在很高的方差，信用分配也不精确，但它至少在目标上更加聚焦。
因此，这篇文章真正提出的观点并不是“RL的信息量其实更多”，而是：RL的比特率很低，但这些比特对目标任务的信噪比可能更高。
这也解释了一个常见疑问：为什么将成功的rollout拿来做SFT，不一定比策略梯度更有效？因为SFT仍然在学习成功轨迹中的每一个token，它会同时强化真正导致成功的推理策略、与成功无关的表达习惯、偶然出现的格式与措辞，以及某条轨迹中特有但无法泛化的token选择。而策略梯度的奖励虽然稀疏，却试图回答一个更直接的问题：这套行为是否值得提高概率？
需要注意的是，SFT和RL的差异不能仅理解为在线策略与离线策略的区别。即使SFT的数据来自当前模型自身的成功轨迹，它的目标仍然是token模仿，而非最大化期望奖励。
RL为何能在少量步骤内改变模型
原文用损失地形的比喻来解释RL的快速提升效果。作者将模型训练比作在“谷中有谷”的分形地形中下降。预训练进行到一定阶段后，模型会进入某种信噪比平衡状态：有用信号依然存在，但已经弱到容易被随机梯度噪声淹没，参数只能在当前的局部谷值附近抖动，更深的最优解就在附近，但模型没有足够的分辨率到达那里。
这时，如果降低学习率或增大批量大小，训练的有效信噪比会提高，模型可能在很少几步内快速降到更低的损失区域，随后再次进入平台期。这种现象和RL的快速提升有相似之处，但存在关键区别：学习率退火仍然优化下一个token预测任务，因此收益会分散到大量子任务上；而RL将提升后的有效信号集中在一个非常窄的奖励任务上。
因此，RL的能力变化通常不是平滑且全局的，而是呈现锯齿状。模型可能在数学、代码或工具使用上突然提升，但其他任务几乎不变，甚至略有退化，这并不奇怪，因为奖励仅覆盖了非常窄的任务分布，对其他行为没有提供训练信号。
可以这样理解：所谓“十几步RL就能学会一个能力”，很多时候并不是模型从零开始学习新知识，而是基础模型已经位于正确策略附近，RL用高信噪比的定向信号将其推入了一个更窄、更深的局部最优区域。
为何LLM RL需要强大的基础模型
前面的解释并没有推翻“RL缺乏足够比特信息”的事实，只是说明如果模型距离目标策略已经很近，少量但精准的比特也能带来巨大变化。反过来，如果任务需要从零学习大量知识，RL依然无法胜任。比如仅靠成功/失败奖励从零学会一门语言，几乎是不可想象的，这类任务需要的比特数太多，而轨迹级奖励的带宽太低。
因此，LLM RL能够生效的一个关键前提是：基础策略已经对目标任务有非零且不算太低的pass@k。如果模型一千次rollout都无法成功一次，那么奖励几乎没有方差，训练无法获得有效信号。这也是中期微调越来越重要的原因。
整个训练流程可以分为三个阶段：
- 先用高带宽监督学习基础行为：预训练或中期微调负责让模型掌握语言、知识、推理模式、工具调用语法和智能体轨迹，这些阶段的监督密度高，适合注入大量新的信息比特。
- 将模型推到RL可以启动的区域：中期微调的数据需要尽可能接近后续RL的目标行为，让模型至少能够偶尔成功，这不是单纯提升平均能力，而是提高目标任务上的pass@k，为RL提供正负样本。
- 用RL进行窄而精准的策略调整：RL不负责从零构建完整能力，而是在已有的能力基础上进行定向搜索，原文将其概括为两个目标：让基础模型进入有合理成功率的区域，缩短基础策略到最终策略所需跨越的比特距离。需要注意的是，参数空间中的“小距离”不等于策略空间中的“小变化”，对大模型来说，轻微的参数调整也可能显著改变输出分布。
经典RL与LLM RL的差异
经典强化学习，比如Atari游戏或早期从零训练的智能体，需要奖励信号承担几乎全部学习任务，既要学习感知、环境动态，也要学习探索和动作策略，此时奖励比特率过低的问题会非常严重。
LLM RL则完全不同。模型在进入RL阶段前，已经通过海量离线文本学习了世界知识、语言与代码、常见任务结构、大量人类行为轨迹，以及一个非常宽泛的默认策略空间。因此LLM RL并非从零开始的强化学习，更像是在一个超强先验上进行局部策略优化。
这种差异可以解释三个现象：
- 为何经典RL样本效率低，而LLM RL效率更高：人类几分钟就能学会一款Atari游戏，并不是从几个奖励中学会视觉和控制能力，而是这些能力已经预先训练好了。LLM的情况类似，RL只需要提供少量高信噪比的信号，让已有策略适配任务即可。
- 为何扩大参数量对经典RL帮助有限：如果监督比特率已经成为瓶颈，仅增加参数无法解决问题。原文用直观的比喻说明：如果只有一股细流，将需要灌满的洞穴挖得更大并没有用。下一个token预测任务每个token都提供监督，信息流量足够大，因此更容易从参数规模扩展中获益，而经典从零训练的RL奖励带宽太低，模型容量未必是主要瓶颈。
- 为何LLMRL暂时不需要过多依赖探索：预训练已经让模型吸收了大量人类产生的行为分布，很多时候我们并没有让RL自行发现全新的策略空间，而是通过中期微调数据将目标行为预先展示给模型。如果RL缺乏探索，当前常用的做法也不是设计通用探索算法，而是补充更好的数据，这虽然有效，但也暴露了一个局限：LLM智能体的开放式探索问题远未解决。
LLM RL对离线策略和数值误差的敏感性
原文中最有趣也最具推测性的部分，是关于LLM RL对离线策略和数值误差的敏感性。经典RL经常使用回放缓冲区、旧策略轨迹和离线更新，但LLM RL对策略陈旧性（staleness）非常敏感，哪怕训练器和rollout引擎之间存在微小的数值不匹配，都可能导致训练不稳定。
作者用偏差-方差权衡来解释这一差异：
- 经典RL：从零开始的RL有效比特太少，方差是主要矛盾。回放缓冲区和离线学习虽然会引入偏差，但可以复用数据、降低估计方差。在训练早期，旧策略与当前策略可能仍然高度相关，因此这种偏差未必致命，甚至可以看作一种归纳偏置，缩小了模型需要搜索的空间。
- LLM RL：偏差可能更加危险。一个强大的预训练大模型已经在NTP目标上训练了极长时间，参数处于高度精细的位置，对真实分布中的细小结构都非常敏感。突然加入陈旧策略、错误的重要性比例或训练器与rollout的不匹配，相当于将模型从精细的局部区域拉离。作者判断，模型在缩放曲线上走得越深，可容忍的偏差可能越小。
这也可以用来理解“苦涩的教训”：方差可以通过更多计算、数据和更好的估计器压低，而系统性偏差不会随规模扩大自动消失；小规模时，带偏差的简化方法可能更有效；大规模时，当方差被压制后，无偏目标的长期优势才会显现。重要性采样理论上可以校正离线偏差，但实际会带来高方差和数值问题，对重要性权重进行裁剪或丢弃极端token又会重新引入偏差，因此现实中需要在偏差、方差和数值稳定性之间进行工程权衡。
RL到底优化了什么
这篇文章并非算法论文，没有提出新的完整损失函数。我们仅介绍最基础的策略梯度关系：LLM策略生成rollout，验证器或环境返回轨迹级奖励，训练的目标是提高高奖励rollout的概率，降低低奖励rollout的概率，抽象表达为最大化期望任务奖励。
在GRPO风格的方法中，通常会在同一个prompt下采样一组rollout，根据组内奖励计算或归一化优势函数，再更新当前策略，同时使用裁剪或KL相关约束控制更新幅度。训练完成后，推理阶段通常只保留更新后的策略，模型根据输入正常生成答案或调用工具，不再依赖训练时的组内优势，也不需要在线运行奖励函数，奖励或验证器仅作为训练信号，而非模型推理链路的一部分。当然，如果系统在推理阶段额外使用搜索、重排序或验证器，那属于测试时的扩展，不能与这里的策略学习混为一谈。
需要注意的是：原文讨论的是轨迹级RL的总体特性，不绑定某一个GRPO公式；奖励的计算方式、优势的归一化方式、是否逐token掩码、是否添加KL约束等，都会显著影响训练稳定性；“奖励直接对应真实目标”是这套理论的重要前提，但现实中这一点往往并不成立，如果奖励被错误设定，RL只是更高效地优化了一个错误目标，信噪比再高也不等于方向正确。
对搜索智能体与工具调用智能体的启发
这篇文章对智能体训练有几个实际的启发：
- 不要指望稀疏奖励从零教会智能体：如果基础模型不会搜索、不理解观察、无法正确调用工具，仅提供最终成功奖励通常远远不够。需要先用中期微调或SFT建立合法的工具调用、观察理解、查询重构、多步轨迹和基本错误恢复行为，再让RL优化最终任务成功率，这样更符合信息带宽的分工。
- 中期微调的目标不是背诵答案：更重要的是缩短策略距离，并让任务出现可学习的奖励变化。一个实用的判断标准是：当前基础策略是否已经能够在合理的rollout预算下偶尔成功？如果答案是否定的，继续增加RL计算量可能不如先补充目标分布附近的数据。
- 过程奖励不一定天然更好：PRM在轨迹中间提供更多奖励，看似解决了比特率和信用分配问题，但更多的监督也可能带来更多偏差。尤其在开放式搜索或智能体任务中，中间步骤未必存在唯一正确路径，一个不够强大的PRM可能惩罚新颖但有效的策略，将策略拉回人工定义的过程模板。因此问题不是“密集奖励一定优于稀疏奖励”，而是“增加的奖励比特中有多少是真实信号，又有多少是奖励模型的偏差”。
- 在线策略的一致性可能是智能体RL的核心基础设施：当轨迹很长时，rollout引擎与训练器的对数概率不匹配会沿token累积，搜索智能体还会引入工具结果、环境状态和异步执行，使分布不匹配更加复杂。因此训练系统需要重点检查：rollout策略与更新策略是否一致、分词器和采样配置是否一致、工具调用token是否被正确处理、重要性比例是否出现极端值、陈旧的rollout在进入训练前是否需要过滤。这些看似基础设施的细节，在高信噪比、低容错的LLM RL阶段，可能直接决定训练能否成功。
理论的脆弱假设
这篇文章的解释虽然很有启发，但仍然是一套推测性理论，而非经过严格验证的结论，至少有五个点需要进一步验证：
- “一个奖励比特全是信号”过于理想化：真实奖励经常包含噪声、漏洞和错误归因，数学验证器可能相对可靠，但智能体任务的成功往往依赖不完美的LLM评判、环境脚本或代理指标，高信噪比的前提并不总是成立。
- 比特数与梯度效用并非同一概念：将二元奖励称为1比特适合建立直觉，但无法直接告诉我们参数更新的有效信息量。同一个奖励会通过对数概率梯度作用到整条序列，模型结构、策略熵、采样分布和优势估计器都会影响实际更新效果，因此这更像是一个解释性比喻，而非完整的信息论推导。
- RL的快速提升可能包含基准测试专业化：如果奖励仅覆盖窄任务，模型的快速提升并不等于获得了通用推理能力，原文也承认RL的性能表现会不均匀，我们需要区分同分布奖励优化、邻近任务泛化和真正跨任务的能力提升。
- 迭代SFT与RL的比较需要严格控制变量：数据量、采样温度、成功样本选择、训练token数、优化器和计算预算都会影响结论，“SFT不如RL”不能只看训练步数，因为每一步消耗的rollout和token可能完全不同。
- 离线策略的敏感性不一定只有偏差一个解释：长序列重要性比例、token级裁剪、信用分配、优化器动态和数值精度都可能参与其中，偏差-方差权衡是一个很好的统一视角，但还需要实验拆分这些因素。
总结
总结这篇文章的核心观点：
- LLM RL的效率不能仅用每个样本包含的比特数来判断，信息量固然重要，但信息与目标函数的相关性同样关键。
- RL的优势可能来自更高的任务级信噪比，虽然奖励稀疏、方差高，但所有更新都围绕任务成功展开；而预训练的监督密度更高，却将梯度分散到大量与当前任务无关的细节上。
- RL更像是在强大的基础模型上进行精准的局部调整，而非从零创造能力，预训练和中期微调负责提供大量信息比特，RL负责沿着窄目标进行定向优化。
- 这解释了中期微调、pass@k和在线策略一致性的重要性：没有初始成功样本，RL无法获得有效信号；存在策略不匹配，又可能将高度调优的模型拉离正确区域。
- 更密集的监督不一定自动更好，SFT、蒸馏和PRM虽然提供了更多比特，但也可能带来与最终任务无关的噪声或奖励模型的偏差。
读完这篇文章最大的感受是，今后讨论RL的数据效率时，不能只问“这条数据提供了多少监督”，还应该追问一个更核心的问题：当模型已经拥有很强的先验时，我们如何能用最少但与真实目标最对齐的信号，将策略推向正确的方向？
