文章摘要
针对生物序列生成场景下现有离散扩散模型适配黑盒奖励存在需微调、依赖梯度等局限,NeurIPS 2026的一项研究提出无需训练、仅需奖励值的采样器D-DOIT,其基于Doob h-变换仅修改推理采样规则,即可让冻结模型适配任意黑盒奖励,在多类生物序列设计任务中表现优于现有基线。

近两年,离散扩散模型逐渐成为生物序列生成领域的重要工具。与自回归模型逐个生成token的方式不同,掩码离散扩散从全掩码序列出发,逐步「揭开」每个位置上的碱基或氨基酸,这种特性让它天然适配DNA、蛋白质这类有限字母表的数据,在调控元件设计、蛋白质逆折叠等任务中展现出不错的生成效果。

不过在实际科研场景中,仅从预训练分布采样生成序列并不足够。比如增强子设计需要序列在目标细胞中活性更高,蛋白质设计则要求序列更稳定且能折叠成指定结构。这意味着,我们需要让已训练好的生成模型朝着特定任务的奖励方向生成,而非简单采样。

微调模型可以提升奖励,但需要额外训练,往往还要求奖励可微;免训练方法要么依赖梯度,要么代价随轨迹或搜索宽度增长。而生物学中的很多奖励(比如预测器打分、结构预测)本质是黑盒,只能查询分数,难以反传梯度。

能否在不改动模型参数、不需要奖励梯度的前提下,仅修改推理阶段的采样规则,让冻结的离散扩散模型适配任意黑盒奖励?

NeurIPS 2026上的一项研究给出了答案:将奖励适配视为分布搬运问题,利用随机过程中的经典工具Doob h-变换,推导其在掩码离散扩散上的形式,进而设计出无需训练、仅需奖励值的高效采样器D-DOIT。

在HepG2增强子设计任务中,高预算配置D-DOIT-Q的预测活性达到6.19,超过需要微调的方法DRAKES(5.61);在蛋白质逆折叠任务中,D-DOIT的结构-稳定性联合成功率为68.1%,高于无需微调的SMC(63.6%)和TDS(62.9%)。

掩码离散扩散的生成逻辑

要理解D-DOIT的原理,先看标准掩码离散扩散的生成流程:给定长度为N的序列,前向过程以一定概率将每个token替换为掩码符号,且一旦被遮盖就不再恢复;反向过程则从全掩码状态出发,每一步利用模型预测头给出被遮盖位置的干净token分布,按转移规则揭开部分位置。

这个过程有两个核心特点:一是每个位置独立揭开,局部快速,但对奖励无感知;二是揭开不可逆,一旦某个位置填上碱基,后续步骤就无法修改。

现有适配方法的局限

目前适配奖励的方法分为两类:训练式方法(如DRAKES、CFG)效果好,但需要额外训练,每次换任务都要重新训练,还要求奖励可微;免训练方法(如CG、SMC、TDS、SVDD)保持模型冻结,在推理阶段引导,但缺少统一的精确目标分布视角,无法明确引导后应从什么分布采样、转移概率该如何修正。

核心理论:奖励倾斜分布与Doob h-变换

研究人员希望的是介于原模型自然分布和最高奖励序列之间的分布,即奖励倾斜分布——以原模型为序列先验,同时偏好高奖励输出,用温度参数β平衡两者:β越小越激进追求奖励,越大越贴近原模型,保证序列自然性,这对生物序列很重要,避免生成不像真实序列的结果。

对于连续扩散,Doob h-变换是将马尔可夫过程条件化到未来事件,修正漂移项;而掩码离散扩散是类别型状态空间,生成通过不可逆揭开完成,因此Doob变换需作用在转移核层面,对每个候选下一状态做乘法重加权,使反向链终点的边缘分布恰好为奖励倾斜分布,且无需改动模型参数。

D-DOIT:让理论可执行的采样器

理论上的精确变换需要每个候选的未来价值h,计算不可行,因此D-DOIT做了两个近似和一个可选模块:

近似一:预测头h-估计器:对每个候选,固定已揭开位置,用预测头一次性补全剩余掩码位置为完整序列,再用奖励函数打分得到h值估计,无需嵌套rollout,也不需要奖励可微,任何黑盒打分器都可接入。

近似二:有限候选的Doob加权选择:每个引导步从模型反向核采样M个候选,共享一次前向,补全打分后按h值的ω次方概率采样下一状态,其中τ控制候选多样性,γ控制补全序列的尖锐度,每个引导步仅需1+M次模型前向和M次奖励查询。

可选模块:后期best-of-K精炼:在去噪后期将每条轨迹复制成K份,保留奖励最高的,解决揭开不可逆的问题,且只在末段增加开销,避免整条轨迹都乘以K的代价。

两个工作配置

D-DOIT有两个工作配置,采用不同预算分配:

D-DOIT-LBOK-S:小候选预算(M=9)加后期best-of-K(K=4),约1970次模型前向,运行时间接近TDS,面向实用低预算场景;

D-DOIT-Q:高预算配置(M=52,K=8),约54272次模型前向,用于探索冻结骨干模型的质量上限。

实验结果验证

研究人员在三个生物序列设计任务上评估D-DOIT,所有任务中骨干模型均保持冻结:

HepG2增强子设计:目标是生成200bp、高活性且自然的增强子,评估指标包括预测活性、染色质可及性、3-mer相关性、JASPAR motif相关性。结果显示,D-DOIT-Q在全部四项指标上超过免训练基线,预测活性6.19,还在Pred-Activity、3-mer Corr、JASPAR Corr上超过微调的DRAKES;D-DOIT-LBOK-S在接近TDS耗时下,预测活性与TDS持平,ATAC-Acc从40.0%提升到65.0%,JASPAR Corr从0.798提升到0.948,序列更像真实高活性增强子。

细胞类型特异性增强子设计:要求序列在目标细胞活跃、非目标细胞沉默,以ΔR衡量特异性。结果显示,扩散引导基线CG、SMC、TDS几乎无法推动特异性奖励,而D-DOIT的LBOK-S将ΔR从0.002提升到0.033,Motif Corr从0.573提升到0.648;D-DOIT-Q进一步将ΔR推到0.119,Frozen Best-of-N也能获得大部分增益。

蛋白质逆折叠:目标是给定目标骨架生成氨基酸序列,评估稳定性与结构一致性,联合成功率为两者同时达标的比例。D-DOIT的联合成功率为68.1%±3.5%,高于SMC(63.6%)和TDS(62.9%),预测稳定性最高,TDS在结构保真度上略好。

鲁棒性与局限展望

D-DOIT的鲁棒性体现在两方面:补全质量上,每个候选用1次补全已足够,增加到2、3次可提升奖励但增加耗时,单步和多步补全的h值分布接近;奖励预测器鲁棒性上,替换不同奖励预测器,D-DOIT相对无引导采样都能带来提升,且在留出评估器上保持效果。

这项工作的局限包括近似带来的偏差、依赖预测性基准需湿实验验证、高配置推理成本高。展望未来,Doob式转移核重加权是通用框架,适用于任何掩码离散扩散且能打分的序列生成任务,未来可探索更准确的h估计、回溯修正、与训练方法结合等方向。

结语

回到开头的问题,D-DOIT给出了肯定答案:仅修改推理采样规则,让冻结的离散扩散模型适配任意黑盒奖励,核心是离散Doob h-变换,通过对转移概率按候选未来价值重加权实现引导。

以上内容不代表本平台立场,仅供读者参考