腾讯HiGR:生成式列表推荐框架落地提速效果显著

某团队在相关学术会议上推出了列表级生成式推荐框架HiGR,该框架将用户一次可见的整组内容交由模型规划与生成,目前已在多个业务场景上线,服务大量用户。
HiGR属于TGR系列生成式推荐技术方案,该方案以生成式范式重塑推荐系统,涵盖统一语义ID、生成式排序、端到端生成等核心方向,已在多个业务场景规模化落地,助力提升核心指标,相关成果发表于多个国际顶级学术会议。
当前列表推荐的普遍做法是先对每条候选内容单独打分,再通过规则或重排拼成列表,但这种方式存在明显缺陷:即使单条内容相关性高,多条高度相似的内容集中展示也会影响整体体验。HiGR将列表组织环节提前到生成过程中,结合用户兴趣与已选内容规划后续位置,通过列表级偏好训练将排序、兴趣匹配与多样性纳入优化,解决了传统方法的不足。
要实现直接生成推荐,需先将内容库中的物品转化为模型可生成的表示,通过语义ID(SID)将物品编码为离散序列。但从生成单个物品到规划整组列表,存在三个关键挑战:
SID前缀缺乏稳定语义:现有编码空间中,语义相近的物品不一定共享相近前缀,导致模型难以沿前缀稳定规划,难以引导列表的相关性与多样性。
逐token搜索拖慢生成速度:一组列表包含多个物品,每个物品对应多个SID token,需解码大量token,逐token集束搜索会带来较高延迟,且物品内部与物品间的语义关系难以有效建模。
训练目标未直接对准整组体验:仅优化单个token的预测概率,无法有效引导模型生成排序合理、符合真实兴趣且避免重复的列表,合法SID序列不代表优质推荐列表。
针对上述三个问题,HiGR分别设计了对应的解决方案:通过PCRQ-VAE构建带语义层次的SID前缀,利用HSD将物品间规划与物品内部生成分开,采用列表级ORPO将排序、兴趣与多样性纳入偏好学习。
构建带层次的语义ID
HiGR采用PCRQ-VAE将物品的连续表示转化为多层离散编码:编码器先将物品映射到隐空间,通过残差量化逐层选取码字,第一层表达核心信息,后续层编码残差,最终每个物品对应一串SID,多个码字向量相加用于重构。实验采用3层码本,每层含1024个码字。
普通残差量化仅关注重构,语义相近物品不一定有相近前缀,导致规划器难以稳定引导;普通RQ-VAE若前几层残差压缩过小,后续层难以表达细粒度信息。PCRQ-VAE通过全局量化损失约束各层码字总和与原始隐表示对齐,确保完整编码承担重构目标。
此外,PCRQ-VAE在前几层加入对比学习,将语义邻近或消费共现的物品拉近,同一批次其他物品作为负样本拉开距离,使前缀更适合表达共享语义,最后一层保留细粒度区分,不加对比约束。实验表明,对前两层加入对比约束后,碰撞率从2.98%降至2.37%,类目集中度达93%,一致性从55.77%升至66.47%;若约束所有层,一致性升至69.32%但碰撞率增至8.73%,因此HiGR仅约束前N-1层,保留最后一层的区分能力。
分层列表解码器拆分规划与生成
HiGR的核心是分层列表解码器(HSD),将自回归粒度提升至物品级:规划器结合用户上下文与已选物品的偏好向量,预测下一个位置的物品偏好;物品生成器以该偏好为条件生成对应SID,避免了传统逐token解码的高延迟问题。
具体实现中,上下文编码器将用户画像与历史行为编码为共享上下文,规划器与物品生成器均通过交叉注意力读取该上下文。HSD的推理流程为:规划器从初始状态与用户上下文出发,生成第一个位置的偏好;小生成器根据该偏好生成物品的SID;SID对应的向量相加形成物品表示,进入后续位置规划;同一生成器继续处理下一个位置,直至列表完成。
这种设计使规划器专注全局决策,物品生成器专注具体内容,搜索过程中规划器采用贪心解码,集束搜索仅用于每个物品内部的短序列,大幅降低计算量。实验显示,上下文表示、规划约束与参数共享均对性能有显著影响,默认配置为14层规划器加2层生成器,平衡了质量与延迟。
列表级偏好学习优化整组体验
仅生成合法SID无法保证优质推荐列表,HiGR采用列表级ORPO将用户隐式反馈转化为正负列表对,通过对比学习优化整组体验。正列表来自用户实际消费的物品,按反馈强度排序;负列表有三种构造方式,分别针对排序保真、真实兴趣与列表多样性:
第一种是打乱正列表顺序,让模型学习更合理的排列;第二种是用负反馈或无效曝光的物品替换正列表中的物品,区分用户真实兴趣与展示过的内容;第三种是固定第一个物品,后续放入语义最相近的物品,让模型识别内容过于集中的情况。
ORPO对同一用户条件下的正负列表计算赔率差,将每一步预测概率转化为对数赔率后沿SID序列求和,形成列表级比较,同时保留正列表的监督学习项,推动正列表分数高于负列表。这种方法无需额外参考模型,降低了计算开销。实验表明,同时优化排序、兴趣与多样性三个目标时,推荐效果最优,且优于其他对齐方法。
推荐质量与效率的双重提升
实验采用某工业数据集与公开数据集,工业数据集含数十亿条样本,公开数据集按时间构造用户序列。结果显示,在相同参数规模下,HiGR的有效观看命中率提升约21%,NDCG提升约21%;公开数据集上NDCG提升约5.2%。增大模型规模后,HiGR的效果持续提升,100M参数版本的NDCG达到更高水平。
效率方面,在相同模型设置与硬件环境下,不启用KV缓存时,HiGR比同类方法提速超5倍,召回率提升5%以上;启用KV缓存后仍保持良好的质量与效率平衡,相同吞吐下P99延迟控制在50毫秒以内,GPU需求减少约60%。
落地应用与价值
HiGR已进入实际业务落地,训练流程依次为PCRQ-VAE编码学习、HSD预训练与ORPO对齐,上线后模型生成SID并取回实际物品,经过滤后返回用户。线上测试显示,该框架使人均观看时长提升1.22%,人均视频播放提升1.73%,其他业务场景也实现了点击率与广告收入的提升。
HiGR将推荐的组织单位推进到整组内容,让排序、搭配与多样性在生成过程中共同优化,SID作为语义接口支撑了列表级规划,在提升用户体验的同时降低了部署成本,为生成式推荐在列表场景的应用提供了有效方案。
相关参考
- 相关研究成果:某论文v5
- 相关学术会议:某会议主页
- 相关技术报告:某报告
- 相关技术平台:某推荐引擎平台

