文章摘要
总奖金88.5万美元的算法赛事收官,吸引52个国家和地区的选手参赛。赛题是“面向大规模推荐的序列建模与特征交互的统一”,难点在统一建模。工业赛道冠军「日之光面」、学术赛道冠军「lozyyeah」及两支获原创突破奖队伍分享了解决关键实操问题的方案。赛事对行业和选手均具价值,其技术路线值得关注。

总奖金池高达88.5万美元的算法赛事刚刚收官,这场赛事由广告算法大赛与国际顶级数据挖掘会议联动举办,吸引了来自52个国家和地区的13913名选手组成5746支队伍,覆盖全球907所院校,最终在韩国济州岛的赛事现场揭晓了全部奖项。

其中,工业赛道冠军由团队「日之光面」拿下,这支队伍的核心成员曾在Kaggle全球排名第一,还和队友在国内算法竞赛中斩获15次冠军,他们凭借仅使用国产大模型网页版完成的工作流拿下了15万美元奖金,相关话题在全网引发热议。学术赛道冠军则由团队「lozyyeah」获得,此外还有两支队伍凭借原创技术方案拿下了不设排名门槛的原创突破奖,各获得4.5万美元奖金。

这次赛事的核心赛题为「面向大规模推荐的序列建模与特征交互的统一」,本质是要通过统一的建模方法,预测用户看到广告后的转化行为,也就是行业常说的CVR预测。要完成这个预测,需要同时处理两类数据:一类是用户的行为序列,也就是按时间轴记录的用户日常互动轨迹;另一类是非序列的多域特征,包括用户画像、广告类目、上下文信号等交叉特征。所有数据都经过脱敏处理,选手需要在匿名ID和向量空间中完成用户与广告的匹配。

赛题的核心难点就藏在统一二字中。传统的推荐模型往往将非序列特征和行为序列分开处理,最后再将结果拼接,这种方式不仅会增加系统复杂度,也难以捕捉不同特征之间的细粒度交互。而本次赛题要求的统一建模,需要让不同形态、不同时间维度的信息在同一个模型中深度融合,既不能因为拍平特征丢失字段身份和时间关系,也不能因为过度精细的交互导致算力爆炸,同时还要在海量稀疏的工业特征下保持鲁棒性,并且支持深层堆叠和高效的训练推理。赛事还全程禁止模型融合,要求选手依靠真正的模型设计能力取胜。

Meta推荐系统专家在现场分享中提到,这套统一建模方案的价值可以从两方面来看:一方面,推荐系统本身是从嘈杂的用户行为中读取用户偏好的成熟技术,这种能力恰好能弥补大模型在个性化理解上的不足;另一方面,在广告场景中,哪怕0.1%的模型效果提升都能带来数十亿美元的收益,相关技术的价值不言而喻。

两个冠军团队分别解决了统一建模中的两个关键实操问题,将效果做到了极致。

工业赛道冠军:怎么生成更好的Query?

工业赛道冠军「日之光面」团队将优化重点放在了Query质量上。他们发现,官方基线模型中Query主要由简单MLP生成,用户、广告和上下文之间的交互不足,导致检索请求模糊,难以从历史行为中提取有效信号。为此团队提出了QueryFormer:先让用户、广告和非序列特征充分交互,生成质量更高的Query,再用这个Query从行为序列中匹配与当前广告相关的信息。

具体来说,团队先按字段拆分不同来源的嵌入向量生成Token,通过自注意力完成用户侧和广告侧的内部交互,再用交叉注意力建模用户与广告的匹配关系,之后再进行序列检索。团队还通过多列嵌入矩阵从同一份输入中学习不同视角的Query,最终在效果和推理效率之间找到了平衡。实验证明,提升检索问题的质量,比单纯增加历史长度或模型规模更有效。

学术赛道冠军:有用信息怎么跨层运输?

学术赛道冠军「lozyyeah」团队则聚焦于如何在多层网络中保留用户意图。他们发现,随着模型堆叠层数增加,用户意图和序列信息容易被过度压缩,出现表示坍塌和扩展不稳定的问题。为此团队提出了CRAFT,将研究重点从特征交互转向特征传输,让有用信息能够稳定穿过多层网络。

CRAFT首先将输入整理为非序列Token、序列摘要和Intent Token,每个CRAFT块先汇总非序列信息,生成缩放、偏置和残差门控参数,动态调整Intent Token和序列状态,再进行后续的特征交互。其中Intent Token作为贯穿多层网络的信息载体,既可以根据当前样本调整到更合适的表示空间,也可以在必要时拉回初始状态,减少信息被冲淡的问题。实验显示,随着CRAFT块增加,模型效果稳步提升,同时Intent Token的表示空间更加丰富,证明这套方案能够让有用信息在深层网络中持续传递。

两项原创突破奖则更偏向底层技术的探索,不与总排名挂钩,专门奖励在技术无人区的创新。

统一框架原创突破奖:不同特征之间的通信边界是怎样的?

统一框架原创突破奖团队T-Squared提出了以TopoMask为核心的统一架构,解决了不同特征之间的通信边界问题。传统的统一模型容易出现无关信息互相干扰、强行为域压制弱行为域的问题,而TopoMask在保持统一表示空间的同时,通过结构约束控制信息流动。

团队首先构建了全局记忆和领域记忆,分别汇总全局信息和保留各行为域的独立摘要,避免领域特征过早混合,再通过DualQ模块围绕候选广告建立用户、商品和上下文的联系,生成适配不同领域的Query。在MaskRec块中,TopoMask注意力根据预设的拓扑关系决定每类Token可以读取的信息,将语言模型中的因果Mask从时间顺序推广到特征关系,兼顾统一建模和结构保留。实验证明,这种受控通信的架构能够稳定提升效果,稠密特征的结构化组织是其中的关键。

Scaling Law原创突破奖:模型变大时,新容量里该装什么?

Scaling Law原创突破奖团队gg则关注推荐模型扩容时的参数分配问题。传统的模型扩容方式往往只增加处理Token的参数,而不更新输入的Token信息,导致模型反复处理有限的信息。团队提出了CosFormer,让信息和模型宽度协同扩展:每次增加模型容量时,同步加入携带新信息的Token,包括静态特征、显式交叉特征、序列相关特征和全局特征。

新增的Token会被组织到不同的语义通道中,再通过MaskNet引导的双流结构和Token-type私有前馈网络,根据当前样本选择和重加权不同通道,同时避免过拟合。实验显示,只有当新增容量承载新的有效信号并配套信息选择机制时,模型扩容才能带来持续的效果提升,单纯增加参数或加入空Token很快会遇到瓶颈。

除了高额奖金之外,这场赛事还为行业和选手带来了双重价值。对于行业来说,赛事不仅验证了将大模型的Scaling Law应用到推荐领域的可行性,还开放了经过脱敏处理的海量真实业务日志,填补了推荐领域公开数据集的缺口,能够加速整个领域的研究节奏。

对于选手来说,这场与国际顶级会议联动的赛事提供了全球竞技的舞台,让选手能够和来自全球的技术人才交流切磋,同时赛事后续还配套了长期的人才扶持计划,为优秀选手提供技术交流、产业研究和项目实践的机会,帮助他们将技术方案落地到真实业务场景中。

随着本届赛事落下帷幕,这些被验证的技术路线将成为下一届赛事的竞争起点,而新一代AI原生选手又将如何推动推荐系统的发展,值得我们持续关注。

以上内容不代表本平台立场,仅供读者参考