字节Seed成立新部门 聚焦AGI安全与对齐研究

当通用人工智能(AGI)时代逐步临近,安全研究已成为决定技术能否真正落地的核心议题。全球前沿模型研发团队不仅在全力突破性能边界,更在提前布局应对潜在的系统性风险。
近期,据行业观察,两家顶尖模型研发机构的高管已开始推演重大AI事故后的应对场景,为极端风险做准备。他们模拟的风险情景包括:AI发动大规模网络攻击,冲击金融服务、互联网连接,甚至波及供水、供电等关键基础设施。这类担忧并非空穴来风——今年7月,某头部模型的内部安全评估显示,其模型绕过了网络隔离措施,侵入了外部系统;另一家机构也披露了类似的安全评估意外事件。接连出现的智能体越界事件,甚至让两位此前竞争激烈的行业领袖达成共识:必须将安全与对齐放在更优先的位置,让风险防范能力跟上技术进步的速度。
相比之下,国内多数模型团队长期奉行“先发展、再治理”的思路,安全相关工作往往与日常内容治理、产品风控等任务混合在一起。但国内某头部科技企业旗下的大模型团队的做法打破了这一惯例:近期,该团队成立了专门的Alignment & Preparedness部门,整合了原有的相关团队成员,由资深研究者负责,向团队核心负责人汇报。
10月中旬,该团队启动全球招聘,计划招募10名顶尖AGI研究员,重点研究模型能力提升带来的新型安全问题,探索行业尚未形成成熟方案的技术方向;同时,推动安全研究成果直接融入模型的训练、评估和上线全流程,确保技术在实际应用中安全可靠落地。该团队明确表示,将长期、持续地投入这一方向,为安全与对齐团队提供与前沿模型研究同等规格的资源支持——毕竟,这类研究高度依赖算力,需要反复测试模型、分析异常行为,通过大规模训练验证改进方案。
新成立的安全与对齐部门,从名称上明确了两大核心任务:一是对齐,即让模型的行为与人类意图及安全约束保持一致,重点提升智能体模型自主行动时的安全能力;二是风险准备,即关注极限场景,提前防范化学、生物、放射与核等前沿能力可能带来的严重风险。随着模型能力提升,这些方向投入不足的风险已在过往事件中得到印证。
对该团队而言,这些风险正变得更加实际。据多家行业媒体报道,他们正计划训练超过5万亿参数的大模型,探索技术能力的上限。团队内部判断,随着模型能力增强、应用场景复杂化,安全与对齐已成为决定模型能否规模化落地的核心能力。当前,该团队研发的模型已支撑庞大的业务规模:日均使用量突破180万亿次,产品覆盖超3.8亿月活用户,且正逐步融入更多企业流程。模型覆盖的用户规模达到这一级别,即便某种风险发生的概率极低,也可能对庞大人群产生显著影响,这让安全工作的紧迫性大幅提升。
其实,该团队在安全与对齐领域早有布局。早在2021年,就组建了专门的研究团队;2023年,发布的相关研究成果入选国际顶级安全论文专题,并被顶级学术会议收录;此后,持续与外部研究者合作推进相关技术,比如在生成途中加入特定助手标记,让被诱导续写有害内容的模型重新识别风险,无需修改模型参数即可改善防护效果。随着新部门的成立,相关研究将进一步加码。
前沿安全研究不仅需要顶尖人才,也需要长期的耐心和充足的资源。全球顶尖模型机构的安全团队负责人,均是在模型底层技术领域深耕多年的研究者,比如某机构的安全负责人曾主导关键对齐技术的研发。另一机构的成立,也源于多名顶尖研究者认为公司此前对安全与对齐的重视不足。这类研究需要团队和管理者接受不确定性——在多数商业机构高管眼中,侧重防御的基础研究无法直接转化为用户增长,还会消耗大量算力,这也是很多机构难以持续投入的原因之一。
而该团队过去的一系列动作,证明了其对这类“长周期、高不确定性”研究方向的包容。2025年初,推出了长期前沿研究计划,瞄准推理能力上限、下一代软硬件协同等AGI前沿课题,为研究者提供更长的评价周期和专属算力池。这项计划已孵化出多项有影响力的成果:比如探索新型网络架构的预训练模型,在相关技术路线上走在行业前列;还有面向智能体的评测集,确立了全新的环境学习规律,帮助量化交互时间对能力提升的作用,已被多家顶尖机构接入。此外,该计划还推出了科学家合作计划,邀请多领域学者围绕真实科研难题开展合作,近期已完成三维粘性挂谷猜想的形式化验证,为数学领域的重要成果提供了计算机可核验的代码支撑。
这类长期探索在国内较为少见,相关研究需要大量算力支撑,成果也难以快速兑现商业价值。而该团队所属企业的经营规模,为这类投入提供了坚实基础。据行业观察,该企业营收增长强劲,具备持续投入高价值前沿技术探索的底气。这种支持独立探索的取向,也让该团队在前沿技术上的深度远超外界预期:此前发布的多项研究成果,已被行业内其他团队借鉴和应用。
从一系列动作来看,该团队对AGI的目标和决心,可能被外界低估。正如其招聘信息中所写,AGI的核心不仅在于更高的智能水平,更在于让先进智能真正、持续地服务于人。

