CaRE双阶段路由实现300+无重叠任务持续学习

人类在学习过程中可以持续积累新知识而不遗忘旧技能，但人工智能模型却常常遭遇“灾难性遗忘”的困境：当模型学习新任务时，参数更新往往会覆盖历史知识，导致对原有类别的识别能力大幅下降。持续学习正是为破解这一难题而生的研究方向，其中类增量学习（CIL）要求模型在持续学习新类别的同时，保持对历史类别的准确识别，是该领域中极具挑战性的分支。

近年来，借助大规模预训练模型的丰富先验知识，类增量学习取得了长足进步，但现有方法大多仅在5-20个任务的短序列上进行验证。一旦任务数量扩展至上百个，模型性能就会显著下滑甚至崩溃，而真实世界中长期运行的AI系统往往需要持续不断地学习新知识，这一性能鸿沟亟待填补。

近日，来自香港大学的研究团队提出了一种全新的持续学习范式CaRE（Scalable Continual Learner with efficient Bi-Level Routing Mixture-of-Experts），首次将持续学习成功扩展到包含300个以上非重叠任务的超长序列，性能大幅超越现有基线算法。同时团队还构建了极具挑战性的超长序列评测数据集OmniBenchmark-1K，相关代码和数据已全部开源。

• 论文标题：Scaling Continual Learning to 300+ Tasks with Bi-Level Routing Mixture-of-Experts
• 论文链接：https://arxiv.org/abs/2602.03473
• 代码与数据链接：https://github.com/LMMMEng/CaRE

研究痛点

现有的基于参数高效微调和预训练模型的持续学习方法，仍存在三个核心局限：

• 缺乏多任务知识互补能力：随着任务序列增长，新任务可能与历史任务存在语义关联，比如区分猫狗时，模型应该从动物相关的历史任务中提取特征，而非无关的建筑类任务，但现有方法无法实现这种精准的知识检索。
• 缺乏逐层动态决策能力：深度神经网络的不同网络层具备不同粒度的语义信息，浅层提取底层视觉特征，深层提取高层抽象语义，现有方法无法为每一层动态检索适配的知识，导致最终表征不够精准。
• 缺乏适配长序列的评测基准：现有的常用持续学习数据集比如ImageNet-R类别有限，仅能支持短序列任务的评测，无法验证模型在真实长程场景下的实际表现。

核心方法设计

CaRE基于预训练ViT架构，在每个Transformer Block中无缝嵌入了双阶段路由混合专家（BR-MoE）模块。当新任务到来时，BR-MoE仅需要学习类感知器、路由网络和专家适配器三组参数，大幅降低了训练与部署的开销。

BR-MoE的核心是两阶段路由机制，旨在同时实现“判别性”与“全面性”两大目标：

① 动态路由器选择（第一阶段）

对于任意输入，BR-MoE将其[CLS] Token送入所有历史任务的类感知器，逐网络层计算每个任务对应的预测熵值。熵值越低，说明该任务与当前输入的语义分布越接近，越可能是正确的源任务。随后模型会动态选取熵值最小的Top-M个路由网络，整个过程无需显式任务标签，且每一层都独立执行这套选择逻辑，实现了逐层自适应的动态路由。

② 动态专家路由（第二阶段）

激活的路由网络会为其对应的专家适配器生成动态权重分数，选出Top-K个最相关的专家进行加权融合，提取具备判别性和互补性的知识。与此同时，一个通过EMA机制持续更新的共享专家会始终参与计算，确保全局跨任务的通用知识能够被持续积累与注入。

这种两阶段设计的逻辑在于，先找到最相关的任务群，再在群内精选互补专家进行融合，让模型不仅能够动态输出适配当前输入的判别性特征，还能整合相关的互补特征，形成全面的表征。由于每一层都独立运行这套机制，模型从浅层到深层的所有网络层都具备自适应知识检索的能力。

为了填补长序列评测基准的空白，研究团队同步构建了OmniBenchmark-1K数据集。该数据集从OmniBenchmark-V2中精选了1000个类别，包含近19万张图像，覆盖鸟类、食物、植物、动作等21个不同的视觉领域，并且排除了与ImageNet的重叠数据，可以无缝使用ImageNet预训练模型。相比仅有200个类别的ImageNet-R等现有基准，OmniBenchmark-1K支持将任务数量提升至100、200甚至300以上，能够有效测评模型在超长任务序列下的持续学习能力。

实验结果与分析

研究团队将CaRE与多个主流持续学习方法进行了全面对比，在OmniBenchmark-1K上设置了100任务、151任务、200任务甚至301任务的超长序列测试场景。实验结果显示，一些在短序列中表现优异的方法在长序列中性能急剧崩溃，暴露了现有方法在可扩展性上的固有瓶颈，而CaRE始终保持稳健的学习轨迹。

不仅在长序列场景中表现出色，在ImageNet-R、ImageNet-A、ObjectNet等经典短序列评测基准中，CaRE也稳居榜首，证明了其在可塑性和稳定性之间实现了完美平衡。

为了探究CaRE的内在学习机制，团队对模型内部的路由激活模式进行了可视化分析，得到了两个关键发现：

• 浅层网络“通用”，深层网络“专一”：在网络的浅层（比如第3/6层），少数专家会被高频调用，提取边缘、纹理等通用底层视觉特征；而在网络的深层（比如第12层），激活模式变得非常稀疏且具备高度的任务特异性，这与网络深层需要提取高层抽象语义进行精确分类的需求完美契合。
• 推理阶段的知识穿越：在推理阶段，即使处理早期的任务，模型也会动态调用从后续任务学到的互补专家知识，证明BR-MoE赋予了模型在测试阶段灵活整合全局知识的能力。

总结与展望

CaRE是目前首个被系统验证能够在300+无重叠任务上稳健运行的持续学习方法，同时在经典短序列设置中保持全面领先。其提出的BR-MoE机制统一了判别性与全面性两大表征目标，将动态知识检索能力注入每一个网络层，构建了强大且可扩展的持续学习系统。

此外，CaRE的双层路由思路理论上可以应用于跨模态持续学习，比如图像、语言和音频的联合序列学习，具备广阔的应用前景。在AI模型向长期部署发展的当下，CaRE和配套的OmniBenchmark-1K基准能够为持续学习的研究提供有价值的参考，也期待更多研究者投身于构建真正能够“越学越强”的持续学习系统。

更多技术细节和实验分析请参考原文。