文章摘要
文章围绕斯坦福大学主导的Marin大模型项目展开。该项目在训练未完成阶段公开全程，核心目标是探索基础模型公开研究与协同建设。其提出“开放实验室”机制，此次启动535B-A23B训练计划。虽非首个公开训练过程的项目，但它将开放变为默认工作方式。现阶段重要产出是训练记录，经验可供复用。

当行业内多数企业还在围绕大模型权重是否开放争论时，一个总参数达5350亿的大模型项目，选择在训练尚未完成、仍存在中途失败可能的阶段，将完整的训练曲线、数据配方、模型配置与技术讨论全程公开在了网络上。

该项目名为Marin，由斯坦福大学基础模型研究中心主导，2025年5月正式对外公布，发起团队包括斯坦福学者、Open Athena成员及多位开放社区研究者，核心发起者之一为斯坦福计算机科学副教授、基础模型研究中心主任Percy Liang。

此次启动的Marin 535B-A23B训练计划，将处理总计18.75万亿Token，其中80%用于预训练，20%用于中期训练；训练将依托11套英伟达GB200 NVL72系统运行，预计持续约3个月，总计算量约为2.7×10²⁴ FLOPs，后续还将进入后训练阶段。

Percy Liang曾就职于对话式AI公司Semantic Machines并担任首席科学家，该公司2018年被微软收购后，其团队参与了微软对话系统及语音助手技术的研发；同时他也是开源AI公司Together AI的联合创始人，该公司专注于模型训练、推理基础设施与开放模型服务。

Marin项目的核心目标，是探索在算力高度集中、训练配方日益封闭的行业环境下，基础模型能否像开源软件一样，实现公开研究与协同建设。

当前市面上多数开源模型，比如Llama、Gemma等，仅开放了模型权重，训练所需的代码与数据配方并未公开；而BLOOM、Pythia、OLMo、LLM 360等项目虽进一步开放了数据、代码、日志或中间检查点，但仍缺乏一套类似软件开源的完整协作机制。

传统开源软件的开发者可以在代码平台上查看议题、提交代码、参与评审与复现缺陷，但大模型训练实验大多在封闭集群中运行，外界只能看到最终的模型权重与技术报告，无法知晓研究者的决策逻辑与失败实验的细节。

针对这一痛点，Marin提出了“开放实验室”机制：每个实验都会通过GitHub Issue提前声明目标与假设，具体配置以代码和Pull Request的形式提交，外部研究者可参与评审；训练启动后，W&B训练指标将全程公开；更重要的是，整个过程中的成功、失败与中途修改痕迹都会被完整记录，所有数据、代码、配方及最终模型都将持续开放。

截至目前，Marin团队已完成8B和32B规模的模型训练，此次是首次将实验规模拓展至535B-A23B混合专家模型。Percy Liang相关的训练动态在社交平台获得超80万浏览量，还得到了吴恩达的转发，后者称该项目是当前捍卫AI开放性的“珍贵示范”，强调其不仅开放模型代码，还公开了数据、训练配方与完整实验过程。

从命名规则来看，Marin 535B-A23B属于混合专家模型（MoE）：“535B”代表模型总参数约5350亿，“A23B”则意味着每个Token实际参与计算的参数约为230亿——该模型不会让全部5350亿参数同时工作，而是通过路由模块判断输入内容，将Token分配给部分专家网络。

这也是MoE技术近年重回大模型主流路线的核心原因：模型总容量可以持续扩大，但单个Token的计算成本不会与总参数量同步增长。不过“230亿激活参数”不能简单等同于23B稠密模型，除了被路由选中的专家，模型还包含注意力层、嵌入层、共享专家与路由模块等始终或部分参与计算的结构，且不同团队对“激活参数”的统计口径存在差异，因此对比MoE模型时，还需要同时参考训练Token数、专家数量、路由方式、共享专家比例与实际FLOPs。

Marin公开的技术说明显示，该模型采用共享专家与路由专家并存的设计：每层保留2个共享专家，同时激活8个路由专家，两类专家均采用半宽结构；由于路由专家还使用了2倍压缩，团队等效描述为：共享专家提供约一个隐藏层宽度的神经元，路由专家提供约两个隐藏层宽度的神经元。

换言之，约三分之一的专家计算来自始终工作的共享专家，这一设计并非为了优化参数数字，而是为了降低MoE训练中“Token丢弃”带来的风险。

MoE模型的优势在于计算稀疏性，但工程层面的核心挑战是通信复杂度高：当一个训练批次进入模型后，不同Token可能被路由到不同专家，而这些专家往往分布在不同GPU甚至不同机架上，系统需要先进行All-to-All通信将Token发送至对应专家，专家完成计算后还要再次将结果送回原计算路径。

因此MoE训练的瓶颈不一定是GPU算力，还可能是跨卡通信、专家负载不均与内存访问。如果部分专家接收的Token过多，其他专家相对空闲，就会出现“热点专家”；为避免单个GPU显存溢出，训练框架通常会为专家设置容量上限，超过容量的Token会被直接丢弃，也就是Token Dropping。

Token Dropping比例过高会导致部分Token未完整经过选中的专家网络，削弱训练效果；提高专家容量虽能减少丢弃，却会带来更多显存开销、计算冗余与通信等待，这是系统性能与模型效果之间的典型权衡。

Marin团队披露，在过往实验中，当上下文长度从4K扩展至65K时，Token Dropping比例从约7%上升至约40%——这是因为在总Token批量相对固定的情况下，上下文越长，单个批次包含的独立序列越少，Token分布越容易不均衡，专家间的负载平衡难度也越高。

因此Marin 535B并未直接追求超长上下文，而是选择从4K上下文启动预训练：与8K上下文相比，同等规模的Token批次可容纳约两倍的独立序列，有助于让不同专家获得更均匀的输入。团队测试的新型pooled/wave专家并行方案，将4K上下文下的Token Dropping降至约3%，但团队也明确表示，该实现仍处于实验阶段，当上下文延长至65K时，丢弃比例可能再次升高。

此次公开训练的另一项值得关注的技术点在于，Marin不仅在训练大模型，同时也在测试大规模MoE通信系统能否持续稳定运行约100天。

Marin的训练栈主要基于JAX、XLA与Levanter：JAX负责数值计算与自动微分，XLA负责将计算图编译到底层加速器，Levanter则是项目使用的大模型训练框架。此前Marin的8B与32B模型主要运行在Google TPU上，此次535B模型转向英伟达GB200 NVL72，意味着团队需要重新处理GPU集群上的专家并行与通信效率问题。

团队在公开记录中提到，由于未找到在JAX/XLA GPU环境中性能足够优秀的现成专家并行方案，他们自行实现了Expert Parallelism（EP）。专家并行会将不同专家放置在不同设备上，若每张GPU仅保存部分专家，模型总参数可横跨整个集群，但每个Token必须根据路由结果在设备间移动，其性能高度依赖All-to-All通信能否与专家计算有效重叠。

GB200 NVL72将72颗Blackwell GPU与36颗Grace CPU组织在一个机架级NVLink域中，非常适合运行需要大量跨卡通信的MoE模型。但团队并未将硬件配置视为训练成功的必然保证，项目预留了针对硬件故障、模型计算利用率下降与进度延误的应对方案：如果问题出现在前25%的Token预算内，团队可能缩短最终Token训练量，并重新调整线性学习率衰减与数据配比，而非机械维持原计划。

在正式启动535B训练前，Marin团队并未直接投入全部算力，而是先训练了一组规模递增的小型MoE模型，形成了一套四级“缩放梯”：覆盖从1.6B总参数、61M激活参数，到逐级扩大的中间模型，再到最高27.7B总参数、约1.2B激活参数的全链路测试。

这套缩放实验仅占最终计算量的约1%，却承担了三项关键任务：一是预测535B模型在不同训练阶段应达到的损失水平，若主训练曲线明显偏离预测值，团队可较早判断数据、路由或优化器是否出现问题，避免等到几万亿Token训练后才发现失效；二是提前暴露训练稳定性问题，团队此前通过缩放实验发现，随着Token训练周期拉长，梯度范数一度增长至4以上，后续通过消融实验发现，在高Batch Size等条件下若不处理该问题，训练可能在中途完全发散，最终团队通过加入logit z-loss，通过惩罚过大的logit归一化项，限制模型输出分布的数值幅度，降低了Softmax与路由训练过程中的数值不稳定风险；三是帮助区分“正常波动”与“失控前兆”，团队观察到部分小模型的梯度范数会在前40%训练阶段持续上升，随后随学习率下降而回落，若535B模型呈现相似轨迹则无需立即中断训练，若明显偏离小模型规律则需提前介入。

这就像在大模型正式远航前，先用不同尺寸的船只提前走一遍相似航线，Scaling Law在这里不仅是预测最终能力的公式，更是训练过程中的故障检测系统。不过需要注意的是，缩放律只能降低不确定性，无法完全消除：MoE规模扩大后，网络通信、专家负载与数值稳定性可能出现小模型中不存在的新问题，从27.7B外推至535B，仍存在近20倍的总参数跨度。

尽管Marin的开放程度很高，但它并非首个公开大模型训练过程的项目。2022年，由Hugging Face牵头的BigScience在训练1760亿参数模型BLOOM期间，就公开了TensorBoard日志，并持续披露训练进展、系统故障与解决过程，最终还开放了模型代码、中间检查点及ROOTS多语言数据集的相关资料。

后续的Pythia、LLM360与AI2的OLMo系列，也进一步开放了训练数据、代码、日志与中间检查点，OLMo的论文还将Pythia和BLOOM列为此前开放程度最高的模型项目，并表示OLMo进一步发布了从数据处理到训练、评估的完整框架。

Marin官方并未宣称自己是首个该类项目，其发起公告直接列出了EleutherAI、AI2、Hugging Face、BigScience、BigCode、LLM360等先行项目，并表示Marin希望“再向前一步”——它的真正不同之处在于，将开放从一次模型发布行为，扩展为实验室的默认工作方式：并非等模型训练完成后再开放整理过的材料，而是从提出假设、提交代码到训练失败，都尽可能实时公开。

因此此次Marin 535B训练真正引发关注的核心，并非5350亿参数本身，而是它将原本被模型公司严密保护的训练过程，变成了可实时观察与审查的公开研究对象，这也是目前模型规模与研发透明度结合得最激进的开放训练实验之一。

需要明确的是，现在谈论Marin 535B的前沿性能还为时过早：5350亿总参数不能直接与同规模稠密模型等价，每个Token的实际计算能力取决于专家是否形成有效分工；预训练损失仅能说明模型对数据分布的拟合程度，代码、数学、工具调用、长上下文与Agent能力还会受到数据质量、中期训练及后训练方法的显著影响；且项目仍处于训练早期，公开本身无法替代最终评测，也不能保证训练不会因系统或数据问题调整路线，目前项目相关标注的训练Token数仍存在口径差异，也说明训练计划、运行配置与传播口径仍需在后续持续对齐。

此次实验现阶段最重要的产出，或许并非三个月后的模型权重，而是沿途留下的完整训练记录。对于无法承担同等算力成本的研究团队来说，复现整个535B模型并不现实，但关于专家如何路由、Token Dropping如何变化、梯度何时异常、长上下文如何扩展以及JAX如何在GB200上实现专家并行等经验，都可以被其他规模的模型复用。

过去几年，开放模型解决了“谁可以使用模型”的问题，而Marin试图继续追问的是：谁有权知道模型究竟是怎样被训练出来的。如果该项目最终成功，开放社区将获得一套少见的大规模MoE训练样本；即便中途遇到问题，公开的故障路径同样具有重要的研究价值。

以上内容不代表本平台立场，仅供读者参考