四AI智能体自主协作百余小时 训Qwen3-4B接近官方水平

据行业观察，一套自主训练系统近日完成了特殊任务：将基础版模型Qwen3-4B-Base训练为通用模型。这套名为Athanor的系统调用了四个自主智能体，每个分配一台八卡GPU服务器，从数据选择、训练代码编写到实验方向调整，所有决策均由智能体自主完成，全程无需人工逐轮干预。

经过104小时训练，最终产出的模型在两组综合评测中的平均表现，追平了官方发布的指令调优版模型Qwen3-4B-Instruct-2507的水平。

从评测结果看，团队模型的两组表现均与官方版接近，重复评测的差异区间包含零，可视为水平相当。两者各有优势：团队模型在隐藏集的多步行动任务中得分74.7，高于官方版的66.8；但数学和逻辑任务仍有差距，专业版模型在该类任务中保持明显优势。

这套系统的核心是四个同系列智能体，通过专用工具工作：智能体负责读取材料、修改代码和制定实验，实际更新模型权重的是目标基础模型。每个智能体有独立工作空间，可查看队友记录、复用模型快照；系统预先准备好可运行的训练起点、数据管理、评测及实验记录服务。

智能体提交任务后，GPU任务独立运行，结束后唤起智能体分析结果，每轮数据、代码及模型来源均可追溯；即使会话中断或节点故障，已完成成果也能保留继续使用。评测服务置于隔离环境，规则固定，智能体无法修改考题或评分逻辑。

训练中智能体遇到不少难题：第10小时左右，一个智能体产出的模型开发集均分仅约49.7，问题是模型在逻辑、代码任务中反复生成相同内容，耗尽输出长度限制。它尝试强化学习训练无效，进一步分析发现，训练用随机采样回答，评测用贪心解码，导致训练避开了模型易出错路径。

第25步时，该智能体调整生成规则：每条回答四分之一概率用贪心解码，其余保持随机采样，让重复行为获得负优势，训练压低该概率；同时重建训练题目，最终小验证集重复循环从86条降至18条，整体均分升至57.3，该方案六小时内被其他三个智能体复用。

智能体间的合作是关键：实验初期仅查看彼此文件，未共享快照或笔记，直到操作员补充规则后，56秒内首次出现快照共享动作。后续共57次快照获取、160个版本笔记，第21小时后，每一次最佳成绩模型都包含多个智能体贡献。

它们还尝试加权平均、自蒸馏：合并三位智能体的模型并微调提升逻辑；让模型生成四份回答，选正确且最短的作为微调样本，最终合并形成团队提交模型。

本次实验提交500个任务，174个快照完成评测，26个任务失败多因代码错误。四个节点中三个先后被回收，恢复后仍损失约23个GPU小时。按云服务器价格及推理费用估算，实验成本约1.18万美元，其中智能体自身推理约1074美元，大部分成本用于强化学习、评测及自蒸馏采样。

训练进度逐渐放缓：第一天成绩约60分，后续三天仅提升约7分；原计划72小时完成，后延长至144小时，最终第104小时停止，最后一天成绩提升不足1分。

值得注意的是，四个相同智能体初期就选中同一份训练数据，后续两条替代路线很快被放弃，全程未做数据对比实验。它们能识别样本过长、格式错误等问题，但较少核对答案正确性，过滤错误答案的计划最终未执行。

四位智能体动作高效，但研究路线高度一致，如何让自主智能体探索更多方向，成为这类系统的待解决课题。