北坡开源NorthCUA获四项评测开源SOTA Pro模型超万亿参数模型

开源领域一款名为NorthCUA的电脑使用智能体(CUA),在图形界面定位、桌面操作及网页任务等四项评测中取得了当前开源模型的最优成绩。其中,3970亿参数的NorthCUA-Pro,在基准测试中表现超过了万亿参数级的Qwen3.8-Max与Kimi-K3模型。成绩背后的技术方法,也成为这份技术报告的核心讨论内容。
在日常办公、设计、数据分析及业务管理中,人们常需要在各类软件间切换,通过操作鼠标、键盘完成任务,而CUA的目标是让模型具备这类能力——不仅能观察软件界面,还能借助现成功能完成操作,甚至适配那些缺乏完善应用程序接口的工具。软件功能越复杂,CUA需要处理的依赖就越多:前期操作产生的数据可能在几十步后才会用到,修改一个设置可能影响已完成的内容,导出文件后还需确认格式与保存状态。这类任务的完成,依赖模型在动态环境中始终维持对要求的理解。
要让模型具备这类能力,需要大量完整的软件操作经验,每个任务都要有对应的文件与运行环境,执行过程需稳定,结果可验证。模型独立操作时还会遇到未在示范中出现的状态,需要通过自主尝试继续学习。针对这些问题,开源团队发布了NorthCUA,包含Nano、Mini、Pro三档模型,配套Harness工具与一份120多页的技术报告。该模型基于Qwen3.5,通过分阶段训练提升在桌面、浏览器及专业软件中的操作能力。为保障训练经验的可靠性,团队还在任务构建、运行环境及结果验证上做了具体设计,明确了如何将真实需求转化为训练任务、判断操作是否达标等细节。
NorthCUA采用三个相互连接的组件构成技术路线:第一是NorthCUA Harness,负责准备运行环境,支持桌面与网页的持续交互,完成结果检查并保留执行记录;第二是Experience Flywheel,用于构造定位样本与完整任务,筛选执行经验,还能为困难任务探索更高效的采集方法;第三是Staged Learning,通过广覆盖GUI训练、长程监督微调及桌面-网页联合强化学习,将不同类型的经验用于模型更新。这三个组件通过共同的任务、执行与结果接口连接,形成正反馈:可靠的执行扩大可用经验,丰富的经验支持模型学习,更新后的模型再为后续采集提供更好起点。
Harness是这套系统的基础,负责处理长任务的两个核心需求:模型操作到后期仍能使用前期信息,任务结束后能判断完成情况。这涉及工作区与历史记录的管理,比如平衡上下文开销与信息保留——近期视觉窗口提供当前界面与操作反馈,历史压缩保留已确认的事实与进度,独立工作笔记让模型主动记录后续会用到的内容,失效的界面引用会被移除,避免模型依赖变化的状态。报告中的照片交付任务案例显示,即使经过243次决策,早期的付款信息仍能影响最终交付检查,说明系统能长期维持约束。此外,Harness会保留工作区直到检查完成,工具型评估智能体可核对文件内容与应用状态,批量采集时不同尝试使用独立工作区,失败记录可复用,避免重复执行。
Experience Flywheel从已有资源中生成任务,同时覆盖定位样本与完整工作流两种监督。为避免控件含义混淆,该组件引入软件文档辅助样本构造:先识别应用与目标控件,检索候选功能,结合工具面板、选中对象确认含义,再生成查询并保留坐标。完整任务有三种构造方式:基于软件与材料生成需求,比如从表格筛选功能构造对应请求;基于真实需求准备环境,通过智能体检索材料并生成缺失部分;基于可靠任务与验证器扩展,调整请求与验收条件。对于困难任务,该组件采用递归改进采集方法:Skill-guided exploration保留已验证的操作方法,Milestone-guided search保留已通过检查的进展,让后续尝试可继承成果,减少重复工作量。
NorthCUA的训练分为三个阶段:广覆盖中训练建立软件操作基础,长程SFT聚焦完整工作流,确保前期信息支持后续决策,联合RL让模型在环境中自主学习。不同规格模型的表现随阶段提升:Nano从68.70%提升到78.90%,Mini从68.30%提升到85.30%,Pro从75.83%提升到88.64%。
NorthCUA的技术路线体现了团队打造专业领域Agent模型的能力,将任务构建、经验采集、训练组织与实际运行整合到同一系统中。对开源社区而言,三档模型、Harness与技术报告提供了直接起点,开发者可根据资源选择模型,或使用Harness接入软件环境,报告也解释了任务构建与经验利用的细节。报告还讨论了执行效率的优化方向,为连续软件操作的速度与完成率平衡提供了探索路径。

