WorkForge:为工作智能体打造真实可验证工作环境

大模型真正走进职场,还有多远?当前,AI智能体正逐步成为职场劳动力,推动企业产出模式变革。越来越多的大模型正从对话助手向数字工作区中的“数字员工”转型,这使得适配真实职场的优质工作环境构建变得愈发紧迫。
要实现工作智能体的落地,仅能回答问题远远不够,还需具备完成专业全流程任务的能力。在真实职场中,员工往往需要翻阅海量文件、交叉核对证据、处理缺失或混乱的数据,最终交付报告、表格或演示文稿。专业能力不止体现在语言回答上,更贯穿于探索信息、核验线索和产出成果的完整过程中。
正是在这样的背景下,一个研究团队提出了名为WorkForge的框架,旨在从真实世界资源出发,规模化构建可验证的智能体工作环境。
WorkForge的核心逻辑很朴素:工作任务的设计标准与评价依据,都根植于工作区的真实内容。因此,它先搭建并梳理工作区,再从中生成任务与评价规则,整个流程分为四个关键步骤:
第一步,由领域专家梳理出“场景蓝图”,将某类工作的完整流程拆解清楚:需要交付什么成果、依赖哪些材料、关键判断节点有哪些。例如,教育领域的专家可整理“测验后归类错题并针对性讲解”的流程,替换试卷和教材后就能生成新的工作区与任务。
第二步,从真实世界获取各类资源来搭建工作区。智能体按照蓝图搜索、下载代码仓库、数据集和网页资料,确认可用后保留原有的目录结构放入工作区。选择真实资源的原因在于,职场中的信息往往并非规整:一个软件项目的源码、文档、测试文件和配置分散在不同目录中,而合成环境通常只有单一的说明文档、脚本和示例数据,答案过于直白,不符合真实场景。
第三步,先对工作区进行“体检”,再设计任务与评价标准。WorkForge会先识别每个文件的用途,记录一批可直接核验的具体事实作为“事实支撑”,任务、参考解法和评价标准都基于这些支撑生成,参考解法中的关键事实还会回到工作区复核。验收分为两类:数值正确性、文件生成情况由程序化检查自动核对;分析的合理性则由大模型按照评分细则进行语义评分。
第四步,让智能体完整执行任务。智能体仅能看到工作区和任务说明,需自行探索、交互,直至产出最终成果。任务完成后,整个操作过程连同评分会被保存为训练数据,用于后续模型优化。
通过这套流程,任务设计基于工作区中的真实内容,评价也有明确依据。智能体要完成任务,必须自行梳理目录结构、理清文件关系,将分散的证据整合为可核查的成果。
基于上述框架生成的WorkForge-16K数据集,包含16665个可验证的工作环境,覆盖40个专业领域、60种文件类型,能有效测试智能体在复杂环境中处理长程任务的能力。
为刻画数据复杂度,研究从三个维度展开统计:在任务层面,每个任务平均包含21.9条验证标准,既有精确数值检查,也有大模型参与的语义评估;工作区层面,每个工作区平均有42.3个文件,约279KB,线索分散在多级目录中;轨迹层面,智能体完成一个任务平均需要31.8步、33.8次工具调用,单条轨迹约7.6万tokens,属于典型的长程任务。此外,文件类型十分多样:表格数据占53.3%,图像占18.7%,还涵盖结构化文本、代码乃至音频,贴合职场多类型信息处理的真实需求。
为对比真实资源与合成资源的差异,研究使用同一批蓝图分别搭建工作区。结果显示,真实工作区的文件数是合成工作区的5.4倍,文件类型是2.4倍,平均体积从21.5KB增至279KB。合成工作区经过“过度整理”,关键信息集中在少数文件中;而真实工作区的证据分布在整个目录树中,智能体必须先探索再判断,更贴近真实职场的挑战。
以金融领域为例,智能体扮演量化策略师,需基于因子数据库评估各地区因子溢价,交付PPT简报、Excel分析表和清洗后的CSV。对应的工作区包含297个CSV文件,分布在16个目录中,还存在月度与年度数据混排、缺失值标记为-99.99、同一因子命名不一致等“陷阱”,完美模拟了真实工作环境的复杂性。
构建大规模真实环境后,研究用这些轨迹训练模型,验证数据能否转化为工作智能体的能力。WorkForge的核心思路是,工作智能体需学习的不仅是最终交付物,还要掌握完整的工作流程:浏览目录、定位关键文件、交叉核对证据、处理异常数据,以及在出错时重新规划。
研究团队让智能体在不同框架下执行任务,分别训练出WorkForge-A3B与WorkForge-27B模型,评测覆盖五个主流基准:WildClawBench和Claw-Eval侧重长程执行与多文件交互;GDPval和APEX-Agents关注专业交付物与职场工具编排;Agents' Last Exam(ALE)考察长时间自主解决问题的能力。
实验结果显示,WorkForge数据带来了显著提升。以A3B模型为例,训练后其GDPval得分从45.5提升至73.6,APEX从5.0提升至21.3。与ClawGym、EnvScaler等100B以下的专用智能体模型相比,WorkForge-A3B在五个基准上全面领先,GDPval比此前最优的ClawGym高出38.6分;ALE通过率达12.4%,远超对比模型的2.9%。
更值得注意的是,WorkForge数据对已完成后训练的强模型依然有效。WorkForge-27B在五个基准上全部提升,其中WildClaw提高8.0分,GDPval达到82.4分,超过总参数量约为其15倍的模型,与前沿模型的差距进一步缩小。这说明,真实工作区中的长程轨迹可有效迁移到不同评测场景,而探索、整合证据的能力正是专业工作的核心。
研究还考察了规模效应:训练轨迹从1K增加到16K,模型在ALE和WildClaw上分别提高13.0和8.4分,ALE表现超过DeepSeek-V3.2和MiniMax-M2.7。轨迹长度同样重要:同样使用1K条数据,用41至60轮长轨迹训练的模型,比用20轮以内短轨迹训练的模型在ALE和WildClaw上分别高出4.2和5.0分。
在验证机制上,对比三种轨迹筛选方式:仅程序化得分、仅语义得分,以及两者结合。结果显示,混合筛选效果最好,ALE得分达到22.11,明显高于单用语义评分的15.62和单用程序化检查的14.89,两类验证信号的互补能提供更可靠的监督。
研究还观察到模型训练后的行为变化:以WorkForge-27B为例,它在GDPval的每个任务中平均访问6.52个外部网站域名,是基座模型的5.3倍;工作区内定向检索证据的调用占比从5.9%提升到16.2%。更重要的是,工具调用失败后,模型的推理长度从144个字符增加到614个字符,不再急于重复尝试,而是先诊断问题再重新规划。
这些变化最终体现在交付质量上。在GDPval的五类评分标准中,WorkForge-27B的通过率提升了4.5至13个百分点,其中视觉排版和数值准确性分别提高13和8.2个百分点,这两项恰恰最依赖充分的调查与细致的核对。
这一结果说明,对于工作智能体而言,真实工作区中的过程数据非常重要。长程轨迹为模型提供了探索目录、追踪依赖、整合证据和核对结果的完整经验,使模型能接触更接近真实职场的任务结构。
展望未来,真正进入职场的智能体面对的不再是精心整理的考题,而是杂乱的文件、分散的证据和需要负责的交付物。面向真实知识工作,让智能体先在可验证的真实工作区中学会探索、核查与交付,再逐步承担更复杂、更开放的专业任务,可能是一条很有潜力的路径。未来的AI同事,或许会在这样的交互中逐渐成形。

