AI在RWE-Bench测试中，最佳模型通过率仅37%

当前AI在数学运算、代码编写等领域已展现出超越人类顶尖水平的能力，但在工程师日常使用的专业工程软件（如CAD设计、仿真分析工具）的应用上，表现却差强人意。

一项针对AI工程设计能力的评测显示，面对曲轴设计、内存布线、涡轮叶片散热计算等任务，即便给予每道题最多24小时的完成时间，目前表现最好的AI模型也仅有37%的通过率，其余多数模型在该评测中几乎无法完成任务。

据行业观察，10月下旬某专业评测机构发布了名为RWE工程基准评测的工程能力评测，其全称为真实世界工程基准测试。

该评测共包含20道题目，涵盖机械工程（9道）、航空航天（6道）、电子工程（5道）三个领域。所有题目均由对应领域的工程师出题，且出题人会使用相同的工程工具完成参考答案；评测的判分方式既不依赖AI也不依赖人工，而是通过物理求解器逐项检查提交的设计方案，只要有一项指标不达标则判定为失败。

机械工程类题目要求设计三缸柴油机的曲轴，题目明确了质量上限、应力上限、疲劳系数、曲柄销变形量等具体参数，要求配重设计既不超重也能保证运转平衡，同时需在2400转满负荷工况下承受数百万次循环；电子工程类题目是在已布局完成的量产FPGA板上补充DDR3走线，板上近300个元件已固定，其余线路也已布设完成，需在8层板的空隙中完成70余条网络的布线，且需满足时序偏差、阻抗等硬性限制，任何一条线路不达标则整块板判定为不合格；航空航天类题目则要求计算高压涡轮导向叶片的传热特性，需完成流道建立到计算流体动力学收敛的完整流程，最终提交换热系数和总热负荷结果。这些任务通常需要具备数年经验、熟悉对应工程软件的工程师才能完成，门槛较高。

从评测结果来看，排名前列的模型分别为：第六代GPT模型Astra（37%）、克劳德Opus 5.5（29%）、第六代GPT 6.1模型Sol（25%）、双子座4号Argon（12%）、克劳德Fable 5.1（7%），其余模型几乎全员未通过任何题目。

除了通过率，答题时间也值得关注：每道题最多可使用24小时，但各模型平均仅用2-3小时就提交了结果，用时最长的也不到5小时，远快于人类工程师反复调试、运行仿真所需的时间，这也意味着模型可能认为自己完成了任务，但实际上存在错误。

成本方面，模型表现与花费并不完全正相关：第六代GPT 6.1模型Sol单次运行成本仅10美元出头，第六代GPT模型Astra和克劳德Opus 5.5单次成本约58美元，通过率却仅比Sol高12%和4%；而全场最贵的克劳德Fable 5.1单次成本近98美元，通过率却仅为7%。

此外，如果允许每道题最多尝试5次、只要通过一次就算合格，克劳德Opus 5.5的通过率可提升至70%，超过第六代GPT模型Astra的60%。

不过，该评测也存在一些值得探讨的问题：首先，题目数量仅20道，样本容量较小，官方给出的95%置信区间显示，第六代GPT模型Astra的区间为30.7%-43.8%，克劳德Opus 5.5的区间为21.9%-37.6%，两者区间存在重叠，因此第一和第二名的实际表现差距尚不能完全确定；其次，评测页面显示所有模型均开启了最高推理强度，但数据文件中某款模型的标注为高而非最高；第三，出题机构本身提供强化学习训练环境服务，官网提到可帮助模型公司完成评测、搭建训练环境，且评测题目不授权用于模型训练，这意味着榜单分数越低，其训练环境的推销可能越有优势，虽然题目和判分方式公开，但题目难度的控制仍可能与商业利益相关；第四，有4道题目所有模型均未通过，官方未公开具体是哪些题目。

该机构下一步计划在评测中加入生物力学、土木、材料工程等领域的题目，目前正在招募工程师和研究员。回顾过往类似评测，比如SWE-bench在2023年刚发布时，表现最好的模型仅解决了不到2%的问题，后续分数却出现了大幅提升，期待新模型在本次RWE工程基准评测中的表现能有类似的突破。