懂模帝Bench黑客松：构建AI评测集，8.22-23北京开赛赢好礼

近期，我们联合行业伙伴推出了懂模帝工具，用户可以通过专属入口查看各类模型评测数据集，直观了解不同AI模型的实际表现。

推出这款工具的核心背景是，AI模型评测正在从专业榜单走向大众化。过去用户了解模型主要依赖厂商发布会和通用公开榜单，但如今这类大一统的评测已经无法满足需求——大家更关心的是，某款模型是否适配自己的具体任务，在哪些场景表现稳定，又会在哪些场景出现明显短板。

每个从业者和用户在自己的工作、生活场景中，都拥有对模型能力的个性化定义权，仅靠AI应用公司参与评测远远不够，我们希望吸引更多具备评测集构建能力、深度使用智能体的用户，共同检验当前的大模型厂商。

基于这个想法，我们借鉴了过往的线下技术活动形式，推出第一届懂模帝Bench黑客松，本次活动将在北京的线下网吧举办，由多家机构联合主办。活动全程30小时，提供无限量泡面与无烟环境，但受网吧管理规则限制，未成年人无法参与，难免错过一些天才少年选手。

本次活动设置两大参赛赛道：

第一个是实用赛道，选手可以选取自己在生活或工作中遇到的真实问题来测试AI模型，尤其是那些被厂商宣传得很出色，但实际使用体验不佳的场景。测试内容可以覆盖日程规划、待办整理、旅游攻略、租房咨询、炒股分析等生活场景，也可以包含看板搭建、数据分析、票据整理等工作场景，我们尤其期待游戏开发、视频剪辑相关的测试题目。如果希望深入测试专业能力，也可以聚焦代码修复、老旧代码重构、复杂代码调试，或是团队协作相关的智能体测试。

第二个是创意赛道，选手可以发挥想象力，打造趣味性强、关注度高的评测集，测试模型的底层能力。比如让智能体扮演北漂青年完成生存挑战、游玩策略类游戏、参与狼人杀或扑克对局、在我的世界中还原游戏角色等创意场景。

本次比赛分为两个核心环节：

第一环节是评测集构建。选手需要设计一套评测题目，清晰说明每个题目的设计初衷、考察的模型能力以及具体评分标准。对于本次赛事来说，评测集的质量远重于数量，通常无需超过15道题目，哪怕只有1道高质量的针对性题目，也能获得出色的评分。构建的评测集可以是智能体经营模拟场景、游戏对局工具，或是支持自动评分的程序化测试题目。

第二环节是评测执行。选手需要使用指定的5款主流模型，包括Claude Opus5、GPT5.6 Sol、Qwen3.8 Max、K3、Deepseek V4 Pro，运行自己设计的评测集，并提交模型运行结果、详细分析报告以及完整的评分流程。我们会提供详细的操作指南帮助选手完成这一环节。

需要注意的是，这两个环节都需要消耗大量的Token，而当前Token服务已经进入涨价周期，不仅海外模型的调用成本上升，国内模型的调用价格也有明显上涨，甚至有第三方平台单次评测的费用高达两千元。因此我们特别感谢Qwen和Kimi提供的赞助，为每位参赛选手提供了足额的API调用额度，用于本次评测活动。

在构建评测集时，我们推荐使用Qoder和千问办公作为基础工具，当然选手也可以选择其他合适的工具。

如果您对如何从零开始构建评测集毫无经验，但有明确的业务场景希望进行测试，也欢迎报名参加本次黑客松。专业评测数据公司Evolvent AI将在活动现场为大家提供从零到一构建优质评测集的教学指导。

本次活动的奖品由真格基金和我们共同准备，包括拓竹、大疆、影石等实用数码产品，还有一台Mac mini作为终极大奖。此外Qwen还设置了专属奖项：如果你的评测集发现了Qwen内部评测未覆盖的能力盲区，将获得Qwen提供的大疆无人机，同时你的评测集还有机会被收录进Qwen官方评测库。

所有选手产出的优质评测集，都将被收录进懂模帝精选推荐专区，并进行专门的宣传推广。

除了比赛环节，我们还在现场安排了专业交流环节，邀请AI应用团队、模型使用者、评测从业者分享他们的评测集构建经验、模型选择逻辑，以及那些公开榜单无法体现，但在真实业务中至关重要的模型能力。我们特别欢迎在校学生参与本次活动，表现优异的选手还有机会获得现场的招聘机会。

本次活动的注意事项如下：

1. 网吧机位有限，仅优先提供给参赛选手，建议每位选手自带电脑，除非你的评测仅针对国内模型。

2. 为保障账号安全，避免出现选手账号被盗的情况，每位上机选手必须携带身份证，活动结束离开网吧前需保持设备在线。

如果您对本次活动感兴趣，可以通过官方渠道报名。

活动时间为8月22日12:00至8月23日18:00，活动地点将在报名通过后另行通知。本次活动名额有限，先到先得，通过指定渠道报名的选手将获得优先参与机会。

最后再次感谢Qwen、Kimi、真格基金、Evolvent AI对本次活动的大力支持。

本文封面由AI生成，内容为纯人工整理创作。