文章摘要
近日,由全球29家高校、医疗机构、科技企业等机构联合打造的全球首个医疗健康AI独立评测平台正式上线,配套推出评测图谱与首期评测指数,填补了全球医疗健康AI综合测评空白。首期已完成22款AI模型的系统评测,后续将拓展场景完善评估体系。

近日,全球首个专注于医疗健康AI领域的独立评测与分析平台正式推出,同步上线的还有配套的医疗AI评测图谱与首期评测指数,为医疗健康类AI的综合评估提供了系统且专业的依据。该平台由来自全球29家不同领域机构的研究人员联合打造,其中包括多所顶尖高校、知名医疗机构及科技企业的专业团队,被视作医疗健康领域的人工智能分析(AA)工具,填补了全球范围内医疗健康AI综合测评的空白。

不同的医疗场景对AI模型的能力要求差异显著——无论是面向普通用户的健康问答,还是需要专业判断的复杂医疗任务,或是涉及电子病历操作、多步骤医疗运营的工作,都对模型的知识储备、逻辑推理和任务执行水平提出了不同维度的考验。目前业内虽已存在针对特定医疗任务的评测基准,但单项测试的结果无法全面反映模型在多样化医疗场景中的实际表现,因此需要更体系化的评估框架。

此次推出的评测图谱围绕两大核心维度搭建,一方面区分了平台服务的三类核心角色——患者与公众、医疗专业人员、医疗管理人员,另一方面聚焦医疗AI需具备的三类关键能力——知识储备、逻辑推理、任务执行,二者交叉形成了九宫格评测体系。每项评测基准会根据其核心评测内容归入对应位置,帮助使用者清晰了解当前评测覆盖了哪些医疗需求,以及哪些领域仍有评测空白待补充。而首期推出的评测指数则汇集了纳入基准的所有评测结果,能够直观呈现各模型的综合表现,以及在不同医疗任务中的优势与不足。

首期评测工作聚焦临床诊疗与医疗管理两大方向,共纳入五项评测基准、1034项具体任务,对来自国内外11家机构的22款AI模型进行了系统的对比分析,且所有评测结果均经过独立复测验证。项目组综合考量了医疗相关性、评测可信度、场景互补性等多项核心因素,最终筛选出四项公开评测基准,同时结合团队自建的评测工具,共同构成了首期评测指数的核心内容。其中,团队自建的评测工具基于顶级医学期刊刊载的疑难病例构建,主要考察AI模型结合病例线索进行临床判断的实际能力。

据了解,项目组目前正与多家医疗机构及研究团队开展合作,后续计划围绕复杂治疗选择中的医患共同决策、资源约束下的诊疗调度等场景,开发新的评测任务,进一步完善对AI在临床诊疗、患者决策支持和医疗健康管理等领域表现的评估体系。

以上内容不代表本平台立场,仅供读者参考