上海交大复旦腾讯优图开源EvaOmni 首创双评机制评测全模态大模型

上海交通大学、复旦大学、腾讯优图实验室等机构的研究者联合开源了EvaOmni基准，首创“答案正确性+视听证据精准定位”的双重评测机制，旨在全面评估全模态大语言模型的细粒度推理与跨模态溯源能力。

该基准包含392段覆盖影视、新闻纪录片、日常生活、科技、体育和自然等场景的视频，以及1027道经人工标注的问答题目，覆盖15种细粒度能力维度。参与评测的模型需在给出问题答案的同时，分别返回支持该答案的音频和视频时间区间，这一设计打破了传统仅以答案正确率计分的模式，让同一正确答案的模型表现可根据证据覆盖范围与定位精度获得差异化评分。

能力层级与数据构建

数据集按推理与证据复杂度划分为三个层级：Level 1为检索与定位，要求实现时间、事件与实体的跨模态对齐，例如将话语关联到画面中的说话人；Level 2为基础理解，需融合互补的视听线索，理解事件、场景、情绪与意图；Level 3为复杂推理，要求整合分散在不同时间点的多段证据，完成多步判断。

数据构建需经过四阶段流程：研究者先筛选包含有效视听线索的视频，排除硬编码字幕或显著文字覆盖的样本；随后由专家编写题目、设计干扰选项，并标注两种模态的证据区间；样本经人工交叉审核，检查能力归属、证据质量和捷径问题，存在争议时交由额外专家复核；最后模型在单模态输入下筛查，存在问题的样本需返修重新评估。

评测指标体系

EvaOmni通过三个核心指标评估模型表现：答案准确率（Acc）、证据覆盖分（C.G.）与瓶颈证据分（B.G.）。答案分数在选项正确时为1，错误时为0；C.G.统计人工标注证据段中被预测区间命中的比例，衡量证据覆盖的完整性；B.G.则通过计算时序交并比，评估定位的精确程度，需同时在两种模态中实现精准定位才能获得高分，单侧定位优势无法补足短板。

模型实测结果

本次评测包含7个开放权重模型和17个专有模型，所有模型使用相同提示词与预处理后的视听内容，在全部1027道问答上完成测试。评测结果显示，Gemini3.7-Flash的答案准确率达79.4%，但B.G.仅为35.1%，与人类专家的94.3%相差59.2个百分点，可见双模态证据定位是当前模型的主要短板。

在复杂任务中，模型的答题能力与定位表现出现分化：Gemini3.7-Flash在Level 2和Level 3的答案准确率分别为73.6%和79.1%，但B.G.却从29.2%降至12.3%；部分模型的排序会因证据指标变化，例如MiMo-V2.5-310B-A15B的答案准确率低于Qwen3.8-Omni-Flash，但C.G.和B.G.分别领先2.7和6.1个百分点，因此选择模型时需同时关注证据覆盖与定位精度。

输入模态的影响

研究对比了不同输入模态的效果：原生音频相较自动语音识别（ASR）转录能带来更高的评测分数，视频加原生音频的Acc、C.G.和B.G.分别比视频加转录高8.1、10.3和8.9个百分点；去掉视频或音频后，模型准确率分别降至30.0%和26.8%，低于完整视听输入的56.8%。这说明原生音频保留的非语音声音与韵律对跨模态推理至关重要，而转录的时间戳误差会影响区间匹配效果。

获取与应用

EvaOmni的数据集、标注与评测框架已开放，研究者可通过相关平台获取资源，下载数据集后接入模型即可运行评测。该基准将“答案、证据覆盖、双模态精确定位”拆分为可核对的指标，帮助研究者定位模型在检索、理解和多步推理中的具体短板，推动全模态大模型在答案正确性与证据溯源能力上的共同提升。