SMART-Med：按需协作的本地医学多智能体推理方法
近年来，多智能体系统在医学视觉问答和多模态医学推理领域展现出应用潜力，多个扮演不同科室专家的大模型可通过多轮协作给出诊断建议。但这类系统落地临床仍面临两大挑战：一是大多依赖云端大模型，而医学影像、电子病历等数据包含隐私信息，上传外部服务器会引发合规风险；二是对每个问题都启动全流程多智能体讨论，导致推理延迟高、计算成本大，且性能提升与开销不成正比。
既然很多问题单个模型就能可靠解决，能否让系统自主判断何时独立作答、何时需要协作会诊？
针对这一问题，相关研究团队提出了SMART-Med，这是一套完全基于本地小模型的医学多智能体方法，核心是将“是否协作”从默认流程转变为可学习的决策环节。
核心贡献
- 首个专为医疗场景设计的全本地化多智能体系统：所有智能体由本地小规模多模态大模型构成，通过不确定性驱动的选择性协作，仅在模型对答案不确定时触发多智能体推理，兼顾隐私保护与成本控制。
- 构建推理导向的医学数据集MedVR-3K：包含3477个医学视觉问答样本，每个样本附带逐步推理链、难度标签和质量评分，为本地模型提供比单纯答案更丰富的监督信号。
- 设计两种新的强化学习奖励：基于GRPO微调本地模型，提出将置信度与正确性绑定的确定性感知准确率奖励（CAR），以及对推理过程细粒度打分的视觉-语言推理质量奖励（RR）。
- 全面实验验证：在四个公开医学视觉问答基准上，SMART-Med推理速度比最快的多智能体基线快3.8倍以上，token用量减少72%；在MedVR-3K微调后，四个数据集平均准确率提升6.7%。
自适应协作机制：像全科医生一样分诊
SMART-Med借鉴临床分诊逻辑，设计了自适应协作流程，避免不必要的全流程会诊：
- 路由智能体扮演“全科医生”角色，对每个问题先给出初步答案，并标记确定性状态（确定或不确定）；
- 若标记为“确定”，则直接输出答案，仅需1次模型调用，跳过昂贵的多智能体讨论；
- 若标记为“不确定”，则召集专科智能体协作推理，由主持智能体汇总分析后给出最终决策。
为让模型准确判断自身把握程度，研究团队用GRPO对路由智能体进行强化学习，设计了两种关键奖励：确定性感知准确率奖励（CAR）区分“自信答对”“答对但不确定”“答错却自信”等情况，鼓励模型在可能出错时主动选择协作；推理质量奖励（RR）从逻辑一致性、事实正确性、图像对齐三个维度评估推理链，引导模型不仅答对还要“想对”。最终奖励由格式奖励、CAR和RR融合而成。
推理导向的医学数据集MedVR-3K
现有医学多智能体方法多仅监督最终答案，为提升本地小模型的推理能力，研究团队构建了MedVR-3K数据集。该数据集的构建过程如下：从四个公开基准的训练集中收集图像-问题对，由多个强模型生成带逐步推理的回答；经两轮过滤后保留样本，第一轮仅保留答案正确的推理链，第二轮用独立评审从逻辑一致性、事实正确性、图像对齐三个维度打分，仅保留各维度达标的样本；最后将样本标注为基础、中等、困难三个难度等级，方便按难度进行课程学习。
经过两轮过滤和分级标注，MedVR-3K最终包含3477个高质量样本，平均质量评分约3.6。
实验结果与关键发现
发现一：微调后，SMART-Med在本地模型中全面领先
不经任何微调，SMART-Med已具备很强的竞争力，例如在Slake开放式问答上达到78.2%，超过最好的本地基线；在MedVR-3K微调后，选择题在四个基准上分别达到不同准确率，比最好的基线高出多个百分点，开放式问答也在三个数据集上取得本地模型中的最好结果。
发现二：效率大幅提升
SMART-Med的效率优势显著：平均每个问题耗时不到10秒，比最快的多智能体基线快3.8倍，比密集协作方法最多快11.9倍；每个问题仅消耗约600个输入token和100个输出token，输入和输出token分别减少72%和88%以上；平均每个问题仅需1.17次模型调用，远低于其他方法的5.51-17.92次。
发现三：协作应该是选择性的，而非全员参与
不经训练，仅将“全员会诊”模式替换为不确定性路由，性能就与密集协作相当甚至更好，说明很多问题单个智能体就能可靠解决；加入CAR和RR奖励后，准确率进一步提升，在开放式问答上的提升尤为明显。
结语
医学多智能体系统要真正落地临床，必须兼顾高效性、本地部署能力和隐私保护。SMART-Med的核心观点是：多智能体协作应该是选择性的，而非默认流程。通过“全科医生”式的不确定性路由、推理导向的MedVR-3K数据集，以及结合确定性与推理质量的强化学习奖励，本工作提供了三类成果：一是完全本地化、按需协作的医学多智能体推理方法；二是带有推理链、难度分级和质量评分的医学视觉问答数据集；三是在准确率、效率和推理质量上的系统性验证。
研究团队希望这项工作能为构建实用、高效、可部署的医学AI系统提供新的思路，相关代码和数据集已开源。
