文章摘要
多模态大语言模型依赖思维链方法实现复杂推理，但传统文本思维链有推理效率低等缺陷。为此，研究提出CoLT方法，将推理过程换为3步潜思维向量，实现数量级效率提升且未牺牲精度。它引入三重步级监督机制，多实验验证其有效性。未来将探索自适应调节步数、潜 - 文混合推理等方向，代码已开源。

当前，多模态大语言模型在视觉问答、图表解析、科学推理等复杂任务中已经实现了突破性进展，一系列开源模型不断刷新行业基准榜单，而支撑这些模型实现高精度复杂推理的核心技术之一，便是思维链（Chain-of-Thought, CoT）方法。从早期的CoT提示，到长链推理范式的出现，“先想后答”已经成为构建高智能多模态系统的标准协议。

不过，传统的文本形式思维链在带来性能提升的同时，也暴露出三个难以规避的结构性缺陷：其一，推理效率低下，每一步思维都需要以离散的token自回归生成，一次完整的推理往往需要消耗数百甚至上千个token，成为推理阶段的主要计算负担；其二，表达能力受限，一旦将连续的思考过程固化为单一的自然语言表述，模型就失去了在多种解题路径中保持分布的能力；其三，错误传播风险，早期推理步骤中的偏差会沿着推理链条逐级放大，在长链推理场景中这一问题尤为致命。

为了突破这些限制，学界开始探索潜空间推理的思路，即将中间思考过程保留在连续的表征空间中，而不是显式解码为自然语言文本。此前的一些工作已经在纯文本大模型上验证了这一方向的可行性，但在多模态领域，现有的视觉潜推理方案往往需要依赖昂贵的图像标注或者专用编码器，可扩展性受到很大限制。那么，能否在不引入任何额外视觉标注的前提下，仅利用已有的文本CoT数据，让多模态模型在语言模型的潜空间中完成高效、可监督且可泛化的推理？

CoLT：潜思维链的核心设计

针对这一问题，本次介绍的研究提出了CoLT（Chain of Latent Thoughts，潜思维链）方法，给出了系统性的解决方案。该研究成果发表于ECCV 2026，相关代码已开源，可通过https://github.com/hulianyuyy/CoLT获取完整代码，论文详情可访问https://arxiv.org/abs/2606.31986。

与传统的文本CoT需要生成多步显式推理文本不同，CoLT将推理过程替换为仅3步的潜思维向量，每一步对应语言模型在指定推理位置的最后一层隐状态，直接作为下一步的输入嵌入反馈回模型，无需扩展词表，也不需要引入特殊token。

这一设计带来了数量级的效率提升：相较于传统Text CoT平均需要约142个推理token，CoLT仅需3个连续向量即可完成完整思考。在MMStar基准测试（单卡H200）中，生成阶段的耗时从约7.24秒降至0.32秒，文本解码加速达到22.6倍，端到端推理加速达到10.1倍。更值得关注的是，效率的提升并没有以牺牲精度为代价。在八个多模态基准测试中，CoLT的平均准确率达到79.1%，不仅超越了同骨干网络下的Text CoT（75.7%，提升3.4个百分点），还显著领先现有的潜推理与潜视觉推理方法。

三重步级监督：驯服无约束潜空间

将文本token替换为连续向量进行推理，看似简单，实则困难重重。无约束的潜空间缺乏结构化归纳偏置，模型极易学到语义空洞的表征，训练过程也会剧烈震荡，从而大幅降低精度。CoLT的核心创新在于引入了一套轻量且完备的步级监督机制，从外部和内部两个维度共同规约潜思维链的语义与结构。

外部解码器：双向锚定监督

  • 前向解码：以当前的潜思维为条件，让解码器自回归生成下一步的文本推理内容，这一损失确保每个潜向量都编码了足够的信息，可以重构显式的推理过程，梯度经解码器回传至主模型，驱动潜表征向可解释、可递进的语义方向发展；
  • 后向解码：以前序的文本推理内容为输入，提取解码器最后一层的隐状态，与模型生成的潜思维向量进行方向对齐，并通过stop-gradient操作防止潜向量退化为平凡匹配。

前向解码保证潜思维能够生成合理的推理文本，后向解码保证潜思维对齐于真实的推理语义，二者形成了完整的监督闭环。

内部监督：步间连贯性预测

除了外部的解码信号，CoLT还通过两层MLP投影头实现内部的步级监督：由第k步的潜思维向量预测第k+1步的表征，并通过余弦相似度约束其与真实的第k+1步潜向量的方向一致。外部损失用于锚定潜空间的内容，也就是和文本推理的对应关系，而内部损失则用于规约潜空间的结构，也就是步与步之间的逻辑递进关系。三者共同构成了完整的训练目标，确保潜思维链既符合语义要求，又具备合理的逻辑结构。

训练与推理流程

CoLT的训练分为监督微调阶段，在对应图像子集上以完整的联合损失进行监督，动态将文本CoT标注切分为与潜思维步数对齐的段落。在推理阶段，外部解码器和投影头会被完全丢弃，仅通过3个潜向量完成快速思考并生成最终答案，实现了零额外计算开销的部署。

全面的实验验证结果

研究团队在八个涵盖视觉理解、图表推理、文本丰富VQA、科学问答等多类任务的基准测试上系统评估了CoLT，统一使用特定8B规模的开源模型作为骨干网络以确保公平对比。

从实验结果可以得出几个清晰的结论：

  • 潜思维确实具备有效的推理能力：相较于直接回答模式，CoLT提升了9.6个百分点，证明仅3个连续向量即可承载复杂的推理任务；
  • 潜思维可以实现更优的性能：相较于同骨干的Text CoT，CoLT进一步提升了3.4个百分点，在需要多步图表分析和OCR阅读的硬核任务上增益最为显著；
  • CoLT在潜推理赛道中表现突出：超越了当前最强的同类基线模型，且不需要任何额外的辅助图像标注。

与闭源模型的横向对比同样具有参考价值：在多个主流基准上，CoLT的准确率已经逼近顶级闭源模型，在特定图表推理任务上甚至大幅领先同类闭源方案，对于中小规模的开源模型而言，这一结果极具说服力。

消融实验与鲁棒性分析

为了厘清CoLT各个组件的贡献，研究团队进行了系统的消融实验：

  • 监督信号组合实验：单独使用时后向解码效果最优，两两组合的效果都显著优于单分量，三者全部启用时性能达到峰值，每增加一个组件都能带来稳定提升，证实双向锚定是驯服潜空间的关键；
  • 解码器规模消融实验：小型解码器已经能够提供有效的监督，更大规模的解码器带来的性能提升微乎其微，证明了“小而美”的合理性；
  • 潜思维步数分析：性能在K=3时达到峰值，步数过少会限制推理容量，过多则会引入冗余，且K=3的配置具备良好的跨步数泛化能力。

效率与可解释性验证

效率对比实验进一步量化了CoLT的实用价值，在多个基准测试中，CoLT都实现了数十倍的生成加速和十余倍的端到端加速，同时还能保持甚至提升模型的推理精度。

针对潜向量是否只是无法解释的数值噪声的质疑，研究通过定性分析给出了否定的答案。借助训练阶段的前向解码器，可以将每个潜思维步投影回自然语言，揭示其编码的推理片段。多个实例显示，每一步潜向量都承载了推理链中独立且语义明确的片段，步与步之间逻辑连贯，验证了内部监督对结构化过渡的有效约束。

总结与未来展望

CoLT为多模态潜空间推理提供了一条兼具理论美感和工程实用性的路径：通过极少步数的连续潜思维替代冗长的文本CoT，结合三重步级监督驯服无约束的潜空间，训练后可以实现零开销部署，在多个基准测试中实现了性能和效率的双重提升。

未来的研究方向包括根据问题难度自适应调节潜思维步数，探索潜-文混合推理框架以在关键节点切换显式和隐式表征，以及将潜思维链扩展到视频、音频等更多模态领域。

相关代码已开源，可访问https://github.com/hulianyuyy/CoLT获取。

以上内容不代表本平台立场，仅供读者参考