文章摘要
近日，多机构联合推出手术视频原生基础模型SurgMotion，它依托十亿级参数和全球最大手术视频数据集SurgMotion - 15M训练。该模型实现技术范式革新，引入三大创新技术。在17项核心手术任务评测中表现出色，且全面开放，已获多方合作，具通用能力与现实价值。

手术AI正迎来从单帧静态感知到全流程视频动态理解的革命性升级。近日，由多所全球顶尖科研与临床机构联合推出的手术视频原生基础模型SurgMotion正式发布，这是全球首个依托十亿级参数规模、超大规模手术视频数据集训练的通用手术理解模型，发布仅三个月就成为Hugging Face平台上全球下载量最高的手术AI基础模型。

作为手术AI领域的里程碑式成果，SurgMotion依托SurgMotion-15M——目前全球规模最大、术式覆盖最全的千万帧级手术视频数据集，首次突破十亿级参数规模，实现了对器械-组织交互及复杂时空运动语义的深度建模。在覆盖17项核心手术任务的系统性评测中，模型展现出统治级的性能表现：手术视频动态理解性能平均提升16.5%，静态手术任务（如深度估计、病灶分割）的平均误差降低2.9%，全方位定义了通用手术视频理解的全新技术标杆。

技术范式革新：从像素重建到时空运动预测

过往的手术视觉AI大多局限于单帧静态图像分析，或是陷入像素级重建的低效陷阱，手术过程中的烟雾、反光、出血等视觉干扰会大量消耗计算资源，让模型难以真正捕捉手术的动态语义逻辑。SurgMotion首次实现了行业范式的根本性革新，基于视频联合嵌入预测架构V-JEPA，它抛弃了传统的像素级解码思路，转而聚焦潜空间中的运动预测任务。

该模型引入了三大核心技术创新：

  • 运动引导的潜空间遮蔽预测：引导模型自动过滤无用噪声，将注意力聚焦于器械运动、组织形变等关键手术语义区域。
  • 时空亲和力自蒸馏：强制模型学习手术视频在时间和空间上的强关联性，实现对复杂手术流程的连贯理解。
  • 时空特征多样性正则化（SFDR）：有效解决手术场景中由于纹理单一而导致的表征崩溃问题，确保模型在各种极端手术场景下依然保持极高的鲁棒性。

全球最大规模训练数据集：SurgMotion-15M

手术视频的高门槛、隐私性和标注难度，长期以来让行业陷入数据孤岛的困境。为了打破这一瓶颈，研究团队倾力打造了SurgMotion-15M，这是目前全球规模最大、术式最丰富、覆盖最全面的手术视频预训练数据集：

  • 超大体量：包含3658小时的真实手术视频，总帧数高达1500万帧；
  • 极高多样性：汇聚了来自50个不同数据源的珍贵影像；
  • 全科室覆盖：横跨13个主要解剖区域，涵盖腹腔镜、胸腔镜、神经外科、眼科、耳鼻喉科等多学科复杂术式。

如此庞大且高质量的数据滋养，赋予了SurgMotion史无前例的泛化能力与跨科室通用性。

十亿级参数：重新定义手术AI建模能力

在10亿参数的支持下，SurgMotion成功整合了手术视频的时空特征空间，实现了对手术核心动态与时空信息的深度学习。该模型对器械-组织交互、组织形变及操作节奏的捕捉能力显著超越以往同类模型，能够更好地适配复杂的临床手术场景。

首次全维度评测：覆盖17项核心手术任务

研究团队针对涵盖手术工作流识别、动作理解、深度估计、病灶分割、器械交互以及手术技能评估等17项权威基准测试开展了严苛的系统性评测，SurgMotion展现出了统治级的性能表现：

  • 手术工作流理解：在EgoSurgery数据集上，F1分数大幅提升14.6%；在PitVis数据集上提升10.3%。
  • 动作三元组识别：在行业公认的CholecT50数据集上，以39.54% mAP-IVT的优异成绩刷新世界纪录；
  • 静态视觉与几何感知：在深度估计任务中，误差平均降低2.95%；在息肉/病灶分割任务中，精度相较于既有最强模型平均提升约1.0%，展现出极强的空间几何感知力。

无论是宏观的手术步骤推理，还是微观的器械-组织交互，SurgMotion都用详尽的评测数据证明了其作为通用底座的强大实力。

全球生态共鸣：推动技术落地与产业合作

对于广大医疗AI科研团队而言，数据清洗、算力开销以及繁琐的环境配置往往是阻碍创新的最大痛点。因此，SurgMotion在GitHub和Hugging Face上全面开放了模型权重、微调代码、开箱即用的评估框架与环境配置接口。自发布以来，SurgMotion的影响力已从学术界快速延伸至全球医疗技术与临床研究生态，并在产业界、科研机构和临床场景中形成广泛共鸣：

  • 产业合作方面：已有至少5家医疗科技企业和行业机构申请使用SurgMotion，包括Intuitive Surgical（达芬奇手术机器人公司）、Karl Storz（内镜设备龙头）和ZEISS（光学与医疗设备企业）等研发团队，用于手术视频理解、内镜智能分析、机器人辅助手术等方向的技术评估与应用探索。
  • 高校与科研生态方面：已有至少22所高校和科研机构加入SurgMotion的使用与验证，包括Duke University、慕尼黑工业大学（TUM）、悉尼大学、香港科技大学、澳门大学等团队，研究方向覆盖手术VLA模型开发、视频特征提取、时序推理、手术动作理解和多模态手术智能等前沿领域。
  • 临床实践合作方面：已有至少7家医院、医学院及临床相关机构申请使用SurgMotion，包括Samsung Medical Center、Bucheon Sejong Hospital、Southern Medical University、Thomas Jefferson等机构，围绕手术教学、术中质量评估、数据质控和结构化复盘等真实临床需求开展探索。特别是，SurgMotion团队与港大深圳医院紧密合作，通过自动化手术视频结构化分析，推动手术标准化教学、手术质量复盘与临床质控流程的智能化升级。

这一生态扩展为SurgMotion提供了从基础研究、产业验证到临床落地的多维应用场景，也进一步体现了其作为手术视频基础模型的通用能力与真实世界价值。

本次研究由中国科学院香港创新研究院人工智能与机器人创新中心领衔，联合中国科学院自动化所、香港中文大学、慕尼黑工业大学、北京协和医院、中山大学附属第一医院、香港威尔斯亲王医院、香港大学深圳医院等全球顶尖机构共同完成。该中心聚焦人工智能与生命健康的融合创新，围绕多模态大模型、具身智能、数字孪生开展研发，入选香港InnoHK计划。中心坚持临床和产业需求为驱动，以为医生患者创造价值为目标，成建制开展面向医疗AI的研发与转化。

塔猴是一个专注于为用户提供系统学习、内容创作与商业连接的AIGC综合服务平台，致力于为每一位AI探索者打造理想的创作、成长家园。在塔猴，你不仅可以学习众多AIGC类实战课程，获得与时俱进的AIGC技能和视野，还有机会获得长期商业合作和接单机会！点击进入：https://www.tahou.com/

AI生成内容提示：本文由人工智能辅助创作，内容仅供参考，不代表平台观点。请注意核实信息的准确性，并理性判断。

以上内容不代表本平台立场，仅供读者参考