具身智能ICL兴起：看一次演示快速学会新任务

2020年，GPT-3凭借“仅通过少量示例即可掌握全新任务”的上下文学习能力，在自然语言处理领域引发轰动；六年之后，这一技术范式正在具身智能赛道重现，成为机器人领域的核心突破方向。

这一技术便是In-Context Learning，即上下文学习（ICL）。今年8月中旬，海外机器人初创公司Skild AI推出通用机器人基础模型S1，该模型无需微调或额外后训练，仅通过观看一遍任务演示视频，就能尝试完成此前未接触过的新任务，支持最长10分钟、包含数十个操作步骤的复杂任务。

Skild团队对比了ICL视频提示与传统语言提示VLA在训练过和未训练过的任务上的表现：当训练数据仅为1000小时时，语言提示效果更优；但随着数据规模扩大，ICL方案开始反超。针对未见过的任务，加入视频上下文后，模型表现比仅使用语言指令提升约7倍。

就在S1发布的一周前，Generalist AI推出GEN-1.5，同样将One-Shot Learning作为核心能力。该模型仅需观看一次任务示范，就能在数秒内学会新任务，无需梯度更新或微调，支持人类示范直接迁移到机器人执行、组合泛化以及仿真到真实环境的迁移。

这两项进展都在探索让机器人学会利用更长的多模态上下文，而ICL路径早已在大语言模型领域得到验证并成为关键技术。2020年，OpenAI在GPT-3的论文中首次提出ICL的定义：无需对模型进行任何参数更新，仅在输入提示中提供若干任务示例，模型就能在单次前向推理中识别并执行新任务。过去三年，大语言模型的上下文窗口从4K扩展到1M，背后的核心引擎正是ICL，让模型能够一次性处理整本书或整个代码库。

与大语言模型不同，具身智能模型需要处理视觉观测、语言指令与动作序列交织的复合上下文，且真实物理任务是非马尔可夫的——当前动作的选择取决于几分钟前的操作历史。简单来说，具身模型的上下文每秒包含数十帧视觉观测、本体状态和动作序列，信息量比纯语言场景高出数个数量级。

直到今年7月16日，李飞飞、Jim Fan、Yuke Zhu等人合著的RoboTTT才首次系统地将“上下文缩放”路线引入机器人视觉运动策略领域。到了8月，Generalist和Skild相继发布相关成果，尽管两家公司仅展示了模型效果未公开完整技术细节，但立刻让具身领域的ICL讨论热度骤升。

面对具身ICL尚未解决的一系列技术难题，国内创业公司可可矩阵（COCO Matrix）正致力于将ICL打造为具身智能的底层范式。这家成立于2026年4月的公司，创始人兼CEO高宇翔表示，早在今年1月团队深入讨论创业方向时，就一致决定押注ICL赛道。

今年30岁的高宇翔毕业于西安交大少年班，曾在约翰斯·霍普金斯大学攻读人机交互方向博士学位并中途辍学。在GPT-3展现上下文学习能力时，还在读博的他就开始思考，能否将这一能力迁移到机器人领域。此后五年，他经历了辍学、回国创业、加入工业界再到二次创业，期间在傅利叶带队打通了全尺寸人形机器人从遥操作、数据采集到模型部署的完整链路，并在2025年5至8月用百万级成本，在全尺寸双足人形机器人上训练出具备一定泛化能力的世界模型。

与Generalist、Skild不同，可可矩阵的核心思路是将后训练阶段的ICL前置到模型预训练环节。围绕具身ICL的技术进展、落地难题与行业争议，我们与高宇翔进行了深度对谈，以下为整理后的对话实录（在不影响原意的前提下略有删改）：

采访者：过去很长一段时间，具身智能都沿着大模型的路线扩充数据规模，大家为什么相信堆更多数据就能提升机器人的通用能力？

高宇翔：行业早期整体心态偏向乐观。当时ACT、Diffusion Policy等方案跑通后，基本解决了行为克隆、模仿学习的不少核心问题，大家自然延续了大语言模型的成功逻辑，认为只要持续扩充数据，当数据量达到一定阈值后，模型就能涌现通用能力，最终实现全场景的任务适配。放在当时的行业环境中，这个思路本身没有问题，因此整个行业都开始全力规模化采集数据。

采访者：后来这个思路遇到了什么问题？

高宇翔：针对单一任务，现在采集两百条左右的数据就能把任务拟合得很好，一个新任务从演示到模型适配大概只需要18个小时。但继续增加数据后，模型一直没有出现行业期待的通用泛化能力。同时，具身数据本身很难大规模扩充：遥操作数据的质量参差不齐，物品和场景的多样性有限，单纯依靠这类数据很难提供足够丰富的感知覆盖。

采访者：除了数据扩充的瓶颈，还有其他痛点吗？

高宇翔：早期很多视觉语言模型（VLA）沿用了大语言模型、视觉语言模型的预训练体系，但面向物理世界时，原有视觉表征很难同时覆盖机器人需要的不同层级信息，因此不少方案需要不断拼接不同的视觉模块。这套路线在很多场景下依然有效，但过去一年多大家逐渐发现，继续沿着原有VLA范式叠加数据和模块，后续能力提升的边际效益越来越低。

采访者：既然数据覆盖的路线遇到瓶颈，行业现在开始关注哪些新的方向？

高宇翔：能明显感觉到行业开始关注机器人的学习能力和适应能力。过去大家更关注模型在训练阶段见过多少数据、学会多少任务，现在则开始思考：当机器人来到从未见过的新环境、新任务中时，能否利用当前的上下文快速学会新技能。今年已经出现了不少明确的信号，比如RoboTTT这类工作在尝试解决更长历史信息的编码、压缩和利用，让机器人能够持续参考更长时间的视觉和动作上下文；而Generalist AI、Skild AI展示的One-Shot能力更进一步，仅需一次任务示范就能快速适配新任务，无需为每个任务重新进行完整的微调或训练。

可以说，现在具身智能的缩放维度正在扩展：除了继续扩大模型规模、数据量和任务覆盖范围之外，机器人在部署后能否持续学习、能否从示范、历史经验和交互过程中快速获得新能力，也开始成为新的缩放方向。

采访者：同样是ICL，具身领域的难度看起来比语言模型领域高很多，具体复杂在哪些地方？

高宇翔：机器人面对的是真实物理世界，输入和任务结构比纯语言场景复杂得多，这种复杂性主要集中在两大维度，一是模型本身的输入输出与技术架构问题，二是数据体系的先天短板，可以进一步拆解为三个核心技术难点。

首先是视觉理解。机器人在不同任务、不同动作阶段需要的信息层级完全不同：既要理解“这是什么”的高层语义信息，也要获得位置、深度、轮廓等与动作直接相关的精细空间信息。这也是早期很多VLA需要同时拼接DINO、CLIP等不同视觉模型的原因，单一视觉编码器很难完整覆盖机器人需要的所有信息。

其次是多模态融合。语言对机器人来说远远不够，视觉可能承担大部分信息，但触觉、听觉、本体感知同样会影响动作选择。问题在于这些模态的数据量差异极大，目前视觉和语言还能依靠海量数据完成预训练对齐，但触觉、声音和本体状态的数据规模还远未达到这个程度。

第三个难点就是长上下文和记忆。机器人执行的是连续任务，需要知道之前发生过什么，还要判断哪些历史信息与当前任务相关，这个过程涉及历史信息的压缩、筛选、提取和长期保留。实际上，这些支撑机器人长时记忆的基础技术，也是近半年左右才开始出现比较明显的进展。

采访者：上个月Skild的S1模型支持最长10分钟的长任务示范，而GEN-1.5的One-Shot示范视频仅3-12秒，需要在30秒窗口内完成现学现用，虽然Skild展示的是demo，但10分钟的时长还是让人惊讶。

高宇翔：我觉得不能单纯看时长，更重要的是信息密度。如果一段10分钟的视频里都是重复动作，没有新的任务信息，那它对模型来说并不是高质量的上下文。我们目前测试效果较好的，是人类第一视角或第三视角的完整任务演示视频——人类完成一遍新任务后，机器人看完就能在当前场景中按照同样流程完成任务，这种One-Shot Adaptation的信息密度很高，因为其中包含了完整的新任务逻辑、动作和场景信息。相反，如果10分钟的视频只是大量重复动作或者几个简单小任务的拼接，它的学习价值反而有限。

采访者：这么说长上下文的重点，并不是把固定窗口从一分钟硬拉到十分钟？

高宇翔：没错。真实机器人任务中，很多有效上下文可能也就两三分钟，单纯让机器人每次都重新观看完整的十分钟历史并没有太大必要。更重要的是，当新的上下文不断进入时，模型能够持续筛选和压缩历史信息，有些最终保留的有效信息可能来自十分钟前，甚至一小时前。我们理解的长上下文更接近一种流式机制，最终目标是让机器人可以持续工作、持续利用过去经验，不会因为固定上下文窗口耗尽，比如到下午就把早上学到的东西全部忘掉。

采访者：但模型本身的显存和上下文容量毕竟有限，这种长期记忆具体该如何解决？

高宇翔：目前主要从两个方向探索，这些方案还在内部测试阶段。一是先提升模型自身的理解能力，如果模型真正理解当前任务，就能更清楚历史中哪些信息重要、哪些可以丢弃，所以记忆问题并不只是压缩问题，也和模型的理解能力密切相关。二是对长时序产生的大量KV Cache进行压缩，既要保证实时性，也要控制显存消耗。这方面大语言模型和视频生成领域已经有不少可以借鉴的技术路线，比如Linear Attention、Sparse Attention，还有基于Routing的关键信息筛选。我认为长上下文最终解决的并不是“能塞进去多少东西”，而是在有限的模型容量下，能否一直保留和调用真正有用的历史经验。

采访者：既然ICL能降低对海量数据的依赖，为什么数据仍然是一个问题？

高宇翔：ICL降低的主要是对“海量任务全覆盖数据”的依赖，但基础数据的数量和多样性依然非常重要。在UMI这类本体中心数据逐渐普及之前，行业很难获得以机器人自身动作、本体视角为核心的高质量数据。随着这类数据越来越多，模型才开始具备比较扎实的基础操作能力。ICL并不意味着不再需要数据，它更像是让机器人不必为每个新任务都重新采集大量专项数据，但前提仍然是模型已经建立起足够好的基础能力。

采访者：那目前行业最缺的是哪一类数据？

高宇翔：现在比较明显的缺口是人机教学、实时纠偏和协同作业这类数据。如果希望机器人能够接受人类的实时指导，做错后被及时纠正，甚至和人类一起完成任务，模型就需要见过大量类似的交互过程。但目前行业还没有形成成熟的这类数据的定义和采集体系，比如人类手把手教机器人时，哪些信息需要记录、纠错发生在哪个时间点、人的动作、语言和机器人的反馈应该如何对齐，这些都还缺少统一标准。所以我们后续也会重点定义这类人机教学交互数据，包括应该采集什么、如何采集，以及如何将其用于ICL训练。

采访者：可可矩阵目前在ICL领域的整体进展到了什么阶段？

高宇翔：整体进度比我原本预期的要快一些。一开始我们判断，光是打磨模型的理解能力可能就需要两三个月，但核心团队到齐后不到一个月，我们就拿到了足以验证技术方案可行性的核心证据。现在这部分技术路线已经基本跑通，下一阶段主要是扩充和精炼数据，进一步提升模型能力。我们目前最核心的判断是：机器人后续的动作生成效果，很大程度上取决于前期对物理世界的理解是否清晰。

采访者：在“理解”这一块，你们做了哪些与众不同的工作，可以具体聊聊吗？

高宇翔：我们现在研发的是一套“条件表征”，也可以理解为条件隐空间。传统的视觉表征通常是一帧图像对应一个固定的Embedding，无论机器人当前想做什么，看到这张图后提取的信息基本是固定的。但机器人执行任务时并非如此，同一张画面在不同任务、不同动作阶段需要的信息完全不同。比如抓取一个杯子，刚开始我们更关心它是不是杯子，这是语义信息；真正伸手去抓的时候，我们更关心它的位置、深度、轮廓和空间关系。

所以我们认为，适合机器人的视觉表征不应该只由“看到了什么”决定，还应该由“当前想做什么”共同决定。我们的模型会根据任务条件和动作意图，动态提取不同层级的信息。目前这套统一模型已经在八到九类视觉任务上完成验证，包括深度估计、图像分割、人体姿态估计等，部分任务的能力已经接近上一代专门为单任务训练的模型，后续主要通过数据进一步将其推向当前的最优水平。

采访者：是什么让你们认定“做好理解之后，动作生成反而可以变得更轻量”？

高宇翔：因为现在很多机器人模型的问题在于，前期的表征中混入了太多与动作无关的信息。比如桌面是木纹还是大理石，这对要不要抓取这个杯子基本没有帮助，但传统视觉Embedding会将这些纹理、材质信息一起编码进去。这样后续的Action Head就需要非常庞大，才能从混合信息中筛选出真正与动作相关的内容。

我们的思路是在前期的条件表征阶段，就尽量提炼出与动作相关的信息。我们做过一个极端实验：在相同的训练设置和算力条件下，将动作头压缩到约60M参数，效果依然超过了动作头达到1.1B的对照方案。所以我们现在更相信“强理解、轻生成”的方向，如果前期的视觉理解足够准确，后续的动作解码其实不需要设计得特别复杂。

采访者：什么是“动作相关信息”？目前行业内有没有统一的定义？

高宇翔：目前还没有特别完善、让我觉得足够统一的定义。现在行业内比较常见的路线是Latent Action Model，很多人类视频、生成视频本身没有机器人动作标注，所以大家会训练一个隐变量来表示帧与帧之间的变化，将其作为“替代动作”。常见的做法有两类：一类是只要能从第一帧推导出第二帧，就认为中间的变化包含动作信息；另一类是通过光流，将像素在空间中的变化作为动作表征。但这些方案都有问题，比如光流虽然稠密，但很难区分是相机在动还是机器人、人物本身在动；人体关键点相对更稳定，不受相机运动影响，但信息又比较稀疏。

所以我们没有先人为规定一个非常严格的“动作表示”标准，目前会将人类手部关键点、全身关键点、光流等多种与动作相关的预测任务放入同一个条件表征模型中训练，让不同信息相互补充。后续如果发现新的预测任务能够帮助动作生成，也可以继续加入训练。我们更希望模型能力的提升来自数据和训练任务本身，而不是不断在结构上做复杂修改。

采访者：目前可可基础模型的One-Shot能力大概达到了什么水平？

高宇翔：目前在简单任务上的表现比较明确，比如常规抓取类任务，在临时改变目标并进行One-Shot适配后，完成率可以稳定在80%以上。我们现在不仅仅单独看One-Shot的成功率，还要看它与针对该任务专门做过后训练的模型之间的能力差距。理想状态下，机器人仅看一次示范、在上下文中完成快速适配后，效果应该尽可能接近专门训练的模型。复杂任务目前还没有完整评测，因为对应的模型还在继续训练中。

采访者：在主攻One-Shot能力的同时，为什么还要做Self-Correction？

高宇翔：因为人类学习新任务时，也不是看一遍就能一次成功的。但失败后我们会知道哪里出了问题，下次会针对性调整，我们希望机器人也具备这种能力。第一次执行失败后，模型会重新利用这段失败轨迹，判断哪里需要修正，再进行下一次尝试。所以Self-Correction其实也是ICL的一种形态，上下文不仅来自他人给出的示范，也可以来自机器人自己刚刚经历的失败。我们的目标是即使第一次没有完成任务，机器人也能通过后续几次自主尝试和纠正，最终完成任务。

采访者：假如机器人可以不断试错，那以后“成功率”是不是就不够用了？

高宇翔：没错，所以我们之后可能会更关注另一个指标——第一次成功的平均耗时。如果机器人能够持续尝试、持续自我纠正，那么单纯询问“一次任务成功率是多少”的意义会越来越有限。更有价值的问题是，它看完一次示范后，需要花多久才能第一次完成任务。这个时间对应的其实是机器人的教学成本和学习效率。对于抓取这类简单任务，我们希望它看一次就能一次成功；但像叠衣服，甚至将衣服叠成大象、天鹅这类复杂任务，人类自己可能也需要几个小时学习，我们希望机器人的学习周期能够逐渐接近正常人的培训周期。如果这套能力成立，一个地点的一台机器人学会的新技能，后续可以被其他机器人复用。所以未来衡量机器人智能，可能不只是看它已经会多少任务，还要看它学会一个新任务需要多长时间。

采访者：你本科就从自动驾驶转向机器人领域，大概是十年前吧？

高宇翔：对，我本科就读于西安交大少年班，最开始做自动驾驶方向，大概在2016年前后转向机器人领域。当时我就觉得，机器人问题比自动驾驶更复杂，同时涉及硬件、算法和数据，需要解决的场景也更多样。后来从约翰斯·霍普金斯大学博士辍学后，我进入工业界，尤其是人形机器人、数据和模型落地领域。

采访者：我了解到你是从傅利叶出来创业的？

高宇翔：没错，我2024年加入傅利叶。这几年我较早参与打通了全尺寸人形机器人从遥操作、数据采集到模型部署的完整流程，也参与了大规模VLA的训练。这段经历让我第一次直观地看到了VLA数据缩放的边界。后来我们还在内部开发了基于世界模型的全尺寸人形机器人Policy，验证了世界模型确实可以驱动全尺寸人形机器人，并且在一些特性上表现出与传统VLA不同的优势。这些判断叠加在一起后，我开始觉得是时候重新考虑模型的训练范式了。我的目标是让ICL远不止是一个“功能特性”，而是真正颠覆现有的模型训练范式。

采访者：既然已经在傅利叶内部验证过一些方向，为什么还是决定出来创业？

高宇翔：因为这个方向本质上是一个范式创新的问题。如果继续在原来的组织里做，我很难获得足够集中的资源，也很难围绕这个方向组建一支足够强的模型团队。还有一个很现实的原因，就是我的联创无法直接加入原来的团队，但我们确定要做这个方向之后，我觉得最合适的合作对象只有她。她长期在学术侧研究机器人泛化、学习能力和ICL，而我则拥有比较完整的工业界经验，包括本体、数据、模型训练、场景和上下游资源，双方的能力正好互补，所以最后决定一起出来创业。

采访者：你们现在的团队分工是怎样的？

高宇翔：联创主要负责整体技术路线和核心研发方向，我则更多负责上下游硬件、场景、数据、算力这些问题，这也是我过去两年在人形机器人行业积累较多的部分。我踩过很多数据缩放、遥操作数据、第一视角数据、模型部署相关的坑，所以现在更清楚什么样的数据适合什么样的模型，也知道不同数据来源在训练中应该发挥什么作用。我们不会把团队做得特别大，模型研发的核心团队本身不需要很多人，我们更看重团队的智力密度。

采访者：最后聊一下公司名字吧，你们的名字和市面上大多数具身公司的画风不太一样。

高宇翔：COEXIST（共存）、COWORK（协作）、COLLABORATE（合作）、COEVOLVE（共同进化），这就是我们公司名字的由来。