Skill-Omni：Agent多模态视觉经验的“看得见”范式

对于智能代理（Agent）来说，可复用的任务技能（Skill）能够大幅提升执行效率，避免重复从零开始摸索。但当前主流的Agent技能体系存在一个明显的短板：几乎所有现成的Skill都基于纯文本格式，像修图时需要调整到何种程度、界面操作时该点击哪个按钮这类“需要亲眼看到才能明确”的知识，始终无法被完整融入Markdown格式的技能文档中。

针对这一行业痛点，openJiuwen社区正式推出了Skill-Omni——这是业界首个实现工程化落地的多模态Skill范式。它让Agent的任务经验从“仅能通过文字理解”升级为“可以直观获取视觉信息”，能够将网页、视频中的视觉知识沉淀为Agent可直接复用的多模态Skill，相当于给Agent的技能说明书首次加入了配套的插图与参考图。

具体来说，用户只需提供目标网页链接或视频分享平台的视频链接，JiuwenSwarm中内置的skill-omni-creation工具就会自动完成关键信息提取：包括页面截图、界面状态变化以及完整的操作脉络，最终生成Agent能够直接读取并复用的多模态Skill。这也是继SwarmSkill、SwarmFlow之后，openJiuwen在Agent技能工程化领域的又一次重要迭代。

那么，为什么Agent的技能需要向多模态方向升级？Skill-Omni又是如何解决这一痛点的？我们可以从多个维度展开分析。

当前主流的Agent技能体系都基于纯文本格式，这类技能在代码生成、文档处理等任务中确实能发挥不错的作用，但一旦Agent需要处理视觉相关任务或GUI自动化任务时，纯文本的局限就会暴露无遗——很多任务本身就不是靠“说清楚”就能完成的，而是需要“看明白”才能准确执行。

以图片编辑任务为例，传统的文本Skill可能只会写“调整色调，使主体突出、背景柔和”，人类或许能大致理解操作方向，但对Agent来说这个描述太过模糊：主体的具体位置在哪里？柔和的程度该如何界定？是否有参考效果可供对比？仅靠文字描述很难给出稳定且可落地的执行标准。真正的判断标准藏在调整前后的视觉差异中，只有提供前后对比的视觉素材，Agent才能明确“调整到何种程度才算合理”。

再比如GUI自动化操作，文本Skill可能会写“进入设置页，打开高级选项，选择导出设置”，但实际操作中，“设置”按钮可能是齿轮图标，也可能隐藏在头像下拉菜单中；“高级选项”可能需要滚动页面才能找到；“导出配置”可能是独立按钮，也可能藏在下拉菜单的某个条目里，界面中还可能存在多个外观相似的按钮。如果没有关键的界面截图和页面状态参考，Agent只能依赖文字猜测，很容易出现操作错误。

还有一类容易被忽略的场景是视频教程，大量实用技能并没有被整理成书面文档，而是藏在软件录屏和操作演示视频中。人类观看视频可以轻松理解操作流程，但如果将视频内容总结为纯文字描述，界面状态变化和操作细节就会大量丢失。

总而言之，视觉类任务中的核心知识往往不是一段文字描述，而是一组可被观察到的状态变化：界面的具体样式、操作前后的视觉差异、最终结果是否符合预期。将这些信息全部压缩为纯文本，不仅会耗费大量笔墨，还会丢失关键的空间关系和视觉细节。这一判断并非仅来自openJiuwen的实践，MMSkills、VisualSkill等近期的学术研究已经系统论证了多模态Skill这一发展方向的可行性。

尽管多模态Skill的发展方向已经得到学术验证，但将其打造为生产级Agent平台中开箱即用的工程化能力，openJiuwen是业界首批实践者，他们并未停留在理论范式的讨论阶段，而是快速将这一思路转化为了可落地的产品功能。从更严谨的形式化角度来看，多模态Skill的价值并不仅仅是“提供了更多信息”，而是为Agent拓展了更大的决策信息空间。在理想决策器的假设前提下，引入有效的多模态信息不仅不会降低Agent的最优决策能力，反而能够为其提供更高的信息上限，让Agent能够基于更完整的依据完成任务。

基于这一背景，openJiuwen在JiuwenSwarm平台中内置了skill-omni-creation——这是一个用于生成多模态Skill的元技能（meta skill）。它并不直接完成具体的业务操作，而是专注于从外部资料中提取、整理能够帮助Agent完成同类任务的关键截图、关键帧和操作模式，将原本面向人类阅读和观看的网页、视频内容，转化为Agent可以直接使用的多模态经验资产。

目前该工具支持两类生成入口：

• 一是网页转多模态Skill：将图文教程、技术博客中的截图和操作步骤沉淀为标准化的Skill；
• 二是视频链接转多模态Skill：从视频教程中提取关键帧和完整的操作脉络。

网页转多模态Skill能力

高质量的教程和技术博客本身就是图文结合的，但传统的文本Skill往往会直接忽略网页中的图片资源，导致这些视觉信息无法进入Agent的执行逻辑。skill-omni-creation处理网页内容分为三个核心步骤：

• 自动解析：用户仅需提供网页链接，系统就会自动解析页面内容并下载其中的图片资源；
• 智能去噪：自动过滤广告图、装饰图、无关横幅等无效内容，仅保留正文截图、操作步骤图、前后对比图等有实际价值的视觉素材；
• 重组过滤：将文字步骤、关键图片和操作逻辑重新整合为信息密度更高的多模态Skill。

经过这一流程，网页不再仅仅是被收藏或手动总结的内容，而是被转化为Agent可以直接调用的经验资产。

举个具体场景，某网页教程讲解如何修复照片欠曝光，这类任务的核心判断标准藏在图像调整前后的视觉变化中：暗部细节是否被成功拉回，高光区域是否被过度提亮。skill-omni-creation会将这些视觉判断标准连同前后对比图一同沉淀到Skill中，让Agent不仅知道“该如何修复照片”，还能明确“修复到何种程度才算合适”。

视频链接转多模态Skill能力

视频的信息密度远高于图文内容，但复用难度也更大——视频天然带有时间轴属性，关键信息往往只出现在少数几个关键帧中。如果将视频内容转录为纯文字，会丢失大量视觉状态信息；如果直接将逐帧画面传递给Agent，又会带来极高的上下文成本，导致模型无法高效处理。

skill-omni-creation的解决方案是：当用户提供视频链接后，系统会从连续的画面中自动筛选关键帧，识别关键操作节点，最终整理出“在何时发生了何种变化”的完整操作脉络。经过这一处理，复杂的视频教程不再是“看过就忘”的内容，而是可以被Agent调用和复用的多模态经验资产。

比如某视频分享平台的教程完整讲解了JiuwenSwarm的安装流程，用户仅需提供该视频链接，skill-omni-creation就会围绕筛选出的关键帧整理安装步骤、命令说明和对应的界面状态。这一点对安装类任务尤为重要：安装是否成功不仅取决于命令是否书写正确，还需要结合终端输出和启动界面的视觉状态进行判断。

按需读取的工程化解决方案

生成多模态Skill只是第一步，更关键的问题是Agent在执行任务时如何正确使用这些技能——既要能够查阅多模态视觉证据，又不能因为一次性加载大量图片而导致上下文溢出，这也是学术研究中反复提到的技术难点。

JiuwenSwarm平台给出的工程化解决方案是一套按需读取机制，具体分为两个环节：

• 环境检测：在Agent运行时，系统会首先检测用户提供的API是否支持多模态输入，避免在不支持视觉输入的模型上盲目加载图片资源；
• 动态注入与按需调用：当Agent调用Skill时，系统会自动检查Skill中是否包含图片链接，若存在则注入对应的提示信息，引导Agent在需要时通过read_file工具读取图片资源。

通过这一机制，图片不会被一次性全部塞进上下文窗口，而是在执行过程中按需加载，既保留了必要的视觉信息，又避免了不必要的上下文负担，让图片不再只是Skill文档中的装饰性插图，而是Agent可以主动访问的视觉判断依据。

比如之前生成的欠曝光照片修复Skill，当Agent接到欠曝光修复任务时，不再仅仅依靠“提升亮度”这类文字描述来判断任务是否完成，而是可以参考Skill中沉淀的前后对比图，验证暗部细节是否恢复、高光区域是否过度提亮、整体色彩是否自然协调。由此可见，多模态Skill提供的并非视觉装饰，而是Agent判断任务完成质量的核心视觉标准。

核心适用场景

Skill-Omni的核心适用场景，正是那些“纯文字描述无法完整传递信息”的任务：

• 图像编辑与设计：包括Photoshop操作、ComfyUI绘图、图像修复等任务，核心在于明确最终结果的视觉标准；
• GUI自动化操作：涵盖后台配置、桌面软件操作、复杂表单填写等高度依赖界面布局和页面状态的任务；
• 视频教程沉淀：将软件操作教程、产品演示视频中的关键帧提取出来，转化为Agent可读取的标准化技能；
• 企业知识库升级：企业SOP中的截图、录屏、流程图等视觉素材，过去仅面向人类员工，现在可以通过Skill-Omni转化为企业Agent可直接调用的知识资产。

在这些场景中，Skill-Omni的价值并非“让技能文档看起来更美观”，而是为Agent提供了更完整、更准确的执行依据。

从文本到多模态的Agent技能进化

回顾Agent技能体系的发展，过去的Skill更像是一份写给Agent的纯文字说明书，仅能告知Agent在遇到特定任务时需要遵循哪些步骤、调用哪些工具、注意哪些约束条件。但在多模态Agent时代，这一模式已经无法满足需求。当Agent开始通过屏幕理解世界、通过图像理解操作、通过软件完成任务、复现视频教程中的操作流程时，它需要的不仅仅是文字规则，还包括视觉参照、空间信息、关键帧变化和状态对比。

Skill-Omni打通了从视觉经验提取到落地执行的完整链路：从网页或视频中提取视觉经验→沉淀为多模态Skill资产→Agent在真实任务中按需读取、判断并完成执行。这意味着Agent的技能不再仅仅是纯文本资产，而是进化为可复用的多模态经验层。

从SwarmSkill到SwarmFlow，再到今天的Skill-Omni，openJiuwen正在将Agent的技能从“一份独立文档”打造为一套完整的经验工程体系。当Agent开始通过视觉感知理解世界时，Agent的技能体系也需要从纯Markdown格式向多模态方向进化。

这一发展方向并不会止步于屏幕视觉：Skill-Omni的下一步将探索面向实体智能（Physical AI）场景的Physical Skill，通过物体抓取热力图沉淀物理交互经验，让Agent不仅能够复用“看得见”的视觉经验，还能复用“拿得稳、做得成”的物理交互经验。

目前Skill-Omni已经在JiuwenSwarm平台中开箱可用，感兴趣的用户可以访问openJiuwen开源社区体验并参与共建。

相关资源
openJiuwen官网：https://www.openjiuwen.com/
JiuwenSwarm快速开始：https://openjiuwen.com/jiuwenswarm#quick-start

参考文献
[1] MMSkills：https://arxiv.org/pdf/2605.13527
[2] VisualSkill：https://arxiv.org/pdf/2606.18448

塔猴是一个专注于为用户提供系统学习、内容创作与商业连接的AIGC综合服务平台，致力于为每一位AI探索者打造理想的创作、成长家园。在塔猴，你不仅可以学习众多AIGC类实战课程，获得与时俱进的AIGC技能和视野，还有机会获得长期商业合作和接单机会！点击进入：https://www.tahou.com/

AI生成内容提示：本文由人工智能辅助创作，内容仅供参考，不代表平台观点。请注意核实信息的准确性，并理性判断。