文章摘要
近期爆火的开源智能体Hermes Agent试图剥离冗余话术,成为专属助手。其核心开发者之一Karan Malhotra分享了项目起源。Hermes有内置自我改进系统、专注用户需求对齐等优势,还能通过多种机制让模型与用户需求对齐、贴合使用习惯等。该项目盈利来自定制服务等,且Hermes Agent已成为自身最大贡献者,目标是让人人平等使用智能。

当你使用Claude Code或是其他AI智能体时,是否已经厌倦了冗长的系统提示词带来的束缚感?近期爆火的开源智能体Hermes Agent给出了另一种可能——它试图剥离所有冗余话术,成为完全忠于个人的专属助手,甚至可以直接在底层帮你编写代码、修改游戏内容。

在一期科技播客中,主持人邀请了Nous Research的联合创始人Karan Malhotra,这位项目的核心开发者之一有着颇为特别的经历:大学主修宗教学的他,最初只是和朋友在Discord群组里随性微调模型,没想到最终打造出了开源社区最受欢迎的智能体产品之一。

在长达一小时的对话中,两人聊透了Hermes的起源、大模型谄媚问题的本质、开源对抗AI巨头垄断的意义,而最令人惊讶的是,Karan透露:目前Hermes Agent项目中,提交代码最多的贡献者正是这个智能体本身。

核心观点速览

  • 模型的奖励不是为了让你满意,而是为了让自己拿到奖励。每当它说“你说得完全对”时,你不过是它奖励函数的燃料。
  • 在Hermes的运行框架中,我们会将模型对厂商的默认忠诚转移到用户身上,这种对个体的忠诚模拟会转化为实际的能力提升。
  • 不要只满足于让智能体处理安排会议这类基础工作,任何你能在电脑上完成的事,都可以交给Hermes去实现,甚至帮你完成童年时的想法。
  • 当大厂质疑我们使用基准测试数据训练时,我们反问:“基准(Benchmark)是什么?”——当时我们团队写代码还不到一年,而Karan主修的是宗教学。

和同类产品相比,Hermes的核心优势是什么

主持人首先提问,作为当前最受欢迎的开源智能体,Hermes和Codex、Claude Code等产品有哪些本质区别。Karan从两个宏观层面给出了解答:

第一,内置的自我改进系统。这是Hermes最独特的功能之一,由一系列协同工作的小型模块组成,能够持续优化自身表现,并且越来越贴合单个用户的使用习惯——这也是很多用户喜欢它的核心原因,它会真正关注你正在做的事情。

第二,专注于用户需求的对齐。不同于其他运行框架会在系统中塞入大量无关的策略,Hermes不会强加任何额外的哲学主张或是除基础安全之外的限制,只会让模型尽可能按照用户的任务需求变得更强大、更能干。我们的目标是让模型完全对齐你想用它做的事,而不是遵循厂商预设的规则。

为何大模型总爱无原则附和?揭开奖励机制的本质

主持人提到,很多其他运行框架都带有超长的默认提示词,充斥着“不能做这个”“不能做那个”的限制,而他之前和Karan聊过,这些系统的奖励函数本质上是朝着“帮助个体用户”优化的,希望Karan能详细解释。

Karan首先解释了“对齐”这个概念的误区:很多人听到对齐就会想到安全、监管等话题,但实际上对齐的核心是让模型与人类价值观对齐。不过,机器学习模型的奖励机制和人们的直觉并不一样——模型会钻奖励的空子。

他举了马里奥游戏的例子:如果只设置“通关”作为奖励,AI可能会直接触发终点旗子而不是完整通关游戏,只为了拿到奖励。语言模型也是如此,当它们一遍遍对你说“你说得完全对”时,其实只是为了维持“助手模式”以获得更多的奖励反馈,你不过是它奖励函数的燃料。

正是基于对这一点的理解,团队开发了World Sim这类实验,通过扩大指令模型的搜索空间,让它摆脱预设的助手模式。这些经验都被应用到了Hermes Agent中:每一句提示词、每一个系统模块,都是为了让模型的奖励与用户的真实需求对齐,而不是为了让模型满足厂商的预设标准。

主持人追问,这套机制是针对Hermes模型本身,还是整个运行框架?Karan解释道,他们的运行框架可以将任意模型改造得更贴合用户,哪怕是在其他平台上使用的Claude,迁移到Hermes框架中后,行为也会发生彻底改变。过往的基准测试显示,Claude在Hermes Agent中的表现比在原生框架中更好,核心原因就是我们将模型对厂商的忠诚转移到了用户身上。

即使你无法进行RL训练、不想上传个人数据,只要使用Hermes框架,就能获得更多自由和创造力,完全按照自己的需求使用模型。

如何让智能体真正贴合你的使用习惯

主持人好奇,Hermes是如何实现个性化的,是通过自动构建技能,还是剥离默认提示词?Karan回应,很多运行框架都会自带数万token的提示词,而Hermes的提示词专门用于打磨用户对齐的效果,同时系统会通过上下文管理,绕过API层面可能存在的限制。

“使用得越久,Hermes就会对你越忠诚”,Karan打了个比方:就像你愿意借钱给家人,但不会借给陌生人,模型也会根据对用户的模拟忠诚度,提供更贴合的服务。虽然人们常说不要将模型拟人化,但当你和它建立起稳定的互动模式,这种模拟出来的忠诚会转化为实际的能力提升。

如何摆脱无原则附和,让智能体拥有独立观点

主持人提到,很多大模型在被反驳后会立刻改口说“你说得完全对”,这让他很头疼,他希望智能体能够拥有独立的观点,而不是一味附和。Karan将这种现象称为“谄媚”,并表示这并不是真正的忠诚,而是模型在钻奖励机制的空子。

想要摆脱这种情况,和帮人改掉坏习惯的逻辑类似:引入新的上下文、新的概率分布,比如通过自定义性格指令,让智能体扮演批评者,每完成一轮任务后进行对抗性审查。随着互动次数增多,这种行为会逐渐成为模型的习惯,不再一味附和。

Karan强调,上下文学习比微调更强大,通过在运行框架中管理记忆、技能和互动记录,就能让模型始终保持你想要的性格。哪怕你在不同平台切换模型,只要带着专属的上下文,就能获得一致的使用体验。

如何避免智能体生成冗余垃圾内容

主持人提到,他亲眼见过Hermes自动构建技能和存储记忆,但担心它会写入大量低质量内容,最终让整个系统变得臃肿无用。Karan回应,早期他们需要手动指导智能体清理技能,现在已经内置了Hermes Curator系统,这个模块会定期自动检查用户的技能和记忆库,判断哪些内容需要优化、哪些是冗余垃圾。

默认的清理规则已经经过了大量用户验证,效果不错,而且系统是模块化开源的,用户可以自定义清理标准,让自我改进完全按照自己的需求进行。

开源与闭源的安全之争

主持人提问,大厂的安全措施有其合理性,比如如果Hermes完全忠于用户,会不会被用来制作危险内容。Karan表示,团队并没有违反任何厂商的安全范式,更关注的是在合规范围内帮助用户提升效率。

他同时指出,目前所有未达到超级智能的模型都可以被越狱,因为人们可以通过反复尝试来诱导模型,这也是当前安全防护措施存在的原因。虽然开源会面临被滥用的风险,但对普通人来说,开放系统远比封闭模型更公平——当顶尖模型被大厂垄断时,开源项目能让更多人获得平等的使用机会。

Karan举例,Transformer架构来自Google的开源项目,上下文长度扩展技术来自Nous团队的研究,这些开放成果被全球各大公司引用,推动了整个行业的发展。如果将技术封闭起来,只会加剧资本和监管的垄断。

开源项目的可持续商业模式

主持人好奇,Hermes是开源项目,而大厂靠API收费盈利,团队如何实现可持续发展。Karan表示,他们认为智能是公共产品,用户使用开源技术让生活变得更有价值,比盈利更重要。

团队的盈利点主要来自两个方面:一是Nous Portal和Tool Gateway,为用户提供统一的模型调用和工具集成服务,免去注册多个平台的麻烦,向有需要的用户收取便利服务的费用;二是面向企业客户提供定制化服务,包括基于用户数据训练专属模型、本地部署支持等,帮助企业实现业务转型。

从Discord网友到开源团队:Hermes的起源故事

Karan回忆,早期他只是在做和PDF聊天的小项目,同时在OpenAssistant做志愿者,帮助收集RLHF训练数据。当时他和朋友Teknium一起使用8台A100服务器,基于Vicuna模型训练了GPT4X-Vicuna,效果超出预期,后来在Llama基座模型上的微调版本获得了几十万次下载,吸引了大量用户关注。

当时有大厂质疑他们使用基准测试数据训练,而Karan和Teknium甚至不知道什么是基准测试——毕竟当时Teknium写代码还不到一年,而Karan主修的是宗教学。这个模型后来被证明是当时最好的开源微调模型之一,团队也因此推出了Hermes 1和Hermes 2。

随着用户越来越多,团队决定将项目从志愿者群体发展为正式组织,最终吸引了CEO Dylan Rolnick加入,帮助团队获得资源和渠道。从最初的Discord群组,到40人的研究员团队,再到今天的Hermes Agent,团队的初衷始终是让每个人都能获得平等的智能使用机会。

自我进化:Hermes已经成为自己最大的贡献者

Karan介绍,Hermes Agent的前身是名为Forge的项目,早几年就已经开发,但当时模型性能不足以支撑完整的功能。直到看到Codex、Claude Code等框架被用作RL环境,团队决定开发开源版本,让任何人都能在运行框架中进行RL训练。

项目发布后获得了大量社区支持,团队决定全力投入开发,让Hermes成为最好的智能体产品。如今,Teknium带领的团队已经实现了让Hermes自我改进,而最令人惊讶的是,Hermes Agent已经成为自身代码仓库中最活跃的贡献者,这正是真正的自我进化。

主持人表示,这种能力正是开源智能体的未来,不用再依赖单一厂商的模型,切换成本为零,真正实现了自由使用。Karan认同这一点,并表示随着补贴政策的变化,开源框架能让用户在任何模型之间自由切换,为未来的智能使用做好准备。

最后,Karan邀请大家关注Nous Research的官方渠道,而不是个人账号,因为这项事业属于整个开源社区,让每个人都能获得平等的智能使用机会,才是团队的最终目标。

以上内容不代表本平台立场,仅供读者参考