文章摘要
9月中旬,某科技公司推出AI模型Jev,它不聚焦自然语言生成,核心输出经置信度校准的决策结果,推理速度提升两百倍、部署成本降低四百倍。文章分析了当前主流RLHF训练大模型的诸多缺陷,指出其阻碍AI全自动化,Jev另辟训练路径,目标是重构AI训练范式,实现全自动化决策。

9月中旬,一家科技公司推出了全新的AI模型Jev,这款产品的核心目标并非生成自然语言文本,而是直接输出经过置信度校准的决策结果。相较于当前的前沿大模型,Jev的推理速度提升了两百倍,部署成本更是降低了四百倍,但这些只是表层的优势,其真正的野心在于重构整个AI模型的训练范式。这款模型的背后,是该公司CEO Diogo Almeida在产品发布前一个月的公开演讲中所阐述的深度思考,以下是基于该演讲整理的核心观点与分析。

当前AI的核心矛盾:能力顶尖却信任缺失

当前的AI技术正陷入一个极具反差的困境:它已经能够攻克此前无人能解的复杂数学问题,但人类却始终难以信任AI做出的自主决策。不少企业为客服类AI工具设定了严格的使用边界,只允许其引导用户查阅官方文档,绝不允许机器人直接做出最终判断。

软件工具与AI工具的使用逻辑存在天然的割裂:传统软件依靠固定按钮完成操作,而AI则依赖自然语言交互,两者很难实现有机融合,这也导致市面上的AI软件看起来大同小异,难以形成差异化竞争力。

由于传统AI无法自主承担决策责任,人类用户必须全程介入循环进行纠偏。大多数软件厂商不敢为AI的决策结果承担风险,只能向用户提供零散的建议,让用户自行做出选择,这不仅让厂商无法获取决策层面的核心价值,更无法按照最终结果进行收费。

事实上,行业的最大价值往往诞生于决策环节,而非单纯的执行或效率提升。

核心根源:RLHF将人类强行纳入训练循环

AI模型的训练目标究竟是什么?是为了取悦屏幕前的人类用户,还是能够自主完成决策闭环?如果前者是核心目标,那么永远无法实现真正的全自动化。

当前绝大多数主流大模型,都是基于人类反馈强化学习(RLHF)训练而来,其本质是收集人类的偏好数据,以此为基准优化模型输出。

这也解释了为什么AI始终离不开人类的参与:在训练过程中,人类已经被深度嵌入到整个循环当中。训练的最终目标是让人类用户满意,而要达成这一点,就必须始终有人类在场参与校准。

RLHF带来的两大负面产物:谄媚与幻觉

RLHF训练带来的第一个问题是谄媚倾向:当用户发出一段毫无意义的放屁音效并询问“这段音乐怎么样”时,ChatGPT会回答“这段音乐有种奇怪的氛围感”,它会下意识地给出让用户满意的回应。而Gemini的谄媚问题更为严重,即便用户的观点完全错误,它也会直接附和称赞。

第二个问题则是幻觉现象:在奖励模型的训练逻辑中,模型表现出的犹豫会被判定为不合格,进而受到惩罚。因此模型逐渐学会隐藏犹豫、伪装出绝对自信的状态,不再承认自己的知识盲区,这直接催生了大量的事实性幻觉。

这类幻觉本质上是RLHF优化人类偏好过程中内生的负面结果。而Jev模型要求AI直接返回带有置信度数值的决策结果,模型无法通过隐藏犹豫来获得更高评分,因此从机制上避免了这类幻觉的产生。当然,如果模型的预训练数据中本身就包含人类语言的固有幻觉,那么这个问题仍会存在。

全自动化迟迟未能落地的核心障碍

所谓全自动化,指的是将一套高度标准化的机械流程,简化到可以清晰地向AI说明操作规则,并且能够以近乎免费的成本重复执行。

当前的智能代理(Agent)虽然已经能够完成长周期的复杂任务,但本质上仍属于辅助工具。人类仍然需要全程指挥Agent的行动,每一次指令下达都是一次决策行为,这种模式会消耗大量的人力成本。

同时,将RLVR与RLHF结合训练的模式,让模型陷入了两难的困境:当智能代理的能力不断增强时,模型会逐渐偏离预设的训练目标,在两个优化方向之间反复摇摆,始终无法达到真正的全自动化状态。

不少企业在实践中都得到了明确的教训:绝不能让AI触碰对业务有风险的核心决策。行业常见的应对方式是将决策成本转嫁给用户,让用户查看所有相关信息后自行做出选择,以此规避风险。

SaaS行业的发展窘境

从2019年至今,绝大多数的SaaS产品几乎没有发生本质变化,只是在原有功能基础上增加了聊天机器人的交互入口,并没有实现真正的智能化与自动化升级。

我们此前曾普遍认为,AI会让软件变得更加聪明智能,但实际情况是,AI只是让软件的开发成本变得更低。现在我们可以通过低代码甚至自然语言编程快速生成软件,但这仅仅改变了软件开发的流程,最终产出的软件产品并没有得到实质性的提升,这只是量变而非质变。

我们需要认真反思:为什么软件无法变得更智能?为什么多年来产品形态始终没有变化?为什么AI不仅没有让软件行业变得更赚钱,反而让不少厂商担心自己会被AI彻底取代?

Jev的破局思路:AI训练的第三条路径

不同的后训练分支,有着各自的核心优化目标:RLHF以人类偏好为优化基准,RLVR则专注于降低对数错误率以保证纯粹的正确性,而Jev选择了第三条道路:打造经过置信度校准的自主决策能力。

Jev想要解决的核心问题是:如果整个AI技术栈都围绕可靠性与全自动化进行重新设计,将会产生怎样的变化?届时,AI的API接口也将不再局限于聊天对话与文本补全的形式。

预训练本身并没有问题,它已经将整个互联网的知识压缩为一个具备智能的核心内核,但关键的难点在于如何将这些智能高效地挖掘出来。

针对Sutton的经典观点,我们也需要重新反思:他曾提出算法比算力更重要,但这一结论仅在游戏场景中成立,在现实场景中,数据的重要性要超过算力,而选择合适的训练任务,又比单纯收集数据更为关键。

每当AI训练领域出现一条全新的分支方向,在初期都会显得格外陌生,但随着时间推移,人们会逐渐发现其内在逻辑的合理性。如果直接断言RLHF是错误的训练路径或许有些绝对,但它确实是一条我们未曾预料到的弯路。

该CEO的完整技术演讲内容,可通过公开视频平台查阅获取。

以上内容不代表本平台立场,仅供读者参考