文章摘要
在旧金山的技术交流会上,一线从业者分享AI agent部署经验。软件开发的AI化分三阶段,目前多数团队停在第二阶段。工程师角色转变,评审工作量上升。还探讨了40%效率天花板、生产环境挑战等问题,强调让AI agent可信及重新思考工程师价值。

在旧金山的一场小型技术闭门交流会上,来自一线AI agent研发与落地团队的从业者,分享了他们将AI工具部署到生产环境后遇到的真实问题与解决方案。这些来自实战一线的经验,远比大型行业峰会的主题演讲更能体现AI开发的真实演进轨迹。

本次交流会聚集了多位在一线实际运行AI agent的工程师与创业者,大家围绕AI在软件开发全流程的落地展开了深度讨论,内容兼具实操性与数据支撑,还坦诚分享了尚未解决的行业难题。我整理了其中最具代表性的观点,并结合自身观察做了补充分析。

AI开发的三个演进阶段

某AI研发工具团队的负责人首先梳理了软件开发的AI化进程,可以分为三个清晰的阶段,明确自身所处的阶段是制定后续落地策略的核心前提。

第一阶段是AI辅助阶段,这也是大部分开发者目前所处的阶段:通过Copilot补全代码、用大模型生成文档、借助AI解答技术问题。在这个模式中,AI只是辅助工具,人类始终是绝对主导,每一次交互都由人类主动发起,AI提供建议后由开发者决定是否采用。该阶段门槛低、见效快,多数开发者已经在此阶段积累了较长时间的实践经验。

第二阶段是“照看AI agent”阶段:当开发者开始将更复杂的任务交付给AI agent执行时,却无法完全脱离电脑——当AI执行出现偏差时需要及时修正,遇到卡顿时需要主动推进,完成一个步骤后需要人工确认才能继续下一步。这个阶段消耗大量精力,开发者并没有真正解放双手,也没有聚焦到高价值的决策工作中,更像是在“管理”一个可靠性不足的系统。这位负责人用了一个生动的比喻:这就像照看婴儿,需要时刻保持专注,但并没有创造真正的价值。

第三阶段则是AI agent自主运行阶段:开发者只需要设定触发条件,比如“有新的任务提交时自动执行分析流程”,之后就可以专注于其他工作。AI agent会在独立的计算环境中持续运行数小时甚至数天,完成全部流程后再向开发者反馈结果。此时人类的角色转变为仅在关键决策节点介入,其余时间完全放手让AI自主工作。

从现场分享的数据来看,多数团队其实误以为自己已经在使用AI agent,但实际上仍停留在第二阶段。他们以为自己在驾驭AI,实则只是在不断“推动”一个需要持续关注的系统。真正的AI agent时代,应该是AI可以在人类不在场的情况下独立完成任务,而非需要人类随时跟进。

该团队内部数据显示,目前已有30%的代码提交(PR)由AI agent自动完成并提交,全程无需人工干预。一年前,企业客户中使用云端AI agent的比例仅为15%-20%,如今这一数字已经攀升至75%,且覆盖了初创公司到大型企业的全用户群体,这一增长速度远超行业预期,说明AI agent的规模化落地已经成为正在发生的现实,而非遥远的未来趋势。

工程师角色的结构性转变

交流现场有一个细节令人印象深刻:当被问到“有多少人现在花在代码评审上的时间比写代码的时间更多”时,台下几乎所有人都举起了手。这并非个人感受,而是整个软件开发行业正在发生的结构性变化。

AI生成代码的速度远超人工,但产出的结果需要人类来判断正确性、适配性以及是否符合整体架构意图。因此代码评审的工作量正在快速上升,而手写代码的占比则退居次要位置。这一变化看似是效率提升,但背后隐藏的挑战远比表面复杂。

该负责人提到,从token消耗的分布来看,工程师如今的大量精力都投入到了“写完代码之后”的环节:代码评审、验证、测试与调试。这背后的逻辑很清晰:AI生成代码速度快,但快速产出的内容未必正确、未必能正常运行,也未必符合产品的核心意图。“完成代码编写”只是流程的起点,后续的验证环节反而成为了新的效率瓶颈。

随之而来的一个具体问题是:PR的规模正在变大。AI agent一次性修改的文件数量越来越多,生成的PR内容越来越庞大,代码评审的难度也随之直线上升。该团队将这类PR称为“mega PR”,他们尝试过任务拆分来缓解这一问题,但也承认这只是治标之举,并未从根本上解决评审压力。目前整个行业都尚未找到完美的解法。

我自身也有类似的体感:使用AI辅助写代码时,最大的陷阱并非AI生成错误的代码,而是AI产出速度太快,开发者根本来不及跟进。看似提升了开发速度,实则积累了大量技术债务。当后续需要修改某段代码时,开发者会发现那段代码完全陌生——因为并非自己亲手编写,也没有认真完成评审。这种“速度幻觉”是许多团队正在经历的共同困境。

因此在AI时代,工程师最核心的能力已经不再是“写代码的能力”,而是“判断代码质量的能力”。开发者需要快速识别AI生成的代码是否符合架构意图、是否存在潜在的性能问题或安全漏洞。这种判断力的培养难度更高,因为开发者不再有大量机会通过手写代码积累经验,但想要真正驾驭AI的输出,这种能力又是必不可少的。

此外还有一个极具实用性的观察:不同的大模型在不同类型的任务中表现差异显著。部分模型更擅长整体架构思考与全局规划,而另一些模型则在细节执行与任务拆解上更具优势。这并非说某一个模型更优秀,而是提醒开发者在搭建AI agent团队时,需要根据任务类型选择合适的模型,而非用单一模型覆盖所有场景。这种“用人所长”的思路,同样适用于AI agent的选型与搭配。

40%效率天花板背后的本质

该负责人还分享了一个普遍存在的行业现象:许多开发者在引入AI agent后,生产力提升会稳定在40%左右,之后便不再增长,甚至会开始对AI的输出产生怀疑。这一“40%天花板”并非个例,而是在众多企业中都能观察到的共性问题。

为什么会卡在这个阶段?负责人给出的解释是同步AI agent的根本性限制。所谓同步agent,就是人类必须全程在场:AI执行一步,人类确认一步,AI才能继续下一步。在这种模式下,人类的注意力成为了整个系统的最大瓶颈。无论AI的运行速度有多快,都无法超过人类处理信息、做出判断的速度。开发者并没有真正被解放,只是换了一种方式被绑定在AI流程中。

打个比方,这就像雇佣了一名助理,但要求对方每完成一件事都必须向你请示一次。你是否在场,决定了助理能否继续工作,这根本不是效率提升,只是换了个角度让你变得更忙碌。

当转向异步AI agent团队模式时,情况则完全不同。AI agent可以在后台并行处理多个任务,开发者无需全程紧盯,只需要在关键节点做出决策。该工具团队内部就是采用这种模式实践:AI agent自动分析任务工单、自动生成对应的PR、自动标记相关负责人,但最终合并PR的决定权仍由工程师掌握。让AI做AI擅长的事,让人类做人类擅长的事,两者各司其职,才是真正的效率提升。

但异步AI agent也带来了新的挑战。在问答环节中,有从业者提到了一个非常实际的难题:当并行运行多个AI agent时,每个agent都在修改同一代码库,最终合并PR时的代码冲突会变得极其复杂,代码评审的压力也会成倍增加。有时AI agent会因为之前的合并操作进入“过时状态”,之前完成的工作全部白费。这并非小问题,而是多agent工作流中目前最棘手的工程难题之一。

该负责人承认目前尚无完美的解法,团队正在开发相关新功能,预计今年内推出。但我认为更根本的解法或许不在技术层面,而在任务设计层面。在将任务分配给多个AI agent之前,开发者需要先梳理清楚哪些任务存在依赖关系,哪些任务是真正独立的。只有完全独立的任务,才适合并行处理。这要求工程师在任务规划阶段投入更多的前置思考,而非将所有工作直接丢给AI agent后期望其自动解决冲突。这种任务设计能力,才是区分AI agent普通使用者与高水平玩家的核心差异。

真正将AI agent部署到生产环境的核心挑战

第二位分享者来自企业级研发流程服务商,他提出了一个至关重要的概念:持久化AI agent(durable agent),也就是能够从失败状态自动恢复的AI agent。他的核心观点是:将AI agent在本地运行是一回事,真正将其部署到生产环境则是另一回事,两者之间存在巨大的鸿沟。

持久化AI agent的定义很简洁:能够从失败状态中恢复并继续执行的AI agent。这听起来简单,但在生产环境中实现难度极大。生产环境中的失败原因千奇百怪:大模型API超载、第三方服务宕机、网络中断、某一步骤的输出格式不符合预期等等。传统的处理方式是直接重新运行整个任务,这不仅浪费时间与成本,在某些存在副作用的场景中甚至不可行——重复执行某些步骤会引发严重问题。

该团队的解决方案是:将AI agent的每一个执行步骤都进行缓存。如果第6步执行失败,重试时无需重新运行前5步,直接从第6步继续执行。这一设计解决了一个非常实际的工程问题:AI agent的任务越长,中途失败的概率就越高。如果每次失败都需要从头开始,长任务的可靠性会极差,用户根本无法信任这样的系统。

当在现场看到这一演示时,我的第一反应是:这其实和分布式系统中的checkpoint机制思路一致,只不过保存的不是计算状态,而是AI agent的执行进度。许多软件工程领域的经典难题,正在以新的形式在AI agent时代重现。这也让我意识到,那些在传统工程领域拥有深厚积累的从业者,在AI agent这一新领域会具备显著优势,因为他们早已见过类似的问题,清楚解法的大致方向。

另一个极具价值的设计是“延迟执行函数(deferred function)”。典型场景是:AI agent处理完一次用户交互后,发现需要等待用户的后续反馈,这个反馈可能在一天后到来,也可能在三周后。传统做法是让进程持续运行等待反馈,这既浪费计算资源,又不稳定。该团队的做法是将等待状态“ defer”出去,不占用计算资源,直到反馈真正到来时再触发继续执行,最长支持延迟30天。

这一功能对需要“人工审核”环节的AI agent尤其有价值。比如AI agent生成了一份合同,需要法务团队审核,而法务可能三天后才有时间查看。不可能让AI agent一直挂在那里等待,延迟执行函数正是解决这一问题的关键。更广泛地说,许多真实业务场景中都存在这类“等待人工介入”的环节,这一设计让AI agent可以优雅地处理这种不确定性,而非僵在流程中。

从更宏观的视角来看,这背后体现的是“human-in-the-loop”的设计哲学。人工参与并非AI agent的缺陷,而是现阶段AI能力边界的必要补充。核心问题在于:如何让人工参与的过程不那么痛苦,不打断工作流,不让用户觉得只是在为AI“擦屁股”。该团队的这些设计,本质上都是在回答这一问题。

让AI agent可信,比让它聪明更重要

本次交流会让我思考最多的一个问题是:我们距离真正信任AI agent还有多远?

该负责人分享了一组内部数据:团队内部已有60%的代码由AI生成,内部准确率超过98%。这个数字听起来很高,但在软件工程领域,2%的错误率依然可能带来灾难性后果。如果有一个每天执行一万次的任务,2%的失败率意味着每天会出现200次错误,这种规模下的风险,任何团队都无法忽视。许多团队在小规模使用时觉得没问题,但一旦规模扩大,问题就会被指数级放大。

因此,对AI agent的信任并非全有或全无的二元选择,而是需要基于场景与风险做出精细化判断。对于低风险、可逆的任务,可以让AI agent完全自主运行;对于高风险、不可逆的任务,则需要在关键节点插入人工确认。把握好这个度本身就是一门学问,也是AI时代工程师需要练就的新能力。而且这一判断并非一劳永逸,随着模型能力的不断提升,信任的边界也会持续变化。

另一位分享者演示了agent scoring功能,也就是对AI agent的输出进行实时评分与评估。他们展示了如何在AI agent执行过程中,对每一步的输出做情感分析与质量评估,并将这些数据可视化在统一的控制面板中,无需切换到其他工具或系统。这不仅仅是为了调试,更重要的是让开发者对AI agent的行为具备可见性。如果看不到AI agent在做什么,就根本无法信任它。只有当开发者能够实时看到AI agent的每一步决策与输出,才能真正建立起信任。

我始终认为,可观测性是AI agent进入生产环境时最被低估的基础能力。大家都在追捧AI agent能完成多么复杂的任务、解决多么困难的问题,但很少有人认真思考:当AI agent出现问题时,如何快速定位哪一步出了差错?如何防止同样的错误再次发生?这些问题在传统软件工程中已有成熟的解决方案,但在AI agent领域,整个生态仍处于早期阶段,配套的工具链还非常不完善。

在问答环节中,有一位物联网硬件团队的开发者提到,他们最大的瓶颈是测试环节,因为真实硬件在物理环境中的测试根本无法完全交给AI完成。该负责人的回答颇具参考价值:可以让AI agent负责“生成测试演示”,比如向开发者展示当前应用的状态、测试过的路径以及最终的测试结果,最终的验收判断仍由人类完成。AI agent不必完全接管测试,只需要将测试结果整理并可视化,就能大幅降低人工验收的难度与时间成本。这一思路对许多存在硬件或特殊环境约束的团队都具有参考意义。

对AI时代工程师价值的重新思考

离开交流会走在旧金山街头,我一直在思考一个核心问题:在AI agent时代,工程师的核心价值究竟是什么?

我的答案是:工程师的价值会越来越集中在“定义问题”与“设计系统”上,而非“解决问题”与“编写代码”上。这一转变听起来是好事,但实际上对工程师的要求变得更高了,只是提升的维度发生了变化。

该负责人提到了一个值得反复思考的视角转变:以前我们会问“我们想让AI agent做什么”,而现在更应该问“我们想让人类做什么”。这两个问题看似只是语序的变化,背后的含义却完全不同。前者将AI视为工具,后者则将AI视为协作者,重新思考人类在整个系统中的位置。这种视角的切换,正是许多团队尚未真正完成的转变。

在软件开发的全流程中,AI agent如今已经可以处理许多工作:收集用户反馈、开展市场调研、探索潜在解决方案、编写代码、执行测试、生成并提交PR。但至少在现阶段,仍有一些工作需要人类来完成:决定开发哪些功能、判断架构是否合理、评估输出是否符合产品意图、在关键节点做出最终决策。这些工作的共同点是:都需要对“我们在做什么,为什么要做”有深刻的理解,而这种理解是AI无法替代的。

这并非说工程师可以因此松懈。恰恰相反,AI时代对工程师的要求在某些维度上变得更高了。开发者需要更强的系统设计能力——不仅要设计代码结构,还要设计AI agent团队的协作方式;需要更强的判断力——能够在海量的AI输出中快速识别优质内容与潜在问题;还需要更强的产品感知能力——因为许多原本留给工程实现的空间已经被AI填满,工程师需要更深地参与到“我们到底要做什么”的核心讨论中。

本次交流会让我意识到,硅谷的工程师文化中一直有一句务实的口号:“show me the code”。但如今,这句话正在悄悄演变成“show me the agent”。大家不再只是讨论AI可以做什么,而是开始讨论“我已经将AI部署到生产环境中了,遇到了什么问题,又是如何解决的”。


塔猴是一个专注于为用户提供系统学习、内容创作与商业连接的AIGC综合服务平台,致力于为每一位AI探索者打造理想的创作、成长家园。在塔猴,你不仅可以学习众多AIGC类实战课程,获得与时俱进的AIGC技能和视野,还有机会获得长期商业合作和接单机会!点击进入:https://www.tahou.com/

AI生成内容提示:本文由人工智能辅助创作,内容仅供参考,不代表平台观点。请注意核实信息的准确性,并理性判断。

以上内容不代表本平台立场,仅供读者参考