Agent崛起：AI推理基础设施的Token化与优化
近一年来，智能体（Agent）已经成为大模型领域最受关注的方向之一，从工作流编排工具、低代码开发平台，到代码生成智能体、多智能体协作系统，再到可长期自主运行的智能程序，相关应用形态不断迭代更新。但与市场期待的“智能体元年”相比，真正能够稳定落地到生产环境的项目仍然寥寥无几。
而这一现状的症结，或许并不在于智能体本身的能力不足。
随着大模型版本迭代速度不断加快，一个现实的矛盾逐渐显现：企业耗费大量工程资源搭建的智能体系统，可能在新一代模型推出后，被模型原生新增的推理、工具调用或代码生成能力直接替代部分功能。当应用层尚未形成稳定的技术范式时，底层基础设施却已经需要提前应对并发规模扩张、长上下文处理、缓存复用、推理延迟优化、服务可靠性保障等一系列复杂问题。
在一场行业交流活动中，有从业者提出了相对谨慎的判断：智能体基础设施（Agent Infra）从长期来看必然会成为重要赛道，但目前仍未到真正爆发的阶段。当前人工智能基础设施领域最确定、也最值得投入的方向，仍然是围绕每一次模型调用，提升Token的生产与交付效率。
模型迭代越快，智能体的长期投资反而越谨慎
该从业者表示，智能体的发展速度确实不及此前的市场预期，但原因并非模型能力不足。恰恰相反，模型迭代速度过快，反而会抑制企业和初创团队对智能体项目的长期投入。
一套完整的智能体系统往往需要经过任务拆分、提示词工程设计、工具接入、工作流编排、效果评测和异常处理等多个环节。团队耗费数月打磨完成的系统，可能在下一代大模型推出后，就被模型原生的能力部分替代，不再需要额外的定制开发。这意味着企业需要不断权衡：哪些能力应该固化在智能体的工作流中，哪些能力未来可以直接通过通用大模型实现。模型升级带来的不确定性，正在不断推高智能体项目的工程折旧速度。
不过，这并不意味着智能体将失去自身价值。在该从业者看来，当通用大模型能力足够强时，理论上可以替代部分专用智能体，但智能体仍然具备两个现实优势：运行稳定和成本可控。企业可以选择规模更小的开源模型，叠加行业专属数据、知识库和微调优化，使其在特定任务上的表现接近大规模通用模型，同时显著降低推理成本。
因此，智能体的价值未必来自绝对能力超过通用大模型，而可能来自对特定场景的需求约束、稳定的输出效果和精细化的成本控制。但当前的问题在于，市场尚未形成一套足够稳定、能够适配不同应用形态的智能体技术范式。
过去一段时间，行业的关注焦点先后落在工作流编排、低代码平台，随后转向代码生成智能体、多智能体协作系统和自主运行智能体。应用层的持续变化，让第三方基础设施厂商很难提前判断：未来真正通用的智能体基础设施，究竟应该建立在哪一个技术层级。
对于内部工作流高度统一的大型企业来说，这个问题相对容易解决：企业可以要求员工统一使用一套智能体平台，再围绕这套确定的架构开展调度、监控和成本优化工作。但对于需要服务多种智能体形态的第三方厂商而言，现阶段就搭建一套通用的基础设施，仍然存在较高的技术和商业风险。
因此，当前所谓的智能体基础设施，更多还是以传统推理基础设施的形式存在：缩短每次API调用的延迟，提升吞吐量和请求成功率，降低单次调用的成本，并尽可能保证长链路任务不会因为某一次请求失败而整体中断。
智能体带来的压力，最终都集中到了Token层面
在普通的聊天交互场景中，一次模型调用通常只包含一轮输入和输出。但在智能体系统中，一个任务往往会被拆解为多个执行步骤，涉及模型规划、工具选择、联网搜索、代码执行、结果校验和多轮反思迭代。这意味着一个用户请求可能会触发十几次甚至更多次的模型调用。单次调用中的轻微延迟或失败，经过长链路的放大后，会直接影响整个任务的完成率。
从基础设施的角度来看，智能体并没有创造一套完全不同的计算指标，真正发生变化的是这些指标的规模：
一是并发量显著提升。多个智能体、多个子任务可能同时运行，对集群调度和请求排队机制提出了更高的要求。
二是上下文长度持续增加。智能体需要携带历史对话记录、系统提示词、工具描述、代码仓库和中间执行结果，输入Token的数量不断攀升。
三是调用链路变长。即便单次请求的成功率能够达到99%，连续调用几十次后，完整任务的一次成功率仍会出现明显下降。
四是成本结构变得更加复杂。除了模型输出的Token成本，长上下文输入、重复计算、失败重试和跨服务商切换，都可能带来额外的成本支出。
在这些问题中，缓存命中率是最容易被低估、却直接影响整体成本的关键指标。大模型推理通常可以拆分为Prefill和Decode两个主要阶段：Prefill阶段处理用户输入，对整段上下文进行计算并生成KV缓存；Decode阶段则根据已有状态逐个生成输出Token。
在代码生成或多轮对话场景中，新一轮请求往往会保留前一轮的大部分内容，只新增少量代码、问题描述或工具返回结果。如果此前的KV缓存能够被复用，就不需要重新计算全部的输入内容。
该从业者举例称，在部分服务商的定价体系中，缓存命中部分的输入成本可能只有重新计算的十分之一左右。假设多轮请求中有80%至90%的上下文能够命中缓存，系统可以同时降低延迟和计算成本。
值得注意的是，缓存命中率从90%下降至80%，表面上只降低了10个百分点，但未命中的比例实际上从10%增加到了20%。由于未命中部分需要执行完整的Prefill计算，实际的成本增加通常会显著高于命中率数字本身所呈现的变化。
这也是为什么低价Token并不一定意味着更低的最终成本。如果服务商频繁出现超时、请求失败或无法复用缓存的情况，企业可能需要不断重试请求，最终承担更高的实际费用。
缓存策略也会限制路由选择。理论上，系统可以把请求实时发送给当前最空闲、价格最低的服务商，但如果同一个会话频繁切换节点或供应商，原有KV缓存可能无法继续复用。
因此，一个成熟的多模型路由系统不能只选择“当下最便宜”的服务，而需要同时考虑实时负载、请求成功率、模型质量和缓存亲和性。系统通常需要在一段时间内保持会话黏性，只有当服务持续出现性能退化时，再进行路径切换。
企业不能仅设置Token上限，更要理解输入输出结构差异
随着推理模型通过更长的思考过程换取更高的准确率，企业开始尝试为任务设置Token、时间和调用次数的上限。但该从业者指出，真正进入生产环境后，单纯设置一个统一的上限并不足够。
不同业务场景的输入输出比例存在明显差异。在代码生成场景中，模型可能需要读取大量代码、依赖关系和上下文信息，但最终只修改少量内容，呈现出长输入、短输出的特点。部分代码任务的输入输出比例甚至能达到数十比一。而数学推理、试卷批改等任务则恰好相反：输入内容相对简短，但模型需要进行较长时间的推理和结果生成，Decode阶段的计算压力更大。
这两类任务需要完全不同的资源配置方案。如果集群采用Prefill与Decode分离的架构，就需要根据业务负载来分配处理输入和生成输出的机器资源。当Prefill资源不足时，长输入请求会出现排队现象，即使Decode资源仍然空闲，也无法完成后续任务；反过来，如果Decode资源不足，输出过程会成为整体瓶颈，Prefill机器同样可能被迫等待。
理论上，系统可以动态调整两类资源的分配，但动态切换本身也存在调度和状态迁移的成本。对于负载相对稳定的大规模企业场景，提前了解平均输入长度、输出长度和每分钟Token数量，再进行静态或半动态的资源规划，通常更容易获得稳定的性能表现。
这也是企业从试验阶段转向生产阶段必须经历的一步。在探索阶段，为了避免过早限制模型能力，企业可以允许任务使用较高的Token上限。但当应用场景固定下来后，就需要明确服务等级目标，包括首Token延迟（TTFT）、输出速度、并发能力、超时比例和高分位延迟等指标。
例如，短输入场景可能要求首Token在数秒内返回；长上下文任务可以接受更高的延迟，但必须给出可预测的延迟范围。企业关心的也不只是平均延迟，而是99.5%或99.9%的请求能否满足约定的指标。换句话说，人工智能系统进入生产环境后，需要管理的不再是一个模糊的“模型速度”，而是一组可以拆解和测量的工程化指标。
Token服务并非标准化商品
当前市场通常按照模型名称和Token数量进行报价，这容易让用户产生一种错觉：同一个模型、同样数量的Token，在不同服务商之间是可以完全相互替换的。但现实并非如此。
即便使用相同的硬件、相同的模型权重和相同的推理框架，不同团队部署出的服务也可能在延迟、吞吐和模型精度上存在明显差异。批处理策略、并行方式、算子实现、采样参数、缓存管理和量化方式等，都会对最终服务效果产生影响。其中，量化是最典型的变量之一：服务商可以把原本采用FP8精度的模型进一步量化到INT8甚至INT4，以减少显存占用和计算量，但模型精度也可能随之出现下降。
对于用户而言，这些配置通常是不可见的。采购前最容易比较的只是价格，但模型是否保持原有能力、服务是否稳定、峰值时是否会出现排队，往往只有经过真实测试才能确认。
该从业者将当前的模型服务形容为一种“黑盒”：用户在正式测试前很难了解服务的真实水平，而个人开发者和中小企业通常又缺少系统测试的能力。相关企业因此搭建了AI评测平台，目前已覆盖数十家服务商和数百个模型服务，持续观察延迟、吞吐和可靠性等指标。
从行业角度来看，这类评测至少说明了一个问题：大模型服务仍缺少被广泛接受的统一质量标准。未来，一个相对完整的Token服务评价体系，至少需要覆盖模型效果、首Token延迟、输出速度、请求成功率、P95和P99延迟、缓存命中率，以及高负载情况下的性能退化程度等多个维度。
对于智能体而言，服务可靠性尤其重要。在单轮聊天场景中，98%或99%的成功率或许尚可接受；但在连续执行多步任务时，任意一次请求失败都可能导致整个流程需要重试或直接中断。假设一个任务需要连续调用模型20次，且每次调用的成功率为99%，在各次请求相互独立的简化情况下，完整链路一次成功的概率只有约82%。这意味着，智能体的普及会迫使推理服务从“平均可用”走向真正的工程级高可用。
国产芯片为何需要专属推理引擎
推理框架是连接模型和硬件的关键中间层。目前，vLLM、SGLang等开源框架已经成为行业主流选择，但这些框架最初主要是围绕英伟达GPU的软件栈、内存体系和通信方式设计的。国产芯片厂商可以对这些框架进行移植，让模型能够在国产硬件上运行，但“能够运行”并不等于“能够充分发挥硬件的性能潜力”。
不同芯片在计算单元、显存层级、算子支持、指令系统、芯片互联和通信拓扑上存在明显差异。针对英伟达架构设计的调度和算子策略，即使能够移植到其他芯片，也可能无法取得理想的吞吐和成本表现。该从业者将这种情况比喻为：为烤面包设计的烤箱经过改造后也许能够蒸馒头，但与其持续进行改造，不如针对目标需求重新设计蒸锅。
更现实的问题在于上游版本维护。如果企业在vLLM或SGLang的基础上进行大量底层修改，后续上游版本迭代时，就需要不断处理代码冲突。继续合并新版本，可能会破坏此前针对国产硬件的优化；停止跟进新版本，又可能逐渐脱离开源生态。
因此，对于需要长期适配多种国产芯片的厂商来说，自研推理引擎存在一定的工程合理性。不过，该从业者也强调，市场上真正具备从头研发推理引擎能力的团队并不多，因为这项工作对系统级人才的要求极高。
推理引擎的优化也绝非只编写几个高性能算子就能完成。完整的系统涉及编译器、算子库、缓存管理、Prefill与Decode分离架构、专家并行、计算通信重叠、集群网络和任务调度等多个模块。如果只优化某个单一算子，局部性能可能会有所提升，但系统瓶颈可能会迅速转移到显存、通信或其他计算阶段。真正决定集群性价比的，是算法、系统软件和硬件之间的联合设计优化。
国产算力的真正机会：将硬件封装为Token服务
过去，国产芯片落地面临的核心问题之一是使用门槛较高。企业购买服务器后，不仅需要完成模型适配，还需要解决驱动、框架、算子、通信、精度和性能调优等一系列问题。即使芯片本身的价格更低，如果部署周期长、稳定性不足、后续运维困难，企业仍然可能选择软件生态更成熟的产品。
推理服务正在改变这一逻辑。当算力以API和Token的形式交付后，终端用户不再需要直接管理底层硬件。国产芯片与英伟达GPU产生的Token服务，在调用方式上可以保持一致，底层硬件适配和性能优化则由专业的基础设施服务商完成。
从用户的视角来看，采购对象从一批服务器变成了具有明确价格、延迟和可靠性指标的模型服务。国产硬件的使用难度被封装在基础设施内部，芯片之间的竞争也从“能不能运行模型”，逐渐转向“单位成本能够稳定生产多少有效Token”。
该从业者表示，从其接触的项目来看，2026年以来部分国产芯片的闲置情况已经明显改善，一些新型号在较大规模的集群中甚至出现了供应紧张的情况。不过，这一观察主要来自相关企业自身的业务和合作范围，尚不能直接代表整个国产算力市场的整体情况。
Token化交付确实降低了国产芯片的使用门槛，但并不会自动解决生态问题。模型兼容性、量化精度、推理吞吐、集群通信和长期稳定性等因素，仍然决定一款芯片能否获得持续的负载。对于国产算力来说，推理市场提供的真正机会，不是用户降低了对性能的要求，而是专业基础设施团队可以集中解决适配问题，再将底层硬件的差异封装成标准的Token服务。
智能体可按结果收费，基础设施仍将按Token计量
随着智能体从辅助工具逐渐融入业务流程，行业也在讨论新的收费模式。按照Token收费的优点是标准清晰，基础设施厂商只需要对模型调用和资源消耗负责。但企业真正购买智能体服务，并不是为了获得更多Token，而是为了完成代码修改、客户服务、内容审核或数据分析等具体业务任务。
因此，在智能体层按照任务完成数量或业务效果收费，可能更符合用户的实际价值。对于服务商而言，这种模式也会形成更直接的成本优化动力：在保证最终结果的前提下，减少模型调用次数、缩短上下文长度和选择成本更低的模型，都可以提高业务毛利。
但在底层基础设施层，按照Token或计算资源计量的收费模式仍可能长期存在。该从业者将其类比为电网：基础设施负责提供稳定、价格透明的电力，但冰箱是否制冷、家电设计是否合理，并不由电网负责。同样，推理服务可以对Token的价格、延迟和可靠性负责，却很难直接保证上层的智能体一定能够完成业务目标。
由此来看，未来可能形成两套并行的计费逻辑：基础设施层继续按照Token或资源消耗收费，智能体应用层则逐渐转向按任务、席位或结果收费。这也对应着两层不同的责任边界：基础设施需要回答的是，模型服务是否稳定、便宜、可预测；智能体厂商需要回答的是，最终的业务任务是否真正完成。
结语
智能体的快速发展并没有让人工智能基础设施变得不再重要，反而暴露了推理基础设施中此前被单轮对话掩盖的诸多问题。当一次用户请求扩展为数十次模型调用，平均延迟会变成长链路的等待时间，偶发的请求失败会演变为整个任务的中断，较低的缓存命中率会转化为显著的成本差异，底层服务的轻微波动也会被智能体的长链路放大。
从这个角度来看，智能体基础设施当前最迫切的任务，并不是构造一个全新的概念层，而是先把Token变成真正稳定、可评估和可大规模交付的基础资源。只有当智能体的应用范式、质量标准和责任边界逐渐稳定后，一套独立且通用的智能体基础设施才可能真正成形。在此之前，行业竞争的重点仍将落在推理效率、缓存管理、服务路由、软硬件联合优化，以及单位成本能够交付多少可靠Token上。
大模型决定了人工智能服务的能力上限，而基础设施则决定了这种能力能否以企业可以承受的成本，持续稳定地运行下去。
