文章摘要
2026 AICon大会关注AI行业前沿。开发者用Pi调用DeepSeek V4 Flash模型处理近10亿输入Token,缓存命中率高且成本低。Composio测试显示,Pi Agent搭配该模型任务成功率高、成本低,体现“Harness乘数效应”。Pi生态有优化缓存的第三方扩展,降本效果显著。此外,DeepSeek官方Harness内测启动,将具原生适配优势。

最近,开发者社区分享了一组亮眼的AI运行数据:一名开发者使用Pi调用DeepSeek V4 Flash模型,完成了近10亿输入Token的处理任务,缓存命中率达到99.93%,整体花费仅2.65美元。如果没有启用缓存,相同用量的调用预计需要花费132美元,成本差距超过49倍。

这一数据由Pi Harness创始人Mario Zechner在8月11日转发,很快引发了社区关注。另一名开发者Shantanu Goel补充提到,DeepSeek V4 Flash在其他智能体Harness中的缓存命中率通常仅在94%至97%之间,但在Pi中却能稳定维持在99%以上。Mario对此评论称,这种表现在使用本地模型时尤为突出。

其实这并非Pi与DeepSeek组合的首次亮眼表现。今年5月,Mario就曾在看到开发者用Pi搭配DeepSeek V4跑通终端俄罗斯方块后,调侃称“Pi + DeepSeek 4,企业级AI这不就成了吗”。三个月后的这场公开横向测试,终于为这句调侃补上了扎实的数据支撑。

智能体工具开发公司Composio近期开展了一项公开对比测试,他们选择同一模型DeepSeek V4 Flash,将其部署在8种不同的智能体Harness中,完成30项高难度的独立任务——这些任务要求智能体自主行动、调用工具并完成全流程工作。

测试结果显示,Pi Agent以20项任务通过、66.7%的成功率拿下第一名;Oh My Pi以17项通过量位居第二;Claude Code、Codex和Deep Agents均通过16项;Prime Agent和Hermes Agent各通过15项,但Prime Agent有6次运行未被计入成绩,其中2次因评分器处理超时无法完成评分,另外4次未留下有效记录;OpenCode以14项通过量排在末尾。

仅仅更换Harness,同一模型的任务成功率从最低的46.7%提升到了66.7%,差距达到整整20个百分点。成本差距同样悬殊:Pi平均完成一项成功任务仅花费0.028美元,而Claude Code的单任务成本高达0.195美元,接近前者的7倍。

从运行速度来看,Pi完成任务的中位时间为132.2秒,略慢于Claude Code的122.7秒和OpenCode的129.7秒,但综合成功率、成本与速度三项指标,Pi交出了本轮测试中最亮眼的综合成绩。

这项测试清晰体现了所谓的“Harness乘数效应”:围绕AI搭建的工具框架会放大或削弱模型的实际表现。选对Harness,同一模型可以同时变得更可靠、更高效;选错框架,即使底层模型的智能水平完全一致,任务成功率和运行效率也可能出现明显下滑。Composio因此强调,孤立评测模型没有意义,如果一份智能体排行榜只标注模型名称却未说明使用的Harness,那么这个分数参考价值非常有限。

Composio的测试还有一个值得关注的细节:Pi几乎没有添加额外配置,采用的是全新未修改的默认安装,仅接入了测试所需的MCP服务器插件,没有进行任何自定义设置、调优或特殊配置。正是这套接近开箱即用的方案,最终通过了最多的任务。

反观Prime Agent,它是8种Harness中会话规模最庞大的,部分会话消耗多达350万Token,工具调用次数达到33次。可以说,这个智能体还没真正开始执行任务,就先给自己列出了一份冗长的任务清单。过于庞大的会话规模甚至导致评分器处理超时,6次运行未能计入成绩。即使只看有效运行结果,Prime Agent通过的任务数量仅与Hermes Agent相当,但耗时却接近Pi的两倍。

这组数据呈现出鲜明的反差:功能和会话最为庞杂的Prime Agent最终被自身的运行负担拖慢,而更加轻量的Pi则以较低开销通过了最多任务。至少在这项测试中,“配置越多效果越好”的思路并没有得到验证。选择一款速度快、成本低的模型,搭配干净轻量的Harness,再用真实任务检验两者的组合,反而能收获更好的效果。

而DeepSeek V4 Flash本身定位就是侧重速度和运行效率的轻量化模型,这也让Pi的轻量化配置优势更加凸显。每增加一层功能,智能体就多了一个可能出错的环节;每增加一个工具,就多了一次需要权衡的选择;每增加一份冗长的指令文件,模型在行动前就要处理更多无效信息。因此,简洁的Harness能为模型提供从接收任务到完成任务的最短路径,而臃肿的框架只会让模型绕远路,这也是默认安装的Pi能击败重量级配置的核心原因。

Pi本身并不是专门为DeepSeek设计的Harness,更像是一套面向开发者开放的智能体底座:它允许开发者通过扩展修改系统提示词、筛选对话历史、自定义上下文压缩,动态增删或启停工具,甚至可以在请求发送给模型前直接检查和改写最终载荷。这种高度的可编程性,为DeepSeek的缓存优化留下了充足的空间。

DeepSeek API采用前缀缓存机制:如果下一次请求的开头Token序列与上一次完全一致,服务端会直接从缓存中读取这些Token,计费价格也远低于普通输入Token。但这种缓存匹配需要从第一个Token开始,如果上下文前部发生变化,后续大量Token都可能无法继续命中原有缓存,前缀越早出现变动,被“连坐”的Token就越多。

一套典型的智能体请求通常包含系统提示词、工具定义、对话历史和本轮新增内容,智能体每执行一步都需要携带大量已有的上下文。会话越长,重复内容越多,理论上越适合缓存复用,但如果Harness每轮都重新整理这些内容,加入新的时间戳、调整工具顺序或重写历史摘要,再长的上下文也很难被稳定复用。这也催生了一批专门优化DeepSeek缓存的Harness项目。

开源项目Reasonix就是围绕DeepSeek前缀缓存设计的终端编程智能体,其缓存表现受到不少开发者关注。有开发者为了优化Pi中的DeepSeek调用,将Reasonix的缓存优化方法移植到Pi中,开发出了DeepPi,称其调用DeepSeek API时缓存命中率可以稳定达到99.7%至99.9%。

我尝试将Reasonix的一些性能优势移植到针对Pi优化的Deepseek软件包中。它只有在使用Deepseek API时才会激活,但激活后,我的缓存命中率稳定在99.7%到99.9%之间。

Reasonix的核心设计原则是保持上下文前端稳定,采用追加而非修改的方式,并将变更成本降至最低。具体来说,它会在启动时注入一份精简稳定的环境摘要,而不会在每轮对话中重新生成;过时的工具输出会在触发摘要压缩前被截断清理,避免早期的工具输出一直留在提示词前缀中;同时会对内置工具的Schema契约进行文档化,并在变更时进行回归审查,防止工具定义未经提示调整导致缓存失效。在双模型模式下,执行模型和规划模型会分别运行在独立且缓存稳定的会话中,避免交错对话破坏缓存稳定性,这也是该项目最巧妙的设计之一。

Pi生态中也出现了不少类似的第三方扩展,以pi-deepseek-cache为例,其核心目标同样是优化DeepSeek缓存,设计思路与Reasonix高度重合。比如P0层会在智能体启动时冻结日期和当前工作目录,从根源上杜绝Pi默认系统提示词中动态内容导致的缓存失效;P3层通过缓存友好的压缩处理对话历史,当对话过长需要总结时,使用deepseek-v4-flash在temperature为0的条件下生成确定性摘要,并对摘要结果做哈希缓存,确保相同的历史输入始终复用字节一致的摘要结果,避免摘要文字波动破坏前缀;P2层则通过SHA-256哈希对前缀进行诊断,追踪前缀何时发生变化,帮助开发者及时发现缓存失效的根因。

这类扩展的降本效果非常直观:以deepseek-v4-flash为例,输入Token成本从每百万Token0.14美元降至0.003美元,降幅达98%;deepseek-v4-pro则从3.00美元降至0.025美元,降幅高达99%。

有趣的是,DeepSeek官方至今尚未推出自己的Harness。就在8月11日,“DeepSeek Harness团队”微信公众号完成注册,被外界解读为官方Harness产品即将正式发布的重要信号,目前产品内测也已经启动,正式发布应该不远了。

官方Harness的核心优势在于原生适配:第三方Harness只能通过公开API进行逆向优化,而官方团队可以和模型训练团队协同,让模型针对Harness的调用模式做针对性优化,Harness也能利用模型内部的非公开信息,这种深度整合是任何第三方都无法实现的。

参考链接:

https://x.com/badlogicgames/status/2086877202239353285

https://www.reddit.com/r/DeepSeek/comments/1vhhxvy/deeppi_reasonixlevel_cache_performance_in_pi/

https://dev.to/arshtechpro/reasonix-deepseek-a-terminal-coding-agent-built-around-the-thing-everyone-else-ignores-3l21

https://pi.dev/packages/@rohaquinlop/pi-deepseek-cache

https://www.youtube.com/watch?v=j3c35v386T0

以上内容不代表本平台立场,仅供读者参考