显存不够？华为OceanStor M900破解KV Cache难题
随着大模型技术从单次对话向长期任务场景延伸，比如多轮Agent协作、跨天的AI编码开发，原本作为临时缓存的KV Cache已经不再是会话结束就可以丢弃的临时数据，而是成为需要长期保存、调度和复用的核心数据资产。传统依赖显存、内存和本地SSD的三级缓存体系，逐渐暴露出容量不足、成本高昂和寿命瓶颈等问题，行业开始探索在三层之外新增面向大规模推理的专业存储层级。
华为近期推出的OceanStor M900 AI记忆存储，正是针对这一需求的专门解决方案。该产品并非简单为AI服务器新增存储介质，而是重新定义了KV缓存的定位：将原本局限于单个计算节点的临时缓存，升级为可以在集群范围内共享、持久保存并反复复用的AI“记忆”资源。其命名中的“M”代表Memory，核心目标就是将原本局限于显存和内存中的上下文记忆扩展出去，让更多Token对应的KV数据可以长期保存并被重复命中。相关负责人表示，当模型能力和算力逐渐趋同，企业AI落地效率的核心变量将转向上下文记忆的质量、规模以及复用成本。
从行业通用的推理缓存结构来看，L1缓存位于显存，L2位于内存，L3为本地SSD。显存和内存的访问时延处于纳秒级，但容量有限且成本高昂；本地SSD虽然容量更大，但访问时延已达毫秒级。随着长上下文任务和大规模Agent集群的增加，传统三级缓存已经难以容纳持续膨胀的KV缓存规模。华为将OceanStor M900聚焦于L3.5层——这一概念并非华为独创，而是AI推理规模化后行业自然演进的方向，旨在弥补传统三级缓存的不足。根据华为与客户的实测数据，OceanStor M900可以将单集群的KV存储容量提升到64PB，单个NPU可使用的KV缓存容量从GB级拓展至TB级，同时Token命中率提升约一倍，首Token时延得到显著优化，推理成本也随之下降——如果历史上下文可以命中缓存，就不需要每次重新执行完整的Prefill步骤。
将KV缓存从显存和内存下沉到SSD，看似解决了容量和成本问题，但也引入了新的挑战：访问时延。传统架构中，GPU或NPU访问SSD池需要经过多次数据搬运和格式转换，最多可达5次数据拷贝，这会抵消缓存复用带来的收益。华为针对这一问题进行了优化，基于主流的Mooncake推理框架优化了KV调度和预取逻辑，系统可以提前预判模型需要的KV数据，并根据不同介质的性能进行分层预取，确保数据在需要访问时已经处于更高速的存储层级。同时，OceanStor M900实现了“一跳直通”的访问模式，KV数据无需转换为传统文件对象即可直接按照语义访问，通过昇腾超节点的高速通信网络完成数据交换，将数据搬运次数减少到1次，I/O时延和首Token时延降低超过50%，访问时延约为10-15微秒，访问带宽可达40GB/s。此外，该产品采用“三芯合一”架构，整合网络、CPU和盘控能力，与灵衢网络及昇腾超节点深度协同，实现计算、存储和网络的一体化。
针对非昇腾算力的场景，华为还推出了OceanStor M800，通过标准网络和硬件适配不同算力平台，两款产品并非高低配关系，而是面向不同基础设施的差异化形态。OceanStor M800更早推向市场并完成了多家客户的测试，而OceanStor M900则更聚焦昇腾超节点场景，实现了更深层次的软硬件协同。值得注意的是，OceanStor M900的价值并不局限于十万卡级的超大规模集群，只要企业进入大规模AI推理阶段，遇到KV缓存的容量、成本和共享问题，就可以从该产品中获益。
专业记忆存储还面临一个容易被忽略的问题：SSD的寿命。普通企业级SSD的每日全盘写入次数通常在1-1.5次，而KV缓存的写入模式是高频创建、更新和淘汰，传统SSD无法适配这种高频率的写入操作。如果沿用传统模式，只能通过增加大量SSD来分摊写入压力，导致成本快速上升。华为通过介质、芯片和控制软件的联合优化，将SSD的寿命能力提升了近16倍，确保高频读写的同时避免介质快速损耗。此外，华为主张根据业务动态设置缓存生命周期：普通对话的KV缓存只需保留数小时，AI编码场景则可保留数天甚至数周，企业可以根据业务规则动态淘汰不再需要的KV数据，在命中率、容量、成本、寿命和访问时延之间找到动态平衡。
华为同时将KV缓存体系纳入更完整的AI数据平台架构中，该平台包含三个核心能力模块：KV缓存库、知识库和记忆库，并通过统一缓存管理器进行统一管理。其中KV缓存库解决推理过程中的上下文重复计算问题，知识库负责将传统文件转化为更易被AI检索和理解的知识，记忆库则保存Agent长期任务积累的历史经验和结果，三者分别对应短期上下文、专业知识和长期经验，共同构成企业AI应用的新型数据底座。相比面向大规模数据中心的OceanStor M900，AI数据平台更偏向企业本地化部署，希望成为企业运行AI应用的通用数据底座。
华为方面强调，并不希望将AI记忆层做成封闭市场。目前华为一方面在昇腾超节点中发挥垂直整合的优势，另一方面积极推动上层KV调度和推理能力接入主流开源生态，其中与Mooncake推理框架团队的合作就是重点之一，华为计划未来将部分推理相关代码贡献到社区，希望专业记忆存储能够成为全行业的基础能力，而非单一厂商的封闭技术。在华为看来，L3.5层存储市场目前仍处于早期阶段，首先需要解决的是市场是否能够成立的行业共性问题，而非通过封闭生态锁定客户，只有推理框架、模型、算力厂商和存储厂商共同参与，KV缓存外置和专业记忆存储才能真正实现规模化应用。
面对与其他存储厂商的竞争，华为认为AI记忆存储并非传统存储增加接口那么简单，而是由AI推理需求反向推动的新型架构。华为与国内头部互联网企业的实验性测试显示，传统文件存储和并行文件系统虽然可以承载KV缓存，但在访问路径、数据转换、介质寿命和推理协同等方面都存在明显的额外开销。因此，未来行业竞争的核心，将聚焦在谁能够真正解决KV缓存的容量、时延、调度、寿命和生态协同这五大关键问题。
