后摩智能开源AI生态软件栈 赋能端边AI产品落地

当前，AI硬件的价格正以惊人的速度攀升：一款96GB显存的专业计算卡售价超过13万元，一套128GB的DDR5内存价格逼近2.5万元。即便是对市场变动一向淡定的行业资深人士，也将这一轮硬件价格暴涨形容为“百年一遇的冲击”。

出人意料的是，硬件成本越高，AI领域的玩家反而越倾向于将大模型部署到端侧和边缘设备上。近期有消息显示，某知名AI企业一次性采购了数万台通用计算设备，专门用于训练能够自主完成电脑操作的智能体。背后的逻辑很清晰：如果将需要24小时持续运行的智能体全部部署在云端，仅Token费用就会让企业的账单不堪重负，大模型向端侧迁移已经成为行业内的明确趋势。

不过，将芯片和内存等硬件采购回来，只是完成了产品落地的第一步。要将大模型转化为稳定可用的终端产品，开发者还需要解决模型适配、框架打通、性能调优等一系列问题，若能有现成的工具和经验可复用，就能大幅减少从零开始摸索的成本。

在近期举办的一场行业生态大会上，专注于端边AI芯片研发的企业宣布，将全面开源整套AI生态软件栈，为开发者打通从模型获取到产品上架的全流程工具链。按照计划，到明年1月，首批15个开源项目将陆续上线。

这款开源工具链依托的核心是已量产近一年的M50芯片，目前已有超过150款终端产品确定采用该芯片，合作客户数量破百，甚至能将1220亿参数的大模型塞进一个仅重300克的小型设备中。这套软件栈正是在这些项目的落地过程中逐步开发、验证和完善的。

要理解这套开源工具链的价值，不妨从一个看似简单的场景切入：打造一款离线会议助手，通常只需要三步——录音转文字、大模型生成纪要、将内容存储到本地。但实际操作中会遇到诸多难题：模型需要适配有限的内存资源，推理过程要与硬件架构匹配，语音识别和大模型还需要协同运行；即便跑通了基础功能，后续还有性能调优、稳定性测试和上线维护等工作要做。更麻烦的是，每个团队做同类产品时，这些基础工作往往需要重复一遍，造成资源浪费。

这次开源的工具链覆盖了从模型到产品的全流程，分为四个核心层级：

第一层是模型处理工具。开发者拿到新模型后，需要先进行量化压缩、编译和精度评估，将模型转换为硬件可运行的格式。以往，端边设备部署模型时往往需要将模型硬压缩为低精度格式，精度损失后还要花费大量时间调优弥补。而M50原生支持浮点计算，开发者可以直接按需求使用浮点格式部署，从源头上减少了精度损失的折腾。

第二层是推理框架、算子库和运行时。这一层相当于芯片上的总调度，负责将计算任务精准分配到硬件单元，并针对M50的存算一体架构进行定制化优化。模型的运行速度、内存占用、功耗控制等核心指标，都取决于这一层的调度能力。

第三层是领域套件、模型流水框架和中间件。它的作用是让多个模型像交响乐团一样协同工作。比如在会议助手场景中，语音转文字、生成纪要、存储内容等环节的衔接，都由这一层来实现流畅的调度。

第四层是部署运维工具。产品交付后，后续的版本升级、运行监控、大规模设备管理等工作，都由这一层负责。

这些工具将分三批开源：第一批是对行业内常用的llama.cpp、vLLM推理框架的适配版本，开发者无需改变现有工作习惯，就能将自己的项目接入M50芯片；第二批是自研的推理框架，针对自家芯片做了深度优化，能充分发挥硬件性能；第三批是中间件和各类辅助工具，帮助开发者将零散的模型能力整合为可商业化的产品。整个开源清单包含模型示例库、推理引擎、领域套件等，甚至还有用于管理大规模加速卡的基础设施平台，目前在代码托管平台上已经能看到相关项目的开源版本。

M50芯片的应用已经覆盖了多个不同的场景，展现了工具链的适配能力：

面向智能体的电脑设备，一款小型主机仅重300克，最大功耗仅30W，通过充电宝就能便携使用。这款设备搭载了M50芯片，即使拔掉网线也能本地运行1220亿参数的大模型，每秒输出50个Token，支持最长128K的上下文窗口。对于需要7×24小时运行的智能体来说，本地部署无需按Token向云端付费，数据也能完全保存在本地，企业将这种模式称为“端边Token工厂”。还有初创企业打造的私有AI外脑设备，同样采用M50芯片，能够记住用户的项目资料和工作习惯，无需每次重新交代背景，还能自主在协作工具中查询信息，操作前会交由用户确认。此外，还有厂商将M50集成到家庭AI中枢，实现私密照片和监控画面的本地识别整理，无需上传云端；还有厂商为智能体配备了可定制的全息形象，在办公桌上是日程管理助手，在书房是陪练伙伴。

在对网络连接有严格要求的行业场景，比如政务、金融等领域，设备必须支持离线使用。一款全栈国产路线的笔记本电脑，搭载国产操作系统，通过M50芯片在完全断网的状态下运行35B参数的大模型，每秒输出30个Token，支持离线完成文档处理、纪要生成等工作。值得注意的是，M50是国内唯一一款适配主流操作系统和CPU架构的高算力端边AI芯片，满足了国产替代的核心需求。

在陪伴机器人领域，星灵陪伴机器人搭载了M50芯片，拥有160TOPS的INT8算力，能够将情绪感知和长期记忆全部保存在机身内部，无需将客厅里的私密数据上传云端，保障了用户隐私。

在教育场景中，高校需要部署大模型实训平台，但又担心数据和课件放在公有云上不安全。相关机构推出的实训一体机，搭载了集成4颗M50的加速卡，整台设备提供超过3200TFLOPS的算力和1.5TB以上的内存，能够将千亿级大模型部署在本地，配套课程和算力管理平台一起交付，满足了本地实训的需求。

这些应用的落地，离不开M50芯片在底层架构上的创新。传统芯片中，数据存储单元和计算单元分离，数据在两者之间来回搬运会消耗大量电能，AI计算中60%到90%的电力都耗费在数据搬运上。采用了全新的SRAM存算一体技术，实现“数据存在哪里就在哪里计算”，相比传统方案，芯片面积减少约70%，功耗降到约十分之一。

针对大模型的两大流派，后摩智能设计了两条技术路线：2D CIM主打大容量和高算力，采用传统2D封装，外接GDDR、LPDDR5等内存，专门应对混合专家模型和图像、视频生成任务；3D CIM主打极致带宽和高算力，专门应对稠密模型，通过3D堆叠技术将存储芯片和计算芯片结合，数据搬运的距离大幅缩短，进一步提升算力效率。下一代3D CIM芯片还计划采用Flash、RRAM等更便宜、更省电的存储介质，性能将进一步提升。

后摩智能创始人兼CEO吴强在开放计算领域拥有深厚的积累，早年曾在AMD总部参与第一代通用计算GPU的核心研发，也是开放计算标准OpenCL创始团队的核心成员，还曾在Meta负责芯片集群的能效优化，回国后担任过国内头部芯片企业的CTO。如今，他将自己创办的芯片公司的核心软件栈开源，践行“带头开放，高效赋能”的理念。

对于终端厂商来说，拿到开源代码意味着掌握了产品开发的主动权：调用方式不顺手可以自行修改，想添加独门功能可以在现有工具上二次开发，出现Bug时可以自主排查，无需等待闭源SDK厂商的修复。相关企业也表示会快速响应开发者的反馈，新功能和需求可以随时提交，社区积累的适配经验和优化代码也能供后续团队复用。

这次行业生态大会上，包括终端厂商、系统开发商、框架提供商在内的众多伙伴到场，分享了各自的落地经验。芯片在底层撑起本地算力，开源软件在中间铺好开发跑道，开放生态将上百个项目的实战经验转化为公共底座，三者结合，大幅降低了端边AI产品的开发门槛，让AI走进更多场景的道路变得更宽。