端侧大模型推理来了：聆思Nebula芯片构建AI物理世界入口

在近期举办的全球人工智能行业盛会中，终端智能硬件领域迎来了集中爆发的发展节点，行业赛道的核心转向已经十分清晰。AI产业的发展重心正从以往聚焦云端超算集群、以参数规模和云端算力论优劣的方向，转向手机、AI个人电脑、人形机器人、智能座舱、全屋智能中控等泛终端硬件赛道。

AI的落地形态也随之革新，不再局限于网页、应用内的静态对话窗口，而是开始进入具备感知、理解、交互和执行能力的真实物理设备，与现实世界的连接变得更加紧密。交互场景的变化也重塑了未来智能硬件的底层逻辑：它们不再只是普通的硬件终端，更会成为搭载本地AI能力的算力载体。

这也将产业竞争的关键分水岭推向了更底层的位置：能否在低功耗、小型化、低成本的约束下，实现高效、稳定、可规模化的大模型本地推理；能否搭建可适配多类终端场景的芯片平台。尽管终端形态千变万化，底层算力芯片都是统一的刚需，只有具备端侧AI推理芯片自研能力，并能将芯片真正导入终端产品的厂商，才能抓住这一轮端侧AI爆发的发展机遇。

作为长期深耕端侧AI芯片领域的企业，聆思科技计划于今年年底推出Nebula系列端侧大模型AI推理芯片，精准瞄准本轮终端智能硬件爆发背后的底层算力需求。

端侧AI浪潮下的算力新挑战

在这场行业盛会上，端侧AI的爆发趋势已经成为全行业的共识，由终端场景驱动的算力革命正倒逼芯片产业迎来变革。端侧大模型发展到今天，传统芯片路线为何已经难以满足需求？答案藏在端侧AI的应用进阶与场景刚需之中。

当前，端侧大模型的发展已经从最初“能不能跑”的可行性验证阶段，正式迈入“能不能实时、稳定、低功耗地跑”的实用性落地阶段。这不仅是技术层面的升级，更是终端场景的需求迭代。AI PC、机器人、智能座舱、全屋智能等端侧场景，对AI的需求远非简单将大模型移植到设备中就能满足，而是需要芯片支撑起持续运行、多模态交互、低时延响应、低功耗消耗的本地推理能力。

要理解传统芯片路线的困境，首先要认清真实终端场景的约束。云端AI具备强大的算力储备，能够支撑大规模模型训练与复杂运算，但在终端物理场景中，时延、联网稳定性、数据隐私、带宽成本以及并发调用压力，都是绕不开的硬伤。尤其是机器人、智能座舱、家庭中控这类直面物理世界的入口，大量安全与控制类关键决策必须实现毫秒级响应、实时落地，无法长期依赖云端网络交互，一旦出现网络延迟或中断，就可能影响体验甚至带来安全风险。

这种现实需求直接放大了端侧本地推理的应用价值，也让传统芯片路线的短板暴露无遗。以往端侧芯片的竞争往往集中在峰值算力参数上，却容易忽略真实终端场景的核心诉求。随着端侧大模型进入规模化落地阶段，行业竞争逻辑已经发生转变：从以往单纯的TOPS峰值算力竞争，转向全维度的系统效率竞争。

这一评判标准的变化，也让端侧大模型芯片的竞争本质愈发清晰：表面上看是算力的比拼，实则是面向Transformer推理数据流的系统架构竞争。具体而言，真正决定芯片实用性的是一系列综合指标：实际tokens/s处理速度、首token延迟、运行功耗、内存带宽、模型兼容性、板级面积、BOM成本以及配套的软件工具链，而这些指标恰恰是传统端侧AI芯片的短板所在。

过去的端侧AI芯片在设计之初主要面向语音唤醒、图像识别、目标检测等任务，更多服务于CNN、RNN等传统模型，它们可以胜任传统感知任务，但面对Transformer类生成式大模型时，就容易在推理时延、带宽、功耗控制等方面出现局限，难以兼顾综合体系的平衡。聆思科技市场副总裁韩超阳在行业盛会期间提到，当下端侧大模型AI推理的最大瓶颈在于，市面上专为大模型推理算法原生设计的端侧AI芯片仍然稀缺。

专用端侧大模型AI推理芯片的技术路线背后横亘着极高的技术门槛，芯片厂商不仅要实现大模型、算法、硬件架构的深度协同，还需要完成长期跨领域的技术积累。只有深度吃透大模型架构与底层算法特征、围绕大模型开展原生设计的端侧推理芯片，才可能真正匹配端侧模型部署，在算力利用率、内存带宽、功耗控制、硬件成本、推理时延以及系统体积等多个维度达成综合最优。

首款原生端侧推理芯片年底亮相

面向真实场景优化四大硬指标

可行路线明确后，摆在行业面前的关键议题就是：适配大模型的专用端侧大模型AI推理芯片，究竟应该具备怎样的特质？Transformer架构下，大模型推理并不是一个稳定均匀的计算过程：Prefill阶段需要批量处理输入，算力需求集中；Decode生成阶段逐字输出，算力需求零散。这两段推理任务的资源需求差异极大，整个推理流程并非均匀稳定的计算负载，算力、访存压力会出现剧烈波动。

这就带来第一个核心问题：算力利用率。如果芯片只追求纸面峰值算力，却不能适配大模型推理的动态负载，计算单元就会等待数据，硬件资源就会闲置，最终落到终端体验上就是响应慢、发热高、续航差。聆思计划今年年底发布的Nebula系列芯片，首先瞄准的就是这一问题。

按照聆思方面披露，Nebula不是简单放大传统NPU，而是面向Transformer类大模型推理原生设计的AI NPU，从大模型算法特性反向定义计算架构，让芯片更适配端侧推理负载。基于这一设计，Nebula系列芯片预计可实现10倍计算加速性能提升，推理速度超过100 tokens/s。

100 tokens/s的意义不只是参数好看。在AI PC、机器人、智能座舱这些场景里，端侧大模型要进入真实交互，就必须做到低延迟、连续生成和稳定响应，如果推理速度不够，终端大模型就很容易停留在“能跑”，而不是“好用”。

第二个核心问题是内存带宽。大模型推理不是只要算得快就行，模型参数、中间状态、上下文信息都要反复读取和搬运，如果数据供给跟不上，算力再高也会被卡住，尤其在逐token生成阶段，内存带宽会直接影响生成速度和能效表现。云端可以用HBM和多卡系统解决带宽问题，但终端设备不能无限堆内存、堆板卡、堆散热，因此端侧大模型芯片必须在有限封装体积内解决带宽问题。

Nebula的技术路径是3D-DRAM堆叠，韩超阳透露，基于这一方案，芯片内存带宽可以达到传统LPDDR的5-10倍。这背后对应的是端侧芯片架构的一次变革：不能再沿用传统“计算芯片+外挂内存”的粗放思路，而要尽可能缩短存储和计算之间的数据通路。带宽提升后，芯片才能减少因访存不足造成的算力闲置，在更小体积内支撑更大参数规模的模型运行。

第三个核心问题是不同终端对模型规模的需求并不一致。AI PC、机器人、智能座舱、智慧家庭，不会使用同一种参数规模、同一种响应速度、同一种功耗预算的模型，端侧大模型芯片如果只能适配单一规格，就很难支撑多场景规模化落地。聆思方面预计，Nebula系列芯片可实现10倍模型参数规模支持，同时其芯片设计支持搭配不同容量堆叠内存，以适配不同规格大小的模型加载需求；在更高算力需求场景中，也可通过芯片级联技术实现算力弹性扩展。

第四个核心问题是工程化落地。终端设备内部空间有限，多芯片组合会增加板卡面积、散热压力和系统成本，也会拉长客户开发周期。端侧大模型芯片能不能规模化，不仅取决于单点性能，也取决于工具链、SDK、参考设计和模型适配能力。因此，Nebula不只是硬件芯片，也会配套工具链、SDK和参考设计，帮助客户完成模型移植和适配，降低端侧大模型从样机走向量产的门槛。

从这个角度看，Nebula的关键不只是10倍加速、100 tokens/s或5-10倍内存带宽，而是这些参数背后对应的行业变化：端侧大模型芯片的竞争，正在从纸面算力竞争，转向有效算力、存储架构、模型适配和工程落地能力的综合竞争。

从语音、视觉到大模型

聆思的端侧路径不是突然转向

技术路线对了，还要看谁能真正把芯片做进终端。端侧大模型推理芯片不是实验室概念产品，它最终要进入AI PC、机器人、智能座舱、智慧家庭这些产品，需要面对成本、功耗、体积、稳定性、交付周期和客户适配能力等多重考验。

这恰恰是聆思过去几年一直在布局的领域。先看出货量，聆思累计芯片出货量已经超过亿颗级别，在端侧NPU芯片行业，能达到这个量级的公司并不多。

再看它落地的场景，主要集中在语音和视觉两个方向。第一是语音方向，核心是让设备“听懂人话”，这是聆思最早站稳的赛道，在蓝牙交互领域，快速进入了海尔、美的等白电龙头的供应链。单价不高但出货体量大的家电行业，在成本、功耗、可靠性与供货交付上标准颇高，能长期立足家电市场、站稳脚跟，恰恰证明了聆思不仅能造芯片，还能做出适配行业、可大规模交付的成熟产品。

第二是视觉方向，聆思选择把视觉AI能力带到教育硬件、消费电子、智能家居等新兴终端场景，这也成为其近几年打造的第二增长曲线。通过聆思的方案，本地视觉AI能力进入了扫读笔、手持云台、运动相机、智能门锁、扫地机等设备后，能实现离线人脸识别、手势控制、人体追踪等功能，与语音方向类似，聆思的应用方案进入了这一赛道的多家头部品牌供应链。

时至今日，Nebula要做的是在前面的布局上再往前走一步：让终端设备具备本地理解和推理能力。值得注意的是，端侧感知模型推理芯片与认知大模型推理芯片并不是替代关系，而是协同发展关系。韩超阳认为，未来端侧小模型推理与端侧大模型推理将相辅相成：小模型感知芯片负责低功耗实时感知和前置信号处理，大模型认知芯片则承担复杂语义理解、内容生成和推理决策等高阶任务，二者共同支撑端侧AI体验升级。

这也让聆思的发展路径更加清晰：过去语音和视觉芯片解决的是终端设备的感知入口，Nebula面向的是感知之后的理解、生成和推理，它不是对既有产品线的替代，而是在原有端侧AI能力基础上的升级和延展。围绕AI PC、机器人、智慧家庭、智能座舱四大方向，聆思科技目前已联合联想、聆动机器人、海尔、美的、面壁等企业启动联合预研，推动端侧大模型AI推理芯片在真实终端场景中的产业化落地。

这条路径和聆思过去的发展逻辑是一致的：不是先做一颗参数看起来很强的芯片再去找应用，而是从真实终端需求出发，围绕客户场景倒推芯片架构、工具链和产品形态。从语音到视觉，再到端侧大模型推理，聆思的能力边界正在从感知智能延伸到认知智能。

结语：不止一颗端侧芯片

端侧AI浪潮到来，锚定AI物理世界入口

这场规模空前的行业盛会中，端侧智能已然成为贯穿所有展馆的主旋律之一：人形机器人自主完成多模态任务、智能座舱离线流畅跑通轻量级大模型、AI PC本地实时生成图文、全屋中控脱离云端自主感知调度……展台前络绎不绝的观众直观印证，端侧大模型已是AI终端不可逆的升级方向，而高性能端侧大模型AI推理芯片，正是通用人工智能走进物理世界不可或缺的底层基石。

这一背景下，聆思科技的目标清晰明确，其不止打造一款端侧大模型AI推理芯片，而是要搭建面向智能设备时代完整的端侧大模型推理基础设施。通用人工智能想要真正走出实验室、走进现实物理世界，不能只靠云端算力兜底，依托完整端侧推理基础设施实现本地自主智能，才是打通落地最后一公里的关键所在。