文章摘要

专注Transformer架构专用AI芯片的初创公司Etched正式走出隐身状态,同步公布了流片成功、大额融资与百亿级客户订单等一系列重磅进展。

这家成立于2022年的公司,从创立之初就将所有精力集中在Transformer专用芯片的研发上,与同期强调通用兼容与生态布局的AI芯片厂商形成了鲜明差异。在沉寂许久之后,Etched在六月最后一天集中官宣了多项核心成果:不仅完成了8亿美元的融资,拿下了10亿美元的客户大单,其A0版专用芯片已经通过台积电N4P工艺流片回片,同时还打造出了首批面向推理场景的机柜产品。

值得关注的是,卡帕西、李飞飞、辛顿等行业顶尖学者均为这家公司的投资方,其中卡帕西还曾公开表达过对该项目的高度认可。

不同于外界最初认为的“只做Transformer专用芯片”,Etched目前已经构建起了一套完整的前沿模型推理集群系统,覆盖芯片、机柜、软件与制造方法的全链路设计。

芯片与机柜布局

根据官方披露的信息,Etched的A0版芯片已于今年早些时候完成流片,而首款机柜产品的推出正是为了满足10亿美元大客户的订单需求。公司透露,首批机柜计划在今年夏季正式出货,商业化落地的节奏已经清晰摆在台前。官方还表示,首批机柜已经完成制造,早期客户测试结果显示,其在推理工作负载上的吞吐量、延迟与能效表现均达到了行业领先水平。

核心技术突破

Etched的推理系统专为前沿大模型设计,可覆盖万亿参数级MoE模型、长上下文场景以及Agent工作负载。为了适配这类高要求的任务,公司从芯片底层开始协同设计,覆盖了芯片、封装、PCB、冷板与互连组件等多个环节。

针对当前AI芯片行业普遍存在的热节流问题,Etched开发了低电压推理(LVI)技术,专为高吞吐量工作负载优化。目前主流AI芯片如果不进行热节流,就无法充分扩展浮点运算能力;而随着浮点性能提升,芯片功耗会随之上升,时钟频率被迫降低,最终实际推理吞吐量往往不足峰值浮点性能的一半。

Etched全新设计的架构让芯片的数学模块可以在不到主流AI芯片一半的电压下运行,这使得芯片的浮点运算密度比当前产品高出数倍。官方表示,这套方案可以让万亿参数级稀疏MoE模型在80%以上的峰值FLOPs下稳定运行,不会出现热降频问题。要实现这一目标,需要从晶体管到token处理全链路统筹设计,涵盖可拆分数学阵列、电路技术、tiling与调度算法、供电网络、VRM架构、高级封装与冷板设计等多个维度。

与此同时,Etched还推出了集群规模内存(CSM)技术,用于解决低延迟工作负载的内存瓶颈。当前采用HBM的AI芯片受限于内存子系统与互连瓶颈,难以达到接近SRAM的解码速度;而纯SRAM架构的芯片虽然延迟更低,但往往受限于浮点运算密度与内存容量,无法兼顾吞吐量。用户通常需要在服务速度与批量规模、成本之间做出妥协。

在运行巨型MoE模型时,token需要在不同专家之间路由,数据需要穿越多层内存体系与网络交换网络才能到达目标位置,每增加一层内存都会带来延迟提升。因此从延迟优化的角度来看,减少内存层级是最直接的方案。

Etched设计的全新架构在整个scale-up域内构建了共享的低延迟内存池,通过专有超低延迟、高带宽互连技术大幅提升跨芯片内存访问速度。其采用的HBM与SRAM混合设计,同时解决了内存容量与mem2mem延迟问题,让高吞吐与低延迟的兼顾成为可能。官方称,CSM技术不仅改善了延迟表现,还避免了纯SRAM芯片、3D DRAM芯片或光互连方案在成本、可靠性、良率、散热与算力上的各类取舍。

顶尖的研发团队

目前Etched的研发团队规模已经超过400人,核心成员分别来自英伟达、谷歌TPU团队、博通、SK海力士、台积电等行业头部企业,技术背景覆盖芯片设计、系统优化等多个领域。

这支团队有着鲜明的硅谷创业风格,核心创始团队均为哈佛辍学的创业者。

公司CEO Gavin Uberti是推动Transformer专用AI芯片研发的早期倡导者之一。本科就读哈佛大学期间,他同时修习数学与计算机相关课程,很早就开始接触AI编译器优化与系统层问题。2020年至2022年间,他先后在多家初创企业实习,涵盖端侧AI与低功耗计算(后被苹果收购)、高等教育学术管理软件、机器学习模型部署与推理基础设施等领域,积累了编译器、算法与后端开发的多方面经验。

在研究Transformer推理的过程中,Gavin Uberti逐渐意识到,当前推理性能的瓶颈在于底层计算架构与Transformer工作负载的不匹配,因此他将优化思路从“调整模型”转向“重构计算系统”。他曾公开表示,正是对Transformer未来发展趋势的判断,推动团队押注专用芯片赛道。

另外两位联合创始人Chris Zhu与Robert Wachen同样是哈佛辍学校友。Gavin Uberti在创业初期就拉上了曾在校园合作的Chris一同退学,业内评价Chris更擅长工程实现与系统落地。2023年,两人明确芯片研发路线后,拿到了约550万美元的种子轮融资,随后邀请Robert Wachen加入团队。Robert Wachen的专业背景为计算机相关方向,在校期间重点研究计算机系统基础、软硬件抽象关系理解与工程实现思维。

创业第二年,三位创始人一同入选了2024届Thiel Fellowship。该项目由彼得·蒂尔创办,面向22岁以下的年轻人,鼓励他们暂停或放弃大学学业,直接投身创业、研究或项目实践,全球范围内同时有多位创始团队成员入选同一届的案例并不多见。

00后、哈佛辍学、AI专用芯片、Transformer赛道,这些标签让这支团队的硅谷创业风格格外鲜明。

融资与前期进展

根据公开融资记录,Etched在2023年完成了金额约536万至540万美元的种子轮融资。2024年6月,公司宣布完成1.2亿美元的A轮融资,同步推出首款专为Transformer模型设计的ASIC芯片,主打高吞吐推理能力。当时官方曾表示,一台搭载8颗该芯片的服务器,在Llama 70B模型场景下的token吞吐能力远高于8卡H100组合,但彼时相关成果还停留在纸面阶段,直到此次才正式公布流片成功的消息。

同年10月,Etched与Decart合作发布了名为Oasis的项目,这是首个可游玩的AI生成游戏,玩家可以通过键盘操控,整个游戏世界由模型逐帧实时生成。合作中,Decart负责世界模型的训练、架构设计以及基于Transformer的实时视频生成核心算法,Etched则负责推理侧与系统优化,探索如何让扩散Transformer在H100级别GPU上实现接近实时的帧率,并将该能力映射到未来的专用芯片中。这也是Etched最具代表性的一次产品演示。

在此次公开亮相之前,Etched曾有一段较长时间的沉寂期,仅在去年年末、今年年初之际被曝出完成新一轮5亿美元融资,投后估值达到50亿美元。加上此前的融资,公司累计融资额已接近8亿美元。

商业化落地的挑战

随着首批机柜将于今年夏季出货,Etched已经度过了“天才休学生创业”的故事阶段,接下来需要面对的是客户机房部署、真实负载运行、稳定交付与真金白银的验收等实打实的硬仗。


塔猴是一个专注于为用户提供系统学习、内容创作与商业连接的AIGC综合服务平台,致力于为每一位AI探索者打造理想的创作、成长家园。在塔猴,你不仅可以学习众多AIGC类实战课程,获得与时俱进的AIGC技能和视野,还有机会获得长期商业合作和接单机会!点击进入:https://www.tahou.com/

AI生成内容提示:本文由人工智能辅助创作,内容仅供参考,不代表平台观点。请注意核实信息的准确性,并理性判断。

以上内容不代表本平台立场,仅供读者参考