Strata项目:消费级硬件可跑125B大模型,仅需12GB显卡

今年9月,开发者开源了名为Strata的项目,其最初目标是在12至24GB显存的NVIDIA显卡、搭配64GB内存和桌面CPU的硬件配置上,运行1250亿参数的Qwen3.8-Flash-Next模型。项目上线不到两个月,就获得了约4.47万星标和4900多个复刻,从专用推理引擎扩展出了桌面应用、终端工具和本地模型服务等多种形态,后续版本还加入了其他模型的支持,逐步完善了自身内核。有用户分享,此前他用两张RTX 3090搭配vLLM跑270亿参数模型,更换为单GPU加64GB内存的配置后,通过Strata运行该1250亿参数模型,成为日常主力工具,称其为“黑魔法”。
运行机制与技术细节
Qwen3.8-Flash-Next是一个混合专家模型(MoE),每层有512个路由专家,每个token激活约60亿参数,全模型合计24576个专家。其中36层采用Gated DeltaNet维护固定大小的递归状态,另外12层使用稀疏注意力,还有约510亿参数的n-gram查找表,按最近几个token读取对应行。为了适配有限硬件,Strata设计了显存、内存与SSD协同的方案:将Attention、DeltaNet、路由器、共享专家等核心部分优先放在显存,剩余显存缓存常用路由专家,约34GB路由专家存于系统内存,29GB的n-gram查找表放在SSD,每次读取仅需约23KB数据。
生成时,GPU先确定当前层需调用的专家,缓存命中的直接在GPU计算,未命中的部分通过PCIe传输给GPU,另一部分由CPU在内存计算,并行执行计算与传输。专家缓存会随对话动态调整,12GB显卡约能缓存4500个专家,静态命中率约50%,4K上下文下动态调整后可达72%。处理长代码时,Strata分块输入,让权重传输与批量计算重叠,生成阶段则切换为CPU与GPU分担的小批计算。早期采用Qwen自带的MTP层,先起草3个token,与前一个已接受的token组成4个token的验证窗口,4K测试中每个窗口平均产出约3.2个token,加速收益达1.6至1.8倍,新版本还加入了DFlash2等起草路径。
性能表现
在RTX5070显卡的测试环境中,不同量化和上下文长度下的生成速度如下:4K上下文时,Q2_0量化为94.6 token/s,IQ2_XS为78.0 token/s,IQ3_XXS为65.6 token/s;128K上下文时,对应速度分别为65.1、52.0、44.8 token/s。Q2_0在4K输入下首次响应约6.7秒,接近262K输入时需等待约524秒,之后仍能以56.3 token/s生成。长历史会占用更多显存,减少专家缓存空间。
硬件方面,12GB显存、64GB系统内存是常见配置,不同量化下路由专家的内存占用不同:Q2_0约34GB,IQ2_XS约35.5GB,IQ3_XXS约43GB,IQ3_S约50GB,还需预留空间给操作系统和其他程序,64GB内存选择IQ3_S时余量较紧,若内存不足可从SSD读取权重但速度下降。量化会影响输出一致性,以Q8_0为参照,Q2_0的首选token一致率为80.6%,IQ3_S为87.7%,UD-Q4_K_XL为93.1%。推荐优先考虑ISTA-DASLab兼容量化,再根据需求选择其他方案,Q2_0更省内存且生成更快,更高位数量化需更多资源。
使用指南
使用Strata时,可从项目 Releases下载对应系统安装包,安装后先通过终端查看运行计划:执行「strata launch --family qwen --model q2_0 --plan」,确认模型、文件和硬件安排后再启动:「strata launch --family qwen --model q2_0」。首次下载完成后,可在监控界面查看处理过程,先用常用任务测试再调整参数。桌面应用支持处理文件、图片和代码,默认Manual模式会在修改文件时请求确认,本地运行可断网,联网功能按需使用。连接编码工具可执行「strata connect」,会列出支持的客户端设置。
参考资料
项目相关参考资料包括项目仓库、版本发布记录、早期社区讨论、模型与内存需求说明、量化质量比较方法和技术文档等。

