Eric开源Resin：Agent助力模型推理引擎 性能近DeepInfer

AI推理引擎的开发长期面临痛点：过去人工智能自主编写推理引擎时，往往需要从零实现调度、缓存、服务接口等复杂底层功能，不仅效率低下，还容易出现各类问题。近期，Eric Zhang开源了一款名为Resin的项目，为解决这一行业难题提供了新的实践思路。

Resin采用分层架构设计，将推理引擎拆分为共享底层与模型专属模块：用Rust语言编写通用共享引擎，负责请求调度、缓存管理与运行状态维护；模型侧则由专门的执行器处理权重加载、前向传播与计算内核实现。两者通过固定批次计划衔接，共享引擎准备好每一轮的token与缓存位置后，执行器完成计算并返回结果，再由共享引擎更新进度、回收资源并安排下一轮任务。

该项目已支持最新的深度求索V4.1极速版模型。Eric在项目说明中提到，Resin运行该模型的性能与深度求索自研引擎DeepInfer的差距仅在5%至10%之间，同时具备超文本传输协议服务、指标监控与前缀缓存等实用功能。

为验证实际性能，Resin使用8张B300硬件卡、EP8配置处理128K上下文，其中约124K为共享前缀、4K为私有部分。对比数据显示，更新后的Resin在单用户生成速度与单卡总吞吐上均优于旧版，与DeepInfer的表现差距进一步缩小。

不必重造整个引擎

Eric认为，过去AI难以可靠编写推理引擎的核心原因之一，是每次都需要重复实现调度、服务层等复杂逻辑——换一个模型，这些工作仍需重新开展。而Resin的架构让人工智能可以集中精力解决单一明确的任务：让特定模型在指定硬件上正确且高效运行，无需兼顾通用底层逻辑的重复开发。

这一思路也得到了行业关注：Woosuk Kwon引用Eric的项目说明时提到，vLLM等工具也在朝模型专属代码隔离的方向发展，Resin为这类架构提供了有说服力的实践案例。

适配其他模型的可能性

除了深度求索的模型，Eric还尝试将Resin适配到GLM-5.3极速版模型。他为该模型接入了一套标准化工作流程，让人工智能在短时间内开发出带多任务并行功能的推理引擎。在4张B200硬件卡、EP4配置下，该引擎最高可达到每秒6万输入token、1.6万输出token的吞吐能力。

相关测试数据显示，在4张B200硬件卡、NVFP4精度与8K上下文的配置下，该引擎的性能表现良好，且可通过调整并行策略进一步优化。Eric提到，在适配这两个模型的过程中，他曾花费大量时间处理bug、非法内存访问、崩溃与内核问题，而标准化流程的存在让后续适配变得更高效。

Resin目前仍处于实验阶段，若要研究新模型或新硬件的适配，可从项目中的add-resin-model与optimize-resin-performance两个标准化流程入手，也可将Resin作为库导入，保留自定义的模型代码。该项目的代码可在公开代码托管平台获取，相关技术讨论可查阅对应技术社区的公开内容。